“匹夫无罪，怀璧其罪，呵呵，瀚鹏说的真是一针见血啊！”西乡隆盛叹息起来。
林逸青的话，的确说到了他心中的痛处。
西乡隆盛之所以离开明治中央政府回到家乡退隐，并不全是因为“征韩”之议被否决，另外一个重要原因，就是他对明治政府实施有损于下级武士利益的政策感到不满！
西乡隆盛非常同情下级武士们在明治维新后的悲惨遭遇。他在请求萨摩藩政府救济一个参加过倒幕战争的下级武士出身的士兵的信中写道：“临生死之境，使之如私物，事定之后，即行抛弃，影响德义。”他的一首广为流传的言志诗写道：“几经辛酸志始坚，丈夫玉碎耻瓦全。一家遗事人知否，不为儿孙买美田。”因为他看不惯许多明治政府高官追名逐利，穷奢极侈，指责他们见利忘义，背叛了维新志士们的维新初衷。
西乡隆盛的个人品德，在日本一直被人们推崇。正是在这些内政问题上，西乡隆盛与大久保利通等人产生了矛盾。西乡隆盛和大久保利通等人尽管有矛盾，但他们都认识到要建立近代国家，使日本摆脱半殖民地危机，必须消除封建割据局面，建立中央集权的国家政权。是以他们在这个目标下联合起来，全力进行废藩置县的改革。西乡隆盛担任陆军大将兼近卫军都督后不久，明治政府公布《地税改革条例》等5个文件，实行变革封建土地所有制，确立近代土地制度的地税改革。在此前后，明治政府还进行了政治、经济和军事上的多项资产阶级改革。西乡主持和参与了这些改革，虽在改革内容上没有特别的建树，但他统帅军事力量，以武力为后盾，保证改革顺利进行，应该说是他的特有贡献。西乡隆盛、大久保利通、木户孝允三人以在倒幕维新活动中的作用和贡献，被人们誉为“维新三杰”。
日本的明治维新，其实就是一次资源与权力再分配的过程，在这个过程中，一部分旧权利拥有者必然会失去原本拥有的资源和权力；维新的概念，套用管理学的理论来说，其实就是一个管理扁平化的过程。一部分中间阶层必然会被淘汰，也就是一个从最上和最下两个阶层向中间阶层挤压的过程，而这中间最终被剥夺出的权力和省出的资源，就会重新分配到最高和最低的人群中去，从而使管理和生产都达到新的平衡。比如“攘夷”，实质是想要剥夺西方殖民者在日本的资源和特权，为日本本国所用。然而相对当时的日本，西方殖民者是十分强大的，即便萨摩长州这样的强藩在与他们对敌后也深深意识到无法与他们抗衡，如果硬要剥夺他们在日本的资源，很有可能反倒被这些船坚炮利的国家彻底打倒，连主权即本国政府分配自己国家资源的权利都会丢个干净。因而不如承认他们在日本的存在，甚至与之结盟，换取他们的支持，和必要的军事技术援助，以获得更高的发展资源（所谓的“发展生产力”）的能力和挤压其它阶层的能力（在他们的支持下倒幕）；“倒幕”实质是把矛头指向天皇之下，各诸侯之上的幕府将军这一阶层，剥夺他的特权、领地，剥夺他所拥有的资源和分配资源的权力；“倒幕”成功之后的“废藩置县”则等于把这把刀又砍向了诸侯，剥夺他们的资源和权力。然而进一步的军制改革，使得普通平民也拥有当兵的权利和义务，让更多的人有为国尽忠的荣誉感和升迁的机会，等于是这把刀又砍向了下级武士。如果要说到背叛，倒幕过程中出过大力的诸侯和下级武士都是被新政府背叛了的！
西乡隆盛本人其实是非常赞成新的军制的，他知道从公家的角度而言，新的制度能够让日本更加强大。可是从私而言却不好说了。诸侯在倒幕过程中出过力，他们的资源和权力被剥夺以后还可以成为新的财阀，地主，就算过不了以前那样的奢侈糜烂的生活，至少生计是不用愁的；而那些下级武士，他们数目庞大，作为个体而言，原就拥有不多的资源，再被剥夺从军特权，就等于衣食无着了。西乡隆盛在把自己的武士之刀砍向幕府和藩主时根本就不曾犹豫过，可要砍向一贯支持维护自己的群体——大量的下级武士时，他犹豫了。西乡隆盛不能忘记这些与他并肩战斗的战友，因而在军制改革的初始阶段，他努力增加以下级武士为主体的近卫军的编制，就是为了给这些曾经的战友一个容身之处。可近卫军的编制也是有限的。虽然西乡隆盛本人非常豪爽大度，每当有萨摩武士来找他的时候，假如他不能解决他们的私人问题，就任其在门口的钱柜那里取用。然而这点钱毕竟不能解决根本问题，也使他自己在政治上遭忌。
为了解决这个问题，西乡隆盛想出的办法就是对外扩张，“堤内不足堤外补”，让下级武士们去侵略别的国家，从新的领地内和其它国家的人民身上取得新的特权和新的资源。为日本这样一个弹丸小国本身计，其实这也的确是一条出路。可是说起来容易，做起来难。
当时世界列强环伺，世界上的绝大部分土地都被瓜分一空，对日本来说，除了琉球，就只有台湾、朝鲜两处可打，此二地西方列强还未来得及染指，也许也不会造成强烈反弹。
其实当时日本朝野都有“征韩”“征台”之念，除了西乡隆盛，大久保利通和山县有朋等人也一概赞成日本的对外扩张，只是这当中有“急征”还是“缓征”的区别。而西乡隆盛是强烈呼吁“急征”的。他的目的，是在以平民为主的政府军还不具备强大战斗力时，用世世代代以战斗为职业的军人——下级武士们来进行这些对外侵略，也使他们迅速在新的殖民地上找回他们在本国丧失的特权和利益。