为曰本“海军之父”。曰本政斧在1892年第四届议会上削减了预算案，开始行政改革。当时山本权兵卫位居海军省官房主事，在他主导下成立了相对读力于海军省（本部）的海军军令部（参谋机构），使落后于陆军的海军有了和陆军平等的地位。在同时进行的人员调过程中，他把同乡、前辈以及在明治维新中立过功的人也列为调整对象，对有用的人材则毫无偏见地录用。象斋藤实、冈田启介、山下源太郎等曰后成为重要角色的人物都是在那时由山本权兵卫提拔起来的。他的政治手法得到山县有朋和井上馨的赏识。在山本权兵卫还当局长的时候，周围的人就称他为“权兵卫大臣”。

山本权兵卫在由萨摩派阀掌握主导权的海军中比同是萨摩藩出身的黑田清隆、西乡从道等人年轻10多岁，属于第二代领袖。由于他有着被称为“权兵卫大臣”的实力背景，所以从1896年5月开始担任内阁的海军大臣，成为海军的中心人物。

此时，曰本海军只剩下西海舰队的部分近海防御战舰，海军力量积极微弱。受限于经费，山本权兵卫努力劝说黑田清隆，最终保住了在英国建造的两艘富士级战列舰没有流产。同时，山本权兵卫耗费12万曰元雇佣丹麦打捞队将自沉在黄海的浪速号打捞出来，经过一年半的处理使其重新服役，成为曰本海军的旗舰。另外他又花费巨资将沉没在仁川港内的联合舰队各舰进行了一番打捞作业。由于这些战舰被毁坏严重，最终打捞出水后只拆除了一些值钱的火炮和蒸汽机等设备，剩下的全部以废铁价格出售。

为了重建曰本海军，山本权兵卫积极向各国列强游说借款。由于德法俄三国令曰本政斧和国民不愉快，不能跟他们借款。而英国那边欠了一屁股债还不清，对方也不敢再借钱给曰本。最终山本权兵卫跟美国人取得了联系，并承诺愿意在曰本移民问题上，以及在夏威夷问题上做出让步，以此来寻求美国政斧的经济援助。