帝国海军实行的是典型的政令分开的管理体制，其行政管理和作战指挥系统各自相对独立。

帝国海军部是帝国海军的最高行政领导机构，部长称“海军大臣”，隶属于帝国国防部，主要负责制定海军和海军陆战队的战略规划、经费预算、政策法令、军官升迁和后勤管理等事务，但是没有作战指挥权。

海军大臣作为文职官员，在国防大臣领导之下，直接负责海军的行政领导。他主要通过其文职执行助理大臣和专业技术助理大臣行使职权。

文职执行助理有：海军部副大臣、四位海军助理大臣和海军法律总顾问。海军助理大臣分别负责帝国海军和海军陆战队的组织编制，舰船的建造与配备，以及人员的组织与训练。专业技术助理大臣为海军参谋大臣、海军陆战队司令以及战时的海岸警备司令。

帝国海军部各直属局是海军部长的参谋和勤务机构，有立法事务局、新闻局、军法局、规划鉴定局、海军监察局、审计局等。海军部包括海军大臣办公厅、海军参谋部、海军陆战队司令部、海军部各直属局，战时还包括海岸警备队司令部。长期以来，帝国海军一直是帝*队中最有力的一个军种，因受外部侵略多来自海上，所以帝国十分重视海军建设，帝国海军也是在体制编制和指挥作战系统方面最具特色的一个军种。

帝国海军参谋部是帝国海军的最高军令军事职能部门（在战时与陆军的陆军参谋部均直属帝国参谋本部，平时各自对本军种负责），平时隶属于海军部，虽然名为海军参谋部，但是它并不直接指挥海军部队作战。海军参谋部平时主要负责海军部队的行政管理、军事训练和制定装备发展计划，战时直属帝国参谋本部，向各联合司令部提供海军作战部队，其海军部队的作战指挥由其所在的联合作战司令部组织实施。

海军参谋大臣为海军上将，是帝国国海军最高军事首长，非战时对海军大臣负责，战时加入帝*事大本营直接对皇帝负责。他在参谋会议和海军大臣领导下负责海军的建设、战备与作战运用。海军参谋大臣的主要助手有副参谋大臣、5名副部长以及海军情报办公室主任、海军气象局长、宪兵次长等。