海军参谋部辖有海军海上系统司令部、海军补给系统司令部、海军设施工程司令部、海军航空系统司令部、海军人事司令部、海军保密大队司令部等专业机构近30个，主官分别由海军中将、海军少将及相应级别的文职官员担任。此外，海军参谋部目前还下辖10个海军一级司令部：太平洋海军司令部、北洋海军司令部、南洋海军司令部、印度洋海军司令部、海军特种作战司令部、军事海运司令部、作战试验与鉴定司令部、海军后备队司令部以及海军陆战队司令部。

海军陆战队司令部是海军陆战队的最高领导机构和行政管理部门，海军陆战队司令是皇帝、国防大臣和海军大臣的军事顾问，也是参谋会议的法定成员。在皇帝和海军大臣的授权、指导和控制下，海军陆战队司令的主要职责为：（1）负责管理海军陆战队司令部，（2）向海军部长提交海军陆战队司令部的发展规划和建议，（3）向部队提供咨询和监督部队发展计划的实施，（4）对海军陆战队人员及组织机构实施监督，（5）完成皇帝、国防大臣或者海军大臣分配的所有军事任务。

海军陆战队司令为海军陆战队上将，下设两名副司令，五名职能副司令，同时下辖若干部、局、处、室。海军陆战队下设七个职能司令部，分别是：北洋陆战队司令部、南洋陆战队司令部、太平洋陆战部队司令部、印度洋陆战队部队司令部、陆战队作战发展司令部、陆战队后勤司令部、陆战队后备队司令部、陆战队募兵司令部，以及陆战队教育与训练司令部。

海岸警备司令部是海岸警备部队的最高行政机构，其职能包括：制定政策、部队建设、战备训练、兵役动员、武器装备研制与采购和后勤保障等，司令为海军上将。平时，海岸警备部队在帝国国防大臣的授权、指导和控制下，负责海岸警备部队的领导与全面管理，战时则归属大本营海军大臣领导。海岸警备部队司令部下设警备参谋部、地区和区司令部。警备参谋部包括警备参谋长、副参谋长、助理司令以及专业机构和直属司令部，下辖执法与防卫作战、人事与训练、海上安保、采购工程等11个处、室。

帝国海军的作战部队具有双重组织体制和指挥隶属关系，在行政上，海军参谋部负责海军部队的后勤、训练和装备保障；战时由帝国大本营指挥全国海军部队，但是在作战原则上，海军部队必须遵循战略计划，由于不同的海军作战部队在地理位置上处于不同司令部的责任区，因此海军依据不同的作战辖区在大本营指挥下可将各舰队编成了若干个联合舰队，进行具体管理与实施行动。

帝国海军参谋部下辖北洋海军司令部和南洋海军司令部、太平洋海军司令部印度洋海军司令部，南北两洋海军司令和太平洋海军司令部司令为海军上将，印度洋海军司令部司令为海军中将。南北两洋海军舰队分别下辖水面舰艇部队司令部、潜艇部队司令部、陆战部队司令部。除潜艇司令部之外，其他舰种司令部对所辖部队无作战指挥权，主要负责所辖部队的行政管理和物资技术保障，实施人员调动、分配、后勤保障及组织训练。其中水面舰艇部队司令部、潜艇部队司令部、陆战部队司令部为海军中将，其他部队司令为海军少将。