日本海军的起源可以追溯到神话时代，但作为海军的一个部门，日本海军陆战队的起源就没有那么久远了。有人把袭扰中国沿海的倭寇当成陆战队的鼻祖，但那不过只是一群败战武士跑到中国来，干些打家劫舍的勾当，上不了台面；也有人把丰臣秀吉入侵朝鲜当成是陆战队的活跃时期，这也是过于牵强附会。
比较靠谱的说法，近代日本海军应该要从“幕府海军”开始算起。幕府海军创立于1845年，这支海军一开始只是守海防的警察，等到美国黑船叩关之后，就演变成与中国的海防思想“师夷长技以制夷”一样，用坚船利炮保护日本把洋人给赶回去。有了海军就顺带把海军的地面部队建立起来，这时候还不叫陆战队，而是配属在军舰上的步兵队和炮兵队。
航空科技不发达的时代，战略机动力的军种就是海军。要在短时间内快速把武力投射到地球上的另一个角落，好的工具非军舰莫属；陆战队作为海军的一个部门，事实上就是军舰战力的延伸。日本幕府建立的这支海军用法跟西欧那些国家没什么不同，的差别就在于欧洲列强的陆战队是投射到殖民地维护本国的利益；幕府海军的军舰步炮兵队则以镇压国内反对势力为主，例如镇压1864 年的天狗党之乱，军舰“黑龙丸”炮兵队就向反抗军开火射击。但这也没什么特别，邻近的清朝北洋海军除了御敌于国门之外，也同样出动水师洋枪队镇压台湾地区少数民族的反抗，从这点就能看出海军陆战队快速反应的特性。我们往后要提到的“明治海兵队”也是充满了此种性质。
这支幕府海军规模不大，参与的战事也是对付国内倒幕势力， 且在腥风血雨后随之而来的明治维新中落幕。比较值得一提的是宫古湾海战，这场海战中处于劣势的幕府海军为了夺取明治政府军的新锐军舰“甲铁”，在法国顾问的提议下策划了一次接舷战，打算先挂美国国旗进入宫古湾，等到接近“甲铁” 再改挂幕府旗帜让士兵冲进去控制轮机跟船舵；结果因为军舰形状不利加上对方配有对舱面扫射用的机枪，冲进去的幕府军全部战死。“军舰甲铁斩入队”虽然失败，但这场近代蒸气军舰史上难得一见的接舷战（Boarding）还是可以记上一笔的，只不过斩入队的成员属于陆军而非海军。
打完宫古湾海战后，幕府海军残党继续抵抗，直到箱馆湾海战失败，才在黑田清隆劝说下向明治政府投降，至此幕府海军才完全谢幕。但在此之前半年，另一颗耀眼的新星已经升起，那就是1868年１月17日正式成立的明治海军，后来也自称“大日本帝国海军”，这一年也是明治元年。
称雄太平洋的“大日本帝国海军”还是好几十年后的事，这时候的明治海军很寒酸，只有幕府收缴的3艘军舰和4艘运输船，总吨位加起来 2496 吨，就算把版籍奉还时跟着献给中央的十几条船也算进去，也不过 10972 吨；而且除了一艘“东”号 （ 就是先前提到的“甲铁”，甲铁本意是铁甲舰的意思 ） 是铁甲舰之外，其余都是过时的木质机帆船，指望这些船去“攘夷”只是做梦。但不管怎样这个海军总算是办起来了。
光有硬件没有软件，这个海军还是玩不转的。建设一支海军要很多东西，起码要有船，有了船就要有操纵军舰的人员与营运这些人员的机构组织。这几样里面好办的就是军舰。您别以为欧洲列强会藏私，那时候英、法、德、俄甚至美国都在亚洲明争暗斗，只要拿得出银子，任何型的军舰都可以弄到手。困难的还是人员培训跟组织运用，这才是海军的灵魂。
1870 年，也就是明治二年，明治政府模仿幕府的“长崎海军教习所”在东京筑地开设了“海军操练所”，并聘请英国海军上尉 Horse 担任教官，开始招收学生并且在横滨附近操练。1871 年，为了表示重视又更名为“海军兵学寮”，用了“兵学” 这个学究气重的名词当校名；1873年又聘请了英国海军道格拉斯少校（Douglas,Sir Archibald Lucius） 一行34人来日本，英国人一待就是17年，道格拉斯少校本人只待了两年就离开了。到了 1876年 （ 明治九年 ） 改名为“海军兵学校”，就这样，日本海军的摇篮逐渐成长起来。
至于海军陆战队的培训场所，在“海军操练所”开办两年之后的 1872 年才展开。当年10月制定“海军条例”，规定掌管海军人员的水兵本部管辖海军海兵队。先说这个水兵本部，当时的水兵包含三种人：水勇、水夫、乐手；日本海军要这三种身份的人把港口警备跟水战都包揽下来，然后现在多加了一种海兵。海兵又分成步兵和炮兵，二科合称“海兵队”，人员都是直接从船上的水勇、水夫改编而来。
日本海兵队学自英国海军，明治海兵队跟幕府海军学荷兰人不一样的地方是：幕府海军的步炮兵队是配属在船上，而明治海兵队却是直接建制在军舰上，本身就是军舰的一个部门，军舰有大有小海兵队就有大有小，指挥官的阶级也不一样，从尉官到下士，什么级别的都有。为了要负责军舰内部的军纪纠察，海兵队与陆军宪兵一样要变成另外的独立体系，在水兵本部底下设置海兵队本部，除了原本的步兵和炮兵，还把与操船无关的乐队、鼓队也配属进去。