位于日本首都东京市新宿区的防卫省的前身可溯及1950年因韩战爆发而成立的警察预备队本部,以及之后的保安厅、防卫厅。
2001年日本精简中央行政单位时,将22个省厅合并为12个,原来的二级单位‘厅’皆升格为省或合并为省,仅防卫厅丝毫未更动。
2006年11月30日,日本众议院在自由民主党、公明党以及最大在野党的联合支持下,通过让日本首相安倍晋三内阁之防卫厅升格为防卫省,成为中央一级单位。12月15日,日本参议院在自由民主党、公明党、民主党、国民新党的联合支持下,又通过同一项议案,因此只要安倍内阁择期即可正式升格。根据日本法律,防卫厅长官之名在升格为省后,即更名为防卫大臣。
随着《防卫厅设置法》的修改,防卫厅升格为防卫省,成为日本中央一级单位,日本首相仍为自卫队的最高指挥官。然而,防卫大臣将从此负责日本全国的国防事务,未来不需要再经过内阁,即可自行向国会两院提出与国防相关的法案及预算案。另外,原本定义为“附属任务”的国际紧急救援协助事务、联合国维和事务以及根据《周边事态法》的后方支援等事宜,亦将视为“正常任务”,不用再以个案的方式经国会两院审议通过。2007年7月4日首任防卫大臣久间章生因发表“美国向日本投掷原子弹是无奈之举”的言论而辞职,由小池百合子接替其出任防卫大臣,成为日本历史上首名负责防卫事务的女性内阁成员。现任防卫大臣为中谷元。