大島浩1886年4月19日,大島浩生於名古屋,其父大島建一是軍人出身,年輕時曾留學德國,對德軍的訓練教育感受很深,他生得鼻直口方,很是英武。大島健一教育兒子完全是德國式教育。他命令大島浩每天必須記住10個德語單詞,晚飯前進行背誦。每逢星期日和冬夏兩個假期,大島浩又被送到德國駐日使館人員的家裏,在思維、遊戲、生活等方麵進行全方位式德式化熏陶。因此,大島浩從小就爭強好勝,脾氣暴躁。
大島浩和東條英機關係很好,如果不是因用功過度而患胸膜炎休學一年的話,他和東條英機就是同班同學。
1905年,大島浩從陸軍士官學校畢業。他的要塞炮兵課程成績名列榜首,因此被分配到東京灣要塞炮兵隊服役。
1908年,大島浩晉升為中尉;1915年,又拿到陸軍大學的畢業證書,畢業成績名列14;1916年升為上尉,從此他步步高升,青雲直上;1921年出任駐德大使館副武官。
大島浩踏上德國的土地之後,受到了像返回祖國般的熱情款待。因為他的父親大島健一在擔任陸軍大臣時,對第一次世界大戰中的德軍俘虜非常照顧,父親的好名聲使兒子得到了好處。
大島浩把自己完全德國化了。他的軍服都要在德國軍官常去的服裝店製作;帽子也是德國陸軍的樣式,帽簷兒很高;大衣也是開胸很大的德國式。總之,除他的個頭比較矮小之外,簡直跟德國軍官一模一樣。
大島浩晉升為少校後,立即於1933年調任駐奧地利兼匈牙利公使館武官;一年半後回國,先後擔任了第8野戰重炮團營長、第10野炮重炮團團長、參謀本部處長等職。1934年3月,他正式出任駐德大使館武官。之後10餘年,他一直為日德軍事同盟而奔波,出謀劃策,搜集情報,極盡外交家兼諜報人員之能事。