在日治時期的香港，日軍打算興建三個建築物以示日本皇軍對香港的極權統治，但最終只有改建港督府能完工並且遺留下來，而未完成的忠靈塔就在戰爭結束後被英軍摧毀。
很少人知道傳說中的忠靈塔的位置，更難說香港人對忠靈塔的理解。著名掌故學家魯言在香港掌故指「日本佔據軍又為了紀念他們在香島攻略戰中戰死的官兵，特地在金馬倫山上建一座忠靈塔，作為陣亡日軍紀念碑。但還未開幕日軍已投降，即被炸毀」，另一段紀錄是這樣說：「日本在港島寶馬山擬建忠靈塔，未及完成，日本就已宣告投降。 1947年忠靈塔被香港政府炸毀，原址即今日馬己仙峽道的金馬倫大廈。」兩段資料都有提供忠靈塔，但忠靈塔的模樣如何，以及忠靈塔的意義卻鮮為人知。
中日戰爭愈陷愈深後，陣亡日軍不斷增加，日本傳媒一窩蜂宣傳「一朝戰死，忠靈報國」的口號，開始了「忠靈彰顯運動」。日本軍部與神道教界達成幾項協議包括建立忠靈塔作為公立的陣亡軍人墳墓，而忠靈塔設計比賽花了不少人力物力宣傳，甚至找著名建築師代言，但由於事情由軍部勢力牢牢控制，摩登的設計都被剔走，結果，建於中國東三省各地甚至香港的忠靈塔，全是有如大型墓碑的作品。
在香港方面，日軍總督磯谷廉介剛上任，便著手興建香港地標式建設。負責改建總督府的滿洲鐵路年輕工程師藤村清一，亦受命設計忠靈塔。日軍總督部的指示說：「香港、九龍全境，港內出入船舶，以至南海遙遠船艦俱可認識景仰……金馬倫山西邊兩樓所處高地……標高三百五十五米……歷支那事變、大東亞戰爭，建立華南戰區唯一忠靈塔，供奉所有陣亡軍人和軍屬遺骨，昭其遺烈，明幟聖戰，以壯國民精神……」，可見忠靈塔就是日軍殖民香港的標記。
香港忠靈塔高八十米，重九百噸，工程資金由香港市民「捐獻」，香港市民被迫捐款高達七十萬日圓。但忠靈塔的建築工程受戰局惡化影響，資金、材料兩缺，遲遲不能完工。香港社會更流傳著「忠靈塔，忠靈塔，今年起來明年拆」的小曲，預言忠靈塔的末路。果然，忠靈塔還沒起好，日本已經戰敗投降。戰後英國光復香港不久拆毀忠靈塔。
忠靈塔灰飛煙滅，但日軍在忠靈塔埋下作為「鎮塔之寶」的寶刀，則不知所終。