香港有一個城市傳說話，禮賓府即英殖時期的港督府，在日治期間被日軍遺下一具日治年代的神秘惡毒法器，當中涉及二戰時期日本侵略東南亞諸國常用的「厭勝」之術，即在佔領的重要地點插下金屬樁或木棒，象徵永受日本管治。而木棒上刻有日本老牌建築商「清水組株式會社」的字樣。對於「厭勝」一說已沒有辦法去確認，但今天的禮賓府卻隱藏了一個日治時期的建築。
1941年12月8日，日軍進攻香港，僅十八日香港便失守，楊慕琦港督在12月25日宣布投降，香港進入日治時期。而港督府很快就成為了香港佔領地總督官邸，日治政府曾對其進行了大規模擴建工程。
港督府的大規模修葺及擴建工程始於磯谷廉介任日治香港總督時期，並由南滿鐵路的日本建築師藤村清一負責。
磯谷透過任關東軍時代的關係，向南滿鐵路本社建築課的青木菊治郎商談，青木菊治郎原本屬意由工務課建築系相賀兼介負責工程。訪港時相賀兼介同行外並帶同任職滿鐵事務所的藤村清一和任職滿鐵哈爾濱鐵路局工務課村上次一起訪問。但最終選擇了年僅二十六歲的年輕工程師藤村清一的設計樣式。
藤村說服了頑固的磯谷，加進自己的設計，把兩座建築物的外貌重新粉飾，加建了中央塔樓。承接工程的是清水建設台灣分社，本地的生利建築公司負責建造。屋頂瓦片是中國的鐵路公司所製，請來京都的技師設計庭園，內部裝修則是大阪的室內裝修公司承包。
從動植物公園看港督府，塔樓的外形會比較突出，但怎樣看都難以洞悉為日式的建築物，原因是藤村清一將整項工程把原有的總督府改建為和洋風格兼容，並節省經費而盡量留了原有的建築物。塔樓採用方形平面設計，四角屋檐會向上翹起，塔頂有尖頂裝飾，都是典型的日本塔樓設計。
改建後的港督府有着日式茶室和由京都園藝家設計的庭園，其中最顯著的改變，是在主樓及副翼之間加建了一座日式的塔樓，原意用作宣示霸權的象徵，但當日軍戰敗後除了塔樓外，其餘都被拆卸改建。
而傳說中刻有日本「清水組株式會社」字樣的木棒，究竟是「厭勝」巫術還是當日建築工程或拆卸工程留下的建築材料早已不得而知，但港督府隱藏日治建築，讓後世回顧日治香港的歷史，就是感謝英國殖民政府的氣量。