1841年鴉片戰爭後，香港島割讓給英國，從此成為了鴉片走私到廣東的重要基地。同治七年(1868年)兩廣總督瑞麟下令於佛頭洲、汲水門(馬灣)、九龍寨城及長洲設置厘關，以徵收洋業厘金及查緝鴉片走私等事宜。
同治十年，粵海關在佛頭洲等處設立關卡，合並厘卡，兼收常關關稅。1899年英國強行租借新界後，佛頭洲稅廠被關閉，土地劃歸香港政府，其後租作農地之用。
荒廢幾十年後，1962年朱維德在稅關遺址發現一塊殘缺石碑。至1979年，古物古蹟辦事處考察該址，發現由4闕斷碑組成的一通石碑，上刻「德懷交趾國貢賦遙通」，下刻「稅廠值理重修」，亦發現一些石柱、石板和基石等。
2004年，古蹟辦進行了田野考古調查和試挖。勘查發現了碼頭和石築水池、立牆和地面建築等殘跡。發掘出土有石錛、石柱礎、石碑、清代銅錢、香港硬幣、瓦當、滴水、青花瓷碗碟等。
推測佛頭洲遺址應尚存清代兩期的稅關遺跡，和相關聯的廟宇。目前在香港歷史博物館的一座石香爐，其上刻有「佛頭洲 福德宮」，可能就來自稅關所在的廟宇？而地表採集的史前石錛更顯示該址存有早期文化遺存的可能性。
我們從將軍澳工業村中國聯通環球中心旁邊的小徑行到海邊，原來有一段棧橋可通到稅關遺址所在的海灘台地，可惜幾年前被颱風摧毀了。現在只能手腳並用沿著峭壁攀爬過去，一不小心就會掉到海裏，有一定的危險性。
遺址在海灘上方的樹林裏，能看見明顯的地表建築痕跡，附近還有現代民居。現代地圖把這裏叫做佛堂洲，山頂高100米；對開有著燈塔的小島才叫佛頭洲。