甚麼是文化遺產？按照聯合國教科文組織的定義：文化遺產是一個範圍無限、數量無限、年代無限的寬泛概念。簡單來說，只要是人類創造、製作和構想出來的任何有形(物質)或無形(非物質)的東西，都是文化遺產。
那麼是不是所有的文化遺產都值得保留呢？答案明顯不是，這個世界的資源是有限的，一棟建築物被保留，除了維護和保育這文化遺產的直接成本外，還意味著在可見的將來這建築物所在的土地不能再開發，損失了的機會成本需要全社會所有人來承擔。
因此，在如何取捨文化遺產和保育的問題上，我們有了文物的概念。文物是文化遺產的核心和精華，文物不僅有歷史價值、藝術價值、科學價值，還有豐富的教育價值。也就是說，只有被定義為文物的文化遺產才值得保育。
更深層的闡釋是，文物可從不同側面反映各個歷史時期人類的社會活動、社會關係、意識形態以及利用自然、改造自然生態環境的狀況。
甚麼樣的文化遺產需要保育？考慮的不止一個理由：歷史價值、藝術價值、科學價值、教育價值，乃至社會和意識形態的價值都需要綜合評估。
以剛剛升格為法定古蹟的大會堂為例，雖然只有60年歷史，但其現代主義建築風格引領了香港建築的潮流；同時見證了多次重大的歷史時刻，例如五任港督的就職典禮；其被列為古蹟保育是實至名歸。
反之珍寶海鮮舫的歷史太短，畫舫船的藝術裝修商業味太濃，並無特色；加上其緬懷的舊時代東方風情與新時代香港已經格格不入。作為文物的多方面價值都不夠分數，不予以保育是理所當然的了。