房委會及房屋署在1973年成立。
唐朝詩人白居易說：我生本無鄉，心安是歸處；英諺說：此心安處是吾家(Home is where the heart is)。無論古今中外，安居樂業都令人嚮往。
當今日香港有近45%和54.2%的人口分別居住在公屋/居屋或私樓，而居住在天台屋等臨時搭建物的，不到1%的時候，多少人想到在五、六十年代，遍山鐵皮木屋的日子？當時安居樂業殊不容易。
其實早在五、六十年代，政府已經成立不同的公營房屋組織，為低收入家庭提供廉宜的居所，包括興建徙置大廈的徙置事務處，以及興建廉租屋的屋宇建設委員會和屋宇建設處等。
1953年12月25日石硤尾寮屋區的大火，是香港公共房屋發展史的一個歷程碑。一場大火令到五萬多人失去家園，其中二萬人無處容身，就在街頭架起簡陋的棚屋暫住。1954年4月，政府設立徙置事務專員一職，統籌興建徙置大廈。目的不單在於在短時間內為數以萬計、露宿街頭的災民提供安身之所，還在於以更具成本效益的方法，更基本和長遠地打破寮屋所造成的困局。1955年年底，首批八幢六層高的徙置大廈在石硤尾落成。到1964年，即石硤尾第一批徙置大廈落成後十年，港九新界都建成一幢幢六至八層高的徙置大廈，容納了近五十萬名居民。
半獨立的屋宇建設委員會在1954年按房屋法令成立，由全體市政局議員，另加三位由港督指派的人士組成。具體工作由當時市政事務總署轄下的屋宇建設處推行。1958年落成的北角邨(現已清拆)便是屋宇建設委員會建造的第一個廉租屋邨，每戶除了有獨立廚廁，更有露台和梗房，風評甚佳。不過由於建築所費不菲，因此當年由屋宇建設委員會建造的屋邨只有九個，容納約22萬人。
六十年代的香港，隨著經濟增長，市民最基本的溫飽問題已大致解決，但住的問題卻仍然嚴重。香港可供建築的土地不足，平整土地或移山填海的費用很高，地價、樓價相應地貴，非一般市民所能負擔。加上人口的大幅增長，寮屋問題再度出現。在1971年上任的總督麥理浩認為，當時的政府應該積極介入，以提供廉租居所予有需要人士，因為這不但有助安定社會，而且可增加就業、刺激消費，進一步促進經濟增長。十年建屋計劃便在這背景下展開。
由於屋宇建設委員會無論在房屋設計或管理上，都顯出相當專業的水平，而隨著香港經濟起飛，市民對住屋期望亦有所提高，加上政府銳意改善中下階層整體居住環境，因此屋宇建設委員會的經驗，特別是自給自足社區的建立，便成為當年十年建屋計劃的藍本，目標是為180萬人提供設備安全、有合理居住環境的住所。
要達成十年建屋目標，政府決定重組公營房屋的架構，於1973年設立香港房屋委員會，負責統籌所有政府公共屋邨建設和管理事務，英文名稱則沿用屋宇建設委員會原本的英文名稱Hong Kong Housing Authority，當年的徙置事務處和屋宇建設處則合併成為房屋署，作為房委會的執行機構，標誌著香港公共房屋發展由過去分散的、權宜性質的對策，走向有全盤發展的目標。
時至今日，居住在房委會出租公屋和資助出售房屋的居民，已經分別超過了200萬人和100萬人。
（部分內容摘錄自香港房屋委員會在1999年出版的《家－香港公屋四十五年》）