在殖民地管治早年，港英政府並沒有積極推動基層教育工作，但卻沒有干預海外宗教組織來港辦學。慈善團體及由本地華人仕紳興辦的機構，也可以營辦學校。根據各種文獻記載，殖民地政府沒有在資源及政策上給予這些辦學團體多少支持，但也看不到有任何記錄說這些早期的教育工作被港英政府打壓或干預。學校的數字與在學人數事實上逐年增加，課程及學制也沒有嚴格的規範。到1887年，有幾位私人執業的西醫，還興辦了第一所專上學院「香港華人西醫學院」，即今天香港大學醫學院的前身。
殖民地政府對教育加強管理，大概始於1898年中英簽定「展拓香港界址專條」之後。滿清政府同意把九龍界限街以北至深圳河之間的一大片土地，包括二百多個細小的島嶼，租借予英國，為期99年。港島及九龍半島基本上是漁港，也有商埠的性質，人口有很高的流動性，傳統村落不多，英國人於1842年接收管治，基本上沒有遇到過強烈的抗拒。當年新界地區就有約八百個自然村，部分有自己的私塾及傳統村校，部分村落對港英這個外來政權心存抗拒，甚至組織武裝民團來保衛家園，發生過與英軍對戰的「六日戰爭」。
到抗港英事件逐漸平息之後，殖民地政府明白到不能以管治港島及九龍半島那套來管治新界，一方面表明會尊重新界傳統律例、文化及生活方式，另一方面也希望減低村民對殖民地政府的敵意，其中一個焦點就是要加強對傳統村校的監督，後來發展起來的視學制度就是源於這種政治考慮。但如果看過當時的資料，也應該公道點說，港英政府沒有強加任何洗腦或奴化式的教材。直到1905年滿清取消科舉之前，部分村校仍然以把子姪送考科舉做官為目標。港英政府也沒有為當時的教育設定一套標準課程，部分學校把英國那套照搬來香港，也有部分學校因應其宗旨及本地情況自行編訂課程，更看不到政府當年禁止學校講到鴉片戰爭。如果說港英早年沒有大力推動平民教育，尚且可說公允，但說港英長期推行奴化教育，根本就是無中生有了！