李香琴一生只有一段婚姻,當年只有17歲的琴姐與擔任文武生的蕭仲坤組成戲班,並前往越南表演。日久生情下在當地結婚,並誕下女兒蕭紫筠。不過,婚姻僅維持7年便告吹,之後琴姐一直未有再婚。
由於女兒早婚,不久更誕下兩名兒子,令三十多歲的李香琴成為外婆。雖然當時琴姐不乏追求者,但有感成為外婆再嫁的話,「好醜」,於是打消再婚念頭。
提到琴姐的緋聞,不得不提譚炳文。二人交情深厚,他們因為合作,經常出雙入對,70年更合資開電影公司。在觀眾眼中,他們是公認的一對,就連炳嫂也對因為他們的緋聞而打翻醋埕。琴姐曾在訪問中說道︰「我哋唔係拍拖,但有感情,大家合作咁多年,點講都會有感情,好多宴會都會請我哋一起出席,佢又唔肯帶太太去,所以人哋就將我哋當成情侶。」
譚炳文於2017年接受商台梁泰來訪問時,指幕前與琴姐最夾,對於二人傳足四十年的緋聞,「人傳就由得傳,自己都唔理。」主持問到炳嫂有否因而呷醋,「唔理炳嫂呷唔呷,都傳咗幾十年,仲呷乜鬼。」
譚炳文於去年9月病逝,琴姐的女兒去年出席炳哥喪禮時,表示有把炳哥的死訊告之母親,「佢精神有問題,思想有差異,冇乜表示,佢唔知老拍檔走咗,一路有老拍檔喺心。」如今兩位好拍檔可在天上相遇。