戲如人生，謝賢的情史跟其影視角色一樣多姿多彩！曾跟他有一段情的除了在戲中的當紅粵語片女星嘉玲、蕭芳芳，亦曾有過兩段婚姻，他的首任太太是「一代玉女」甄珍，但倆人的婚姻僅維持三年，甄珍隨後改嫁劉家昌但最後同樣離婚收場。甄珍曾透露當年鬥氣才與謝賢離婚，也坦言謝賢是她一生最愛。
謝賢與甄珍於1977年離婚後，翌年他追到年輕15歲的女星狄波拉，兩人拍拖一年即閃婚，婚後育有一對子女霆鋒及婷婷，可惜最終倆人也於1995年和平離婚。他們在分開後一直保持友好關係，狄波拉於2000年與新加坡籍機師「鬍鬚Kong」江耀城再婚時，謝賢更親自到場送上祝福，兩家人亦經常在節慶日子相約聚會。
直至2005年，已年近七旬的謝賢與相差多達49歲的年輕模特兒CoCo譜「爺孫戀」，兩人相戀長達12年，更發展至同居關係，不時高調在人前拍拖，絕不介意外界目光。不過謝賢最終以不想害人為由拒與CoCo結婚，並主動向她提出分手，讓她有更幸福未來。「爺孫戀」於2017年結束，傳謝賢當時以2000萬作分手費，不過CoCo透露，其實兩人從未正式說過「分手」，她憶述轉捩點在於一次爬山，謝賢驚覺自己的身體機能與她出現顯著差距，為了讓CoCo擁有更好的未來，便鼓勵她多離開香港見世面及發展生意。回想起2018年底兩人最後一次吃飯，謝賢給予CoCo一個大大的擁抱，並慨歎：「這次分開，我們不知道甚麼時候再見了」，盡顯無奈與不捨。
