Rogers trouwde voor het eerst op 19-jarige leeftijd met Janice Gordon. Hun huwelijk volgde op de geboorte van hun dochter. Ze trouwden in de hoop hun liefde voor haar ouders te bewijzen, maar de verbintenis eindigde slechts twee jaar later. Na de scheiding nam Rogers afstand van zijn dochter en liet Gordons tweede echtgenoot de rol van vader op zich nemen.
Rogers trouwde zonder veel uitstel met zijn tweede vrouw, Jean Rogers, hetzelfde jaar dat zijn eerste huwelijk eindigde. Hun relatie verslechterde echter snel en na slechts drie jaar gingen ze uit elkaar.
Rogers’ derde huwelijk met Margo Anderson bleek duurzamer en duurde meer dan tien jaar. In deze periode verwelkomden ze hun eerste zoon, Kenny Jr. De eisen van haar carrière en het voortdurende reizen zorgden echter voor spanningen en het stel ging uiteindelijk uit elkaar.
In 1977 trouwde Rogers met zijn vierde vrouw, actrice Marianne Gordon. Samen kregen ze een zoon, Chris. Bijna twintig jaar lang bleef het stel bij elkaar, maar op 50-jarige leeftijd voelde Rogers opnieuw de druk van zijn carrière, wat uiteindelijk leidde tot hun scheiding in 1993.
