У Риттера был врожденный дефект, известный как колобома в правом глазу. Его отец, Текс Риттер, был поющим ковбоем и звездой утренников, а мать, Дороти Фэй (урожденная Саутворт), была актрисой. У него был старший брат Томас "Том" Мэтьюз. Риттер учился в Голливудской средней школе, где был президентом студенческого совета.