Отец — Колин Кавилл — офицер (род. 1944). Он служил на флоте. Уйдя со службы, Колин Кавилл стал финансовым брокером. В данное время возглавляет «Management Team», принадлежащую Генри. Также числится директором в их семейной продюсерской компании «Прометей продакшн».
Мать — Марианна Кавилл — работала в банке. В молодые годы была фотомоделью.
Кавилл рос добрым мальчиком, любил своих родителей и старших братьев.