Мэтт Диллон ни разу не был женат. О его личной жизни известно лишь то, что в 90-х годах с 1996 по 1998 год он встречался с Кэмерон Диас. Детей у Мэтта Диллона нет, зато у него есть множество племянников и племянниц.
Занимается музыкой, играет на ударных, любит кубинскую музыку, имеет большую коллекцию виниловых пластинок. Часто посещает Южный Судан в рамках программы по возвращению беженцев.