sześciokrotnie żonaty: 1. Ruth Baumann (od 1939, rozwód), syn Emile (ur. 1940); 2. Adrienne Vanderbilt (od 1947, rozwód), córka Adrienne; 3. Lois Long (rozwód); 4. Marilyn Ambrose (1962 - 1963, rozwód); 5. Terry Brook (1965 - 1975, jej śmierć); 6. Nancy Mindlin (od 1978 do jego śmierci)