Kada je princ Philip imao tek nešto više od godinu dana, njegov stric, tadašnji grčki kralj Konstantin, bio je prisiljen na abdikaciju. Phillipov otac, mlađi kraljev brat, završio je krajem te 1922. godine na revolucionarnom sudu koji mu je poštedio život, ali je presudio da on i njegova obitelj moraju biti protjerani iz Grčke.
Maleni Phillip i njegova obitelj utočište su pronašli u vili imućne tete u Francuskoj, blizu Pariza, no obitelj se uskoro nakon dolaska u Francusku raspala. Phillipova majka je pretrpjela živčani slom, a prije toga je tvrdila da prima božanske poruke i da ima iscjeliteljske moći. Odvojena je od djece i poslana na liječenje u Švicarsku. Među liječnicima koji su savjetovali o njezinu zdravlju bio je i Freud koji je predložio zračenje jajnika kako bi se ubio njezin libido, koji je, prema slavnom austrijskom psihijatru, bio krivac za njezine psihičke probleme.
Phillipove četiri starije sestre sve su se ubrzo udale. Najmlađa te iste 1930. godine, kada je imala tek 16 godina, a iduće godine, jedna za drugom, vjenčale su se i tri starije sestre. Sva četvorica sudruga bili su Nijemci, trojica povezana s nacistima, zbog čega nijedna nije prisustvovala Phillipovom vjenčanju s kraljicom Elizabetom II.
Veza sa srpskom kraljevskom obitelji
Kći druge sestre kralja Phillipa udala se kasnije za jugoslavenskog princa Tomislava (sina kralja Aleksandra I. Karađorđevića), kojeg je upoznala dok je bio u egzilu u Londonu. Kći Phillipove najmlađe sestre također se udala u srpsku kraljevsku obitelj, za princa Andreja, trećeg Aleksandrovog sina.
Nakon odlaska majke i sestara, Phillip je završio u Britaniji, gdje su brigu o njegovu obrazovanju i podizanju preuzeli majčini rođaci. Inače, njegova majka Alice bila je prapraunuka britanske kraljice Victorije i rođena je u dvorcu Windsor. Rođena je gluha, a u 45. godini života 1930. godine dijagnosticirana joj je shizofrenija te je prisilno odvojena od djece i stavljena u umobolnicu u Švicarskoj.
Alice je kasnije puštena iz sanatorija nakon čega se vratila u Grčku gdje se posvetila humanitarnom radu i brizi za druge, a za vrijeme Drugog svjetskog rata spašavala je Židove zbog čega je proglašena Pravednicom među narodima. Njezino je ime jedno od upisanih u muzeju holokausta Yad Vashem u Jeruzalemu.
Alice je u svom životu postala duboko religiozna i preobratila se na pravoslavlje, a u Ateni je nakon rata osnovala vjerski red, o čemu je sanjala i prije Phillipova rođenja. Umrla je s 86 godina u Londonu, kamo ju je pozvala njezina snaha, kraljica Elizabeta II. Phillipov otac umro je pred kraj Drugog svjetskog rata.
Potomak kraljevskih obitelji
Phillip se borio na strani Britanaca, a njegov otac je za vrijeme rata bio u Vichyjevskoj Francuskoj. Živio je na francuskoj rivijeri po hotelima i vilama, i raskošno trošio na ljubavnicu kasnije ostavivši Phillipu nešto imovine, ali i popriličan dug.
Princ Phillip s očeve strane pripada kraljevskim obiteljima Danske i Grčke. Kao i danska kraljica Margareta II., norveški kralj Harald V., španjolska kraljica Sofia, Philip je potomak kuće Glücksbur, skraćeno od Kuća Schleswig-Holstein-Sonderburg-Glücksburg, jedne od grane Kuće Oldenburg, čiji su članovi u pojedinim razdobljima vladali Danskom, Norveškom, Grčkom i nekim njemačkim državama.
Njegov otac je sin grčkog kralja koji je rođen u Kopenhagenu, a kojeg je kao 17-godišnjaka za grčkog kralja izabrao grčki parlament. Ustoličenje mladog Georgiosa, Philipova djeda, predložile su velike sile - Britanija, Francuska i Rusija. Oženio je Ruskinju Olgu Konstantinovu iz obitelji Romanov koja je tada imala 16 godina. Ubijen je u atentatu 1913. godine. Naslijedio ga je sin, Phillipov stric.
Philip je s majčine strane povezan je s britanskom kraljevskom kućom. Naime, princeza Alice bila je izravni potomak kraljice Victorije čija su se djeca udala i oženila u kraljevske i plemićke obitelji diljem Starog kontinenta, zbog čega je Victorija dobila nadimak "baka Europe", a njezini geni su odgovorni za širenje hemofilije među europskim kraljevskim kućama.