Филипп был потомком союза семей Скайлеров и ван Кортландов, входивших в число старейших и знатнейших семейств Нью-Йорка, а его жена, Кэтрин, была из ван Ренсселеров, самой влиятельной семьи в северной части штата, чьи корни уходили прямиком к первым голландцам, высадившимся на этом берегу в начале XVII века.