Kakek pihak ayah Bayley, Dr. Richard Bayley, adalah profesor di Columbia College yang membentuk sistem karantina New York. Dr. Bayley memiliki tiga anak dari istri pertamanya, salah satunya adalah Elizabeth Ann Seton, yang dikanonisasikan pada 1975 sebagai santaKatolik kelahiran Amerika pertama.[1] Setelah kematian istri pertamanya, Dr. Bayley menikahi Charlotte Amelia Barclay, seorang anggota keluarga Roosevelt, dan keduanya memiliki tujuh anak, yang keenam adalah ayah Uskup Agung Bayley, Guy Carleton Bayley, yang lahir pada 1786. Guy Carleton Bayley, seorang dokter seperti ayahnya, menikahi sepupu keduanya Grace Roosevelt, yang berumur enam tahun lebih muda, pada 4 November 1813. Grace Roosevelt adalah putri dari pasangan Jacobus Roosevelt dan Maria Eliza Walton, dan saudaranya, Isaac Roosevelt, adalah kakek dari kelak PresidenFranklin D. Roosevelt.[2]