Arsitek Armand-Claude Mollet[1] memiliki properti yang terletak di depan jalan menuju desa Roule, sebelah barat Paris (sekarang Rue du Faubourg Saint-Honoré). Ia menjualnya pada tahun 1718 kepada Louis Henri de La Tour d'Auvergne, Comte Évreux (keluarga: Adipati dan Pangeran Bouillon dan Sedan: La Marck | von der Marck), dengan persetujuan bahwa Mollet akan membangun sebuah hôtel particulier untuk penghitungan tersebut, dengan pintu masuk halaman depan dan didukung oleh taman. Hôtel d'Évreux selesai dan didekorasi pada tahun 1722, dan meskipun mengalami banyak modifikasi sejak itu, tetap menjadi contoh yang bagus dari gaya klasik Prancis. Pada saat kematiannya pada 1753, Évreux adalah pemilik salah satu rumah yang paling banyak dikagumi di Paris, dan dibeli oleh Raja Louis XV untuk kediaman Marquise de Pompadour, dan para gundiknya. Para penentang menunjukkan ketidaksukaan mereka terhadap rezim dengan menggantung tanda-tanda di gerbang yang bertuliskan: "Rumah Pelacur Raja".[2] Setelah kematiannya, bangunan ini dikembalikan ke kerajaan.
Pada 1773, bangunan dibeli oleh Nicolas Beaujon, seorang bankir dan salah satu orang terkaya di Prancis, yang sedang membutuhkan "rumah pedesaan" mewah (karena kota Paris belum sampai sejauh ini) yang sesuai untuk menyimpan koleksi lukisan-lukisannya yang menakjubkan. Untuk tujuan ini, ia menyewa arsitek Étienne-Louis Boullée untuk membuat perubahan besar pada bangunan (serta merancang taman bergaya Inggris). Di sana dipamerkan mahakarya-mahakarya terkenal seperti Para Duta Besar karya dari Holbein (sekarang tersimpan di Galeri Nasional di London), dan Bohemia karya Frans Hals (sekarang di Louvre). Perubahan arsitektur dan galeri seninya menjadikan kediaman ini terkenal secara internasional sebagai "salah satu rumah utama Paris".