Harold Griffith Oliver lahir di Hastings, Minnesota, 4 April 1888, dari pasangan Mary Simmons (lahir di Minnesota) dan Frederick William Oliver (lahir di Inggris). Dibesarkan di lingkungan Tom Sawyer, ia dikaitkan dengan para penjebak, para penebang dan para pekerja mesin uap, dan menjadi seorang pendayung kano, pemandu, dan pemburu muskrat ketika ia berusia sangat muda. Ayahnya, Frederick Oliver, menjalankan sebuah toko umum dalam kondisi-kondisi pendahulu.
Orangtua Harry kemudian bermukim di sebuah peternakan ayam di Santa Cruz, California di mana Oliver bekerja sebagai pengendara burro untuk Pelayanan Kehutanan AS. Pada 1910, Oliver kembali ke Minnesota untuk menikahi Alice Elizabeth Fernlund, "seorang penjebak beruang Minnesota kecil yang cantik" yang kemudian memberikannya dua putri, Amy Fern dan Mary Alice. Oliver dan Alice kembali ke peternakan ayam di Santa Cruz.
Tahun-tahun Hollywood
Oliver bekerja pada berbagai produksi Hollywood dari sekitar 1911 sampai 1941, yang membuatnya naik pangkat dari pelukis set menjadi perancang set dan menjadi penata seni. Sebuah catatan lengkap dari seluruh filmnya mungkin tidak tersedia, namun berikut ini adalah sebagian daftarnya: