Pada tahun 2011, Arifinto mengundurkan diri sebagai bentuk tanggung jawab atas sorotan yang diarahkan pada dirinya karena kasus gambar porno yang masih diperdebatkan status kasusnya.[3] Ia kemudian digantikan oleh Mardani Ali Sera.
Arifinto menikah dengan seorang wanita bernama Nina Masriana dan telah dikaruniai lima orang anak.
