Menyelesaikan SMA di SMA Negeri 4 Surakarta pada tahun 1976. Selanjutnya, Mardiasmo menamatkan kuliah S1 di Fakultas Ekonomi Universitas Gadjah Mada pada 1981. Ia kemudian melanjutkan pendidikannya ke jenjang S2 di Universitas Bridgeport, Connecticut, Amerika Serikatpada 1989 mengambil Master of Business Administration. Pada 1999, dia menamatkan pendidikan S3 School of Public Policy di Universitas Birmingham, Inggris.
Mardiasmo kembali ke Kementerian Keuangan sebagai Wakil Menteri Keuangan. Ia dilantik oleh Presiden Joko Widodo pada 2014, dan selesai menjabat hingga tahun 2019. Ketika menjadi wakil menteri, ia mewakili Kementerian Keuangan sebagai anggota ex-officio Dewan Komisioner Otoritas Jasa Keuangan pada Januari 2015 hingga masa jabatanny sebagai Wakil Menteri Keuangan berakhir.