Dalam matematika, statistik, keuangan, ^[1]dan ilmu komputer, terutama dalam pemelajaran mesin dan masalah invers, regularisasi adalah proses yang mengubah jawaban suatu masalah menjadi jawaban yang lebih sederhana. Metode ini sering digunakan untuk memecahkan masalah yang sulit atau untuk mencegah overfitting.^[2]

Meskipun prosedur regularisasi dapat dibagi dalam banyak cara. Regularisasi dapat dibagi sebagai berikut.

• Regularisasi eksplisit adalah regularisasi yang dilakukan ketika seseorang secara eksplisit menambahkan suatu suku dalam masalah optimasi. Suku-suku ini dapat berupa prior, penalti, atau kendala. Regularisasi eksplisit umumnya digunakan pada masalah optimasi yang tidak terdefinisi dengan baik (ill-posed optimization problems). Suku regularisasi, atau penalti, memberikan biaya pada fungsi optimisasi untuk membuat solusi optimal menjadi unik.
• Regularisasi implisit adalah semua bentuk regularisasi lainnya. Ini termasuk, misalnya, early stopping, penggunaan fungsi kerugian yang robust, dan penghapusan data pencilan (outlier). Regularisasi implisit pada dasarnya ada di mana-mana dalam pendekatan pemelajaran mesin modern, termasuk penurunan gradien stokastik untuk melatih jaringan saraf dalam, dan metode ensemble (seperti Random Forest dan Gradient Boosted Tree).

Dalam regularisasi eksplisit, terlepas dari masalah atau modelnya, selalu ada dua suku: suku data, yang terkait dengan kemungkinan pengukuran (likelihood), dan suku regularisasi, yang terkait dengan prior. Dengan menggabungkan keduanya menggunakan statistik Bayesian, kita dapat menghitung posterior yang mencakup kedua sumber informasi tersebut, sehingga menstabilkan proses estimasi. Dengan menyeimbangkan kedua tujuan ini, kita memilih untuk lebih berorientasi pada data atau untuk menegakkan regularisasi (untuk mencegah overfitting). Ada cabang penelitian khusus yang membahas berbagai kemungkinan regularisasi. Dalam praktiknya, seseorang biasanya mencoba regularisasi tertentu dan kemudian mencari tahu densitas probabilitas yang sesuai dengan regularisasi tersebut untuk membenarkan pemilihan tersebut. Ini juga bisa dimotivasi secara fisik melalui akal sehat atau intuisi.

Dalam pemelajaran mesin, istilah data terkait dengan data pelatihan, sementara regularisasi adalah pilihan model atau modifikasi pada algoritma. Tujuan utamanya selalu untuk mengurangi kesalahan generalisasi, yaitu skor kesalahan dengan model terlatih pada set evaluasi, bukan data pelatihan.^[3]

Salah satu penggunaan regularisasi yang paling awal adalah regularisasi Tikhonov (regresi ridge), yang terkait dengan metode kuadrat terkecil.

Lihat juga

• Interpretasi Bayesian tentang regularisasi
• Pertukaran bias-varians
• Regularisasi matriks
• Regularisasi dengan penyaringan spektral
• Kuadrat terkecil yang teratur
• Pengali Lagrange
• Pengurangan varians

Catatan

Referensi

• Neumaier, A. (1998). "Solving ill-conditioned and singular linear systems: A tutorial on regularization" (PDF). SIAM Review. 40 (3): 636–666. Bibcode:1998SIAMR..40..636N. doi:10.1137/S0036144597321909.