Apa itu Model Ensemble?
Seperti namanya, ensemble hanyalah beberapa algoritma pembelajaran mesin yang disatukan. Pendekatan ini sering digunakan untuk meningkatkan "kualitas positif" dari masing-masing algoritme, yang dengan sendirinya dapat bekerja dengan buruk, tetapi dalam kelompok - ansambel, memberikan hasil yang baik. Saat menggunakan metode ensemble, algoritma belajar secara bersamaan dan dapat memperbaiki kesalahan satu sama lain. Contoh khas metode yang ditujukan untuk menyatukan siswa "lemah" ke dalam kelompok siswa yang kuat adalah (Gbr. 1):
Mempertaruhkan . Model individu yang berbeda dapat dipertimbangkan. Ada meta-model, yang mengambil model dasar sebagai input, dan ramalan terakhir adalah outputnya.
mengantongi. Model homogen dipertimbangkan, yang dilatih secara independen dan paralel, dan kemudian hasilnya dirata-ratakan. Perwakilan mencolok dari metode ini adalah hutan acak.
Meningkatkan. Kami mempertimbangkan model homogen yang dilatih secara berurutan, dan model berikutnya harus memperbaiki kesalahan yang sebelumnya. Tentu saja, peningkatan gradien muncul dalam pikiran sebagai contoh di sini.
Ketiga metode tersebut akan dibahas lebih rinci di bawah ini.
Mempertaruhkan
. . sklearn.ensemble python AdaBoost, Bagging, GradientBoosting, Stacking ( ).
: . , (SVM), k- (KNN) . . ( ), - .
(. 2):
k ( , -).
, k- , , k-1 . .
.
.
2
:
, .
, , . , , , .
, , , . , , . n , n - . , ~ 0.632*n . , m m .
. , .
, , (. 3). ai .
(. 4):
() , , - . , , . , , . , , (. 5). .
:
, , . , - , , . : - .
, . , , .
: AdaBoost. - , (. 6).
. :
, .
,
, ,
- AdaBoost, , , . , , .
:
Jadi, kami melihat bahwa untuk meningkatkan kualitas fungsi model pembelajaran mesin individu, ada sejumlah teknik untuk menggabungkannya ke dalam ansambel. Teknik-teknik ini sudah tertanam dalam produk perangkat lunak dan Anda dapat menggunakannya untuk meningkatkan solusi Anda. Namun, dari sudut pandang saya, ketika memecahkan masalah, Anda tidak boleh langsung mengambilnya. Lebih baik untuk terlebih dahulu mencoba satu model sederhana yang terpisah, memahami cara kerjanya pada data tertentu, dan kemudian menggunakan ansambel.