Penulisnya, Juhi Ramzai , berbicara tentang metode pemeriksaan model yang efektif - PSI (Indeks Stabilitas Populasi) dan CSI (Indeks Stabilitas Karakteristik).
Setelah model dirilis ke produksi, model tersebut harus dipantau secara teratur untuk memastikan bahwa model tersebut masih mutakhir dan dapat diandalkan. Sebelumnya, saya menulis postingan tentang validasi model dan pemantauan performanya , di mana saya menekankan pentingnya kedua langkah ini.
Sekarang mari beralih ke topik utama posting ini. Kita akan mempelajari semua tentang PSI (Population Stability Index) dan CSI (Stability Characteristics Index), yang merupakan beberapa strategi pemantauan terpenting yang digunakan di banyak bidang, terutama di bidang penilaian risiko kredit.
Kedua metrik ini (PSI dan CSI) berfokus pada perubahan dalam DISTRIBUSI POPULASI.
Ide dasar di balik metrik ini adalah bahwa model perkiraan berfungsi paling baik jika data yang digunakan untuk melatihnya tidak terlalu berbeda dari data validasi / OOT (waktu habis) dalam hal kondisi ekonomi, asumsi yang mendasari, gaya kampanye, fokus, dan dll.
Misalnya, kami mengembangkan model untuk memprediksi tingkat churn rate pengguna kartu kredit dalam lingkungan ekonomi normal. Kemudian kami mulai menguji model ini, tetapi sudah dalam kondisi krisis ekonomi. Ada kemungkinan bahwa dalam kasus ini model tidak akan menghasilkan perkiraan yang akurat, karena model tersebut tidak akan dapat menangkap fakta bahwa distribusi populasi dapat berubah secara signifikan di segmen pendapatan yang berbeda (dan ini dapat menyebabkan tingkat churn pengguna aktual yang tinggi). Akibatnya, kami mendapatkan prediksi yang salah. Tetapi karena kita sudah memahami hal ini sekarang, kita dapat melanjutkan untuk memeriksa perubahan distribusi penduduk antara waktu pengembangan (waktu DEV) dan waktu sekarang. Ini akan memberi kita gambaran yang jelas tentang apakah model hasil prediksi dapat diandalkan atau tidak.Inilah yang ditunjukkan oleh metrik pemantauan PSI dan CSI yang penting.
Indeks stabilitas populasi (PSI)
Metrik ini mengukur seberapa besar variabel berubah dalam distribusi antara dua sampel dari waktu ke waktu. Ini banyak digunakan untuk memantau perubahan karakteristik populasi dan mendiagnosis masalah potensial dengan kinerja model. Jika model berhenti membuat prediksi yang akurat karena perubahan signifikan dalam distribusi populasi, ini sering kali menjadi indikator yang baik.
Definisi di atas paling baik dijelaskan dalam makalah penelitian ini . Saya juga memberikan tautan ke sana di akhir posting ini.
Population Stability Index (PSI) awalnya dikembangkan untuk memantau perubahan distribusi antara sampel ad hoc dan waktu pengembangan dalam penilaian risiko kredit. Saat ini, penggunaan indeks PSI telah menjadi lebih fleksibel, yang memungkinkan seseorang untuk mempelajari perubahan di kedua distribusi yang terkait dengan atribut model dan populasi secara keseluruhan, termasuk variabel CSI dependen dan independen . Kami akan melihat ini di bagian selanjutnya.
PSI mencerminkan kecenderungan perubahan populasi secara keseluruhan, sedangkan CSI biasanya berfokus pada variabel model individu yang digunakan.
Sumber
Perubahan distribusi populasi dapat dikaitkan dengan:
- dengan perubahan lingkungan ekonomi, seperti krisis ekonomi, COVID-19, dll .;
- perubahan sumber data;
- perubahan kebijakan dalam negeri yang secara langsung atau tidak langsung mempengaruhi distribusi penduduk;
- masalah integrasi data yang dapat menyebabkan kesalahan data;
- masalah dalam pemrograman / pengkodean, seperti implementasi model atau hilangnya beberapa langkah penting dalam kode untuk mengevaluasi kualitas model.
Karena perubahan distribusi tidak harus disertai dengan perubahan variabel dependen, PSI juga dapat digunakan untuk menguji kesamaan / perbedaan antara sampel mana pun. Misalnya, membandingkan tingkat pendidikan, pendapatan dan status kesehatan dua atau lebih populasi dalam studi sosio-demografi.
LANGKAH UNTUK MENGHITUNG INDEKS PSI ( Tautan )
- Kami mengurutkan variabel yang diperkirakan dalam urutan menurun dalam sampel yang diperkirakan.
- 10 20 ().
- .
- .
- 3 4.
- ( 3 / 4).
- 5 6.
EXCEL PSI:
()
- PSI < 0,1 — . .
- PSI >= 0,1, 0,2 — .
- PSI >= 0,2 — . . / .
Anda juga dapat menggunakan kisaran pemformatan bersyarat - zona merah, kuning dan hijau (zona Merah-Kuning-Hijau). Merah adalah kondisi alarm di mana PSI lebih dari 20%, kuning 10-20%, sedangkan model harus dimonitor, dan hijau adalah tahap di mana model dianggap dapat digunakan, yaitu < sepuluh%.
Sekarang, berdasarkan kasus penggunaan, ambang tersebut disesuaikan dengan relevansi bisnis, tetapi idenya tetap sama - untuk melacak perubahan dalam populasi.
Indeks Stabilitas (CSI)
, . , , .
, .
Ketika kinerja model memburuk, memeriksa perubahan dalam distribusi variabel model dapat membantu mengidentifikasi kemungkinan penyebabnya. Biasanya, ini dilakukan setelah diperiksa, akibatnya ternyata indeks PSI tidak berada di zona hijau (<0,1 secara keseluruhan). Dengan cara ini, Anda dapat memeriksa variabel mana yang paling menentukan distribusi populasi.
Jika satu variabel pun berubah secara signifikan, atau jika performa beberapa variabel sedikit berubah, mungkin sudah saatnya untuk melatih ulang model atau menggantinya dengan yang lain.
Saat menghitung CSI, langkah yang sama diambil seperti saat menghitung PSI. Satu-satunya perbedaan adalah bahwa keputusan dibuat berdasarkan nilai sampel dari tahap desain untuk variabel tertentu (dengan membaginya menjadi rentang dan menetapkan batas nilai ini sebagai ambang). Kemudian, saat menghitung nilai frekuensi untuk sampel validasi / tidak terjadwal (AD), Anda cukup menerapkan ambang yang sama ke data dan menghitung nilai frekuensi (menggunakan rumus yang sama yang kami gunakan untuk menghitung PSI).
EXCEL TABLE OF CSI INDEX
Gambar milik penulis
Dengan demikian, PSI dapat membantu mengidentifikasi perbedaan dalam distribusi populasi secara keseluruhan, jika signifikan, dan CSI dapat membantu mempersempitnya lebih jauh ke beberapa variabel yang bertanggung jawab.
Tautan penelitian