Analisis menggunakan pengelompokan lowongan

Artikel ini memberikan metode untuk menganalisis lowongan untuk kueri penelusuran "Python" menggunakan model pengelompokan Gaussian Mixture Model (GMM). Untuk setiap cluster yang disorot, keterampilan dan kisaran gaji yang paling banyak diminta akan ditampilkan.



Apa tujuan dari penelitian ini? Saya ingin tahu:

• Dalam aplikasi apa Python digunakan
• Pengetahuan apa yang dibutuhkan: database, perpustakaan, kerangka kerja
• Berapa banyak spesialis di setiap arah yang dibutuhkan
• Gaji apa yang ditawarkan

Memuat data

Pekerjaan download dari situs hh.ru , menggunakan API: dev.hh.ru . Atas permintaan "Python", lowongan 1994 diunggah (wilayah Moskow), yang dibagi menjadi rangkaian pelatihan dan pengujian, dalam proporsi 80% dan 20% . Ukuran set pelatihan adalah 1595 , ukuran set pengujian adalah 399 . Set pengujian hanya akan digunakan di bagian Skill Top / Antitop dan klasifikasi Job.

Tanda-tanda

Menurut teks lowongan yang diunggah, dua kelompok kata yang paling umum n-gram terbentuk :

• 2 gram dalam bahasa Sirilik dan Latin
• 1 gram dalam bahasa Latin

Dalam lowongan TI, keterampilan dan teknologi utama biasanya ditulis dalam bahasa Inggris, sehingga kelompok kedua hanya memasukkan kata-kata dalam bahasa Latin.



Setelah dilakukan seleksi n-gram, kelompok pertama berisi 81 2-gram dan kelompok kedua 98 1-gram:



Diputuskan untuk membagi lowongan menjadi beberapa cluster sesuai dengan kriteria berikut dalam urutan prioritas:



Penentuan kelompok kriteria mana yang termasuk dalam n-gram, dan bobot apa yang akan diberikan padanya, terjadi pada tingkat intuitif. Berikut ini beberapa contohnya:

1. Pada pandangan pertama, "Docker" dapat dikaitkan dengan kelompok kriteria kedua dengan bobot 4 hingga 6. Tetapi penyebutan "Docker" dalam lowongan kemungkinan besar berarti bahwa lowongan tersebut akan untuk posisi "insinyur DevOps". Oleh karena itu, "Docker" masuk ke dalam kelompok pertama dan mendapat bobot 7.
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

Untuk perhitungan, setiap kekosongan diubah menjadi vektor dengan dimensi 179 (jumlah fitur yang dipilih) bilangan bulat dari 0 hingga 9, di mana 0 berarti bahwa ke-i n-gram tidak ada dalam lowongan, dan angka dari 1 hingga 9 berarti adanya ke-i n - gram dan beratnya. Selanjutnya dalam teks, titik dipahami sebagai kekosongan yang direpresentasikan oleh vektor tersebut.

Contoh:

Misalkan daftar n-gram hanya berisi tiga nilai:

Tidak.	n	n-gram	Bobot	Lowongan
1	2	dengan python	delapan	258
2	2	pemahaman prinsip	delapan	221
3	1	sql	lima	490

Kemudian untuk lowongan dengan teks.



Persyaratan:

• Pengalaman 3+ tahun dalam pengembangan python .
• Pengetahuan yang baik tentang sql

vektornya adalah [8, 0, 5].

Metrik

Untuk bekerja dengan data, Anda harus memiliki pemahaman tentangnya. Dalam kasus kami, saya ingin melihat apakah ada cluster poin, yang akan kami anggap sebagai cluster. Untuk ini, saya menggunakan algoritma t-SNE untuk menerjemahkan semua vektor ke dalam ruang 2D. 



Inti dari metode ini adalah untuk mengurangi dimensi data, sambil menjaga proporsi jarak antara titik-titik himpunan sebanyak mungkin. Cukup sulit untuk memahami cara kerja t-SNE dari rumus. Tetapi saya menyukai satu contoh yang ditemukan di suatu tempat di Internet: katakanlah kita memiliki bola di ruang tiga dimensi. Kami menghubungkan setiap bola dengan semua bola lainnya dengan pegas tak terlihat, yang tidak berpotongan dengan cara apa pun dan tidak saling mengganggu saat menyilang. Pegas bertindak dalam dua arah, yaitu mereka menahan jarak dan pendekatan bola satu sama lain. Sistem dalam keadaan stabil, bola tidak bergerak. Jika kita mengambil salah satu bola dan menariknya kembali, lalu melepaskannya, ia akan kembali ke keadaan semula karena gaya pegas. Selanjutnya, kami mengambil dua piring besar, dan meremas bola menjadi lapisan tipis,sementara tidak mengganggu bola untuk bergerak di bidang antara dua pelat. Kekuatan pegas mulai bekerja, bola bergerak dan akhirnya berhenti ketika kekuatan semua pegas menjadi seimbang. Pegas akan bertindak sehingga bola yang berdekatan tetap relatif dekat dan rata. Juga dengan bola yang dilepas - mereka akan dikeluarkan dari satu sama lain. Dengan bantuan pegas dan pelat, kami mengubah ruang tiga dimensi menjadi dua dimensi, menjaga jarak antar titik dalam beberapa bentuk!Juga dengan bola yang dilepas - mereka akan dikeluarkan dari satu sama lain. Dengan bantuan pegas dan pelat, kami mengubah ruang tiga dimensi menjadi dua dimensi, menjaga jarak antar titik dalam beberapa bentuk!Juga dengan bola yang dilepas - mereka akan dikeluarkan dari satu sama lain. Dengan bantuan pegas dan pelat, kami mengubah ruang tiga dimensi menjadi dua dimensi, menjaga jarak antar titik dalam beberapa bentuk!



Algoritme t-SNE digunakan oleh saya hanya untuk memvisualisasikan sekumpulan poin. Dia membantu memilih metrik, serta memilih bobot untuk fitur.



Jika kita menggunakan metrik Euclidean yang kita gunakan dalam kehidupan sehari-hari, maka lokasi lowongan akan terlihat seperti ini:





Gambar tersebut menunjukkan bahwa sebagian besar titik terkonsentrasi di tengah, dan ada cabang kecil di sampingnya. Dengan pendekatan ini, algoritma pengelompokan yang menggunakan jarak antar titik tidak akan menghasilkan sesuatu yang baik.



Ada banyak metrik (cara untuk menentukan jarak antara dua titik) yang akan berfungsi dengan baik pada data yang Anda jelajahi. Saya memilih jarak Jaccard sebagai ukuran , dengan mempertimbangkan bobot n-gram. Ukuran Jaccard mudah dipahami, tetapi berfungsi dengan baik untuk memecahkan masalah yang sedang dipertimbangkan.

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

Matriks jarak antara semua pasangan titik dihitung, ukuran matriksnya adalah 1595 x 1595. Totalnya, 1.271.215 jarak antar pasangan unik. Jarak rata-rata ternyata 0,96, antara 619659 jaraknya adalah 1 (yaitu tidak ada kesamaan sama sekali). Bagan berikut menunjukkan bahwa secara keseluruhan, ada sedikit kesamaan antara pekerjaan:





Menggunakan metrik Jaccard, ruang kita sekarang terlihat seperti ini:





Empat area kepadatan yang berbeda muncul, dan dua kelompok kecil dengan kepadatan rendah. Setidaknya begitulah mataku melihat!

Kekelompokan

Gaussian Mixture Model (GMM) dipilih sebagai algoritma clustering . Algoritma menerima data dalam bentuk vektor sebagai input, dan parameter n_components adalah jumlah cluster yang himpunannya harus dipecah. Anda dapat melihat cara kerja algoritme di sini (dalam bahasa Inggris). Saya menggunakan implementasi GMM yang sudah jadi dari pustaka scikit-learn: sklearn.mixture.GaussianMixture .



Perhatikan bahwa GMM tidak menggunakan metrik, tetapi memisahkan data hanya dengan sekumpulan fitur dan bobotnya. Dalam artikel, jarak Jaccard digunakan untuk memvisualisasikan data, menghitung kepadatan cluster (saya mengambil jarak rata-rata antara titik cluster untuk kepadatan), dan menentukantitik pusat cluster (kekosongan khas) - titik dengan jarak rata-rata terkecil ke titik lain dari cluster. Banyak algoritma pengelompokan menggunakan jarak antar titik dengan tepat. Bagian Metode Lain akan membahas jenis pengelompokan lain yang berbasis metrik dan juga memberikan hasil yang baik.



Pada bagian sebelumnya, ditentukan oleh mata bahwa kemungkinan besar akan ada enam kelompok. Beginilah tampilan hasil clustering dengan n_components = 6:







Pada gambar dengan output cluster terpisah, cluster disusun dalam urutan menurun dari jumlah titik dari kiri ke kanan, dari atas ke bawah: cluster 4 adalah yang terbesar, cluster 5 adalah yang terkecil. Kekompakan setiap cluster ditunjukkan dalam tanda kurung.



Secara tampilan, pengelompokannya ternyata tidak terlalu bagus, meskipun kami menganggap bahwa algoritme t-SNE tidak sempurna. Saat menganalisis cluster, hasilnya juga tidak menggembirakan.



Untuk menemukan jumlah cluster n_components yang optimal, kita akan menggunakan kriteria AIC dan BIC, yang dapat Anda baca di sini . Perhitungan kriteria ini dibangun ke dalam metode sklearn.mixture.GaussianMixture . Seperti inilah tampilan grafik kriteria:





Jika n_components = 12, kriteria BIC memiliki nilai terendah (terbaik), kriteria AIC juga memiliki nilai yang mendekati minimum (minimum jika n_components = 23). Kami melakukan pembagian pekerjaan menjadi 12 cluster:







Cluster sekarang lebih kompak, baik secara tampilan maupun numerik. Selama analisis manual, lowongan dibagi menjadi kelompok karakteristik untuk memahami seseorang. Gambar tersebut menunjukkan nama cluster. Cluster bernomor 11 dan 4 ditandai sebagai <Sampah 2>:

1. Dalam cluster 11, semua fitur memiliki bobot total yang kira-kira sama.
2. Cluster 4 didedikasikan untuk Java. Namun demikian, ada sedikit lowongan untuk posisi Java Developer di cluster, pengetahuan tentang Java sering kali diperlukan karena "akan menjadi nilai tambah tambahan".

Kluster

Setelah menghapus dua cluster yang tidak informatif bernomor 11 dan 4, hasilnya adalah 10 cluster:





Untuk setiap cluster, terdapat tabel fitur dan 2-gram yang paling sering ditemukan di lowongan cluster.



Legenda:



S - proporsi kekosongan tempat sifat ditemukan, dikalikan dengan bobot sifat

% - persentase kekosongan tempat sifat / 2 gram ditemukan Kekosongan

klaster tipikal - kekosongan, dengan jarak rata-rata terkecil ke titik lain dari klaster

Analis data

Jumlah Pekerjaan: 299 Pekerjaan Umum



: 35.805.914

Pengembang C ++

Jumlah Pekerjaan: 139 Pekerjaan Umum

: 39.955.360

Teknisi Linux / DevOps

Jumlah Lowongan Kerja: 126

Jenis Pekerjaan : 39.533.926

Pengembang Python

Jumlah pekerjaan: 104

Lowongan umum: 39705484

Ilmuwan data

Jumlah lowongan: 98

Lowongan umum: 38071218

Pengembang Frontend

Jumlah Pekerjaan: 97 Pekerjaan Umum

: 39.681.044

Pengembang Backend

Jumlah Pekerjaan: 93 Pekerjaan Umum

: 40.226.808

Insinyur DevOps

Jumlah Pekerjaan: 78 Pekerjaan Umum

: 39634258

Insinyur Data

Jumlah Pekerjaan: 77 Pekerjaan Umum

: 40.008.757

Insinyur QA

Jumlah Pekerjaan: 56 Pekerjaan Umum

: 39630489

Gaji

Gaji ditunjukkan hanya di 261 (22%) lowongan dari 1.167 di cluster.



Saat menghitung gaji:

1. Jika rentang "dari ... hingga ..." ditentukan, maka nilai rata-rata digunakan
2. Jika hanya "dari ..." atau hanya "ke ..." yang diindikasikan, maka nilai ini diambil
3. Perhitungan digunakan (atau diberikan) gaji setelah pajak (NET)

Di grafik:

1. Cluster diberi peringkat dalam urutan menurun dari gaji median
2. Bilah vertikal dalam kotak - median
3. Kotak - rentang [Q1, Q3], di mana Q1 (25%) dan Q3 (75%) adalah persentil. Itu. 50% dari gaji jatuh ke dalam kotak
4. "Kumis" termasuk gaji dari kisaran [Q1 - 1,5 * IQR, Q3 + 1,5 * IQR], di mana IQR = Q3 - Q1 - kisaran interkuartil
5. Poin individu adalah anomali yang tidak jatuh ke kumis. (Ada anomali yang tidak termasuk dalam diagram)

Keterampilan Top / Antitop

Grafik dibuat untuk semua lowongan yang diupload tahun 1994. Gaji ditunjukkan dalam 443 (22%) lowongan. Untuk kalkulasi untuk setiap fitur, lowongan dipilih di mana fitur ini ada, dan berdasarkan gaji rata-rata dihitung.

Klasifikasi pekerjaan

Pengelompokan dapat dibuat lebih mudah tanpa menggunakan model matematika yang rumit: untuk mengumpulkan nama-nama teratas dari lowongan, dan membaginya menjadi beberapa kelompok. Selanjutnya, analisis setiap kelompok untuk n-gram teratas dan gaji rata-rata. Tidak perlu menyoroti fitur dan menetapkan bobot padanya.



Pendekatan ini akan bekerja dengan baik (sampai batas tertentu) untuk kueri "Python". Tetapi untuk permintaan "1C Programmer" pendekatan ini tidak akan berhasil, karena untuk programmer 1C, nama lowongan jarang menunjukkan konfigurasi 1C atau area terapan. Dan ada banyak area di mana 1C digunakan: akuntansi, penghitungan gaji, penghitungan pajak, penghitungan biaya di perusahaan industri, akuntansi gudang, penganggaran, sistem ERP, ritel, akuntansi manajemen, dll.



Bagi saya sendiri, saya melihat dua tugas untuk menganalisis lowongan:

1. Pahami di mana bahasa pemrograman yang saya tahu sedikit tentang digunakan (seperti dalam artikel ini).
2. Filter pekerjaan baru yang diposting.

Pengelompokan cocok untuk memecahkan masalah pertama, untuk memecahkan masalah kedua - berbagai pengklasifikasi, hutan acak, pohon keputusan, jaringan saraf. Namun demikian, saya ingin mengevaluasi kesesuaian model yang dipilih untuk masalah klasifikasi pekerjaan.



Jika Anda menggunakan metode predict () yang ada di sklearn.mixture.GaussianMixture , maka tidak ada hal baik yang terjadi. Dia mengaitkan sebagian besar lowongan dengan cluster besar, dan dua dari tiga cluster pertama tidak informatif. Saya menggunakan pendekatan yang berbeda: 

1. Kami mengambil lowongan yang ingin kami klasifikasikan. Kami memvektorkannya dan mendapatkan titik di ruang kami.
2. Kami menghitung jarak dari titik ini ke semua cluster. Di bawah jarak antara titik dan cluster, saya mengambil jarak rata-rata dari titik ini ke semua titik di cluster.
3. Cluster dengan jarak terkecil merupakan kelas prediksi untuk lowongan yang dipilih. Jarak ke cluster menunjukkan keandalan prediksi semacam itu.
4. Untuk meningkatkan akurasi model, saya memilih 0,87 sebagai jarak ambang, yaitu. Jika jarak ke cluster terdekat lebih dari 0.87, maka model tidak mengklasifikasikan kekosongan tersebut.

Untuk mengevaluasi model, 30 lowongan dipilih secara acak dari set pengujian. Pada kolom putusan:



T / a: model tidak mengklasifikasikan pekerjaan (jarak> 0.87)

+: klasifikasi benar

-: klasifikasi salah  



Total: 12 lowongan tidak ada hasil, 2 lowongan - klasifikasi salah, 16 lowongan - klasifikasi benar. Kelengkapan model - 60%, akurasi model - 89%.

Sisi lemah

Masalah pertama - mari kita ambil dua lowongan:

Lowongan 1 - "Lead C ++ Programmer"

"Persyaratan:

• 5+ tahun pengalaman pengembangan C ++.
• Pengetahuan tentang Python akan menjadi nilai tambah tambahan. "

Lowongan 2 - "Lead Python Programmer"

"Persyaratan:

• 5+ tahun pengalaman pengembangan Python.
• Pengetahuan tentang C ++ akan menjadi nilai tambah tambahan "

Dari sudut pandang model, lowongan ini identik. Saya mencoba menyesuaikan bobot fitur dengan urutan kemunculannya dalam teks. Ini tidak menghasilkan sesuatu yang baik.



Masalah kedua adalah GMM mengelompokkan semua titik dalam satu set, seperti banyak algoritme pengelompokan. Cluster non-informatif tidak menjadi masalah dengan sendirinya. Tetapi cluster informatif juga mengandung pencilan. Namun, hal ini dapat dengan mudah diselesaikan dengan membersihkan cluster, misalnya, dengan menghapus titik paling atipikal yang memiliki jarak rata-rata terbesar ke titik cluster lainnya.

Metode lain

Halaman perbandingan cluster mendemonstrasikan berbagai algoritma clustering dengan baik. GMM satu-satunya yang memberikan hasil bagus.

Algoritme lainnya tidak berfungsi atau memberikan hasil yang sangat sederhana.



Dari yang saya terapkan, hasil yang baik ada dalam dua kasus:

1. Titik dengan kepadatan tinggi dipilih di beberapa lingkungan, terletak pada jarak yang jauh satu sama lain. Poin menjadi pusat cluster. Kemudian, berdasarkan pusat-pusat tersebut, proses pembentukan cluster dimulai - penggabungan titik-titik tetangga.
2. Pengelompokan aglomeratif adalah penggabungan titik dan cluster berulang-ulang. Library scikit-learn menyajikan pengelompokan semacam ini, tetapi tidak berfungsi dengan baik. Dalam implementasinya, saya mengubah matriks gabungan setelah setiap iterasi penggabungan. Proses berhenti ketika beberapa parameter batas tercapai - pada kenyataannya, dendrogram tidak membantu untuk memahami proses penggabungan jika 1500 elemen dikelompokkan.

Kesimpulan

Riset yang saya lakukan memberi saya jawaban atas semua pertanyaan di awal artikel. Saya mendapat pengalaman langsung dengan pengelompokan sambil menerapkan variasi algoritme yang dikenal. Saya sangat berharap artikel ini akan memotivasi pembaca untuk melakukan penelitian analitisnya, dan entah bagaimana akan membantu dalam pelajaran yang menarik ini.