Selamat siang. Nama kami adalah Tatiana Voronova dan Elvira Dyaminova, kami terlibat dalam analisis data di Center 2M. Secara khusus, kami melatih model jaringan saraf untuk mendeteksi objek dalam gambar: orang, peralatan khusus, hewan.
Pada awal setiap proyek, perusahaan bernegosiasi dengan pelanggan tentang kualitas pengakuan yang dapat diterima. Tingkat kualitas ini tidak hanya harus dipastikan pada saat pengiriman proyek, tetapi juga dipertahankan selama operasi lebih lanjut dari sistem. Ternyata perlu untuk terus memantau dan melatih ulang sistem. Saya ingin mengurangi biaya proses ini dan menyingkirkan prosedur rutin, meluangkan waktu untuk mengerjakan proyek baru.
Pelatihan ulang otomatis bukanlah ide yang unik, banyak perusahaan memiliki alat pipa internal yang serupa. Dalam artikel ini, kami ingin berbagi pengalaman dan menunjukkan bahwa sama sekali tidak perlu menjadi perusahaan besar untuk berhasil menerapkan praktik-praktik tersebut.
Salah satu proyek kami adalah menghitung orang dalam antrian . Karena kenyataan bahwa pelanggan adalah perusahaan besar dengan sejumlah besar cabang, orang-orang pada jam-jam tertentu terakumulasi sesuai jadwal, yaitu sejumlah besar objek (kepala orang) terdeteksi secara teratur. Oleh karena itu, kami memutuskan untuk memulai pelaksanaan pelatihan ulang otomatis untuk tugas ini.
Seperti inilah rencana kami. Semua item, kecuali pekerjaan scriber, dilakukan dalam mode otomatis:
- Sekali sebulan, semua gambar kamera dari minggu lalu dipilih secara otomatis.
- xls- sharepoint, - : « ».
- ( ) – xml- ( ), – .
- « ». xls- ( – , – ). «». , , .
, : (, ) , , (, - ). -. - xls- «» > 0. , ( ). , . , , « ». , . , . , , .
- «» 0, – - .
- , , , , . , .
Pada akhirnya, proses ini sangat membantu kami. Kami melacak peningkatan kesalahan jenis kedua, ketika banyak kepala tiba-tiba menjadi "bertopeng", memperkaya dataset pelatihan dengan jenis kepala baru dalam waktu dan melatih kembali model saat ini. Plus, perjalanan ini memungkinkan Anda untuk memperhitungkan musim. Kami terus-menerus menyesuaikan dataset dengan mempertimbangkan situasi saat ini: orang sering memakai topi atau, sebaliknya, hampir semua orang datang ke institusi tanpa mereka. Di musim gugur, jumlah orang yang memakai kerudung meningkat. Sistem menjadi lebih fleksibel dan bereaksi terhadap situasi.
Misalnya, pada gambar di bawah ini - salah satu cabang (pada hari musim dingin), frame-nya tidak disajikan dalam dataset pelatihan:
Jika kita menghitung metrik untuk frame ini (TP = 25, FN = 3, FP = 0), maka ternyata recall adalah 89%, presisi 100%, dan rata-rata harmonik antara akurasi dan kelengkapan adalah sekitar 94. 2% (tentang metrik tepat di bawah). Hasil yang cukup bagus untuk kamar baru.
Dataset pelatihan kami memiliki kap dan tudung, sehingga model tidak menjadi bingung, tetapi dengan permulaan mode topeng itu mulai membuat kesalahan. Dalam kebanyakan kasus, ketika kepala terlihat jelas, masalah tidak muncul. Tetapi jika seseorang jauh dari kamera, maka pada sudut tertentu, model berhenti mendeteksi kepala (gambar kiri adalah hasil kerja model lama). Berkat penandaan semi-otomatis, kami dapat memperbaiki kasus-kasus seperti itu dan melatih kembali model tepat waktu (gambar yang tepat adalah hasil dari model baru).
Lady close:
Saat menguji model, kami memilih frame yang tidak terlibat dalam pelatihan (dataset dengan jumlah orang yang berbeda pada frame, dari sudut yang berbeda dan ukuran yang berbeda), untuk menilai kualitas model, kami menggunakan daya ingat dan presisi.
Ingat - kelengkapan menunjukkan proporsi objek yang benar-benar milik kelas positif, yang kami prediksi dengan benar.
Presisi - akurasi menunjukkan proporsi objek yang dikenali sebagai objek dari kelas positif, yang kami prediksi dengan benar.
Ketika pelanggan membutuhkan satu digit, kombinasi presisi dan kelengkapan, kami memberikan rata-rata harmonik, atau ukuran-F. Pelajari lebih lanjut tentang metrik.
Setelah satu siklus, kami mendapat hasil berikut:
Kelengkapan 80% sebelum perubahan apa pun disebabkan oleh fakta bahwa sejumlah besar departemen baru ditambahkan ke sistem, pandangan baru muncul. Selain itu, musim telah berubah, sebelum itu, "orang musim gugur-musim dingin" disajikan dalam dataset pelatihan.
Setelah siklus pertama, kelengkapan menjadi 96,7%. Dibandingkan dengan artikel pertama, kelengkapan di sana mencapai 90%. Perubahan seperti itu disebabkan oleh kenyataan bahwa sekarang jumlah orang di departemen telah menurun, mereka mulai saling tumpang tindih jauh lebih sedikit (jaket tebal telah habis), dan berbagai topi telah berkurang.
Misalnya, sebelum norma adalah tentang jumlah orang yang sama seperti pada gambar di bawah ini.
Beginilah keadaan sekarang.
Kesimpulannya, sebut saja keunggulan otomatisasi:
- Otomatisasi sebagian dari proses penandaan.
- ( ).
- ( ).
- . .
- . , .
Downside adalah faktor manusia pada bagian dari desainer markup - ia mungkin tidak cukup bertanggung jawab untuk markup, oleh karena itu markup dengan tumpang tindih atau penggunaan set emas - tugas dengan jawaban yang telah ditentukan, diperlukan hanya untuk mengontrol kualitas markup, diperlukan. Dalam banyak tugas yang lebih kompleks, analis harus secara pribadi memeriksa markup - dalam tugas tersebut mode otomatis tidak akan berfungsi.
Secara umum, praktik pelatihan ulang otomatis telah terbukti berjalan. Otomatisasi semacam itu dapat dianggap sebagai mekanisme tambahan yang memungkinkan mempertahankan kualitas pengakuan pada tingkat yang baik selama operasi sistem selanjutnya.
Penulis artikel: Tatiana Voronova (tvoronova), Elvira Dyaminova (Elviraa)