Deskripsi Singkat
Perbedaan antara wajah orang sungguhan dan wajah palsu di kamera masih menjadi salah satu masalah tersulit dalam sistem kontrol dan akses ke tempat. Sebuah algoritme diusulkan untuk mendeteksi kedipan mata secara real time dalam urutan video dari kamera standar, yang memberi kita fakta bahwa orang di kamera itu nyata. Detektor landmark terbaru, dilatih pada kumpulan data di lapangan, menunjukkan ketahanan yang sangat baik terhadap orientasi kepala relatif terhadap kamera, mengubah kondisi pencahayaan dan ekspresi wajah. Kami menunjukkan bahwa landmark terdeteksi cukup akurat untuk memperkirakan tingkat pembukaan mata secara andal. Dengan demikian, algoritma yang diusulkan memperkirakan posisi landmark, mengekstrak satu skalar - rasio fundus (EAR) - yang mengkarakterisasi bukaan mata di setiap frame. Akhirnya,pengklasifikasi SVM mendeteksi mata berkedip sebagai pola nilai EAR dalam jendela waktu singkat. Algoritme sederhana mengungguli hasil modern pada dua kumpulan data standar.
Perpustakaan DLIB
Pada artikel ini, saya menggunakan indeks wajah untuk daerah wajah dlib . Detektor landmark wajah yang diterapkan di dalam pustaka dlib menghasilkan koordinat 68 (x, y) yang dipetakan ke struktur wajah tertentu. Pemetaan 68 titik ini diperoleh dengan melatih alat prediksi bentuk pada set data iBUG 300-W berlabel .
Di bawah ini kita dapat memvisualisasikan ke mana 68 koordinat ini dipetakan: Gambar 1 - Merender masing-masing 68 titik koordinat wajah dari dataset iBUG 300-W Dengan memeriksa gambar, kita dapat melihat bahwa daerah wajah dapat diakses melalui pengindeksan Python sederhana ( dengan asumsi nol pengindeksan dengan Python seperti gambar di atas adalah satu yang diindeks):
- Mulut dapat diakses melalui titik [49, 68].
- Alis kanan menembus poin [18, 22].
- Alis kiri menembus poin [23, 27].
- Mata kanan menembus titik-titik [37, 42].
- Mata kiri menembus titik-titik [43, 48].
- Hidung melewati titik-titik [28, 36].
- Dan rahang menembus titik-titik [1, 17].
Memahami Proporsi Mata (EAR). Kita dapat menerapkan deteksi landmark wajah untuk melokalisasi area penting wajah, termasuk mata, alis, hidung, telinga, dan mulut:
Gambar 2 - Deteksi landmark wajah secara real-time dalam gambar
Ini juga menyiratkan bahwa kita dapat mengekstrak struktur wajah tertentu dengan mengetahui indeks dari beberapa struktur wajah tertentu. bagian wajah:
Gambar 3- Penerapan landmark wajah untuk melokalisasi berbagai area wajah, yaitu mata dan mulut kanan
Deteksi kedip
Dalam hal deteksi kedip, kami hanya tertarik pada dua set struktur wajah - mata. Setiap mata diwakili oleh 6 koordinat (x, y), dimulai dari sudut kiri mata (seolah-olah Anda sedang melihat manusia) dan kemudian bekerja searah jarum jam di sekitar area lainnya:
Gambar 4-6 landmark wajah yang terkait dengan mata
Berdasarkan Dalam gambar ini, kita harus mengambil titik kunci: Ada hubungan antara lebar dan tinggi koordinat ini. Berdasarkan hasil kerja Soukupova dan Cech dalam makalahnya tahun 2016 "Mendeteksi Mata Berkedip Secara Real-Time Menggunakan Landmark Wajah", kita kemudian dapat memperoleh persamaan yang mencerminkan hubungan ini, yang disebut Rasio Aspek Mata (EAR):
Gambar 5 - Persamaan Proporsi Mata
di mana p1,…, p6 adalah penanda 2D di permukaan. Pembilang persamaan ini menghitung jarak antara penanda mata vertikal, sedangkan penyebut menghitung jarak antara penanda mata horizontal, dengan menimbang penyebutnya dengan tepat, karena hanya ada satu kumpulan titik horizontal, tetapi dua kumpulan titik vertikal.
Seperti yang kita ketahui, rasio aspek mata kira-kira konstan saat mata terbuka, tetapi dengan cepat turun ke nol saat terjadi kedipan. Dengan menggunakan
persamaan sederhana ini , kita dapat menghindari teknik pemrosesan gambar dan hanya mengandalkan rasio jarak ke sudut pandang mata untuk menentukan apakah seseorang sedang berkedip. Untuk membuatnya lebih jelas, perhatikan gambar berikut:
Gambar 6 - Visualisasi landmark mata
Di sudut kiri atas kami memiliki mata terbuka penuh - rasio aspek di sini akan menjadi besar ® dan relatif konstan seiring waktu. Namun, begitu orang tersebut berkedip (kanan atas), rasio aspek mata menurun drastis, mendekati nol. Gambar di atas menunjukkan grafik rasio aspek mata untuk klip video. Seperti yang bisa kita lihat, rasio aspek mata adalah konstan, lalu dengan cepat turun mendekati nol, lalu meningkat lagi, yang mengindikasikan satu kedipan.
Gambar 7 - Deteksi Kedip Mata
Pengecualian
Namun, karena noise dalam aliran video, deteksi rendah pada landmark wajah, atau perubahan sudut pandang yang cepat, ambang sederhana rasio aspek mata dapat menyebabkan deteksi positif palsu, yang menunjukkan bahwa berkedip terjadi saat subjek sebenarnya tidak berkedip. Seperti yang kita baca dalam satu artikel medis, seseorang berkedip rata-rata 20 kali per menit, yang memberi tahu kita bahwa dia berkedip sekali setiap 3 detik.
Berdasarkan hal tersebut, agar pendeteksi kedipan kami lebih tahan terhadap masalah tersebut, kami telah membuat interval waktu sebelum membaca kedipan, 3 detik harus lewat, dan minimal 3 frame harus diambil saat kedipan terdeteksi. Hasil penelitian kami memberikan hasil yang sangat baik. Detektor bekerja dengan tepat. Dari dua puluh tes, delapan belas dinyatakan positif.
Masalah dari pendekatan ini
Ada juga masalah yang belum terpecahkan dengan pendekatan ini. Jika Anda menampilkan video di kamera melalui cara teknis yang menunjukkan wajah orang yang berkedip, sistem dapat menghasilkan deteksi positif palsu. Solusi untuk masalah ini dapat dilakukan dengan bantuan gambar steopair di mana, menggunakan dua kamera, kita bisa mendapatkan peta kedalaman dan menghitung jarak ke objek.
Penyelesaian masalah
Ini menunjukkan pengoperasian kamera stereopair. Setelah gambar diperbaiki, pencarian dilakukan untuk pasangan titik yang sesuai dari dua gambar. Cara paling sederhana diilustrasikan pada Gambar 8 dan adalah sebagai berikut. Untuk setiap piksel pada gambar kiri dengan koordinat (x0, y0), piksel dicari pada gambar kanan. Diasumsikan bahwa piksel pada gambar kanan harus memiliki koordinat (x0 - d, y0), di mana d adalah besaran yang disebut disparitas. Pencarian untuk piksel yang sesuai dilakukan dengan menghitung fungsi respons maksimum, yang dapat berupa, misalnya, korelasi lingkungan piksel.
Gambar 8 - Perhitungan peta kedalaman