Contoh pelacakan mata untuk peserta tanpa kelelahan (kiri) dan dengan kelelahan mental (kanan) saat mereka melacak objek yang mengikuti jalur melingkar.
Gerakan mata dipelajari secara luas oleh para profesional penglihatan , bahasa dan kegunaansejak tahun 1970-an. Di luar penelitian dasar, pemahaman yang lebih baik tentang gerakan mata dapat berguna dalam berbagai aplikasi, termasuk penelitian kegunaan dan pengalaman pengguna, bermain game, mengemudi, dan interaksi berbasis tatapan untuk aksesibilitas kesehatan. Namun, kemajuannya terbatas karena sebagian besar penelitian sebelumnya berfokus pada pelacak mata perangkat keras khusus yang mahal dan sulit untuk diukur.
Dalam «penelitian percepatan gerakan mata Via smartphone pelacakan mata yang terjangkau dan akurat» , diterbitkan di Nature Communications , dan « Digital a biomarker mental bukan kelelahan », diterbitkan di npj Digital Medicine , kami memperkenalkan pelacakan mata ponsel cerdas dan pembelajaran mesin yang akurat yang berpotensi membuka penelitian aplikasi baru di bidang penglihatan, aksesibilitas, kesehatan, dan kebugaran, sekaligus memungkinkan skalabilitas lebih lanjut untuk populasi yang berbeda di seluruh dunia, semua dengan menggunakan kamera depan pada ponsel cerdas Anda. Kami juga mendiskusikan potensi penggunaan teknologi ini sebagai penanda digital untuk kelelahan mental, yang mungkin berguna dalam meningkatkan kesejahteraan.
Ringkasan model
Inti dari model tatapan kami adalah jaringan saraf konvolusional (ConvNet) multilayer umpan maju yang dilatih pada set data MIT GazeCapture . Algoritme deteksi wajah memilih area wajah dengan landmark yang sesuai di sudut mata, yang digunakan untuk memotong gambar hanya ke area mata. Bingkai yang dipotong ini melewati dua menara ConvNet identik dengan berat yang sama. Setiap lapisan konvolusional diikuti oleh lapisan penggabungan tengah . Penanda di sudut mata digabungkan dengan pintu keluar dari dua menara melalui lapisan yang terhubung sepenuhnya. Satuan linier yang diluruskan (ULT) digunakan untuk semua lapisan kecuali tingkat keluaran terakhir yang terhubung sepenuhnya (FC6), yang tidak diaktifkan.
Arsitektur model tatapan yang tidak dipersonalisasi. Area mata yang diekstrak dari gambar kamera depan berfungsi sebagai input ke jaringan saraf konvolusional. Lapisan yang sepenuhnya terhubung (FC) menggabungkan keluaran dengan penanda di sudut mata untuk menampilkan koordinat X dan Y di layar melalui lapisan keluaran regresi berganda.
Akurasi model tatapan yang tidak dipersonalisasi telah ditingkatkan melalui penyesuaian dan personalisasi untuk setiap peserta. Untuk yang terakhir, model regresi ringan dipasang ke lapisan kedua dari belakang model ULT dan data untuk partisipan tertentu.
Evaluasi model
Untuk mengevaluasi model, kami mengumpulkan data dari peserta studi yang sesuai saat mereka melihat titik-titik yang muncul di lokasi acak pada layar kosong. Kesalahan model dihitung sebagai jarak (dalam cm) antara lokasi stimulus dan prediksi model. Hasilnya menunjukkan bahwa meskipun model yang tidak dipersonalisasi memiliki margin kesalahan yang tinggi, personalisasi dengan data kalibrasi ~ 30 detik menghasilkan pengurangan kesalahan lebih dari empat kali lipat (dari 1,92 cm menjadi 0,46 cm). Dengan jarak pandang 25–40 cm, ini sesuai dengan akurasi 0,6–1 °, yang merupakan peningkatan signifikan dari 2,4–3 ° yang dilaporkan dalam penelitian sebelumnya [1, 2].
Eksperimen tambahan menunjukkan bahwa keakuratan model pelacak mata smartphone sebanding dengan keakuratan pelacak mata modern yang dapat dikenakan, baik saat ponsel diletakkan di dudukan perangkat, maupun saat pengguna dengan bebas memegang ponsel di tangan mereka hampir di depan kepala mereka. Tidak seperti peralatan pelacakan mata khusus dengan beberapa kamera infra merah di dekat setiap mata, meluncurkan model kami menggunakan kamera RGB depan tunggal pada telepon pintar secara signifikan lebih ekonomis (sekitar 100 kali lebih murah) dan lebih terukur.
Dengan menggunakan teknologi ponsel cerdas ini, kami dapat mereplikasi temuan utama dari penelitian gerakan mata sebelumnya dalam ilmu saraf dan psikologi, termasuk tugas okulomotor standar (untuk memahami fungsi otak visual dasar) dan pemahaman alami gambar. Misalnya, dalam masalah prosaccade sederhana yang menguji kemampuan seseorang untuk menggerakkan matanya dengan cepat ke arah stimulus yang muncul di layar, kami menemukan bahwa rata-rata penundaan saccade (waktu untuk menggerakkan mata) konsisten dengan pekerjaan sebelumnya.untuk kesehatan mata dasar (210 ms versus 200-250 ms). Dalam tugas pencarian visual terpandu, kami dapat mereproduksi hasil utama seperti efek visibilitas target dan kekacauan pada gerakan mata.
Contoh lintasan pemindaian tatapan menunjukkan efek visibilitas target (mis., Kontras warna) pada keefektifan pencarian visual. Lebih sedikit fiksasi diperlukan untuk menemukan target tanda tangan tinggi (kiri) (selain distraktor), sementara lebih banyak fiksasi diperlukan untuk menemukan target tanda tangan rendah (kanan) (mirip dengan pengalih perhatian).
Untuk rangsangan kompleks seperti gambar alami, kami menemukan bahwa distribusi pandangan (dihitung dengan menggabungkan posisi pandangan di semua peserta) dari pelacak mata ponsel cerdas kami serupa dengan yang diperoleh dari pelacak mata besar dan mahal yang menggunakan pengaturan yang dikontrol ketat seperti sistem fokus laboratorium untuk dagu. Meskipun peta panas tatapan pada ponsel cerdas lebih tersebar luas (yaitu, tampak lebih "kabur") daripada pelacak mata perangkat keras, peta ini sangat berkorelasi baik pada tingkat piksel (r = 0,74) dan pada tingkat objek (r = 0, 90) . Hasil ini menunjukkan bahwa teknologi ini dapat digunakan untuk mengukur analisis tatapan untuk rangsangan kompleks seperti pencitraan alam dan medis (misalnya, ahli radiologi meninjau pemindaian MRI / PET).
Peta pandangan termal saat menggunakan ponsel cerdas kami dibandingkan dengan pelacak mata ( kumpulan data OSIE ) yang lebih mahal (100x ).
Kami menemukan bahwa ponsel cerdas juga dapat membantu mendeteksi kesulitan pemahaman bacaan. Peserta yang membaca petikan menghabiskan lebih banyak waktu untuk mencari petikan yang relevan ketika mereka menjawab dengan benar. Namun, karena kesulitan pemahaman meningkat, mereka menghabiskan lebih banyak waktu mempelajari bagian-bagian yang tidak relevan dalam teks sebelum menemukan bagian yang cocok yang berisi jawabannya. Proporsi waktu pandang yang dihabiskan pada bagian yang relevan merupakan indikator pemahaman yang baik dan berkorelasi negatif kuat dengan kesulitan dalam pemahaman (r = -0.72).
Biomarker digital dari kelelahan mental
Deteksi pandangan mata adalah alat penting untuk menentukan kewaspadaan dan status kesehatan, dan ini banyak dipelajari dalam kedokteran, penelitian tidur dan kondisi kritis seperti operasi medis, keselamatan penerbangan, dll. Namun, uji kelelahan yang ada bersifat subjektif dan seringkali memakan waktu. Dalam artikel terbaru kami yang diterbitkan di npj Digital Medicine, kami menunjukkan bahwa pandangan ponsel cerdas secara signifikan terganggu karena kelelahan mental dan dapat digunakan untuk melacak permulaan dan perkembangan kelelahan.
Model sederhana dengan andal memprediksi kelelahan mental menggunakan data tatapan dari peserta pada tugas hanya dalam beberapa menit. Kami memvalidasi hasil ini dalam dua eksperimen berbeda, tugas pelacakan objek yang tidak bergantung pada bahasa dan tugas validasi yang bergantung pada bahasa. Seperti gambar di bawah ini, dalam tugas melacak suatu objek, pandangan para peserta terlebih dahulu mengikuti jalur melingkar dari objek tersebut, tetapi ketika mereka lelah, pandangan mereka menunjukkan kesalahan dan penyimpangan yang besar. Mengingat keberadaan ponsel di mana-mana, hasil ini menunjukkan bahwa melihat ponsel cerdas dapat berfungsi sebagai penanda digital yang dapat diskalakan untuk mengatasi kelelahan mental.
Contoh pelacakan mata untuk peserta tanpa kelelahan (kiri) dan dengan kelelahan mental (kanan) saat mereka melacak objek yang mengikuti jalur melingkar.
Perkembangan sesuai perkiraan kelelahan (keyakinan) dan prediksi model sebagai fungsi waktu pelaksanaan tugas.
Selain perasaan enak, melihat smartphone juga bisa memberikan fenotipe digital untuk skrining atau pemantauan kondisi kesehatan seperti gangguan spektrum autisme , disleksia , gegar otak , dll. Hal ini memungkinkan intervensi yang tepat waktu dan dini, terutama untuk negara-negara dengan akses terbatas ke layanan kesehatan.
Area lain yang bisa sangat bermanfaat adalah aksesibilitas. Pada orang dengan kondisi seperti ALS , sindrom orang terkuncidan stroke, kemampuan bicara dan motorik terganggu. Melihat ponsel cerdas dapat memberikan cara yang ampuh untuk menyederhanakan tugas sehari-hari dengan menggunakan tatapan untuk berinteraksi, seperti yang baru-baru ini ditunjukkan dengan Lihat untuk Bicara .
Pertimbangan etis
Penelitian mata membutuhkan pertimbangan yang cermat, termasuk penggunaan teknologi yang benar - aplikasi harus mendapat persetujuan penuh dan persetujuan penuh dari pengguna untuk menyelesaikan tugas tertentu. Dalam pekerjaan kami, semua data dikumpulkan untuk tujuan penelitian dengan persetujuan dan persetujuan penuh dari pengguna. Selain itu, pengguna diizinkan untuk keluar kapan saja dan meminta penghapusan data mereka. Kami terus mencari cara tambahan untuk membuat pembelajaran mesin adil dan untuk meningkatkan akurasi dan keandalan teknologi pandangan di seluruh demografi dengan cara yang bertanggung jawab dan rahasia.
Kesimpulan
Hasil kami dalam pelacakan mata berbasis pembelajaran mesin yang akurat dan terjangkau pada ponsel cerdas membuka potensi studi skala besar tentang gerakan mata di seluruh domain (misalnya, ilmu saraf, psikologi, dan interaksi manusia-komputer). Mereka membuka aplikasi baru yang potensial untuk kepentingan publik, seperti interaksi mata-ke-mata untuk aksesibilitas, dan alat penyaringan dan pemantauan berbasis ponsel cerdas untuk kesejahteraan dan kesehatan.
Ucapan Terima Kasih
-, . , : , , , ; , , ; , ; UXR: , . , .