Anda tidak hanya dapat membaca di bibir selama percakapan, tetapi juga di tangan yang bergetar di atas keyboard. Jadi, dengan gerakan tangan yang dilihat oleh penyerang selama panggilan video, dimungkinkan untuk menebak kata sandi dan kata sandi yang diketik pada keyboard QWERTY tradisional.
Pengembang Amerika telah membuat algoritme khusus yang dapat membaca pergerakan kontur bahu dan lengan pengguna yang mengetik di keyboard, menganalisisnya, dan membandingkannya dengan karakter yang dimasukkan. Selanjutnya, AI menyiapkan daftar huruf dan angka yang mungkin diketik, yang memungkinkan, misalnya, untuk memulihkan karakter yang diketik selama otorisasi. Dan semua ini - hampir dalam waktu nyata, selama konferensi video.
Ada cara untuk menentukan karakter yang diketik pada keyboard dengan suara penekanan tombol. Ini membutuhkan akses ke PC target. Namun, metode ini tidak akurat, karena kebisingan alam sangat mengganggu persepsi dan analisis. Selain itu, pembacaan sandi akustik tidak berfungsi untuk keyboard dengan penekanan tombol amplitudo rendah.
Algoritme, yang ditemukan oleh pengembang dari University of Texas di San Antonio, memperhitungkan kecepatan mengetik, urutan penggunaan tangan, memantau pergerakannya, dan menghitung kemungkinan jumlah huruf dalam satu kata. Gudang aplikasi mencakup kamus kata-kata paling populer yang digunakan sebagai kata sandi. Menurut para peneliti, video kurang rentan terhadap distorsi dibandingkan audio.
Analisis video dan algoritma decoding bekerja sebagai berikut:
- .
- .
- .
- .
- : .
- .
- , .
Para peneliti menguji algoritme dalam berbagai kondisi.
Dalam satu kasus, mereka menggunakan kamus yang terdiri dari 65 ribu kata paling populer dan memberikan 50 kata yang paling mungkin dalam satu pilihan. Akurasi tergantung pada platform web yang digunakan. Kata-kata prediksi paling akurat dimasukkan ke dalam Skype. Di bawah kondisi yang sama, ini ternyata 3,4% lebih akurat daripada Zoom dan 8% lebih akurat daripada Hangouts.
Dalam kasus lain, mereka mengambil kamus berisi 4 ribu kata. Tapi kemudian 75% kata yang dimasukkan ada di daftar 200 kata yang paling mungkin.
Nuansa yang menarik: kerja algoritme sangat bergantung pada pakaian subjek. Misalnya, orang dengan tangan kosong lebih mudah diserang. Akurasi pengenalan karakter yang dimasukkan ketika peserta dalam eksperimen mengenakan pakaian tanpa lengan adalah 81,7%, dibandingkan dengan 74,4% dan 73% dengan akurasi dengan lengan panjang dan pendek.
Gaya pengetikan dan akurasi pengenalan dipengaruhi oleh jenis keyboard dan jarak antar tombol. Tapi, ternyata, ini tidak terlalu penting untuk akurasi. Papan tombol Logitech secara signifikan lebih besar daripada Anker, tetapi akurasinya hampir sama.
Selain pengujian di lingkungan laboratorium, para pengembang mengamati 10 peserta di lingkungan rumah mereka yang khas: tujuh pria dan tiga wanita. Semua peserta memiliki kecepatan mengetik yang kira-kira sama yaitu 3,7 klik per detik dan tingkat kesalahan 86,7%. Untuk kemurnian eksperimen, sejumlah kondisi pembatasan diperkenalkan: durasi panggilan 30 menit, aktivitas PC sepuluh menit yang direkomendasikan, dll.
Dari hasil percobaan, ternyata di rumah tidak semua orang menggunakan posisi kamera, seperti kondisi laboratorium. Selain itu, resolusi webcam yang berbeda memengaruhi keakuratan informasi yang dihasilkan oleh algoritme. Dalam satu kasus, rambut benar-benar menutupi area lengan bawah, menghilangkan kemampuan analisis algoritme. Jadi secara umum, tidak sulit untuk melindungi diri sendiri.
