Ilmuwan Inggris telah melatih AI untuk mengubah bahasa lisan menjadi video dengan penerjemah bahasa isyarat virtual. Algoritme secara independen mengevaluasi kualitas pekerjaan. Jaringan saraf akan membantu orang dengan gangguan pendengaran sebagian atau seluruhnya meningkatkan persepsi konten dan merasa lebih bebas di acara publik.
Ada puluhan juta tuna rungu dan tuli di dunia yang menggunakan bahasa isyarat sebagai alat komunikasi utama mereka. Di satu sisi, di dunia online, masalah komunikasi bagi para tuna rungu diselesaikan dengan bantuan teks film. Namun di sisi lain, sekarang webinar, aliran, dan konten populer lainnya harus diterjemahkan ke dalam bahasa isyarat secara real time. Para ilmuwan telah lama meneliti masalah ini dan mencari solusinya.
Para peneliti sekarang sedang mencari teknologi neuroteknologi. Di University of Surrey, pengembang telah membuat algoritme terjemahan bahasa isyarat generasi baru. AI mengubah bahasa lisan menjadi gerakan kerangka manusia. Kerangka tersebut kemudian diberi bentuk manusia dan rekaman realistis dibuat. Dengan bantuan teknologi, Anda juga bisa menghasilkan video berbasis teks.
Mengapa kesulitan seperti itu dan mengapa pergerakan seluruh kerangka penting? Bahasa isyarat bukan hanya isyarat tangan, tetapi melibatkan seluruh bagian tubuh bahkan ekspresi wajah. Teknologi sebelumnya sering kali menghasilkan model yang kabur, yang menyebabkan distorsi makna atau bahkan kesalahpahaman pidato penerjemah bahasa isyarat virtual.
Foto: ru.freepik.com
Cara kerja jaringan saraf baru
Algoritme tersebut didasarkan pada berikut ini: sinyal penerima datang dalam bentuk audio, kemudian diubah menjadi model skematik kerangka manusia, yang mereproduksi ucapan dengan gerakan yang sesuai. Urutan pose kemudian diumpankan ke jaringan neural konvolusional U-Net. Web mengubah gerakan dan pose menjadi video yang nyata.
Algoritma penerjemah bahasa isyarat virtual
Untuk mencapai hasil yang tinggi, para ilmuwan melatih jaringan saraf menggunakan video penerjemah bahasa isyarat nyata.
Untuk mengevaluasi model yang dihasilkan, pengembang melakukan eksperimen dengan relawan. Jadi, mereka meminta mereka untuk membandingkan metode baru dengan metode transformasi wicara lain yang digunakan sebelumnya. Dari 46 orang tersebut, 13 orang adalah penutur bahasa isyarat. Perbandingan dilakukan berdasarkan empat parameter, yang masing-masing algoritme baru mengungguli kualitas versi sebelumnya.
Hasil dari studi pada relawan
Bukan hanya ilmuwan Inggris
Para peneliti telah mengerjakan terjemahan bahasa isyarat sejak awal abad ini. Salah satu produk paling terkenal adalah penerjemah virtual animasi dari IBM . Tetapi proyek itu tidak dikembangkan. Beberapa tahun kemudian dia bereinkarnasi di Novosibirsk. Program tersebut , yang diciptakan oleh para ilmuwan dari Novosibirsk Academgorodok, mengenali ucapan, menganalisis artinya dan diterjemahkan ke dalam bahasa isyarat. Kemudian avatar menampilkan teks di layar.
Penerjemah bahasa isyarat animasi dari pengembang Novosibirsk
Pada saat itu diyakini bahwa pengembangannya akan sepopuler Google Translator. Sekarang Anda dapat menguji program tersebut di aplikasi Adaptis untuk AppStore dan Google Play .
Tangkapan Layar Aplikasi Adaptis di App Store
Beberapa tahun lalu, ilmuwan Belgia mencetak tangan 3D yang didukung oleh Arduino yang juga berfungsi sebagai penerjemah bahasa isyarat. Proyek itu bernama ASLAN. Lengannya terdiri dari 25 bagian plastik PLA yang terpisah. Di masa depan, mereka bermaksud menambahkan tangan lain dan wajah robotik untuk menyampaikan emosi.
Penerjemahan dari bahasa isyarat ke bahasa yang biasa kita gunakan juga sangat sulit. Ilmuwan Rusia dari Institute for Management Problems. V.A. Institut Ilmu Kontrol Trapeznikov dari Akademi Ilmu Pengetahuan Rusia (IPU RAS) beberapa tahun yang lalu memulai pengembangan AI semacam itu. Seharusnya di masa depan dia akan membantu menerjemahkan isyarat menjadi kata, frasa, dan huruf. Para ilmuwan kemudian melaporkan bahwa dibutuhkan waktu lebih dari satu tahun untuk membuat algoritme.
Foto: ru.freepik.com Program
Rusia akan didasarkan pada sebuah situs yang dibuat oleh seorang karyawan tunarungu dari Institut Ilmu Pengendalian Akademi Ilmu Pengetahuan Rusia. Dia telah mengembangkan situs Surdoserver selama beberapa tahun. Pada saat yang sama dilaporkan bahwa para ilmuwan Rusia sedang mengerjakan aplikasi seluler "Surdoservice" dan awan tuli untuk pertukaran informasi oleh orang-orang yang memiliki gangguan pendengaran.
