Mari kita ingat siapa saya?
Hai habr. Saya Ivan Bakaidov . Bertahun-tahun yang lalu saya menulis tentang proyek sekolah saya tentang sebuah program yang memungkinkan orang dengan disabilitas fisik yang parah untuk mengetik dengan satu tombol. Ini artikelnya .
Sejak saat itu, banyak yang telah berubah, gadis yang saya tulis program ini meninggal , proyek mulai disebut LINKa. Saya telah melakukan banyak program untuk gangguan motorik lainnya. Saya menyadari bahwa saya kehilangan gelombang relawan yang muncul selama habrohype terakhir, karena proyek open source perlu dipertahankan.
Namun saya tidak meninggalkan topik pengembangan program komunikasi. Dan dengan uang dari “Dudya Grant”, dia mengembangkan komunikator baru yang memungkinkan Anda memilih kartu dengan sekali pandang. Dan saya butuh bantuan untuk menambahkan beberapa fitur. Tumpukan: C #, WPF.
Sekilas? o_O! Seperti ini? Apakah kepalamu bergerak-gerak?
Sebenarnya sudah lama mereka menulis kepada saya di komentar Habr tentang teknologi pelacakan mata, dan saya melewatkan komentar ini, karena saya pikir itu mahal dan dengan kepala geleng tidak akan bisa bekerja. Saya salah!
Sejak 2016, Tobii (alias Apple dari dunia pelacakan mata) mulai mengembangkan perangkat murah untuk pasar gamer. Perangkat ini 10 kali lebih murah daripada perangkat untuk "orang cacat" (Undang-undang stiker perangkat khusus). Dalam beberapa tahun, mereka datang ke model Tobii 4c yang sangat baik , yang dapat dibeli di hypermarket elektronik biasa dan dicolokkan ke USB 2.0.
Salah satu yayasan memberi saya perangkat ini dengan kata-kata "Cobalah, bung". Saya menaruhnya di rak dengan kata-kata "Eytracking dan cerebral palsy - tidak akan berhasil, lalu saya akan melihatnya." Ini masih hanya bekerja dengan Windows, tapi saya punya Mac. Tetapi yayasan adalah organisasi yang sangat hebat sehingga mereka menuntut laporan.
Bootcamp, atur, atur dan sadari bahwa generasi pelacak mata ini belajar melacak posisi kepala, dan darinya posisi mata. Pada frekuensi yang sangat tinggi. Dan semuanya bekerja, gelengkan kepala sesuka Anda.
Perangkat lunak utama untuk pelacak ini adalah bermain game, di Dock Anda dapat menandai 2 musuh dengan mata Anda. Semua demo bawaan menunjukkan fitur pemain. Tetapi ada API terbuka untuk bekerja di program pihak ketiga.
Ada ruang lingkup untuk membuat antarmuka yang dipandu mata. Antarmuka ini sangat sederhana: terdiri dari sekumpulan tombol. Saat Anda menahan pandangan Anda pada tombol, klik terjadi. Dan di sini banyak yang sudah membedakan diri. Windows 10 sendiri memiliki emulator keyboard dan mouse built-in untuk pelacak mata (Benar, tidak ada huruf "X" dan "B" dalam pelokalannya. Jangan minta Bread!).
Tidak mungkin!
Ada keyboard BB2K yang cukup masuk akal , saya menulis tentang itu di pengembang Habré. Saya pribadi sangat menyukai Optikey , ini adalah keyboard yang dilokalkan dengan baik dari pengembang Inggris. Memiliki beberapa pilihan, termasuk piktogram untuk anak-anak non-menulis.
Nah, jika Anda sudah memiliki ahli kacamata, mengapa menulis sendiri?
Ini pertanyaan yang wajar. Seperti yang Anda ingat dari artikel sebelumnya, untuk spesialis yang bekerja dengan orang-orang dari pidato, sangat penting untuk dapat membuat konten sendiri, dipilih oleh lingkungan, dan tidak bekerja dengan batu bata yang sudah jadi, yang bahkan dijahit dengan kartu yang sangat bagus. Hal ini disebabkan oleh fakta bahwa seringkali orang yang tidak dapat berbicara hanya perlu diajari cara menulis, atau hanya untuk memahami bahwa gambar mug menunjukkan cangkir di dapur tempat ia diminum. Dan di Ahli Kacamata yang sama, Anda perlu membuat satu set kartu melalui PowerPoint .
Itulah mengapa Link didasarkan pada ide bahwa saya belajar dengan baik saat belajar di sekolah untuk anak-anak penyandang disabilitas - “Semuanya harus dapat disesuaikan”. Berdasarkan ide tersebut, sebuah tugas yang sangat sederhana muncul: Untuk membuat kisi kartu, dari mana kartu dapat dipilih dengan mata, tetapi pada saat yang sama metode pemilihan, kartu dan kisi harus mudah disesuaikan. Saya memformalkan semua ini di TOR dan menemukan programmer C # yang memahami WPF (lebih baik dari saya). Pada saat ini, Yura Dud juga mentransfer uang dan secara umum semuanya berjalan lancar.
Apa yang terjadi pada akhirnya?
Hasilnya adalah program yang menampilkan sekumpulan kartu dari file .linka dalam sebuah grid dan memungkinkan Anda untuk memilihnya menggunakan: Pelacak mata Tobii, mouse, keyboard dan joystick permainan. Ada juga mode di mana pemilihan kartu dilakukan dengan sekilas, dan konfirmasi dengan tombol.
Program ini berisi editor untuk file .linka.
→ Anda dapat mengunduhnya dari sini secara gratis: linka.su/looks
Jadi, apa yang perlu dilakukan?
Terlepas dari kesederhanaan dan singkatnya program, saya berharap fleksibilitasnya akan membantu membangun komunikasi dalam berbagai kasus.
Saya memiliki beberapa ide kecil yang ingin saya terapkan dalam program ini dan saya akan sangat senang jika Anda dapat membantu. Tugas-tugas ini dijelaskan dalam masalah ini , tetapi saya akan membawa beberapa di antaranya ke sini dan menjelaskan apa yang saya maksud.
- , .
API Yandex TTS. , . . . , , , . , . . - Buatlah sistem pemilihan kartu dengan satu tombol.
Terlepas dari keajaiban pelacak mata, saya bertemu dengan rekan-rekan yang tidak berhasil menggunakannya. Dan saya ingin menambahkan untuk mentransfer untuk mereka algoritma untuk memilih kartu menggunakan satu tombol dari tautan lama yang bagus, klik (dan berhenti mendukung yang terakhir). - Memungkinkan untuk mencetak di program pihak ketiga.
- Pelokalan ke dalam bahasa negara CIS.
Saya juga akan senang jika Anda hanya menguji program dan menulis ide Anda.
→ GitHub
→ Patreon
Terima kasih!