Ini adalah salah satu dari banyak kegunaan Piksel Ekspresif . Platform pengembangan Windows 10 yang memungkinkan Anda membuat rendering animasi sekarang tersedia secara gratis di Microsoft Store. Selain aplikasinya, ia memiliki seperangkat perangkat lunak, yang dengannya Anda dapat menggunakan tampilan LED untuk komunikasi menggunakan efek visual atau emoji.
Semua ini memperluas kemungkinan komunikasi non-verbal, membuka cara baru bagi pengembang untuk menggunakan secara kreatif melalui API sumber terbuka, dan menurunkan penghalang masuk bagi calon pemrogram, perancang, dan peneliti.
Piksel Ekspresif juga berfungsi sebagai batu loncatan bagi penghobi atau pemrogram yang lebih berpengalaman, memungkinkan mereka membuat kreasi baru tanpa harus memikirkan cara memprogram animasi dan gambar pada perangkat kecil - ada perpustakaan khusus untuk itu.
Di mana pun Anda bekerja, belajar, atau bersosialisasi, Piksel Ekspresif menawarkan cara animasi untuk mempersonalisasi ruang Anda dan memperkuat kehadiran Anda, seperti yang dilakukan oleh gambar, suvenir, dan berbagai pernak-pernik.
“Kami memberikan banyak perhatian pada fungsi dasar sehari-hari, tetapi ketika Anda memikirkan tentang apa yang membuat kami manusia, itu adalah emosi. Kami ingin mengekspresikan emosi kami dan tetap berhubungan satu sama lain, ”kata Bernice Yu, manajer umum, strategi dan proyek, Microsoft Small, Medium & Corporate Business. Dia adalah bagian dari tim proyek Piksel Ekspresif dan telah berkontribusi banyak pada rilis Eyes First tahun 2019 , yang menggunakan Windows 10 Eye Control , fitur aksesibilitas utama untuk orang-orang dengan gangguan penglihatan dan gangguan mobilitas. “Sangat menyenangkan menjadi produktif, tapi kita semua ingin menjadi manusia. Ini adalah kebutuhan yang tidak bisa diganggu gugat. "
Piksel Ekspresif dibangun dari kolaborasi yang mendalam dan bermanfaat selama bertahun-tahun antara Microsoft dengan Grup Pengaktifan dan orang-orang dengan gangguan penglihatan dan mobilitas parah. Tujuan dari pekerjaan ini adalah untuk mencoba memahami preferensi orang-orang tersebut, kebutuhan dan masalah mereka yang timbul dalam komunikasi dan interaksi dengan orang lain, dalam ekspresi diri yang kreatif dan identifikasi diri, serta untuk memperluas kemampuan perangkat Augmentative and Alternate Communication (AAC) tradisional dengan yang baru. fungsi untuk komunikasi non-verbal, ekspresi diri, penyiaran sinyal sosial dan status perangkat.
Contoh
Komunikasi Piksel Ekspresif bukan hanya tentang apa yang Anda tulis dan katakan. Sebagian besar dari ini adalah proses non-verbal yang mencakup mengetahui kapan giliran Anda untuk berbicara.
Harish Kulkarni
“Solusinya dapat digunakan untuk kasus-kasus serius, atau sebagai cara kreatif yang menyenangkan untuk menceritakan sesuatu tentang diri Anda,” kata Harish Kulkarni, manajer teknis tim kerangka kerja AI di cloud dan grup Microsoft Cloud dan AI. Dia telah menjadi anggota tim Enable selama beberapa tahun dan telah melakukan banyak hal untuk mengintegrasikan Eye Control ke dalam Windows 10.
Dalam perjalanannya, tim tersebut menerapkan inovasi yang paling tidak terduga, mengatasi rintangan dengan ide-ide segar, yang terinspirasi oleh manfaat yang dapat diberikan oleh teknologi kepada orang-orang.
Ketika pengembang menyadari bahwa mereka membutuhkan faktor bentuk yang dapat dengan mudah dilihat dari mana saja di dalam ruangan dan dalam pencahayaan apa pun, mereka beralih ke tampilan LED yang ramah pengguna yang ditawarkan oleh produsen pihak ketiga seperti Sparkfun, Adafruit, dan Silicon Squared Displays (tampilan terbaru adalah perangkat all-in-one khusus yang dirancang untuk menyelesaikan masalah resolusi, komunikasi, penyimpanan, dan animasi oleh insinyur tunggal di tim Piksel Ekspresif, Gavin Jahnke). Namun, Piksel Ekspresif dapat digunakan tanpa tampilan LED atau perangkat lain hanya dengan memasukkan GIF animasi ke dalam email.
Kemudian masalah lain muncul: mengembangkan perangkat lunak yang akan memudahkan untuk menampilkan animasi pada layar. Sekali lagi, Jahnke menerima tantangan tersebut dan membuat firmware yang, bersama dengan aplikasi pengembangan, membentuk platform yang dapat dijalankan di banyak perangkat. Dengan firmware ini, produsen dapat menggunakan atau memperluas aspek tertentu. Pembuat dapat membagikan animasi asli mereka di Galeri Cloud aplikasi.
Jahnke berperan penting dalam pengembangan elemen kunci Piksel Ekspresif ini - semua di waktu luangnya, di luar pekerjaan utama.
Silicon Squared Display: Prototipe dan Evolusi Tampilan
Versi pertama dari perangkat itu adalah tampilan sederhana berukuran 16 piksel yang diatur dalam lingkaran. Untuk membuat prototipe ini, pemotong digunakan - potongan melingkar dari bahan tembus cahaya dipotong, yang menutupi tampilan untuk meredakan cahaya terang dari LED.
“Biasanya, ketika saya melakukan sesuatu, saya membuat hidangan kerajaan darinya,” canda Jahnke, manajer umum pengembangan Microsoft Research. Namun dia menjadi serius dan menambahkan: "Panggilan saya adalah membantu segmen populasi dan komunitas yang tidak menerima layanan yang tepat, untuk memberi mereka apa yang tidak tersedia bagi mereka karena kemampuan teknis mereka, tetapi sesuai dengan kemampuan teknis saya."
Jahnke adalah ahli dalam segala bidang, setelah memperoleh keterampilan baru, termasuk di bidang teknik kelistrikan, selama tiga tahun mengabdikan diri untuk proyek tersebut. Dalam prosesnya, ia menciptakan kategori perangkat baru dengan layar LED RGB beresolusi lebih tinggi daripada yang tersedia sebelumnya. Dia juga menemukan cara memberikan mobilitas maksimum kepada pengguna menggunakan teknologi Bluetooth dan berbagai mekanisme untuk memicu animasi, seperti sakelar atau sinyal musik MIDI.
“Apa yang benar-benar menarik adalah konsekuensi yang tidak diinginkan dari keluar dari zona nyaman Anda dan mempelajari sesuatu yang baru,” katanya. "Kamu mendapatkan ide dan kemampuan luar biasa."
Pertemuan tim Piksel Ekspresif di Microsoft Teams dalam Mode Bersama. Baris belakang (kiri ke kanan): Anne Paradiso, Bernice Y. Baris kedua dari atas (kiri ke kanan): Noel Sophie, Gavin Yanke, Jarnael Chaj. Baris ketiga dari atas: Duane Lamb, Stacey Stutz. Baris bawah: Christopher O'Dowd.
Perjalanan Piksel Ekspresif dimulai lebih dari lima tahun yang lalu dengan ketertarikan Enable Group dalam meningkatkan perangkat Augmentative and Alternate Communication (AAC), yang biasanya sangat mahal karena merupakan bagian dari pasar medis.
Piksel Ekspresif di seluruh perangkat.
Chief Development Officer Anne Paradiso memimpin upaya ini, ingin menyalurkan energinya untuk melayani orang lain. Dia bekerja di tim Jahnke di Microsoft Research sebelum bergabung dengan Grup Pengaktifan, dan Jahnke tidak menolak bantuannya, terutama karena proyek tersebut mendapatkan momentum.
Mereka pertama kali bekerja dengan mantan pemain NFL Steve Gleason, yang menginspirasi dan menstimulasi penelitian setelah dia didiagnosis dengan ALS (amyotrophic lateral sclerosis). Meskipun Gleason mahir menggunakan teknologi pelacakan mata, dia masih merasa kesulitan untuk berkomunikasi ketika masalah teknis muncul dan harus melihat ke layar daripada orang yang mencoba berkomunikasi dengannya.
“Saat berbicara dengan orang yang hanya mengontrol perangkat suara dengan matanya, Anda akan melihat bahwa kecepatan percakapan jauh lebih lambat dibandingkan dengan percakapan normal. Seringkali percakapan melalui AAC 12 hingga 25 kali lebih lambat, bahkan dengan akurasi prediksi dan pengenalan gerakan mata yang ditingkatkan, kata Paradiso. “Jadi kami sering mengamati bagaimana lawan bicara tidak tahan dengan keheningan yang berkepanjangan, atau tidak dapat memahami bahwa mereka sedang mempersiapkan jawaban untuknya, dan terus berbicara, dan orang dengan gangguan bicara dibiarkan tanpa kesempatan untuk berbicara.”
Ini mengarah pada penelitian yang berpusat pada pengguna yang melibatkan orang-orang dengan ALS dan keluarga mereka. Paradiso dan stafnya bertemu dengan mereka secara teratur, menemani mereka ke pertemuan dengan dokter, mengamati interaksi mereka dengan ahli saraf, terapis bicara, fisioterapis, dan banyak lainnya. Pertemuan tersebut diadakan di rumah dan di laboratorium Microsoft. Kepercayaan yang dihasilkan memungkinkan peneliti untuk benar-benar mengenal ekosistem di sekitar penyandang disabilitas, belajar tentang sistem pendukung dan sikap anggota keluarga, memeriksa peralatan, dan mencari tahu apa yang membantu dan apa yang tidak.
Kami segera menyadari bahwa mengoptimalkan tampilan LED untuk komunikasi berbasis emoji adalah peluang besar.
Anne Paradiso
“Emoji sudah ada di mana-mana dalam platform komunikasi digital, termasuk pesan teks, email, dan media sosial. Mereka mengambil tindakan lebih sedikit untuk menyampaikan maksud, konteks, atau suasana hati. Satu ikon emoji dapat secara drastis mengubah atau meningkatkan persepsi pesan. Kami pikir mereka dapat digunakan sebagai mediator ekspresif tambahan bagi orang-orang yang tidak dapat berbicara atau mengontrol otot-otot yang bertanggung jawab atas ekspresi wajah, kata Paradiso. - Orang-orang dengan ALS yang bekerja dengan kami adalah beberapa orang yang paling lucu, paling bijaksana, dan kreatif yang saya kenal, tetapi peluang yang tersedia bagi mereka untuk mengekspresikan pemikiran mereka terbatas karena ketidakmampuan dan ketidaksempurnaan perangkat suara yang tersedia dan teknologi yang mendasari mereka. Kita tahu,bahwa orang ingin mengekspresikan lebih banyak dengan perangkat AAC mereka, tidak hanya berkomunikasi dalam frasa sederhana. Kami ingin menciptakan sesuatu yang akan membantu orang berpartisipasi lebih aktif dalam percakapan, akan terlihat dalam cahaya redup dan dari kejauhan, dan juga akan memberikan kesempatan lain untuk ekspresi unik, komunikasi dan transmisi emosi. "
Pengembang mencoba berbagai layar tambahan, tetapi kembali ke tampilan LED karena beberapa alasan: tidak mahal, berfungsi dengan baik, dan "keren". Orang-orang dengan ALS dalam penelitian juga menjelaskan bahwa mereka tidak ingin menggunakan apa pun yang dapat menimbulkan konsekuensi sosial negatif yang tidak diinginkan bagi pengguna.
“Mengamati dan memberdayakan orang-orang yang hidup dengan ALS sehingga mereka dapat melakukan apa yang tidak pernah mereka harapkan adalah motivasi yang cukup untuk bekerja keras,” kata Duane Lamb, pengembang yang bergabung dengan Enable Group pada awal 2017, yang menciptakan antarmuka pengguna dan antarmuka pengguna. - Lebih sering daripada tidak, saat Anda berbicara dengan seseorang yang hanya dapat berkomunikasi dengan matanya, orang tersebut memasukkan teks sambil melihat keyboard perangkat di depannya. Dan Anda, meskipun ini adalah bentuk yang buruk, dari sudut pandang etika sosial, biasanya melihat dari balik bahu lawan bicara Anda dalam upaya untuk melihat apa yang dia ketik. "
Munculnya Piksel Ekspresif sebagian disebabkan oleh keinginan untuk menyelesaikan masalah ini.
Emoji di aplikasi Piksel Ekspresif
Piksel Ekspresif dapat digunakan untuk menganimasikan tampilan dalam berbagai ukuran, hingga 64 × 64 piksel, kata Christopher O'Dowd, yang membantu mengisi celah perangkat keras dalam proyek tersebut. O'Dowd mencatat bahwa tampilan LED ada di mana-mana di Maker Faire, di rumah selama liburan dan banyak lagi. Layar LED sangat serbaguna sehingga sering ditemukan bahkan pada kain (seperti topeng, topi, dan ransel) atau spanduk.
Salah satu aplikasi pertama tampilan LED oleh tim Expressive Pixels adalah proyek SXSW Music without Hands yang memenangkan penghargaan.
Proyek ini menggunakan matriks LED yang dibuat khusus dengan dukungan midi dan sinkronisasi musik. Itu adalah alat visualisasi tambahan untuk kit drum fisik yang dikendalikan mata yang dirancang untuk salah satu anggota Expressive Pixels, seorang musisi Seattle yang tinggal dengan ALS. Pemenang Penghargaan Inovasi Interaktif SXSW 2018: Inovasi Musik dan Audio, proyek ini mencakup serangkaian aplikasi panduan mata baru untuk membuat dan menampilkan musik serta berkolaborasi.
“Bagaimana seseorang yang tidak dapat berbicara dan bergerak untuk menggubah atau menampilkan musik, memerintahkan apa yang terjadi di atas panggung atau menghubungi penonton secara langsung? Bagaimana dengan tampil bersama dengan musisi lain, dilatih atau diimprovisasi? Bagaimana kita bisa menurunkan hambatan untuk membuat program musik sekolah lebih inklusif, tidak memisahkan atau meminimalkan partisipasi anak penyandang disabilitas? Kami didorong oleh keinginan untuk menemukan jawaban atas pertanyaan mendasar ini, - kenang Paradiso. "Kami ingin mengadaptasi teknologi dan desain kami agar sesuai dengan tujuan kreatif dan situasi kehidupan nyata seseorang, dan bukan sebaliknya."
Lamb memiliki ide untuk menambahkan dukungan untuk Musical Instrument Digital Interface (MIDI) untuk mengirim sinyal yang berbeda ke instrumen yang berbeda, dan ide ini kemudian dibawa ke Piksel Ekspresif.
“Setiap kali kami mengerjakan tujuan baru, kami mendorong platform lebih jauh,” kata Paradiso.
Platform Expressive Pixels terbuka untuk berbagai macam orang kreatif. Ini bukan hanya komunitas pengembang, tetapi juga siswa yang dapat mengembangkan proyek untuk membantu orang lain dan mempelajari JavaScript menggunakan Microsoft MakeCode . Menurut Jahnke, MakeCodes biasanya memiliki jumlah LED yang sangat kecil, sehingga kemampuan tampilan penuh membuka banyak ruang bagi siswa untuk membuat, bereksperimen, dan memprogram menggunakan sesuatu seperti layar Silicon Squared yang terhubung ke gadget MakeCode.
"Piksel Ekspresif memberi siswa cara mudah untuk mengintegrasikan animasi dalam aplikasi ke dalam program MakeCode dan kreasi perangkat keras mereka dengan sedikit usaha," kata Jahnke.
Aplikasi itu sendiri akan mengetahui animasi apa yang disimpan di perangkat, sehingga perintah yang berbeda akan menyebabkannya bereaksi sesuai.
Ini dan proyek Enable lainnya di Paradiso menghidupkan kembali hasratnya untuk perusahaan yang telah dia jalani selama hampir 20 tahun.
“Begitu banyak orang berkumpul, dan banyak yang menghabiskan waktu pribadi mereka untuk bekerja untuk sesuatu yang lebih besar dari kita sendiri - itu menginspirasi dan sejalan dengan nilai dan misi perusahaan kita, dan itu membuat saya bahagia dan memberi berharap masa depan yang lebih inklusif dan kreatif untuk semua, ”kata Paradiso.
Expressive Pixels.