Saat ini, teknologi motion capture (motion capture) paling sering digunakan dalam film dan video game. Tetapi ada opsi lain untuk penggunaannya: hari ini, motion capture membantu bersaing untuk mendapatkan gelar operator mesin terbaik, memungkinkan Anda mendiagnosis gaya berjalan, melestarikan tarian rakyat kecil untuk generasi mendatang, dan di masa depan akan memungkinkan Anda untuk melakukan perang nyata dari bunker yang nyaman.
Kuda, Model Proletarian, dan Ledakan Nuklir: Apa yang coba difoto oleh pencipta motion capture?
Pada tahun 1878, Leland Stanford, gubernur California, pendiri Universitas Stanford dan penggemar berkuda, bertaruh dengan teman-temannya. Dia berargumen bahwa seekor kuda yang berlari berpacu pada saat tertentu mengangkat keempat kakinya dari tanah. Teman-teman tidak setuju, dan tidak mungkin untuk membuktikan atau mengkonfirmasi asumsi tersebut secara visual. Stanford kemudian membawa fotografer terkenal dan peneliti gerakan hewan Edward Muybridge untuk menyelesaikan perselisihan tersebut. Di pertanian Leland di Palo Alto, sebuah "photodrome" khusus dibangun - kandang yang terdiri dari dinding putih dan kamera diarahkan dari dinding seberang. Tali direntangkan di jalur kandang, diikat ke gerbang kamera. Ketika kuda mulai berpacu, penunggangnya mengarahkannya ke photodrome, kaki hewan itu menyentuh tali, gerbang bekerja dan serangkaian gambar muncul.
Beginilah lahirnya kronofotografi, teknologi penangkapan gerak pertama yang membantu menyelesaikan sengketa senilai $ 25.000.
Stanford membuktikan bahwa dia benar: saat berpacu, kuda benar-benar mengangkat keempat kakinya dari tanah, tetapi pada saat ini mereka terselip di bawah tubuh, dan tidak meregang maju mundur, seperti yang sering digambarkan oleh seniman dari era yang berbeda. Penemuan kecil ini menyebabkan kehebohan di kalangan kritikus seni dan seniman pada pergantian abad XIX-XX. Ngomong-ngomong, hanya kuda hitam yang digunakan untuk pemotretan - gerakan mereka terekam lebih jelas dengan latar belakang putih fotodrom. Sumber: Eadweard Muybridge / Wikimedia Commons
Tetapi teknologi penangkapan gerak menarik bukan hanya karena peluang untuk memenangkan taruhan, dan kemudian muncul lebih dari satu perangkat berdasarkan prinsip kronofotografi. Misalnya, fotografer Arnold Lond menemukan chronophotographer 12 lensa pada tahun 1891 untuk menangkap ekspresi wajah pasien ahli saraf Jean Charcot. Sejak saat itu hingga sekarang, tugas utama dan tersulit adalah mereproduksi tindakan yang ditangkap.
Yang pertama tertarik dengan peluang ini adalah pengganda. Pada dekade pertama abad ke-20, era kartun dimulai, baik berupa boneka maupun gambar tangan. Para seniman berusaha mencapai kemungkinan maksimum pergerakan karakter yang digambar. Ini dilakukan oleh penemu Amerika Max Fleischer, yang, bersama dengan saudaranya Dave, menemukan rotoscoping ("pemindahan foto") pada tahun 1914. Awalnya, aktor sungguhan difilmkan. Kemudian rekaman ini diperbesar bingkai demi bingkai, diproyeksikan dan direproduksi pada lumen kaca. Seniman menelusuri setiap bingkai pada kertas kalkir. Hasilnya adalah film baru dengan karakter yang bergerak secara realistis.
, , , . Tantalizing Fly (« ») . . «», « 7 », « », «-», «», « » . : Mohamed El Amine CHRAIBI / YouTube
Reproduksi gerakan yang realistis melalui rekaman video mereka tertarik pada tahun-tahun itu para ilmuwan Rusia Soviet, yang tertarik pada organisasi ilmiah tenaga kerja. Jika Anda mempelajari secara menyeluruh gerakan-gerakan perwakilan terbaik dari proletariat, maka Anda dapat mengajar pekerja lain - ini adalah logika kepemimpinan dan ilmuwan Soviet. Topik ini ditangani oleh Central Institute of Labor (CIT), yang dibuat di Moskow, dan diawasi oleh Nikolai Bernstein, pendiri arahan ilmiah biomekanik, yang mempelajari gerakan manusia. Di laboratoriumnya, Bernstein melakukan studi siklogrammetri: subjek mengenakan setelan khusus, terdiri dari lusinan lampu kecil yang berperan sebagai penanda. Kemudian, dengan menggunakan film cepat (100-200 frame per detik), diperoleh siklogram. Kesalahan dalam mengukur posisi orang yang bergerak atau berlari hanya 0,5 mm.
Selama bertahun-tahun, Bernstein telah mempelajari gerakan atlet, pekerja, dan musisi, yang telah membantu meningkatkan kinerja dalam kompetisi dan mengembangkan metode pengajaran di berbagai bidang. Terlepas dari aib selama periode perjuangan melawan "kosmopolit", Bernstein tetap berhasil memberikan rekomendasi tentang adaptasi astronot ke keadaan tanpa bobot. Sumber: Thomas Oger / YouTube
Patut dicatat bahwa Bernstein telah mengantisipasi munculnya penangkapan gerak optik dan akustik, dimana sensor yang dipasang pada tubuh manusia masih digunakan sampai sekarang.
Ide ini dikembangkan oleh orang Amerika Lee Harrison III, yang bereksperimen dengan sirkuit mikro analog dan tabung sinar katoda. Pada tahun 1959, ia merancang setelan dengan potensiometer bawaan (resistor yang dapat disesuaikan) dan mampu merekam dan menganimasikan gerakan aktor secara real time pada tabung sinar katoda. Meskipun itu adalah pengaturan primitif - aktor animasi tampak seperti pilar cahaya di layar - itu adalah penangkapan gerak real-time pertama.
Secara paralel, metode foto-optik mendorong jalannya, saat penangkapan gerak dicapai dengan memotret objek pada kecepatan tinggi atau dari sudut pandang yang berbeda. Harold Edgerton, penemu Rapatronic Chamber, yang dibuat pada tahun 1940-an, berkontribusi besar dalam hal ini. Ia mampu merekam gambar diam dengan waktu eksposur hanya 10 nanodetik. Berkat perangkat ini, ilmuwan dapat menangkap peristiwa dengan sangat cepat - dari percikan air dari tetesan yang jatuh hingga ledakan nuklir.
Momen ledakan muatan nuklir sepersekian detik setelah peledakan ditangkap oleh kamera rapatronik. Sumber: Pemerintah Federal Amerika Serikat / Wikimedia Commons
Pada akhir abad ke-20, dua teknologi utama penangkapan gerak dibentuk, yang secara konvensional disebut penanda dan tanpa penanda. Pada kasus pertama, penangkapan gerak terjadi dengan menggunakan penanda atau sensor yang ditempatkan pada tubuh manusia. Mereka bisa berbeda: inframerah, magnetis, giroskopik. Cahaya infra merah dapat memantulkan (pasif) atau memancarkan cahaya (aktif), yang magnetis mendistorsi fluks magnet, dan penerima gelombang menentukan posisinya di ruang angkasa, sensor giroskopik juga mengirimkan informasi tentang perubahan posisi benda di ruang angkasa.
Sistem tanpa penanda didasarkan pada penangkapan optik. Banyak kamera dipasang di dalam ruangan, yang memotret dari berbagai sudut. Gambar yang dihasilkan kemudian digabungkan menjadi model 3D. Jenis lainnya adalah exoskeleton, yang dipasang ke tubuh dan membuat model animasi, menangkap gerakan.
Jika model karakter yang ditangkap kemudian perlu ditempatkan di lingkungan virtual, kemudian difilmkan di ruang hijau (chromakey). Hijau sangat kontras dengan warna tubuh manusia, jadi komputer lebih baik dalam memangkas piksel hijau dari bingkai. Sumber: Toshiba
Tangkapan gerak terutama digunakan dalam film dan video game. Namun, setiap tahun teknologi ini semakin banyak digunakan di luar industri hiburan - di bidang manufaktur, kedokteran, pelestarian warisan budaya, olahraga, dan urusan militer.
Ulangi setelah saya: Bagaimana Toshiba mengajari Anda cara mengajukan file menggunakan motion capture?
Anda dapat tanpa henti melihat api, air dan bagaimana seseorang bekerja. Dan terkadang Anda bisa mendapatkan keuntungan darinya. Kami di Toshiba telah mengetahui hal ini sejak lama, itulah sebabnya Hiroaki Nakamura adalah spesialis penangkap gerak di Pusat Rekayasa Manufaktur Perusahaan kami. Baru-baru ini ia dengan antusias mengikuti dengan antusias bagaimana para peserta Kejurnas Profesional bekerja - kompetisi khusus bagi pengrajin di berbagai bidang - mulai dari memanggang hingga mengelas.
Pada tahun 2018, Haruki Okabe, seorang pekerja muda di salah satu perusahaan Toshiba, memutuskan untuk mengikuti kompetisi ini, khususnya dalam perakitan perangkat kecil. Saat merakitnya, kontestan menggunakan file lama yang bagus untuk pemrosesan akhir beberapa bagian. Diyakini bahwa spesialis kelas satu dalam bisnis ini dapat mencapai akurasi pemesinan 0,001 mm atau kurang, jika tidak, perangkat tidak akan berfungsi. Di sinilah kontestan kami ternyata lemah dan kehilangan kemenangan dalam kompetisi.
Toshiba mengirim instruktur berusia 66 tahun Tatsuo Matsui, yang bekerja sebagai arsip di perusahaan perusahaan selama lebih dari 50 tahun, untuk membimbing spesialis muda tersebut. Namun, tidak setiap pembawa keterampilan unik dilahirkan guru yang baik yang mampu menyampaikannya. Dia menjelaskan bahwa masalahnya ada pada posisi kontestan di mesin, tetapi masalah tersebut tidak berlanjut. Kemudian kami mendandani mereka berdua dengan kostum tangkap gerak. Mereka "dijahit" menurut prinsip penanda, yaitu sensor digunakan untuk merekam gerakan. Dalam hal ini, akselerometer hampir sama dengan di smartphone. Ini jauh lebih murah daripada beberapa kamera.
Saat kami membandingkan data mereka, kami melihat satu perbedaan signifikan dalam cara mereka menyeimbangkan diri.
Sumbu vertikal adalah hambatan dari dukungan [N], dan horizontal adalah waktu [S]. Karena pusat gravitasi pekerja muda lebih terkonsentrasi pada kaki depan, dibandingkan dengan pekerja berpengalaman, ada celah besar antara kurva biru dan hijaunya. (Okabe, seorang pekerja muda, kidal, dan Matsui, seorang guru, tidak kidal, jadi garisnya terbalik pada diagram.) Sumber: Toshiba
Ternyata pusat gravitasi pekerja muda bergeser ke depan dengan kuat, tidak dengan cara yang sama seperti spesialis berpengalaman. Karena itu, kontestan cepat lelah saat mengerjakan file, dan karena itu, terjadilah perkawinan. Menyadari kesalahannya, Okabe berhasil meningkatkan kualitas filenya. Dan dia meraih perunggu di Kejuaraan Profesional Nasional Jepang. Mungkin, keturunan kita akan belajar dari catatan karya Matsuya. Dan kita juga bisa menabung untuk mereka jenis seni lain yang menghilang - menari.
: ?
Semua orang mungkin pernah mendengar tentang Daftar Warisan Dunia UNESCO, yang mencakup lebih dari 1.000 situs alam dan buatan manusia yang berusaha dilestarikan oleh umat manusia dan diwariskan kepada generasi mendatang. Pada awal 2000-an, banyak yang berpikir tentang cara melestarikan apa yang tidak dibangun dengan tangan dan tidak diciptakan oleh alam - nyanyian, upacara, pertunjukan teater, kerajinan tangan. Begitulah konsep warisan budaya takbenda (ICH) muncul, yang juga terakumulasi dan dilestarikan sejak 2003. Dan teknologi penangkapan gerak membantu melestarikan salah satu objek utama ICH - menari.
Beberapa proyek di seluruh dunia mendigitalkan tarian rakyat dunia (Wholedance, i-Treasures, AniAge, dan lainnya). Paling sering, saat merekam tarian, sensor aktif dan pasif digunakan, yang ditempatkan pada tubuh penari.
Sistem penangkapan gerak dengan sensor aktif menggunakan LED yang memancarkan cahayanya sendiri. Misalnya, sistem penangkapan gerak Phasespace Impulse X2 terdiri dari delapan kamera yang mampu menangkap gerakan menggunakan LED termodulasi. Penari mengenakan setelan dengan 38 sensor dan LED aktif dan mulai menari.
Proyek WholoDance bereksperimen dengan mengintegrasikan Microsoft HoloLens sebagai alat visualisasi. Streaming data dari Autodesk MotionBuilder secara nirkabel ke headset memungkinkan penari dan koreografer melihat hologram secara real time. Sumber: Jasper Brekelmans / YouTube
Dalam sistem penangkapan pasif, sensor tidak memancarkan sinyal, tetapi hanya memantulkannya menggunakan bahan khusus dari mana setelan itu dibuat. Teknologi ini memberi penari kebebasan bertindak yang lebih besar, memungkinkannya melakukan gerakan tajam, melakukan elemen akrobatik, dan pada saat yang sama tidak mengurangi keakuratan dan kecepatan fiksasi. Sekarang para ilmuwan berharap untuk mengintegrasikan teknologi penanda gerak dan pengambilan gambar 3D, karena mimikri dan kostum penari terlibat dalam tarian tersebut.
Teknologi penangkapan gerak serupa digunakan untuk bentuk aktivitas fisik yang jauh lebih sederhana daripada menari - untuk analisis gaya berjalan.
Belajar dari gaya berjalan: bagaimana studi gaya berjalan membantu dokter?
Kiprah dapat memberi tahu banyak hal tentang kesehatan seseorang. Timothy Niiler dari Pennsylvania State University mengetahui hal ini - ia mengumpulkan koleksi gaya berjalan manusia terbesar di dunia menggunakan teknologi penangkapan gerak. Dia mengundang orang-orang berusia 18 hingga 65 tahun untuk berjalan di bawah 12 kamera kecepatan tinggi ke laboratoriumnya. Niiler menempelkan sekitar 40 sensor reflektif ke tubuh peserta penelitian. Dengan demikian, database gaya berjalan terbentuk, yang selanjutnya digunakan oleh dokter. Pertama-tama, pengetahuan tentang gaya berjalan normal memberikan dasar untuk mengidentifikasi hampir semua masalah ortopedi yang terjadi pada orang dewasa. Misalnya, jika perlu untuk mengukur efektivitas penggantian pinggul atau lutut, dokter "mencatat" gaya berjalan pasien dan membandingkannya dengan parameter gaya berjalan rata-rata dari database.
? 1/3 . 1/3 . : 2/3 . 2/3 . : Motion Analysis
Sistem analisis gerak, misalnya GaitTrack, sudah digunakan langsung di pusat kesehatan. Dengan menggunakan teknologi ini, dokter menghitung dan menggeneralisasi parameter biomekanik dasar saat berjalan atau berlari, mendiagnosis penyakit sendi pada tahap awal, dan mendeteksi risiko kemungkinan cedera. Pelatih dan atlet menggunakan penangkapan gerak dengan cara yang serupa.
Lebih Cepat, Lebih Tinggi, Lebih Baik: Bagaimana penangkapan gerak membantu pemain bola basket?
Penangkapan gerak banyak digunakan dalam olahraga. Analisis tindakan pemain memungkinkan Anda mengidentifikasi kesalahan mereka atau menguji berbagai peralatan. Keith Pamment adalah pelatih kepala tim bola basket, yang terdiri dari pengguna kursi roda. Dia juga seorang insinyur dan telah lama bertanya-tanya bagaimana penangkapan gerak dapat meningkatkan kinerja tim bola basket. Secara khusus, sistem penangkapan gerak Perception Neuron membantu menemukan kursi roda yang paling efektif untuk pemain bola basket penyandang disabilitas. Para atlet berkostum lari cepat, bermanuver, menggiring bola, dan satu lawan satu sambil bergantian di antara enam jenis kursi yang berbeda sementara pelatih mempelajari gerakan animasi mereka secara real time menggunakan 16 kamera.
Avatar atlet animasi diintegrasikan dengan model 3D kursi roda. Sumber: Rockets Science CIC / YouTube
Dalam satu hari mempelajari pelatihan pemain, Keith menyusun kriteria teknis kursi olahraga untuk timnya berdasarkan keterampilan, kekuatan, kelemahan, gerakan, dan teknik bermain atlet. Sekarang pelatih sedang mempersiapkan seluruh kursus untuk rekan-rekannya yang bekerja dengan atlet yang sama.
Jadi, sementara teknologi penangkapan gerak digunakan dalam bidang "relung" aktivitas manusia karena relatif "masa muda" dan, akibatnya, keterbatasan teknis. Tetapi dengan perkembangan robotika, pembelajaran mesin, serta augmented reality dan virtual reality, bidang aplikasinya akan meluas.
Apa selanjutnya: avatar robotik, teleportasi, dan realitas virtual
Robot menjadi semakin gesit, lebih cepat dan pintar, yang berarti orang akan semakin banyak mengirim mereka ke tempat yang tidak dia inginkan. Namun, sekarang di antara antarmuka untuk telekontrol mobil, joystick atau exoskeletons terutama digunakan. Cara semacam itu tidak selalu efektif - kelemahan utamanya adalah bahwa dengan satu atau lain cara mereka mengganggu atau mempersulit pergerakan orang itu sendiri, yang mengendalikan robot dari jarak jauh. Teknologi penangkapan gerak optik dapat mengatasi masalah ini.
Pada 2018, sekelompok ilmuwan dari Inggris Raya dan Italia berhasil menundukkan robot bernama Centauro atas aksi seorang gadis rapuh melalui penangkapan gerak. Untuk melakukan ini, mereka menggunakan sistem pengenalan gerak ASUS Xtion PRO yang murah, yang berisi sensor inframerah dan fungsi pengenalan gambar warna (RGB). Dia bertanggung jawab atas penangkapan gerak. Informasi yang diterima diproses dengan OpenPose, algoritma berbasis pembelajaran mesin yang mampu mendeteksi secara real time (8-10 Hz) gerakan tubuh manusia menggunakan gambar 2D dari kamera RGB. Koordinat tiga dimensi dari sendi dan anggota tubuh manusia yang diperoleh dari sistem, setelah filtrasi, dikirim untuk mengontrol robot Centauro.
3D- , . : Dimitrios Kanoulas / YouTube
Tentu saja, meskipun Centauro tidak dapat dipersenjatai dengan senapan serbu dan dipindahkan ke kendali seorang marinir berpengalaman, tetapi di masa depan pembuatan sistem semacam itu dimungkinkan. Kembali pada tahun 2012, Badan Proyek Penelitian Lanjutan Pertahanan (DARPA) dari Departemen Pertahanan AS mengumumkan sebuah proyek dengan nama tak terduga "Avatar", yang mencakup "pengembangan antarmuka dan algoritme yang memungkinkan seorang prajurit untuk bekerja sama secara efektif dengan mesin semi-otonom dengan dua kaki ( bi-pedal) sebagai pengganti prajurit. " Jelas, sistem seperti itu benar-benar akan memungkinkan robot untuk memberikan keterampilan seorang prajurit yang berpengalaman dan terlatih dengan baik, dan pada saat yang sama menjaganya tetap hidup di lingkungan operasional yang paling sulit berkat kendali jarak jauh. Kemajuan studi kemudian tidak dilaporkan.
Pada tahun 2018, XPrize Foundation mengumumkan kompetisi pembuatan avatar robot ANA Avatar XPrize, dan kemudian dipilih 77 tim untuk mempresentasikan perkembangan avatar robot mereka pada akhir tahun 2020. Menurut ketentuan persaingan, pengembang harus menggabungkan solusi di bidang penangkapan gerak, teknologi sensitif, AR dan VR. Tujuan utamanya, yang akan menelan biaya $ 5 juta, adalah sistem di mana operator dapat melihat, mendengar, bergerak, dan melakukan berbagai tugas di lingkungan yang jauh.
Avatar harus memiliki tiga mode operasi:
- mode terkontrol penuh: robot hanya melakukan perintah manusia;
- Tingkat Lanjut: Memecahkan beberapa tugas secara mandiri, seperti analisis atau pemetaan lingkungan;
- semi-otonom: pengambilan keputusan independen.
Faktanya, kita berbicara tentang "teleportasi" seseorang dengan penciptaan efek kehadiran di titik kontrol robot. Di masa depan, teknologi ini akan memungkinkan kendali jarak jauh robot antropomorfik di lingkungan yang tidak menguntungkan bagi manusia: di kawah gunung berapi, di luar angkasa, di zona bencana alam, atau dalam perang. Pada tahun 2020 kita akan melihat perkembangan pertama, dan pada tahun 2021 kita akan mencari tahu siapa yang akan menjadi yang terbaik dan menerima $ 5 juta untuk penelitian lebih lanjut.