Film ganda
Anda mungkin pernah melihat aktor ganda di layar lebih dari sekali dan, kemungkinan besar, bahkan tidak memperhatikan pergantian pemain. Jika sebelumnya penata rias bertanggung jawab atas kemiripan, kini para sutradara semakin menarik tim pengembang dari industri pengembangan game.
Gladiator, yang saya kutip sebagai contoh, adalah salah satu film pertama yang menampilkan digital twin. Adegannya, yang tidak memiliki waktu untuk mengambil gambar dengan Oliver Reed, dikumpulkan dari materi yang sebagian difilmkan, menambahkan bingkai yang dibuat menggunakan grafik 3D. Untuk 1999, kami berhasil mencapai hasil yang sangat fantastis, dan bahkan spesialis CG sering tidak memperhatikan pergantian pemain.
Contoh terkenal lainnya dari rekreasi seorang pahlawan film setelah kematian seorang aktor adalah film "Superman Returns" (2006) oleh Brian Singer. Menjadikan Marlon Brando sebagai ayah dari seorang superman adalah masalah prinsip bagi sutradara, karena pada tahun 1978 Brando memainkan peran yang sama dalam Superman.
Model 3D dari wajah aktor dibuat dari foto, dan animasinya - ekspresi wajah dan gerakan mata - dibuat berdasarkan footage aktor yang tidak termasuk dalam versi pengeditan terakhir. Secara umum, proses yang sangat memakan waktu.
Hingga sepuluh tahun lalu, banyak operasi kompleks untuk membuat model fotorealistik dilakukan secara manual. Dan industri film modern telah memiliki tumpukan teknologi besar yang tersedia untuk tujuan yang sama, dan tidak perlu "menemukan kembali roda".
Mungkin contoh kemajuan teknologi yang paling jitu adalah proses pembuatan kulit dalam 3D. Kulit manusia memancarkan cahaya, dan sinar yang melewatinya dipantulkan dan didistribusikan secara internal. Dalam grafik komputer, ini disebut hamburan di bawah permukaan - distribusi cahaya di bawah permukaan. Mesin render modern, yang menerapkan fungsionalitas bahan hamburan di bawah permukaan, dapat menghitung efek ini secara fisik dengan benar. Dan 10 tahun yang lalu, Anda harus memprogramnya atau membuat "palsu" di pasca-pemrosesan.
Sekarang prosesnya otomatis, dan Anda hanya perlu mengubah warna dan tekstur kulit secara manual. Selain itu, pengelolaan warna dapat dilakukan dengan mekanisme yang benar secara biologis - dengan mengubah kandungan melanin dalam bahan kulit. Kembar digital modern sangat realistis sehingga Anda hampir tidak dapat memahami bahwa dalam bingkai tertentu Anda melihat Manusia Digital, dan bukan aktor favorit Anda.
Ingin berolahraga? Tonton serial SuperBobrovs dengan bintang Jantung Anjing Vladimir Tolokonnikov. Sayangnya, aktor yang dikenal semua orang karena perannya sebagai Polygraph Poligrafovich Sharikov itu tidak dapat menyelesaikan syuting karena serangan jantung. Jadi semua adegan yang hilang dimainkan oleh avatarnya.
Kemajuan serius dalam menciptakan digital twins juga terkait dengan perkembangan daya komputasi. Jika sebelumnya, untuk menghitung urutan dengan karakter digital, diperlukan seluruh peternakan prosesor dan RAM, sekarang semuanya dipertimbangkan di komputer game rumahan - perlahan tapi pasti. Jadi saya pikir Antony Proximo dapat dirender dalam waktu sekitar satu bulan oleh kami bertiga. Dan jika kita juga memperhitungkan pembuatan model tiga dimensi (bagian pekerjaan yang paling memakan waktu dan paling mahal), total durasi proyek akan menjadi 2-2,5 bulan, dan anggaran dapat dibatasi hingga $ 100 ribu.
Pabrik Konten Bisnis
Kemajuan teknologi untuk membuat model fotorealistik orang disertai dengan lompatan dalam pengembangan jaringan saraf yang dengannya Anda dapat mengontrol model 3D. Bersama-sama, ini menciptakan dasar untuk aplikasi Manusia Digital yang lebih luas. Jadi, dengan menggabungkan model 3D dengan jaringan saraf atau bot obrolan, Anda dapat mengatur seluruh pabrik untuk produksi konten video: Anda “memberi makan” teks tersebut, dan avatar Anda membacanya dengan ekspresi wajah dan emosi. Perkembangan skenario seperti itu sudah ada di pasaran , bagaimanapun, mereka tidak menggunakan model 3D, tetapi foto orang sungguhan.
Melihat penyiar berita di saluran federal, banyak yang berpikir bahwa begitulah cara kerjanya. Faktanya, tidak - penyaji tidak hanya membaca teks dengan ekspresi wajah dan emosi, tetapi juga menulisnya sendiri. Dan di masa depan, tentu saja, jaringan saraf akan dapat "menulis" teks untuk TV dan blog video, dan avatar akan dapat menyuarakannya. Dan ketika mengatur laporan, juga dimungkinkan untuk menghemat uang - hanya mengirim operator ke situs, dan menghamparkan avatar stand-up dengan teks yang ditulis oleh editor pada materi video yang sudah difilmkan.
Kami di LANIT-Integration berpikir bahwa dua arah penggunaan teknologi Manusia Digital adalah yang paling menjanjikan.
Yang pertama adalah mengganti wajah seseorang dengan video.... Mungkin, semua orang telah melihat klon Elon Musk yang terhubung ke konferensi Zoom. Skenario ini disebut Deep Fake dan, seperti namanya, digunakan untuk semua jenis pemalsuan. Secara teknologi, arah yang sama disebut juga Face Swap, tetapi skenario ini bukan lagi untuk PR kulit hitam, tetapi untuk tujuan komersial yang tidak menimbulkan kontroversi etika. Misalnya, Anda dapat men-debug produksi konten pendidikan.
Bank dengan jaringan cabang federal memiliki banyak video pelatihan dengan berbagai kualitas. Beberapa di antaranya hanyalah rekaman konferensi Zoom. Kualitas video yang rendah dan situasi dalam bingkai, yang tidak sesuai dengan standar perusahaan, tidak memungkinkan untuk mengumpulkannya ke dalam satu kursus pelatihan. Dan dengan bantuan avatar digital dan jaringan saraf, Anda dapat memperbaiki semuanya - mengubah latar belakang dan tampilan pembicara.
Skenario serupa untuk membuat produk video menarik bagi TV dan blogger. Baru-baru ini, kami dihubungi oleh produser salah satu saluran tematik dan diminta untuk memperkirakan biaya produksi masalah reguler dengan avatar digital sebagai presenter. Tentu saja, Manusia Digital tidak akan menyelesaikan semua masalah - masih belum ada teknologi yang memungkinkan avatar mereproduksi emosi saat memproses teks oleh jaringan saraf - untuk ini Anda masih membutuhkan orang yang masih hidup, yang ekspresi wajahnya dan gerakannya akan digunakan avatar. Selain itu, Anda memerlukan spesialis yang akan mengambil alih penulisan skrip, teks untuk akting suara. Benar, menjadi sangat tidak penting seperti apa penampilan orang-orang yang terlibat dalam produksi konten media, jenis kelamin mereka, warna nada suaranya, dan di mana mereka berada. Untuk membidik, Anda memerlukan setelan untuk menangkap gerakan, helm dengan kamera video yang diarahkan ke wajah (untuk "menangkap" ekspresi wajah),dan avatar itu sendiri, yang secara real time akan menyiarkan di layar semua gerakan pekerja di luar layar. Menurut perhitungan kami, teknologi ini akan mengurangi biaya produksi video hingga 10 kali lipat.
Arah kedua dari aplikasi Manusia Digital adalah menggabungkan avatar digital dengan chatbot dan sistem sintesis suara , dan itu bisa sangat diminati untuk komunikasi dengan klien.
Banyak pusat panggilan sekarang menggunakan bot obrolan. Namun tidak semua klien nyaman berkomunikasi dengan robot. Mungkin komunikasi akan lebih menyenangkan jika klien melihat lawan bicara digital mereka.
Dengan memasang bot obrolan, mikrofon, dan sistem pengenalan dan sintesis ucapan ke avatar digital, Anda dapat membuat nyonya rumah virtual, konsultan penjualan, konsultan di lembaga pemerintah ( Mesin Jiwa memiliki kasus serupa - asisten virtual Ellaberkomunikasi dengan pengunjung markas polisi NZ), sommeliers - secara umum, setiap karyawan yang tugas utamanya hanya menjawab pertanyaan klien. Secara teori, ini akan memungkinkan penghematan pada penggajian, dan karyawan - untuk melakukan apa yang belum dapat dilakukan oleh jaringan saraf.
Eksperimen dengan penampilan
Jadi, dasar dari semua skenario di atas adalah avatar digital. Saya telah mengatakan bahwa pembuatannya adalah proses yang sangat melelahkan. Faktanya, kita berbicara tentang patung manusia virtual yang dibuat oleh pematung 3D. Dia mengerjakan semua detail penampilan, dan kemudian menggunakan alat simulasi "menumbuhkan" rambut.
Pertanyaan penampilan tidak akan muncul jika Anda membuat salinan selebriti atau model. Bagaimana jika Anda perlu membuat orang virtual dari awal? Sifat apa yang akan Anda berikan padanya?
Sebagai percobaan, kami memutuskan untuk membuat avatar digital kami sendiri - duta LANIT. Tentu saja, Anda bisa bertanya kepada semua kolega Anda bagaimana dia seharusnya berpenampilan. Tapi, pertama, survei terhadap beberapa ribu orang sudah terlalu banyak, dan kedua, berdasarkan data ini, kami harus membuat Ken kedua untuk Barbie - gambar umum yang menyenangkan, sama sekali tanpa individualitas. Tidak, kami sama sekali tidak membutuhkan duta besar seperti itu. Kami mengambil jalan yang berbeda.
Masing-masing dari kita telah membentuk seperangkat stereotip selama bertahun-tahun. Misalnya, janggut abu-abu tebal dikaitkan dengan disposisi yang baik (seperti Sinterklas), alis lebar dan lurus - dengan keterusterangan dan karakter dominan, dll.
Kami telah membentuk keahlian dalam psikogeometri wajah dan melatih jaringan saraf untuk mengidentifikasi, berdasarkan pola persepsi, hubungan antara penampilan seseorang dan kesan apa yang dia buat. Sekarang dia menganalisis ciri-ciri penampilan dan memberikan serangkaian kata yang menggambarkan bagaimana seseorang mungkin tampak bagi orang lain, misalnya, baik hati, rentan, tidak aman, tenang, dll. Kami mengambil perkembangan ini dan memulai proses dalam urutan terbalik - kami memberi jaringan saraf deskripsi tentang pahlawan masa depan kami (bagaimana audiens target harus melihatnya) dan mendapatkan serangkaian fitur wajah tertentu.
Saya akan segera membuat reservasi penting: kami sama sekali tidak mengklaim dapat diandalkan secara ilmiah dalam eksperimen kami. Selain itu, ada banyak penelitian yang menegaskan bahwa mencari hubungan antara fitur wajah dan, misalnya, karakter atau kecerdasan (amit-amit) berbahaya. Jadi kami tidak mengeksplorasi bidang ilmiah, tetapi kemungkinan teknologi.
Jadi, kami "memberi makan" jaringan saraf dengan kualitas manusia yang sesuai dengan fitur semangat perusahaan: kepemimpinan, inovasi, keandalan, dedikasi, dll.
Dan bahkan pemilihan selektif dari kualitas yang diperlukan mengarah pada fakta bahwa kami memiliki karakter yang sepenuhnya netral yang tidak menimbulkan emosi. Oleh karena itu, hasil yang diberikan jaringan saraf kepada kami harus dikoreksi secara manual.
Wajah dan, secara umum, semua grafik komputer terdiri dari tiga komponen:
- 3D-, ;
- , , ;
- ( , ).
1.
Kepala
Untuk membuat Maxim (seperti yang kami beri nama avatar kami), kami mengambil bentuk kepala manusia yang disederhanakan sebagai dasar dan membentuk detail (memahat) di Zbrush. Pertama, model poli tinggi dibuat, di mana detail terkecil dikerjakan, termasuk pori-pori pada kulit (tekstur dikembangkan untuk itu).
Kami menggunakan tekstur 4K. Tekstur 8K memberikan hasil yang lebih baik pada close-up, tetapi kebutuhan akan tekstur tersebut jarang terjadi, jadi kami menolak untuk menggunakan tekstur 8K demi performa. Setelah model poli tinggi siap, kita membuat salinan poli rendah dan mentransfer detail kecil ke itu menggunakan peta normal (permukaan peta "bump").
Rambut
Ada banyak alat untuk membuat rambut. Kami memilih GroomBear untuk Houdini agar tumpukan perangkat lunak tetap datar - sebagian besar pekerjaan teknis dilakukan di Houdini.
Pakaian.
Desainer Luar Biasa digunakan untuk memodelkan pakaian, dan lipatan serta detail kecil dan karakteristik diselesaikan di Blender.
2. Tekstur
Kami melakukan tekstur pada pelukis Substansi - menurut kami, alatnya memberikan proses tekstur yang paling sederhana dan tercepat. Poin penting adalah petunjuknya : untuk memperbaiki gambar avatar, cukup mengubah hanya tekstur kulit, sama sekali tidak menyentuh dasar geometris. Namun, ini bukan rahasia bagi pecinta riasan. Dengan bantuan kosmetik, wanita China setiap hari mencapai efek yang sebanding dengan operasi plastik. Dan untuk avatar, perubahan penampilan yang begitu sederhana berarti penghematan besar pada produksi konten video - tiga klik, dan gambar karakter Anda telah berubah secara dramatis - sedemikian rupa sehingga ia sudah menjadi orang yang sama sekali berbeda.
3. Animasi
Karakter kami disetel untuk bekerja dengan sistem penangkapan gerak: setelan mockup tubuh Xsense dan sistem mockup wajah Dynamixyz. Kami tidak menggunakan sistem penangkapan gerak optik, karena sangat besar, bukan seluler, yang berarti proses produksi konten akan memiliki lebih banyak batasan.
Xsense mengontrol pergerakan tubuh, kepala dan anggota badan. Sistem animasinya adalah hibrida: susunan geometri besar dikendalikan oleh tulang, yang, pada gilirannya, dikendalikan oleh data dari sistem mocap, dan lipatan pakaian di area sambungan dan tempat karakteristik lainnya dikendalikan oleh bentuk campuran tambahan (keadaan model dengan lipatan khas di area sambungan), yang memastikan pengoperasian yang benar geometri di mana animasi tulang tidak memungkinkan hasil yang benar.
Kebutuhan untuk membuat bentuk campuran adalah masalah utama dalam membuat lemari pakaian karakter - itu melelahkan. Untuk setiap pakaian baru, artis perlu membuat beberapa lusin bentuk campuran. Kami secara aktif mencari cara untuk mengotomatiskan rutinitas ini, dan jika Anda memiliki ide atau solusi yang siap pakai, saya akan dengan senang hati mendiskusikannya dengan Anda di komentar.
Dynamixyz mengelola animasi wajah, dan menyiapkan animasi wajah adalah bagian yang paling sulit dan paling memakan waktu dalam pipeline. Faktanya adalah 57 otot tersembunyi di bawah kulit wajah (25% dari total jumlah otot di tubuh manusia), dan pergerakannya masing-masing memengaruhi ekspresi wajah.
Pengenalan wajah dan emosi adalah kemampuan yang sangat penting yang diperlukan untuk keberadaan di masyarakat, sehingga orang langsung menangkap ekspresi wajah yang tidak masuk akal. Jadi, untuk avatarnya, kamu perlu membuat animasi wajah yang 100% realistis.
Setiap wajah dapat memiliki variasi ekspresi yang tak terbatas, tetapi seperti yang ditunjukkan oleh latihan, 150 bentuk campuran sudah cukup untuk membuat animasi yang realistis. Kami melangkah lebih jauh dan membuat 300 bentuk campuran (dan terus membuat yang baru jika kami menemukan situasi di mana 300 tidak cukup).
Dynamixyz bekerja berdasarkan prinsip berikut: helm dipasang di kepala aktor, di mana kamera khusus dengan kecepatan transfer data sangat tinggi dipasang. Video dari kamera ini disiarkan ke stasiun kerja, di mana jaringan saraf menentukan titik jangkar pada wajah aktor dan di setiap bingkai membandingkannya dengan titik jangkar pada topeng wajah virtual, membuatnya bergerak. Suatu sistem blendshapes yang terikat pada gerakan masker wajah, yang "bertukar" sesuai dengan sifat gerakan masker wajah. Setiap bentuk campuran dibuat untuk seluruh wajah secara keseluruhan, tetapi dapat dialihkan selama animasi secara lokal, misalnya, di area mulut atau mata kanan, terpisah dari bagian wajah lainnya. Sakelar ini mulus dan sama sekali tidak terlihat oleh mata.
Ada alternatif, sistem animasi wajah yang tidak terlalu padat karya, seperti yang baru-baru ini dipatenkan oleh Sberbank. Tetapi mengurangi biaya tenaga kerja harus dibayar dengan kualitas dan fleksibilitas, itulah sebabnya kami meninggalkan penggunaan teknologi semacam itu.
4. Render
Maxim kami ada di Unreal Engine dan Houdini.
Di Unreal Engine (UE), kami merender animasi yang tidak memerlukan pasca-pemrosesan yang rumit, karena UE tidak memungkinkan kami untuk mendapatkan saluran dan masker lengkap yang diperlukan untuk pasca-pemrosesan pada keluaran, dan juga memiliki sejumlah keterbatasan (misalnya, tidak mungkin membuat masker rambut yang benar, oleh karena itu bahwa UE tidak tahu cara membuat masker tembus). Kami bereksperimen dengan pelacakan sinar waktu nyata (RTX) untuk beberapa waktu, tetapi, karena tidak mendapatkan peningkatan kualitas gambar yang signifikan, kami mengabaikan penggunaannya.
Kami menggunakan Arnold untuk rendering di Houdini. Ini adalah render CPU, dan bekerja agak lambat dibandingkan dengan mesin GPU dan RealTime, tetapi pilihan jatuh pada itu, karena tes perbandingan menunjukkan bahwa bahan Hamburan Permukaan Bawah (dan bahan kulit hanya itu) dan bahan rambut di Arnold berfungsi urutannya lebih baik daripada di Redshift dan Octane, dan V-ray, sayangnya, sembarangan menghasilkan artefak pada material Sub Surface Scattering.
5. Interaktif
Yang paling menjanjikan (tetapi juga yang paling sulit), dari sudut pandang kami, arah pengembangan avatar digital adalah kombinasi mereka dengan produk perangkat lunak - asisten suara, bot obrolan, sistem teks pidato, dll. Integrasi ini membuka pintu untuk membuat produk yang dapat diskalakan. Kami saat ini secara aktif bekerja ke arah ini, membangun hipotesis dan prototipe. Jika Anda memiliki ide untuk menggunakan avatar digital dengan cara ini, saya akan dengan senang hati mendiskusikannya.
Lucu atau menjijikkan? Gerakan akan meningkatkan efek ini.
Mungkin Maxim akan mengingatkan Anda pada seseorang yang Anda kenal. Atau mungkin Anda bernegosiasi dengan orang yang serupa kemarin. Apakah dia lucu atau menyebalkan dengan caranya berkomunikasi? Bagaimanapun, gambar Maxim membangkitkan emosi.
Dalam proses pembuatannya, kami menguji berdasarkan pengalaman kami sendiri efek "Lembah Jahat", yang dijelaskan oleh Masahiro Mori dari Jepang, yang menyelidiki persepsi robot humanoid oleh manusia. Ini dirinci di Wiki, tapi singkatnya: semakin mirip robot dengan manusia, semakin besar simpati yang kita rasakan terhadapnya. Efek ini tumbuh sampai titik tertentu. Ketika robot hampir tidak dapat dibedakan dari seseorang, kita, melihatnya, mulai merasa tidak nyaman dan bahkan ketakutan - semua karena robot tersebut diberikan detail terkecil, yang paling sering kita bahkan tidak dapat mengidentifikasi dan memberi nama. Perubahan mendadak dalam reaksi kita (sesuai dengan kegagalan dalam grafik) disebut "Lembah Jahat". Pada saat yang sama, animasi meningkatkan efek negatif dan positif, namun, seperti yang dapat dilihat dari grafik, kemiripan penuh dengan seseorang hanya dapat dicapai dengan bantuan animasi.
Jadi, Pepatah kami melintasi "Lembah Yang Tidak Menyenangkan", tetapi satu nuansa memengaruhi persepsinya secara negatif - tanpa animasi, dia tidak memiliki ekspresi wajah sama sekali, semua otot wajah rileks, yang tidak terjadi pada orang yang hidup. Karena itu, dia terlihat sangat terpisah, tidak melihat lawan bicara, tetapi seolah-olah melalui dia, yang sangat tidak menyenangkan.
Maxim menurut kami adalah perwakilan yang layak dari keluarga avatar. Karena Manusia Digital menjadi semakin populer, kami menantikan fakta bahwa klien dan mitra kami akan segera memutuskan untuk mendapatkan avatar untuk tujuan pemasaran. Kemudian Maxim akan memiliki saudara laki-laki dan perempuan sebagai alasan - buatan, tentu saja.
Sementara itu, Maxim sendirian menjajaki peluang yang dibuka pasar B2B untuk avatar digital: pada Oktober 2020, ia akan mengikuti konferensi.“Solusi Cerdas - Negara Cerdas: Teknologi Inovatif untuk Realitas Baru” dan pameran seni digital Disartive, akan mempromosikan produk dan layanan LANIT di media sosial dan mungkin memberikan beberapa wawancara.
Pasar berkembang untuk Manusia Digital
Ada perusahaan di Rusia yang bekerja ke arah yang mirip dengan kami. Tetapi tidak semua bersifat publik - banyak yang berinteraksi dengan studio gamedev dan membuat karakter untuk game (dan dunia ini hidup dengan aturannya sendiri, dan sangat sering studio menggunakan model Hollywood tanpa memberitahukan kontraktornya).
Perusahaan paling terkenal, mungkin, Malivar , di mana Sberbank menginvestasikan 10 juta rubel. Dia memiliki karakter virtual Aliona Pole - seorang seniman, model, dan penulis koleksi "pakaian digital".
Dalam sekejap, model digital mengganti blus merah menjadi biru, mencoba tampilan baru tanpa henti. Dan pemirsa, yang dibesarkan di Instagram Stories dan TikTok, menikmati menonton video pendek dengan sejumlah transformasi fantastis yang tidak tersedia untuk model hidup.
Aliona secara bertahap menjauh dari citra hanya seorang model, memperoleh semua sifat manusia baru di Instagram-nya - ia mempromosikan sikap ramah lingkungan terhadap dunia, berfilsafat pada topik batas-batas kepribadian, mencampurkan realitas biasa dan virtual dan "tenggelam" untuk individualitas dan kepositifan tubuh.
Ada proyek avatar digital yang menarik di pasar global: Samsung - Neon... Tentu saja, para pengembang masih jauh dari menciptakan bentuk kehidupan baru, tetapi mereka mengajarkan model 3D mereka untuk bergerak dengan baik. Berkat antarmuka yang dapat mengubah suara menjadi teks, model ini menganalisis informasi yang masuk, mengubahnya menjadi solusi, dan memberikan perintah internal untuk menggerakkan tangan dan bagian tubuh lainnya. Di CES 2019, perusahaan menampilkan avatar perawat, presenter TV, pramuka taman nasional, pelatih kebugaran, dan beberapa lainnya. Saya menulis
tentang proyek Selandia Baru untuk membuat asisten Soulmachines di atas. Mungkin, ada proyek lain yang perlu diperhatikan, tetapi mereka memiliki sedikit umpan berita yang signifikan, meskipun dana yang serius sekarang diinvestasikan dalam pengembangan avatar digital.
Apa pendapat Anda tentang avatar? Saya ingin tiruan digital saya menghadiri pertemuan Zoom dan berkomunikasi dengan bos dan, tentu saja, satu set pakaian digital - selalu kemeja, jaket, dasi yang disetrika - semuanya.