Flight Simulator baru dari Microsoft adalah keajaiban teknologi yang menetapkan standar baru dalam genre ini. Microsoft dan Asobo Studios menggunakan hasil kerja banyak mitra untuk menciptakan kembali dunia yang tampak nyata dan hidup, berisi miliaran bangunan di tempat yang tepat.
Salah satunya adalah startup Austria kecil Blackshark.ai dari kota Graz, yang dengan hanya sekitar 50 karyawan dapat membuat ulang setiap kota di dunia menggunakan kecerdasan buatan dan sumber daya komputasi awan yang besar.
Sebelum peluncuran Flight Simulator baru, kami bertemu dengan salah satu pendiri dan CEO Blackshark, Michael Patz untuk membahas kemitraan dengan Microsoft dan masa depan perusahaannya.
Blackshark adalah cabang dari studio game Bongfish , yang mengembangkan seri World of Tanks: Frontline, Motocross Madness, dan Stoked snowboarding. Berkat Stoked, perusahaan itu menciptakan Blackshark, kata Patz.
“Salah satu game pertama yang kami kembangkan pada tahun 2007 adalah game snowboarding bernama Stoked dan S Stoked Bigger Edition. Itu adalah salah satu game pertama dengan simulasi pegunungan 360 derajat: pemain bisa terbang mengelilingi gunung dengan helikopter, mendarat di mana saja dan berguling ke bawah. Gunung itu sendiri dibuat dan dideskripsikan secara prosedural, dan rintangan berupa vegetasi, snowboarder lain, dan hewan kecil juga ditempatkan. Kemudian kami beralih ke genre balap, penembak, dan kontrol mobil, tetapi tidak melupakan ide penempatan prosedural dan deskripsi objek. "
Bongfish kembali ke ide ini saat mengerjakan World of Tanks, karena membuat peta besar dengan setiap batu diletakkan dengan tangan akan sangat lambat.
Memanfaatkan pengalamannya, Bongfish mulai membangun departemen pengembangan AI sendiri. Departemen ini menggunakan sekumpulan teknik pembelajaran mesin untuk membangun sistem yang dapat mempelajari bagaimana desainer membuat peta dan, seiring waktu, dapat membuatnya sendiri. Perusahaan telah mulai menggunakan sistem ini di beberapa proyeknya, setelah itu Microsoft menghubunginya.
“Secara kebetulan saya bertemu orang-orang di Microsoft yang mencari studio untuk membantu mereka dengan Flight Simulator baru. Ide utama di balik Flight Simulator adalah menggunakan Bing Maps sebagai lapangan bermain, peta, dan latar belakang , ”kata Patz.
Tetapi data fotogrametri Bing Maps mampu membuat replika akurat hanya 400 kota, dan untuk sebagian besar wilayah planet, data semacam itu tidak ada. Microsoft dan Asobo Studios membutuhkan sistem untuk membangun yang lainnya.
Saat itulah Blackshark mengambil alih. Untuk Flight Simulator, studio tersebut membuat ulang 1,5 miliar bangunan dari citra satelit 2D.
Sementara Patz mengatakan bahwa dia bertemu dengan orang-orang Microsoft secara tidak sengaja, perlu ditambahkan bahwa Graz pernah memiliki departemen Bing Maps yang mengembangkan kamera pertama dan versi 3D dari Bing Maps. Dan sementara Google Maps mengambil alih pasar , Bing Maps sebenarnya mengungguli Google dalam 3D. Kemudian Microsoft membuka pusat penelitian di Graz, dan setelah ditutup, bakat lokal diburu oleh Amazon dan perusahaan lain.
“Oleh karena itu, sangat mudah bagi kami untuk menemukan orang-orang dalam posisi dengan persyaratan seperti 'PhD dalam rekonstruksi atap',” kata Patz. "Saya bahkan tidak tahu bahwa hal seperti itu ada, tetapi itulah yang kami butuhkan, dan kami menemukan dua orang seperti itu."
“Sangat mudah untuk melihat mengapa membuat bangunan 3D dari peta 2D itu menantang. Bahkan tidak mudah untuk menentukan garis besar bangunan secara tepat. "
“Pada dasarnya, kami melakukan tugas berikut di Flight Simulator: kami mempelajari area 2D dan mencari tanda bangunan di atasnya, yang merupakan tugas dari computer vision,” kata Patz. “Namun jika sebuah bangunan terhalang oleh bayangan pohon, maka kita memerlukan pembelajaran mesin, karena hamparan bayangan membuat tidak jelas bagian mana dari bangunan tersebut ... Pembelajaran mesin dapat memulihkan sisa bangunan. Dan ini adalah contoh lain yang sangat sederhana. "
Meskipun Blackshark mungkin telah menggunakan beberapa data lain, termasuk foto, data sensor, dan data peta yang sudah ada sebelumnya, Blackshark harus menentukan ketinggian bangunan dan karakteristik lainnya dari informasi yang sangat terbatas.
Masalah nyata berikutnya adalah menentukan ketinggian bangunan. Jika data GIS tersedia, tugas ini mudah diselesaikan, tetapi untuk sebagian besar wilayah di dunia, data semacam itu tidak ada atau tidak mudah mendapatkannya. Dalam kasus seperti itu, tim mengambil gambar 2D dan mempelajari berbagai petunjuk, seperti bayangan. Namun, untuk menentukan ketinggian sebuah bangunan dari bayangan, Anda perlu mengetahui waktu, dan gambar di Bing Maps tidak diberi stempel waktu. Dalam kasus lain, Blackshark memilikinya, yang sangat menyederhanakan pekerjaan. Di sinilah pembelajaran mesin kembali membantu.
“Pembelajaran mesin mengambil jalur yang sedikit berbeda,” jelas Patz. “Ini juga memperhitungkan bayangan, tapi karena itu hanya sosok gelap, kita tidak tahu bagaimana perilakunya. Namun jika melihat atap yang datar misalnya membandingkan gedung pencakar langit dengan pusat perbelanjaan, maka peralatan di atap gedung pencakar langit berbeda dengan perlengkapan di pusat perbelanjaan. Jadi dengan memberi tag pada bangunan, kami membantu AI belajar. "
Jika sistem mengetahui bahwa ketinggian rata-rata pusat perbelanjaan di area ini biasanya tiga etaea, sistem dapat mengatasinya.
Blackshark tidak menyembunyikan bahwa sistemnya akan membuat kesalahan, dan jika Anda membeli Simulator Penerbangan, Anda akan melihat bahwa terdapat kesalahan dengan penempatan bangunan di dalam game. Patz memberi tahu saya bahwa salah satu tantangan terbesar untuk proyek ini adalah meyakinkan mitra pengembangan dan Microsoft untuk mengizinkan pendekatan ini.
“Kita berbicara tentang 1,5 miliar bangunan. Pada skala ini, Anda tidak dapat lagi mengandalkan kontrol kualitas tradisional. Pendekatan tradisional game Halo adalah Anda menunjukkan jari Anda dan mengatakan "piksel ini buruk, perbaiki", tetapi tidak berfungsi saat Anda mengembangkan dengan AI berdasarkan statistik. Mungkin ternyata 20% bangunan dibuat karena kesalahan, dan ini mungkin terjadi pada Flight Simulator; tetapi kami tidak dapat memecahkan masalah ini sebaliknya, karena outsourcing pemodelan 1,5 miliar bangunan tidak mungkin secara logistik maupun finansial. "
Seiring waktu, sistem ini akan meningkat, dan dengan Microsoft mengalirkan data dalam jumlah besar dari Azure, pengguna pasti akan melihat perubahannya.
Namun, markup hanyalah cara tim studio melatih model, dan Blackshark telah membuat banyak kemajuan di bidang ini. Patz tidak menjelaskan secara rinci, karena itu adalah bagian dari pengetahuan rahasia perusahaan, berkat itu dimungkinkan untuk melakukan pekerjaan sebanyak itu dengan upaya hanya 50 orang.
“Label data belum menjadi prioritas bagi mitra kami,” katanya. “Oleh karena itu, kami menggunakan sistem penanda kehidupan kami, yang pada dasarnya menandai seluruh planet dengan kekuatan dua atau tiga orang. Ini memberikan analis data alat yang sangat kuat dan antarmuka pengguna. Misalnya, jika seorang analis ingin mendeteksi sebuah kapal, ia memberi tahu algoritme pembelajaran apa itu kapal, dan kemudian langsung menerima kapal yang ditemukan dalam gambar sampel pada keluaran. "
Berdasarkan output, analis dapat melatih algoritme untuk mengenali objek tertentu dengan lebih baik, dalam contoh kami, kapal atau pusat perbelanjaan di Flight Simulator. Patz mengatakan bahwa perusahaan analisis geospasial lainnya cenderung berfokus pada relung tertentu, dan alat Blackshark tidak bergantung pada jenis konten yang dianalisis.
Di sinilah visi Blackshark yang lebih luas berperan. Karena perusahaan sekarang menerima ulasan bagus untuk pekerjaannya dengan Microsoft, itu juga bermitra dengan perusahaan lain yang merombak model kota, seperti simulasi mengemudi otonom.
“Sasaran kita yang lebih besar adalah untuk menciptakan kembaran digital planet kita secara hampir waktu-nyata, dan terutama permukaan planet. Ini akan memungkinkan data untuk digunakan dalam berbagai cara dalam kasus di mana fotogrametri tradisional seperti Google Earth atau Apple Maps tidak membantu, karena ini disederhanakan ke tingkat foto yang ditumpangkan pada bentuk geometris sederhana. Untuk melakukan ini, kami memiliki loop pemrosesan: kami mengekstrak informasi eksplorasi dari citra udara, yang dapat berupa gambar 2D atau bahkan kumpulan titik 3D. Dan setelah itu kami memvisualisasikan semantiknya. "
Semantik ini, yang mendeskripsikan sebuah bangunan dengan sangat detail, memiliki satu keunggulan utama dibandingkan fotogrametri: pada kenyataannya, informasi tentang bayangan dan pencahayaan dimasukkan ke dalam foto, yang membuatnya sulit untuk secara realistis menempatkan pencahayaan yang berbeda. Karena Blackshark tahu segalanya tentang bangunan yang dia buat, dia dapat menerapkan jendela dan pencahayaan ke bangunan tersebut, yang menciptakan pemandangan malam yang sangat realistis di Flight Simulator.
Point cloud, yang tidak digunakan dalam Flight Simulator, adalah area lain yang sedang dikejar oleh Blackshark secara aktif. Awan titik sangat sulit dibaca orang, terutama jika Anda berada di dekatnya. Blackshark menggunakan sistem AI-nya untuk menganalisis awan titik guna menentukan jumlah lantai dalam sebuah bangunan.
“Inti dari seluruh perusahaan kami adalah pemahaman bahwa kami membutuhkan keunggulan teknologi yang luar biasa untuk menyelesaikan tugas. Hal ini terutama berlaku untuk industri video game, di mana proyek sebesar Assassin's Creed dan GTA telah menghadapi batas kemungkinan: ribuan orang mengerjakannya, pekerjaan ini sangat sulit untuk diskalakan dan dikoordinasikan antar benua, sekaligus mengubahnya menjadi produk jadi. Jelas bagi kami bahwa diperlukan proses yang lebih otomatis atau sebagian otomatis untuk mencapai hal ini. ”
Meskipun Blackshark didirikan sebagai perusahaan game dan sekarang bermitra dengan Microsoft dan Asobo Studios, fokus utamanya bukan pada game, tetapi di area seperti mengemudi otonom dan analisis data geografis. Patz mencatat bahwa contoh bagus lainnya dari pengembangan ini adalah Unreal Engine, yang awalnya hanya mesin permainan dan sekarang digunakan di mana-mana.
"Untuk waktu yang lama di industri game, situasi ini sangat menginspirasi karena saat Anda mengembangkan game, Anda menyadari betapa teknologi revolusioner dapat dibandingkan dengan industri lain," kata Patz. “Dan jika Anda melihat simulator, dari militer hingga industri, mereka selalu terlihat timpang dibandingkan dengan game balapan. Sekaranglah waktunya bagi teknologi game untuk keluar dari industri game dan mulai membantu semua industri lainnya. Saya pikir Blackshark telah menjadi salah satu contoh bagaimana melakukan ini. "