Data sintetis: meningkatkan algoritma persepsi dan mengoptimalkan pencarian batas

Untuk mencakup semua kasus edge yang dihadapi di dunia nyata, sistem penginderaan kritis memerlukan data dalam jumlah besar. Salah satu pendekatan paling umum untuk melatih algoritme untuk mobil yang mengemudi sendiri adalah pemilihan dan pelabelan data mengemudi yang sebenarnya. Di CVPR 2020, Andrey Karpaty mengatakan bahwa Tesla juga menggunakan pendekatan ini - mobil mereka mengadaptasi tag objek secara online. "Variasi dan kontrol" sangat penting karena para insinyur terus-menerus mengadaptasi ontologi dan metodologi untuk pelabelan data karena mobil yang dapat mengemudi sendiri terus-menerus dihadapkan pada skenario baru yang perlu dianalisis.



Namun, pendekatan berdasarkan data ini memiliki berbagai keterbatasan karena skalabilitas, biaya pengumpulan data, dan upaya yang sangat besar yang diperlukan untuk memberi label set data secara akurat. Dalam teks ini, tim Terapan akan membahas pendekatan data yang diberi tag sintetis. Pendekatan ini membuat pembelajaran dan pengembangan algoritme penting untuk kendaraan tak berawak lebih cepat dan lebih hemat biaya.







Contoh data sintetis untuk gambar dari kamera dengan tanda referensi. Gambar RGB asli (kiri atas), bingkai 2D (kanan atas), markup semantik (kiri bawah) dan bingkai 3D (kanan bawah).

Pendekatan modern untuk markup data dan masalah terkait

Gambar 2 menunjukkan pendekatan umum untuk membuat set data yang diberi tag. Ini adalah proses yang sangat memakan waktu - test driver mengendarai kendaraan yang dilengkapi dengan beberapa sensor dalam mode manual atau tanpa awak. Selama perjalanan ini, perangkat lunak khusus yang dibangun ke dalam kendaraan merekam data sensor mentah dan keluaran program dari modul penginderaan, kontrol, dan perencanaan. Selama proses pengembangan, mungkin perlu untuk membuat kendaraan khusus, karena kendaraan serial mungkin tidak memiliki sensor akurat yang diperlukan untuk pengumpulan data. Setelah mengumpulkan data, tugas sulit membentuk sampel data yang akan di-markup muncul. Ini membutuhkan pemilihan yang cermat dari peristiwa spesifik dan menarik, setelah itu kumpulan data dikirim ke perusahaan,terlibat dalam markup (disarankan untuk meminimalkan ukuran kumpulan data untuk menghemat markupnya). Kadang-kadang ini termasuk mencari kasus edge tertentu di log (seperti paket yang terbang di jalan bebas hambatan). Selain itu, pengumpulan ulang dan pelabelan mungkin diperlukan saat memperbarui konfigurasi sensor mana pun.







2:



Meskipun markup mungkin satu-satunya cara untuk menyiapkan data mentah yang diperlukan untuk melatih algoritme penggerak otonom, kelemahan utama dari pendekatan ini adalah investasi yang diperlukan untuk meningkatkan skala. Penguji mungkin perlu melakukan perjalanan ratusan atau ribuan kilometer untuk mendeteksi kasus tepi apa pun. Tesla, misalnya, memiliki armada lebih dari satu juta mobil produksi yang mengumpulkan data dalam jumlah besar: tanda berhenti dalam berbagai bahasa, lokasi berbeda, validasi data, dan lainnya - semuanya atas nama perusahaan. Sebagian besar OEM tidak memiliki cukup kendaraan untuk mengumpulkan kumpulan data tersebut. Meskipun sejumlah besar data mengemudi tersedia, tetap tidak ada jaminan.bahwa data ini akan tersedia dalam kumpulan data. Dalam hal ini, untuk mengumpulkan data semacam itu, perlu dilakukan kampanye khusus, yang meningkatkan biaya pengembangan dan meningkatkan kerangka waktu.



Aspek lainnya adalah ketersediaan dan ketersediaan kondisi tertentu. Pada saat penulisan ini, AS sedang mengalami kondisi cuaca ekstrem - langit berubah menjadi oranye (terkadang bahkan merah) (Gbr. 3). Jika tidak ada kendaraan di daerah dengan kondisi ini, perlu waktu bertahun-tahun untuk mengumpulkan data tersebut - agar kondisi ekstrim terulang kembali. Jika tidak, akan ada distorsi dalam dataset karena tidak menyediakan sampel dari kondisi seperti itu.







Gambar 3: Kondisi ekstrim sulit untuk diprediksi dan direkam dalam dataset kendaraan self-driving. Sumber: CBS News.



Selain itu, pengembang kendaraan tanpa pengemudi selalu mencari desain baru, dan infrastruktur yang signifikan akan dibutuhkan untuk memproses data secara efisien. Banyak query pada data ini mengasumsikan bahwa data tersebut sudah memiliki tag atau markup. Masalahnya adalah jika metode ini belum pernah digunakan sebelumnya, maka mereka mungkin tidak ada. Terakhir, biaya penandaan data cukup tinggi, dan data sering diberi tag secara manual. Ada kemungkinan besar terjadi kesalahan dan ketidakakuratan (misalnya, saat satu mobil tumpang tindih dengan mobil lain dalam gambar).

Menggunakan data sintetis dan manfaatnya

Data sintetis memberikan pendekatan alternatif yang lebih skalabel dan akurat. Meskipun data sintetis dihasilkan dari simulasi, informasi yang dapat diandalkan (label kendaraan semantik atau teks pada rambu jalan) disampaikan secara akurat. Simulasi juga dapat memberikan data akurat tentang albedo, kedalaman, pantulan, dan kekasaran untuk setiap objek dalam pemandangan (Gambar 4). Selain itu, objek memiliki topeng piksel dan label semantik. Semua ini memungkinkan Anda membuat anotasi secara otomatis, tanpa perlu memberi tag data secara manual dari sensor. Meskipun mungkin memerlukan perangkat lunak ekstraksi dunia nyata khusus untuk membuat anotasi individual, ini akan menjadi investasi satu kali yang memungkinkan Anda membuat dan menggunakan kelas label baru.







4: . : , , , , .



Keuntungan penting lainnya dari markup data sintetis adalah memungkinkan Anda membuat banyak variasi dari pemandangan yang sama tanpa harus berkeliling dunia dan mengandalkan keberuntungan. Data sintetis juga memungkinkan Anda untuk fokus pada objek tertentu yang menarik bagi pengembang. Dengan penyiapan algoritme yang tepat, jutaan varian rambu jalan dapat disimulasikan dalam hitungan jam. Pilihan ini mungkin termasuk kondisi pencahayaan yang berbeda, penempatan objek, berbagai penghalang dan kerusakan (karat, noda oli, coretan). Dengan demikian, data sintetis dapat melengkapi data yang diambil dari dunia nyata. Peristiwa dunia nyata komposit dapat digunakan sebagai titik awal dari mana ribuan variasi adegan asli akan dibuat.



Keragaman juga penting dari sudut pandang geografis. Untuk memenuhi rambu jalan asing dengan modifikasi khusus yang digunakan di masing-masing negara, kendaraan uji perlu melakukan perjalanan ke negara-negara tersebut. Selain itu, sebuah mobil uji dapat menempuh jarak ratusan kilometer untuk menemukan beberapa rambu jalan tertentu, namun pada akhirnya ternyata separuh terhalang oleh bus sekolah. Semua kesulitan ini dapat dielakkan dengan langsung membuat adegan yang diperlukan menggunakan kumpulan data sintetis (Gambar 5). Karena fakta bahwa berbagai skenario dapat dibuat berdasarkan data sintetis, algoritme dapat diuji pada banyak kasus tepi (Gbr. 6).Posting ini menjelaskan bagaimana Kodiak Robotics (yang berhubungan dengan truk self-driving) menggunakan simulasi sintetis untuk melatih algoritma dan tes - mereka memverifikasi bahwa sistem Pengemudi Kodiak mereka menangani berbagai kasus uji tepi secara memadai.











Gambar 5: Contoh rambu jalan yang berbeda di Eropa dan AS







Gambar 6: Modifikasi kondisi jalan dan marka dalam data sintetis



Kasus penggunaan penting lainnya adalah mendapatkan sampel data referensi yang tidak dapat dikumpulkan dari sensor atau ditambahkan secara manual. Contoh tipikal adalah ekstraksi kedalaman yang akurat dari kamera dengan satu atau lebih lensa. Data dunia nyata tidak memberi tahu kami kedalaman setiap piksel, dan tidak mungkin menghitungnya secara akurat atau menandainya secara manual.

Persyaratan data sintetis

Data sensor



Agar markup data sintetis berguna dalam pengujian dan pelatihan algoritme untuk kendaraan otonom, data dari sensor dan anotasi yang disimulasikan harus memenuhi kriteria tertentu. Seperti yang kami tulis sebelumnya di postingan tentang pemodelan sensor, kumpulan data besar dari sensor buatan yang digunakan untuk mengembangkan kendaraan tak berawak harus dibuat dengan murah dan cepat (dalam beberapa hari). Selain itu, sensor buatan harus dimodelkan dengan mempertimbangkan prinsip fisik dasar yang melekat pada jenis sensor tertentu. Faktor terpenting adalah tingkat akurasi model yang dibuat. Ada trade-off antara celah masuk akal (bagaimana algoritme berbeda memandang data nyata dan sintetis) dan kecepatan pengumpulan data.Celah ini dapat berbeda-beda tergantung pada jenis sensor yang disimulasikan, objek sekitar, dan kondisi lingkungan. Juga sangat penting untuk dapat mengukur kesenjangan ini dan menggunakan perkiraan yang dihasilkan untuk membentuk strategi penggunaan data sintetis. Sebagai contoh, perhatikan Gambar 7, yang menunjukkan bagaimana model lidar merespons jalan basah. Dalam gambar tersebut, Anda dapat melihat bagaimana lidar bereaksi terhadap sinyal balik di permukaan tanah dan semprotan dari kendaraan di sekitar.Dalam gambar, Anda dapat melihat bagaimana lidar bereaksi terhadap umpan balik permukaan tanah dan semprotan dari kendaraan terdekat.Dalam gambar, Anda dapat melihat bagaimana lidar bereaksi terhadap umpan balik permukaan tanah dan semprotan dari kendaraan terdekat.







7:







Aspek penting lain yang muncul saat bekerja dengan data sintetis adalah variasi media dan bahan yang ditemukan di media ini. Lingkungan harus dihasilkan dengan cepat dari peta dan data nyata - seperti yang ditunjukkan pada Gambar 8. Kemampuan untuk dengan cepat membuat lingkungan seperti itu bergantung pada teknik pembuatan prosedural. Kemampuan untuk membuat model wilayah geografis dari seluruh dunia adalah keuntungan luar biasa lainnya dari data sintetis dibandingkan data nyata. Namun, meskipun lokasi berbeda mudah dibuat, jika metode salah dikonfigurasi, area dan data dapat diduplikasi. Saat ini, aspek yang sangat penting di bidang ini adalah menemukan hubungan antara pengulangan data dan refleksi keanekaragaman dunia nyata. Keragaman harus diperhitungkan baik di tingkat makro (seberapa banyak permukaan jalan dapat berubah pada satu kilometer segmen rute),dan di tingkat mikro (misalnya, bagaimana bahan berbeda di lingkungan dapat berbeda).



Pentingnya bahan dalam membuat lingkungan yang dipercaya secara fisik telah dibahas di posting sebelumnya, meskipun biasanya tekstur yang membentuk bahan-bahan ini adalah pindaian permukaan nyata. Membuat kombinasi dan variasi dari bahan-bahan ini untuk menambah variasi pada data yang dihasilkan dapat menjadi hal yang penting dalam algoritme pelatihan dan mengujinya.







Gambar 8: Lingkungan perkotaan berkualitas tinggi yang dihasilkan secara prosedural.



Anotasi



Persyaratan anotasi data bergantung pada kasus penggunaan dan algoritme. Jenis anotasi data yang diambil dari dunia nyata disajikan pada Tabel 1.







Tabel 1: Jenis anotasi untuk data dunia nyata



Dalam kasus data sintetik, informasi yang jauh lebih dapat diandalkan tersedia untuk menghasilkan anotasi serupa yang dapat ditangkap dalam data yang dikumpulkan. Data yang mendasarinya juga direproduksi dengan presisi titik / piksel. Terakhir, data sensor dan anotasi dapat diproses dalam kerangka acuan apa pun (dunia, sistem itu sendiri, sensor terpisah, dll.).



Tabel 2 mencantumkan jenis anotasi standar untuk data yang dihasilkan oleh simulasi. Selain itu, banyak format dan tipe data dapat disesuaikan lebih lanjut.







Tabel 2: Jenis Anotasi untuk Data Sintetis



Menggunakan semua jenis data referensi tambahan ini secara dramatis mempercepat pengembangan algoritme. Skala data, kualitas, dan volume data yang tersedia memungkinkan para insinyur membuat keputusan lebih cepat.







Gambar 9: Data sintetis beranotasi yang menampilkan kotak 2D dengan piksel sempurna

---

• Sistem kontrol serial pertama Rusia untuk mesin bahan bakar ganda dengan pemisahan fungsi pengontrol
• Di mobil modern, ada lebih banyak baris kode daripada ...
• Kursus Online Gratis di Otomotif, Dirgantara, Robotika dan Teknik (50+)
• McKinsey: memikirkan kembali arsitektur perangkat lunak dan elektronik di otomotif