Dalam beberapa tahun terakhir, kecerdasan buatan menjadi semakin populer. Tanyakan saja dan Siri akan memberi tahu Anda hasil pertandingan sepak bola yang Anda lewatkan tadi malam. Rekomendasi Spotify akan memberi tahu Anda apa yang harus ditambahkan ke perpustakaan musik Anda, dan Amazon akan mencoba memprediksi produk mana yang akan Anda beli berikutnya meskipun Anda belum mengetahuinya.
Ia juga tidak melewatkan industri game. Sementara lingkungan game membandingkan grafik yang dirilis pada PC Death Stranding dengan dan tanpa teknologi DLSS, beberapa hari yang lalu diketahui bahwa prosesor NVIDIA Ampere akan menggunakan DLSS 3.0. Namun, ini akan bekerja dengan game apa pun dengan driver TAA (Temporal Anti-Aliasing) dan Game Ready. Artinya, pengembang perlu menyempurnakan teknologi untuk gim mereka - namun, proses ini akan jauh lebih mudah daripada sekarang.
Di artikel ini, kita akan melihat bagaimana NVIDIA menggunakan pembelajaran mesin untuk meningkatkan pengalaman bermain game kami.
Apa itu DLSS?
Kualitas grafik dalam game modern hanya meningkat, dan dengan itu kompleksitas komputasi dari operasi yang dilakukan semakin meningkat. Kami berutang ini pada penelusuran sinar, yang mensimulasikan pencahayaan nyata dalam waktu nyata, sehingga meninggalkan pantulan yang telah dipanggang sebagai peninggalan masa lalu. Kompleksitas komputasi pelacakan sinar disebabkan oleh fakta bahwa resolusi game modern melebihi 1080p lama yang bagus. Karenanya kebutuhan untuk mempercepat perhitungan selama rendering.
Deep Learning Super Sampling (DLSS) adalah teknologi NVIDIA yang menggunakan pembelajaran mesin mendalam untuk meningkatkan frekuensi gambar dalam game intensif grafis. Dengan DLSS, gamer dapat menggunakan pengaturan dan resolusi yang lebih tinggi tanpa mengkhawatirkan stabilitas fps.
Secara khusus, DLSS memenuhi tugas resolusi super. Dengannya, gambar dengan resolusi, katakanlah, 1080p dapat ditingkatkan ke 4K dengan penurunan kualitas yang minimal. Ini menghilangkan kebutuhan untuk memainkan game dalam 4K (dan karenanya mungkin melelehkan PC Anda). Resolusi akan tetap 1080p, yang memungkinkan kecepatan bingkai lebih tinggi, tetapi dengan peningkatan DLSS, Anda hampir tidak akan melihat perbedaan dari 4K.
Arsitektur DLSS 2.0
Pada dasarnya, DLSS adalah jaringan saraf yang dilatih pada superkomputer NVIDIA. Keluaran jaringan saraf ini dibandingkan dengan gambar referensi 16K, dan kesalahan di antara keduanya dikembalikan ke jaringan melalui loop umpan balik. Untuk menghindari masalah kecepatan, DLSS menggunakan Tensor Cores, yang merupakan tulang punggung prosesor RTX 2000 (dan RTX 3000 mendatang). Ini secara signifikan dapat mempercepat operasi tensor dan meningkatkan efisiensi pelatihan AI dan tugas-tugas yang terkait dengan komputasi kinerja tinggi.
Evolusi DLSS: dari 1.0 menjadi 2.0
DLSS 1.0 dilatih untuk setiap game secara terpisah, dan oleh karena itu butuh waktu yang sangat lama untuk mempelajarinya. Itu juga tidak mendukung upampling 4x, misalnya dari 1080p ke 4K, dan memiliki sejumlah ketidaksempurnaan lain dalam kualitas gambar yang tidak sebanding dengan peningkatan frame rate.
DLSS 2.0 adalah algoritme yang lebih umum, tanpa batasan pelatihan dan upsampling, serta memiliki latensi keluaran yang lebih rendah karena penggunaan inti tensor: berada di urutan 1,5 md pada 4K pada RTX 2080ti - dan dalam beberapa kasus memberikan hasil yang lebih baik daripada aslinya gambar. Gambar DLSS adalah final 1080p
Di DLSS 1.0, Anda dapat memaksimalkan 720p hingga 1080p, sedangkan DLSS 2.0 dapat meningkatkan hingga 1080p bahkan pada 540p. Seperti yang Anda lihat di contoh, gambar pada 540p terlihat pudar sepenuhnya. Pada saat yang sama, hasil dengan DLSS 2.0 ternyata lebih baik daripada dengan DLSS 1.0, dan bahkan sedikit lebih baik dari gambar aslinya. Artinya, DLSS 2.0 menangani pengisian piksel lebih efisien daripada DLSS 1.0, meskipun DLSS 1.0 perlu mengubah skala perbedaan resolusi yang lebih kecil.
Kemampuan DLSS 2.0 untuk meningkatkan gambar pada 540p, ditambah dengan latensi rendah dari metode itu sendiri, memberikan peningkatan kinerja yang signifikan dari pendahulunya.
Waktu rendering dengan dan tanpa DLSS 2.0 (dalam md)
Pelajari lebih lanjut tentang cara kerja DLSS
Saat merender geometri adegan dalam game (misalnya, dalam segitiga), jumlah piksel yang digunakan (atau laju pengambilan sampel - topeng subpiksel) menentukan tampilan gambar.
Saat menggunakan grid pengambilan sampel 4x4 untuk membuat segitiga, kita dapat melihat bahwa hasilnya menyisakan banyak hal yang diinginkan.
Dengan memperbesar kisi pengambilan sampel sebanyak 4 kali - hingga 8x8 - gambar tampak lebih seperti segitiga yang diinginkan. Inilah inti dari DLSS: mengonversi gambar beresolusi rendah ke gambar yang lebih tinggi.
Inti dari DLSS
Hasilnya, untuk biaya rendering yang sama seperti gambar berkualitas rendah, Anda mendapatkan gambar dengan resolusi lebih tinggi.
Tujuan DLSS
Ini sebenarnya memecahkan masalah resolusi super yang bukan baru.
Mari kita lihat sekilas bagaimana teknik peningkatan resolusi yang dibantu AI telah berkembang.
Resolusi Super Gambar Tunggal
Teknik ini memungkinkan gambar resolusi tinggi diperoleh dari gambar yang lebih rendah menggunakan teknik interpolasi seperti filter bilinear, bicubic, dan Lanczos. Anda dapat menerapkannya dengan bantuan jaringan neural dalam, tetapi kemudian masalah distorsi piksel baru yang diperoleh dari data pelatihan muncul. Ini membuat gambar tampak meyakinkan, tetapi tidak terlalu mirip dengan aslinya. Metode ini menghasilkan gambar yang terlalu halus, tidak mendetail, dan waktu yang tidak stabil, yang menyebabkan ketidakkonsistenan dan kerlip bingkai.
Resolusi Super Gambar Tunggal
Mari kita bandingkan beberapa hasil dari teknik resolusi-super gambar tunggal ini dengan apa yang ditawarkan DLSS 2.0. Resolusi target - 1080p
Jelas, DLSS 2.0 lebih baik daripada interpolasi bikubik dan ESRGAN , arsitektur jaringan saraf yang menggunakan jaringan musuh generatif untuk mencapai resolusi super. Hasilnya, pakis dalam kasus DLSS 2.0 terlihat lebih detail daripada di gambar aslinya.
Resolusi Super Multi-bingkai
Metode ini menggunakan beberapa gambar resolusi rendah untuk menghasilkan gambar resolusi tinggi. Ini membantu untuk memulihkan detail lebih baik dari pendekatan sebelumnya. Ini terutama dirancang untuk fotografi video dan burst, dan oleh karena itu tidak menggunakan informasi khusus rendering. Salah satu contoh penggunaannya adalah penyejajaran bingkai menggunakan aliran optik sebagai pengganti vektor gerak geometris. Dalam hal ini, perhitungannya lebih murah, dan hasilnya lebih akurat. Pendekatan ini tampaknya lebih menjanjikan daripada yang sebelumnya, dan membawa kita ke teknik selanjutnya.
Super Sampling Spasial-Temporal
Metode ini menggunakan banyak bingkai untuk mengambil gambar sampel super.
Kami memiliki bingkai saat ini. Katakanlah yang sebelumnya terlihat seperti itu. Dengan menggunakan laju pengambilan sampel yang lebih rendah, kami dapat meningkatkan jumlah sampel yang diperlukan untuk merekonstruksi citra.
Histogram Super Sampling Spasial-Temporal
Masalahnya adalah bahwa dalam game semuanya terus bergerak. Oleh karena itu, untuk mengoreksi frame history, metode supersampling ini dipaksa untuk melakukan pencarian heuristik, misalnya sesuai dengan prinsip Neighbor Clamping. Heuristik ini berkontribusi pada blur, ketidakstabilan temporal, moire, lag, dan ghosting. Efek merugikan dari Neighbor Clamping Sementara flicker dan moire pada gambar dengan Neighbor Clamping
DLSS 2.0: Deep Learning-based multi-frame reconstruction
Jaringan saraf DLSS belajar dari puluhan ribu gambar pelatihan yang dirancang untuk melakukan rekonstruksi yang lebih baik daripada yang dapat ditawarkan oleh heuristik, sehingga menghilangkan efeknya. Ini mengarah ke hasil yang jauh lebih baik menggunakan data dari berbagai bingkai.
Menerapkan DLSS di mesin, pertama-tama, perlu merender pemandangan dalam resolusi rendah: semua geometrinya, pencahayaan dinamis, efek dalam ruang layar, dan penelusuran sinar. Setelah itu, DLSS dapat diterapkan pada tahap ketika anti-aliasing biasanya terjadi - bagaimanapun, teknologi tersebut melakukan fungsi yang persis sama, hanya dengan super-sampling. Kemudian pasca-pemrosesan gambar berlangsung, termasuk motion blur, bloom, chromatic aberration, tone mapping, dan efek lainnya.
DLSS bukan hanya algoritma pemrosesan gambar. Ini biasanya bekerja dalam hubungannya dengan rendering, jadi prosesnya perlu ditinjau kembali juga. Namun, dalam kasus DLSS 2.0, perubahan ini tidak sesulit sebelumnya.
Tes kinerja
Judul terbaru Remedy Control mendukung penelusuran sinar dan DLSS. Seperti yang Anda lihat pada grafik di atas, RTX 2060 menerima peningkatan kinerja dari 8fps menjadi sekitar 36,8fps melalui DLSS, yang secara signifikan meningkatkan pemutaran proyek. Hasil ini bahkan lebih baik daripada RTX 2080ti tanpa DLSS, yang semakin membuktikan betapa efektifnya teknologi ini.
Digital Foundry membandingkan kualitas gambar menggunakan DLSS 1.9 dan 2.0 dalam video ini .
Kiri - Kontrol dengan DLSS 1.9, kanan - dengan DLSS 2.0. Gambar yang diambil pada RTX 2060 pada 1080p dan kemudian ditingkatkan ke 4K
Dalam perbandingan di atas, kita dapat melihat bagaimana DLSS 2.0 membuat untaian rambut yang terdistorsi dalam kasus DLSS 1.9.
Kesimpulan
DLSS hanya tersedia untuk GPU berbasis RTX 2000 dan Turing (dan GPU RTX 3000 berbasis Ampere yang akan datang) dan saat ini hanya mendukung beberapa game. DLSS 2.0 didukung oleh lebih sedikit judul, tetapi tingkat detailnya bahkan dapat melampaui gambar aslinya, sementara kecepatan bingkai tetap tinggi. Ini adalah pencapaian yang sangat keren untuk NVIDIA, dan teknologinya pasti memiliki masa depan yang menjanjikan.