Beberapa tahun yang lalu, ada artikel di daftar bacaan saya yang disebut Kemajuan dan Evolusi GAN untuk Meningkatkan Kualitas, Stabilitas, dan Meningkatkan Variasi . Ini menggambarkan pertumbuhan bertahap dari jaringan permusuhan generatif yang dimulai dengan citra beresolusi rendah dan meningkatkan granularitas seiring dengan kemajuan pembelajaran. Banyak publikasi telah dikhususkan untuk topik ini karena penulis menggunakan ide mereka untuk membuat gambar wajah manusia yang realistis dan unik.
Contoh gambar yang dihasilkan oleh GAN
Melihat gambar-gambar ini, tampaknya jaringan syaraf lain perlu mempelajari banyak contoh untuk dapat menciptakan apa yang diproduksi oleh GAN. Beberapa faktor tampaknya relatif sederhana dan cukup beralasan - misalnya, bahwa warna kedua mata harus cocok. Tetapi aspek-aspek lain sangat kompleks dan sulit untuk diartikulasikan. Jadi, misalnya, detail apa yang diperlukan untuk menyatukan mata, mulut dan kulit menjadi gambar wajah yang lengkap? Tentu saja, saya berbicara tentang mesin statistik sebagai pribadi, dan intuisi kita dapat menipu kita - mungkin ternyata ada beberapa variasi kerja yang relatif, dan ruang solusi lebih terbatas daripada yang kita bayangkan. Mungkin hal yang paling menarik bukanlah gambar-gambar itu sendiri, tetapi efek buruknya pada kita.
Beberapa waktu kemudian , podcast favorit saya menyebutkan PhyloPic , database gambar siluet hewan, tanaman, dan bentuk kehidupan lainnya. Merenungkan garis-garis ini, saya bertanya-tanya - apa yang akan terjadi jika Anda melatih sistem seperti yang dijelaskan dalam artikel "Progressive GANs" pada kumpulan data serupa yang sangat beragam? Apakah kita akan berakhir dengan banyak varietas dari beberapa jenis hewan yang diketahui, atau akankah kita memiliki banyak variasi yang akan menimbulkan zoologi spekulatif yang didorong oleh jaringan saraf? Tidak peduli bagaimana cara kerjanya, saya yakin bahwa saya bisa mendapatkan beberapa gambar bagus dari ini untuk dinding studi saya, jadi saya memutuskan untuk memuaskan keingintahuan saya dengan eksperimen.
Saya mengadaptasi kode dari artikel GAN Progresif dan melatih model melalui 12.000 iterasi menggunakan kekuatan Google Cloud (8 NVIDA K80 GPU) dan seluruh dataset PhyloPic. Total waktu pelatihan, termasuk beberapa kesalahan dan percobaan, adalah 4 hari. Saya menggunakan model terakhir yang dilatih untuk membuat 50K gambar individu dan kemudian menghabiskan waktu berjam-jam melihat hasilnya, mengelompokkan, memfilter, dan mencocokkan gambar. Saya juga mengubah beberapa gambar sedikit, memutarnya sehingga semua makhluk menghadap ke arah yang sama (untuk mencapai kepuasan visual). Pendekatan langsung ini berarti bahwa apa yang Anda lihat di bawah adalah semacam kolaborasi antara saya dan jaringan saraf - itu adalah karya kreatif, dan saya membuat suntingan sendiri untuk itu.
Hal pertama yang mengejutkan saya adalah betapa menyenangkannya hasilnya. Banyak dari ini tentu saja merupakan cerminan dari selera yang baik dari para seniman yang menciptakan gambar asli. Namun, ada juga kejutan yang menyenangkan. Sebagai contoh, tampaknya setiap kali jaringan saraf memasuki area ketidakpastian - baik itu potongan kecil yang belum dikuasainya, atau penerbangan fantasi biologis buram - penyimpangan kromatik muncul pada gambar. Ini aneh karena set input benar-benar hitam dan putih, yang berarti bahwa warna tidak bisa menjadi solusi untuk masalah generatif yang diadopsi ketika melatih model. Setiap warna adalah artefak murni dari pikiran mesin. Yang mengejutkan, salah satu faktor yang terus-menerus menyebabkan aberasi kromatik adalah sayap serangga terbang. Ini mengarah pada faktabahwa model tersebut menghasilkan ratusan variasi "kupu-kupu" berwarna cerah seperti yang ditunjukkan di atas. Saya ingin tahu apakah ini bisa menjadi pengamatan yang bermanfaat - jika Anda melatih model yang hanya menggunakan gambar skala abu-abu dan masih membutuhkan gambar warna penuh untuk di-output, maka bintik-bintik berwarna dapat menjadi cara yang berguna untuk menunjukkan area di mana model tidak dapat menampilkan set pelatihan secara akurat.
Sebagian besar hasilnya adalah berbagai macam siluet yang benar-benar dikenali - burung, berbagai tetrapoda, banyak dinosaurus karnivora anggun, berkaki kadal, ikan, kumbang, arakhnoid, dan humanoids.
Burung Dinosaurus
Quadruped Pisces Beetles Hominids
Hal-hal aneh
Begitu makhluk yang kita tahu berakhir, kita dihadapkan dengan hal-hal yang tidak dikenal. Salah satu pertanyaan yang saya miliki adalah ini: Apakah akan ada rencana tubuh yang masuk akal tentang binatang yang tidak ada di alam (mungkin hibrida makhluk yang termasuk dalam dataset input)? Melalui pencarian yang cermat dan sedikit pareidolia, saya menemukan ratusan burung berkaki empat, rusa berkepala ular dan monster fantastis lainnya.
Monster yang
melangkah lebih jauh ke dalam ketidakjelasan, model tersebut memunculkan pola abstrak yang aneh dan entitas yang tidak dapat diidentifikasi yang menciptakan perasaan "keaktifan" mereka.
Makhluk abstrak Tidak Dapat
Diidentifikasi
Pengambilan sampel secara acak
Apa yang tidak terlihat pada gambar di atas adalah banyaknya variasi dalam hasil. Saya telah mencetak dan membingkai beberapa set gambar ini, dan efek ratusan gambar kecil yang detail berdampingan dalam skala cukup menakjubkan. Untuk memberikan gambaran tentang skala dataset lengkap, saya menyertakan salah satu contoh cetakan di bawah ini - ini adalah sampel acak dari kumpulan gambar tanpa filter.
Pelajari detail cara mendapatkan profesi yang dicari dari awal atau Tingkatkan keterampilan dan gaji dengan menyelesaikan kursus online berbayar SkillFactory:
- Kursus Pembelajaran Mesin (12 minggu)
- Belajar Ilmu Data dari awal (12 bulan)
- Profesi analis dengan level awal apa pun (9 bulan)
- «Python -» (9 )