Tampaknya tidak ada satu pun intisari kami yang lengkap tanpa menyebutkan perkembangan AI Terbuka: pada bulan Juli, algoritme GPT-3 baru menjadi topik yang paling banyak dibahas di bidang pembelajaran mesin. Secara teknis, ini bukan satu model, tetapi seluruh keluarga, yang untuk kenyamanan digeneralisasikan di bawah satu nama. Model terbesar menggunakan 175 miliar parameter, dan set data 570 Gb digunakan untuk pelatihan, yang mencakup data yang difilter dari arsip Common Crawl dan data berkualitas tinggi dari WebText2, Books1, Books2, dan Wikipedia.
Perlu diperhatikan di sini bahwa model tersebut telah dilatih sebelumnya dan tidak memerlukan penyesuaian untuk tugas tertentu: untuk mencapai hasil yang lebih baik, disarankan untuk memberikan setidaknya satu (satu kali pengambilan) atau beberapa (beberapa gambar) contoh pemecahan masalah pada masukan, tetapi Anda dapat melakukannya tanpa mereka (tembakan nol). Agar model dapat menghasilkan solusi untuk masalah, itu cukup untuk mendeskripsikan masalah dalam bahasa Inggris. Secara umum diyakini bahwa ini adalah algoritma untuk menghasilkan teks, tetapi sudah jelas bahwa potensinya jauh lebih kaya.
Model tersebut disajikan kembali pada bulan Mei, bahkan AI Terbuka menunjukkan bahwa GPT-3 yang dilatih di repositori GitHub berhasil menghasilkan kode Python, dan sekarang, satu setengah bulan kemudian, yang beruntung pertama mendapatkan akses ke API dan menunjukkan praktik terbaik mereka. Hasilnya luar biasa. Kita, sebagai developer, tentu saja tertarik dengan seberapa besar algoritma ini akan menyederhanakan hidup kita, dan mungkin menciptakan persaingan.
Layanan debuild.co telah muncul, yang menurut deskripsi tekstual dari fungsi tersebut, membuat kode yang berfungsi dan membuat tata letak yang baik .
Anda dapat menggunakan praktik terbaik tidak hanya dalam pemrograman web, tetapi juga dalam desain. Model tersebut mampu menghasilkan data JSON dengan deskripsi teks dan menerjemahkannya ke dalam layout Figma.
Dan juga dia praktis berhasilwawancara untuk posisi pengembang Ruby.
Kabar tentang penggunaan pembelajaran mesin dalam pemrograman tidak berhenti sampai di situ.
TransCoder
Migrasi basis kode Anda dari bahasa pemrograman kuno seperti COBOL ke alternatif modern seperti Java atau C ++ adalah tugas kompleks dan intensif sumber daya yang membutuhkan profesional untuk mahir dalam kedua teknologi. Pada saat yang sama, bahasa kuno masih digunakan di mainframe di seluruh dunia, yang seringkali membuat pemiliknya kesulitan memilih - baik menerjemahkan basis kode secara manual ke dalam bahasa modern, atau terus mempertahankan kode lama.
Facebook Memperkenalkan Model Pembelajaran Mandiri Sumber Terbuka, yang akan membantu memfasilitasi tugas ini. Ini adalah sistem pertama yang mampu menerjemahkan kode dari satu bahasa pemrograman ke bahasa lain tanpa memerlukan data pelatihan paralel.
Pembuatnya memperkirakan bahwa model menerjemahkan dengan benar lebih dari 90% fungsi Java ke C ++, 74,8% fungsi C ++ ke Java, dan 68,7% fungsi Java ke Python. Yang lebih tinggi dari indikator analog komersial.
Alat Pengembangan ContraCode
semakin banyak menggunakan pembelajaran mesin untuk memahami dan memodifikasi kode yang ditulis manusia. Kesulitan utama dalam bekerja dengan algoritme dengan kode adalah kurangnya kumpulan data berlabel.
Para peneliti di Berkeley menyarankan untuk memecahkan masalah ini dengan menggunakan metode ContraCode. Penulis percaya bahwa program dengan fungsionalitas yang sama harus memiliki representasi yang sama, dan sebaliknya. Oleh karena itu, mereka menghasilkan varian kode untuk Pembelajaran Kontrasif. Untuk membuat data, variabel diubah namanya, kode diformat ulang dan dikaburkan.
Ke depan, model pembelajaran mandiri dengan metode ini akan dapat memprediksi jenis, mendeteksi kesalahan, meringkas kode, dll. Dengan adanya kemajuan ini dan kemajuan lain di bidang ini, mungkin saja mesin akan segera belajar menulis kode seperti halnya manusia.
DeepSIM
Penulis penelitian ini menunjukkan bahwa jaringan adversarial generatif pada gambar target tunggal mampu menangani manipulasi yang kompleks.
Model belajar untuk mencocokkan representasi primitif gambar (misalnya, hanya tepi objek di foto) dengan gambar itu sendiri. Selama manipulasi, generator memungkinkan Anda memodifikasi gambar dengan mengubah representasi primitifnya pada input dan memetakannya melalui jaringan. Pendekatan ini memecahkan masalah DNN yang membutuhkan set data pelatihan yang sangat besar. Hasilnya sangat mengesankan.
Lukisan Foto 3D
Cara lain untuk mengonversi gambar 2D RGB-D ke 3D. Algoritme membuat ulang area yang disembunyikan oleh objek di gambar asli. Gambar kedalaman berlapis digunakan sebagai representasi dasar, yang darinya model secara iteratif mensintesis data warna dan kedalaman baru untuk wilayah tak terlihat, dengan mempertimbangkan konteksnya. Keluarannya adalah foto, di mana Anda dapat menambahkan efek paralaks menggunakan mesin grafis standar. Colab tersedia di mana Anda dapat menguji sendiri modelnya.
HiDT
Sebuah tim peneliti Rusia mempresentasikan algoritma open source yang mengubah waktu dalam foto. Memodelkan perubahan pencahayaan dalam foto resolusi tinggi memang menantang. Algoritme yang disajikan menggabungkan model gambar-ke-gambar generatif dan skema upsampling, yang memungkinkan transformasi pada gambar resolusi tinggi. Penting untuk diperhatikan bahwa model ini dilatih pada gambar statis dari berbagai lanskap tanpa penanda waktu.
Menukar Autoencoder
Jika HiDT mampu mengubah pencahayaan secara kualitatif pada gambar, maka jaringan saraf ini, yang dilatih pada kumpulan data yang berbeda, tidak hanya dapat mengubah waktu, tetapi juga lanskap. Sayangnya, tidak ada kesempatan untuk melihat kode sumbernya, jadi kami hanya dapat mengagumi video yang menunjukkan kemampuan model ini.
PINDAI
Jaringan neural sumber terbuka yang secara independen mengelompokkan gambar ke dalam kelompok yang bermakna secara semantik. Kebaruan dari pendekatan penulis adalah bahwa tahapan pelatihan dan pengelompokan dipisahkan. Pertama, tugas fitur pengajaran dimulai, kemudian model didasarkan pada data yang diperoleh pada tahap pertama selama pengelompokan. Ini memungkinkan hasil yang lebih baik daripada model serupa lainnya.
RetrieveGAN
Pembangkit jaringan saraf berkembang pesat, dan RetrieveGAN adalah konfirmasi lain untuk ini. Algoritme yang didasarkan pada deskripsi tekstual sebuah adegan menggunakan fragmen gambar yang ada untuk membuat gambar baru yang unik. Meskipun gambar yang dihasilkan memiliki banyak artefak, dan tampaknya tidak dapat dipercaya, tetapi di masa mendatang hal ini dapat membuka kemungkinan baru di bidang montase foto.
Pelacakan Penumpang Lift
Berkat kemajuan dalam visi komputer dan pembelajaran mesin, pelacakan manusia menjadi lebih efektif. Sekelompok peneliti dari Shanghai menugaskan pengembang besar untuk mengembangkan sistem kontrol sosial perilaku di elevator secara real time. Sistem tersebut mampu mendeteksi aktivitas mencurigakan di elevator. Dengan cara ini, pencipta berharap dapat mencegah vandalisme, pelecehan seksual, perdagangan narkoba. Sistem juga akan memperhatikan jika orang lebih sering berhenti di lantai tertentu: misalnya, sudah mungkin untuk mengidentifikasi katering yang bekerja secara ilegal di apartemen. Sistem telah dipasang dan memantau ratusan ribu lift.
Inilah betapa intensnya Juli. Mari kita lihat berita apa yang dibawa bulan depan untuk kita. Terima kasih atas perhatian Anda!