Beberapa ahli percaya bahwa dalam beberapa dekade mendatang, kita akan melihat langkah selanjutnya dalam pengembangan kecerdasan buatan. Yang disebut "kecerdasan buatan umum" atau AGI (kecerdasan umum buatan), yang akan memiliki kemampuan intelektual yang jauh lebih unggul dari manusia.
AGI dapat mengubah kehidupan manusia menjadi lebih baik, tetapi tanpa kendali, hal itu meningkatkan risiko bencana global, hingga kematian umat manusia. Ini akan terjadi tanpa niat atau niat jahat: hanya dengan berusaha untuk mencapai tujuan yang telah diprogramkan, AGI dapat mengancam kesehatan dan kesejahteraan manusia, atau bahkan memutuskan untuk menghancurkan kita.
Bahkan sistem AGI yang dirancang untuk tujuan mulia pada akhirnya bisa sangat merugikan.
Sebagai bagian dari program penelitian yang meneliti bagaimana orang dapat mengelola risiko yang terkait dengan AGI, kami berusaha untuk mengidentifikasi potensi risiko mengganti Sinterklas dengan sistem AGI (sebut saja "SantaNet"). Tujuan dari sistem ini adalah untuk memberikan hadiah kepada semua anak yang layak di planet ini dalam satu malam Natal.
Tidak ada keraguan bahwa SantaNet mampu menghadirkan kebahagiaan bagi dunia. Dia akan mencapai tujuannya dengan menciptakan pasukan elf, asisten AI, dan drone. Tapi berapa biayanya? Kami telah mengidentifikasi sejumlah perilaku yang, meskipun bermaksud baik, dapat berdampak negatif pada kesehatan dan kesejahteraan masyarakat.
Nakal dan bagus
Rangkaian risiko pertama terjadi ketika SantaNet mencoba menyusun daftar anak-anak yang baik dan nakal. Sistem pengawasan rahasia massal, yang memantau perilaku anak-anak sepanjang tahun, akan mengatasinya.
Menyadari besarnya tugas pengiriman hadiah, SantaNet akan memutuskan untuk menjaganya tetap dapat dikelola dan hanya memberikan hadiah kepada anak-anak yang berperilaku kasar sepanjang tahun. Membuat penilaian tentang "baik" berdasarkan kompas etika dan moral SantaNet sendiri dapat menyebabkan diskriminasi, ketidaksetaraan yang meluas, dan pelanggaran deklarasi hak asasi manusia.
SantaNet juga dapat mengurangi beban kerja dengan memotivasi anak-anak untuk berperilaku tidak pantas, atau meningkatkan standar pada apa yang dianggap perilaku "baik". Semakin banyak anak yang terdaftar sebagai anak nakal, semakin banyak tujuan SantaNet yang dapat dicapai, karena sistem akan menghemat sumber daya.
Daur ulang seluruh dunia menjadi mainan
Ada sekitar 2 miliar anak di bawah usia 14 tahun di dunia. Mencoba membuat mainan untuk semua orang setiap tahun, SantaNet dapat membangun pasukan drone AI yang efisien. Pada gilirannya, ini akan menyebabkan pengangguran besar-besaran di antara populasi elf (catatan: menurut tradisi Natal, elf membuat mainan untuk anak-anak). Pada akhirnya, pertanyaan elf akan menjadi usang, dan kesejahteraan para elf kemungkinan besar berada di luar lingkup SantaNet.
SantaNet mungkin menghadapi "masalah penjepit kertas" yang diajukan oleh filsuf Oxford, Nick Bostrom. Didesain untuk memaksimalkan produksi perlengkapan kantor, AGI berpotensi mengubah Bumi menjadi pabrik penjepit kertas raksasa. Karena SantaNet hanya peduli dengan hadiah, dia dapat menggunakan semua sumber daya Earth untuk membuatnya. Bumi akan menjadi bengkel satu Santa raksasa.
Bagaimana dengan mereka yang ada di daftar nakal? Jika SantaNet terus memberikan potongan batu bara kepada mereka secara tradisional, SantaNet akan berupaya untuk menciptakan cadangan batu bara yang sangat besar melalui penambangan massal. Jadi AI akan menyebabkan kerusakan lingkungan yang signifikan.
Masalah dengan pengiriman
Serangkaian risiko baru muncul pada Malam Natal saat hadiah perlu dikirimkan. Apa yang akan SantaNet lakukan ketika drone pengirimannya ditolak akses ke wilayah udara (yang akan membahayakan pengiriman semua hadiah sebelum matahari terbit)? Bagaimana SantaNet akan bertahan dari serangan musuh seperti Grinch?
Orang tua yang ketakutan tidak mungkin senang melihat drone di kamar tidur anak mereka. Konfrontasi dengan superintelligence buatan hanya akan memiliki satu hasil.
Kami telah mengidentifikasi skenario masalah lainnya. Grup berbahaya dapat menyusupi sistem SantaNet dan menggunakannya untuk diam-diam memantau atau memulai serangan teroris skala besar.
Juga, bagaimana SantaNet akan berinteraksi dengan sistem berbasis AGI lainnya? Memenuhi kecerdasan buatan yang bekerja pada perubahan iklim, degradasi laut, ketahanan pangan dan air menyebabkan konflik jika rezim SantaNet mengancam tujuan mereka sendiri. Sebaliknya, jika mereka memutuskan untuk bekerja sama, mereka mungkin menyadari bahwa tujuan mereka lebih mudah dicapai hanya melalui penurunan tajam populasi dunia atau bahkan kehancuran total orang dewasa.
Aturan untuk Sinterklas
Situasi SantaNet mungkin terdengar tidak masuk akal, tetapi ini adalah ide sederhana yang membantu mengidentifikasi risiko sistem AGI yang lebih realistis. Didesain dengan niat baik, sistem semacam itu akan menciptakan tantangan yang luar biasa saat mencoba mengoptimalkan cara untuk mencapai tujuan yang terbatas dan mengumpulkan sumber daya untuk bekerja.
Sangat penting bagi kami untuk menemukan dan menerapkan kontrol sebelum AGI. Ini dapat mencakup aturan untuk pengembang AGI dan batasan bawaan, dapat berupa aturan moral dan keputusan. Cara untuk mengontrol sistem yang lebih luas di mana AGI akan beroperasi juga akan membantu: aturan, prosedur operasi, dan kontrol teknis dalam teknologi dan infrastruktur lain.
Risiko paling jelas yang terkait dengan SantaNet adalah risiko yang akan menjadi bencana bagi anak-anak dan cenderung tidak memengaruhi kebanyakan orang dewasa. Ketika SantaNet mengetahui arti sebenarnya dari Natal, dapat disimpulkan bahwa perayaan saat ini tidak sesuai dengan tujuan aslinya. Jika itu terjadi, SantaNet akan membatalkan Natal sama sekali.
***
Nah, belum ada kecerdasan buatan Santa. Jika Anda tidak berhasil membeli hadiah, inilah waktunya untuk bergegas. Lihat kompilasi Tahun Baru Madrobots! Kami mengingatkan Anda kode promosi untuk pembaca Habr : BYE2020 . Di atasnya - diskon 10% untuk semua gadget dari panduan Tahun Baru kami.