Chris Anderson: Nick Bostrom, Anda sudah membagikan ide-ide gila Anda dengan kami. Beberapa dekade yang lalu, seingat saya, Anda menyarankan agar kita hidup dalam simulasi atau kita sudah ada di dalamnya. Dan relatif baru-baru ini, Anda menyajikan contoh paling ilustratif tentang bagaimana kecerdasan buatan universal dapat membahayakan. Dan sudah tahun ini Anda akan menerbitkan buku dengan hipotesis paling rentan di dunia. Dan masalah hari ini harus menjadi panduan bergambar untuk itu. Ayo mulai. Apa hipotesis ini?
Nick Bostrom:Ini adalah upaya untuk memahami komponen struktural dari kondisi kemanusiaan saat ini. Anda suka metafora guci, jadi saya akan menggunakannya. Bayangkan sebuah guci besar berisi bola-bola yang mewakili ide, metode, dan semua jenis teknologi. Semua aktivitas kreatif umat manusia dapat dibandingkan dengan terjun ke dalam guci ini dan menarik bola dari sana. Dan selama bertahun-tahun kita selalu mendapat manfaat dari ini, kan? Kami menghilangkan terlalu banyak bola putih, beberapa dengan nuansa abu-abu, dengan konsekuensi yang ambigu. Tapi kita belum menemukan bola hitam begitu lama - sebuah teknologi yang pasti akan menghancurkan penciptanya. Buku ini berisi versi apa yang akan ada di dalam bola hitam.
CA: Jadi Anda mendefinisikan bola ini sebagai penyebab kematian peradaban.
NB:Sampai kita keluar dari keadaan standar semi-anarki, seperti yang saya sebut.
CA: Anda mengutip beberapa contoh tandingan sebagai bukti. Anda yakin bahwa kami telah beruntung selama bertahun-tahun. Dan mungkin kita, tanpa menyadarinya, telah menarik bola kematian ini. Anda juga memberikan penawaran. Apa artinya?
NB: Itu hanya menunjukkan betapa sulitnya meramalkan semua konsekuensi dari penemuan dasar. Kami tidak memiliki kesempatan seperti itu. Kami telah belajar dengan baik cara mengeluarkan bola dari guci, tetapi kami tidak tahu cara mengembalikannya. Artinya, kita bisa menciptakan, tetapi tidak sebaliknya. Sebagai strategi, kami hanya memiliki harapan bahwa tidak ada bola hitam di guci.
CA: Kami akan mengeluarkannya suatu hari dan kami tidak akan bisa mendapatkannya kembali, dan Anda pikir kami beruntung sejauh ini. Berikan komentar tentang contoh di mana Anda menyebutkan beberapa jenis kerentanan.
NB:Jenis yang paling mudah dipahami adalah teknologi yang dapat menyebabkan banyak kerusakan besar tanpa banyak kesulitan. Biologi sintetis bisa menjadi sumber yang kaya bola hitam semacam ini. Produk geoengineering juga patut dipertimbangkan. Kita bisa melawan pemanasan global, tetapi kita tidak perlu membuatnya mudah untuk diri kita sendiri. Tidak perlu bagi orang yang acak dan neneknya untuk memiliki kesempatan untuk secara radikal mengubah iklim di bumi. Atau drone nyamuk berukuran mematikan diproduksi secara massal untuk membunuh hama. Nanoteknologi, kecerdasan buatan universal.
CA: Ada keraguan dalam buku ini bahwa kami cukup beruntung menemukan energi nuklir untuk membuat bom atom. Mungkin ini adalah kasus ketika dimungkinkan untuk membuat bom menggunakan sumber daya lebih ringan yang tersedia untuk semua orang.
NB:Mari kita kembali ke 30-an abad kedua puluh, ketika kita pertama kali membuat kemajuan dalam fisika nuklir. Beberapa ilmuwan terkemuka menemukan cara membuat reaksi berantai nuklir dan kemudian membawanya ke bom. Kami telah melakukan penelitian. Ternyata untuk membuat bom atom yang mengandung sejumlah besar uranium dan plutonium, yang cukup sulit diperoleh, ultrasentrifugal diperlukan, reaktor diperlukan, serta sejumlah besar energi. Kami berasumsi bahwa, sebaliknya, ada cara yang lebih mudah untuk melepaskan energi dari atom. Dan bagaimana jika ternyata memungkinkan untuk menyebabkan ledakan nuklir dari pasir dalam oven microwave atau dengan cara yang lebih sederhana. Sekarang ini tidak mungkin dari sudut pandang fisika. Tetapi sampai percobaan seperti itu dilakukan, bagaimana Anda tahu apa yang akan terjadi?
CA:Setuju, untuk perkembangan normal kehidupan di Bumi, lingkungan yang stabil diperlukan. Dan jika ada cara yang lebih mudah untuk mendapatkan reaksi nuklir besar, maka lingkungan yang stabil di Bumi tidak akan ada, dan kita tidak akan berada di sini.
NB: Ya, jika ada sesuatu yang dibuat dengan sengaja, dan tidak dengan sendirinya. Ini adalah cara kami melakukan banyak hal. Kita dapat menumpuk 10 blok di atas satu sama lain, tetapi ini tidak terjadi secara alami.
CA: Sekarang mari kita bicara tentang apa yang paling membuat kita khawatir. Untuk saat ini, dari apa yang dapat kami prediksi, biologi sintetis adalah jalan terpendek menuju penghancuran diri.
NB:Dan bayangkan bagaimana jadinya jika Anda memberi tahu seseorang bahwa ia dapat menghancurkan kota dengan memasak sesuatu di dapur. Sulit membayangkan bagaimana peradaban modern dalam bentuknya yang biasa dapat bertahan seperti itu. Karena di antara populasi berjuta-juta, ada yang, karena alasan yang tidak diketahui, ingin menggunakan kekuatan destruktif ini. Dan jika pencinta kiamat ini memilih untuk menghancurkan kota, atau lebih buruk, kota-kota akan dihancurkan.
CA: Ada jenis kerentanan lainnya. Tolong beritahu kami tentang itu.
NB:Selain bola hitam yang mudah dipahami yang akan meledakkan segala sesuatu di jalan mereka, orang lain akan menciptakan insentif bagi orang untuk melakukan hal-hal buruk dan menyebabkan kerusakan. Yaitu, jika Anda berpikir tentang apa yang disebut Tipe-2a, maka ini adalah teknologi yang akan mendorong kekuatan besar dunia untuk menggunakan semua kekuatan militer mereka untuk penghancuran. Faktanya, senjata nuklir sangat dekat dengan itu, bukan? Apa yang kami lakukan: Kami telah menghabiskan lebih dari $ 10 triliun membangun 70.000 hulu ledak nuklir dan menjaga mereka dalam siaga tinggi. Selama Perang Dingin, kami berada di tepi kehancuran bersama beberapa kali. Bukan karena orang berpikir itu adalah ide bagus untuk menghabiskan $ 10 triliun dalam penghancuran diri. Itu dirangsang oleh kenyataan bahwa kita hanya mencari diri kita sendiri, dan ini bisa menjadi yang terburuk. Bayangkan jika pukulan pertama terjadi tanpa banyak konsekuensi,akan sangat sulit untuk menahan diri dari meluncurkan semua rudal nuklir dalam situasi krisis. Jika tidak sebaliknya, karena Anda takut akan dilakukan di sisi lain.
CA: Kehancuran bersama yang terjamin menjaga stabilitas selama Perang Dingin. Kalau tidak, kita tidak akan berada di sini.
NB: Ya, itu akan membuatnya lebih tidak stabil. Di sini sisi lain dari teknologi bisa muncul. Akan lebih sulit untuk mencapai kesepakatan tentang persenjataan jika alih-alih senjata nuklir ada beberapa barang kecil atau kurang terlihat.
CA: Sama seperti motif buruk aktor berpengaruh dunia, Anda juga khawatir tentang motif buruk kita masing-masing dalam tipe 2b.
NB:Ya, lebih baik mengambil pemanasan global sebagai contoh. Masing-masing dari kita menggunakan beberapa kenyamanan modern dalam kehidupan sehari-hari, penggunaan yang tidak memiliki konsekuensi signifikan, bukan? Tetapi miliaran orang melakukan hal yang sama, yang bersama-sama memiliki efek yang menghancurkan sekarang masalah pemanasan global bisa menjadi lebih buruk. Ada parameter pengaruh pada iklim. Ini menunjukkan berapa banyak pemanasan akan meningkat ketika sejumlah gas rumah kaca dipancarkan. Misalkan dengan jumlah gas rumah kaca yang dipancarkan saat ini, pada tahun 2100, alih-alih kenaikan suhu hanya 3-4,5 derajat, kita akan menghadapi peningkatan 15 atau bahkan 20 derajat. Artinya, kita mungkin berada dalam posisi yang sangat buruk. Misalkan sangat sulit untuk menciptakan sumber energi terbarukan atau ada lebih banyak bahan bakar fosil di bumi
CA: Apakah Anda mengatakan bahwa jika cara hidup yang kita pimpin hari ini pada akhirnya mengarah ke perbedaan 10 derajat yang kelihatan, maka orang-orang sudah akan ribut dan melakukan sesuatu tentang hal itu. Kita mungkin bodoh, tapi tidak sebodoh itu. Tapi siapa tahu.
NB: Saya tidak akan begitu yakin.
Pertimbangkan properti lain juga. Saat ini, beralih ke energi terbarukan dan sejenisnya itu sulit, tetapi mungkin. Mungkin menggunakan sifat fisik yang sedikit berbeda, ini akan jauh lebih mahal.
CA: Apa pendapat Anda? Apakah planet kita, umat manusia dengan semua kemampuan teknisnya, dalam posisi yang rentan? Apakah ada bola kematian di masa depan kita?
NB:Sulit untuk dikatakan. Saya pikir guci ini cenderung berisi berbagai bola hitam. Tetapi akan ada juga yang emas yang akan membantu kita dalam pertempuran melawan bola hitam. Tapi saya tidak tahu bagaimana urutannya.
CA: Ide Anda sedikit bertentangan dengan ide filosofis bahwa masa depan sudah ditentukan sebelumnya dan tidak dapat dihindari, terlepas dari warna bola berikutnya, dan sampai batas tertentu saya tidak ingin percaya pada masa depan seperti itu. Saya ingin percaya bahwa masa depan tidak ditentukan sebelumnya, bahwa keputusan yang kita buat hari ini akan mempengaruhi warna bola yang kita tarik.
NB:Saya pikir jika kita terus menciptakan kita akhirnya akan menarik semua bola. Ada beberapa bentuk lemah determinisme teknologi yang memiliki alasan bagus, yaitu, Anda tidak mungkin menemukan komunitas yang menggunakan kapak silikon dan pesawat jet. Teknologi dapat dianggap sebagai paket kemampuan. Teknologi memungkinkan kita untuk melakukan berbagai hal dan mencapai hasil yang berbeda di dunia. Cara menggunakannya hanya tergantung pada pilihan kita. Tetapi jika Anda berpikir tentang ketiga jenis kerentanan ini, mereka dapat mengguncang gagasan penggunaannya. Saya ingatkan Anda bahwa jenis kerentanan pertama adalah kekuatan penghancur yang sangat besar dan asumsi bahwa di antara jutaan penduduk ada yang ingin menggunakannya untuk penghancuran agak lemah.
CA:Yang paling mengkhawatirkan saya adalah pemikiran bahwa pada titik ini dalam beberapa hal kita telah membenamkan diri dalam guci ini cukup untuk menyadari bahwa kita ditakdirkan untuk mati. Artinya, jika Anda percaya pada peningkatan kekuatan, perkembangan teknologi, dalam penciptaan teknologi yang akan membuat kita lebih kuat, maka pada titik tertentu Anda sampai pada kesimpulan bahwa satu orang dapat menghancurkan kita semua. Dan dalam hal ini kita semua sudah selesai. Apakah itu tidak mengganggu Anda?
NB: Oh, ya,
saya percaya ... Ya, kami semakin kuat dan semakin mudah untuk menggunakan kekuatan ini, tetapi kami juga dapat menemukan teknologi yang akan memungkinkan kami untuk mengontrol penggunaan kekuatan ini oleh orang-orang
KA:Mari kita bahas ini. Mari kita bicara tentang tanggapan. Misalkan, memikirkan semua kemungkinan yang kita miliki saat ini, itu bukan hanya sinbioteknologi, tetapi juga hal-hal seperti perang dunia maya, kecerdasan buatan, dll. - untuk itu, mungkin, di masa depan kita akan menghadapi perhitungan yang serius. Apa tanggapannya? Anda juga menyebutkan empat jenis respons ini.
Batasan perkembangan
NB:Keterbatasan dalam pengembangan kemajuan teknis tidak menginspirasi harapan jika kita semua berarti penghentian kemajuan teknis secara keseluruhan. Saya pikir kita tidak memiliki keinginan atau kemampuan untuk melakukan ini. Atau mungkin hanya di beberapa area Anda ingin memperlambat kemajuan teknologi. Saya pikir Anda tidak ingin pengembangan senjata biologis atau pemisahan isotop yang cepat, yang akan memfasilitasi pembuatan senjata nuklir.
CA:Saya sepenuhnya setuju dengan Anda, tetapi saya ingin fokus pada ini, pertama, karena jika Anda melihat sejarah dua dekade terakhir, kami bergerak maju dengan kecepatan penuh, ada baiknya ini hanya pilihan kami, tetapi jika Anda melihat globalisasi dan pertumbuhannya yang cepat, untuk strategi "bergerak lebih cepat dan mendobrak hambatan" dan apa jadinya, dan kemudian ke potensi penuh dari biologi sintetis. Saya tidak yakin apakah kita harus bergerak secepat itu, tanpa batasan apa pun, ke dunia di mana akan ada printer DNA di setiap rumah dan di laboratorium sekolah menengah. Harus ada beberapa batasan.
NB: Mungkin bagian pertama bukan yang paling cocok. Jika orang ingin menghentikannya, akan ada masalah implementasi. Bahkan, tidak ada yang akan terjadi jika populasi satu negara ...
KA:Tidak jika hanya satu orang yang bertindak, tetapi kami telah menyelesaikan perjanjian internasional sebelumnya. Berkat ini, kami berhasil menghilangkan ancaman nuklir melalui pertemuan dan negosiasi kompleks yang panjang. Saya bertanya-tanya apakah itu akan lebih masuk akal bagi kita untuk tidak datang ke sini pada masalah penting dan mencoba untuk membahas aturan ketat tentang bio-penelitian sintetis. Bukankah itu yang Anda ingin demokratisasi?
NB:Saya sangat setuju. Sebagai contoh, saya ingin synthesizer DNA bukan perangkat yang akan dipasang di setiap laboratorium, tetapi, mungkin, sebuah layanan. Katakanlah hanya ada empat atau lima tempat di dunia di mana Anda dapat mengirim sampel DNA elektronik dan Anda mendapatkan hasilnya. Dan kemudian Anda akan memiliki kesempatan, jika perlu, untuk mendapatkan serangkaian kerentanan yang terbatas. Saya pikir Anda akan ingin tahu tentang situasi khusus yang dapat dikontrol dengan ketat.
CA: Pada dasarnya, pendapat Anda adalah bahwa itu tidak akan berhasil jika kami memperlambat kemajuan. Seseorang, di suatu tempat, katakanlah di Korea Utara, ada seseorang yang ingin mendapatkan bola hitam persis dari guci, jika ada.
NB:Di lingkungan saat ini, sangat mungkin. Dan ini bukan tentang biologi sintetis. Setiap perubahan besar baru di dunia bisa berubah menjadi bola hitam.
CA: Ada opsi pengembangan lain.
Eliminasi orang berbahaya
NB: Tapi kemungkinannya kecil. Mengenai jenis kerentanan pertama. Jika mungkin untuk mengurangi jumlah orang yang tertarik menghancurkan dunia, jika mereka memiliki akses ke senjata dan dana, itu akan menjadi besar.
CA: Anda meminta slide ini, dengan drone pengenal wajah terbang di seluruh dunia. Dan ketika mereka menemukan orang-orang dengan tanda-tanda perilaku antisosial, mereka akan menghujani mereka dengan cinta, "perbaiki".
NB:Tidak sesederhana itu. Likuidasi juga berarti, misalnya, dipenjara atau dihancurkan, atau mengubah pandangan mereka tentang kehidupan menjadi lebih benar. Intinya adalah bahwa, misalnya, Anda telah mengatasi tugas tersebut, telah mengurangi jumlah orang berbahaya menjadi dua. Jika Anda melakukan likuidasi dengan persuasi, maka Anda akan menghadapi faktor kuat lain yang memengaruhi orang: pesta, agama, pendidikan. Jika jumlah orang berbahaya dibelah dua. Tampak bagi saya bahwa risikonya akan berkurang bukan sebesar 50%, tetapi hanya sebesar 5 atau 10%.
CA: Apakah Anda pikir kami tidak mempertaruhkan masa depan umat manusia dalam pilihan kedua?
NB: Saya pikir tidak ada yang salah dengan mencoba menghalangi orang, tetapi metode ini tidak dapat memberikan keamanan sendirian.
CA: Dan opsi ketiga?
NB:Ada dua metode utama yang dengannya kita dapat mengeraskan dunia terhadap berbagai kemungkinan kerentanan. Tetapi Anda mungkin membutuhkan keduanya. Yang pertama adalah penegakan hukum kepolisian yang sangat efektif,
pengawasan total
, kemampuan intersepsi. Jika seseorang ingin melakukan kejahatan, akan mungkin untuk mencegat dan menghentikannya. Dalam hal ini, pengawasan luas akan diperlukan, kita masing-masing akan di bawah pengawasan.
CA: Seperti Laporan Minoritas.
NB: Algoritma kecerdasan buatan, pusat kebebasan besar, dll. Dapat membantu kita dalam pengamatan.
CA: Apakah Anda tahu istilah "pengawasan total" tidak terlalu populer sekarang?
NB:Ini akan menjadi perangkat kecil dengan kamera multi-arah yang dibangun ke dalam apa yang disebut choker yang perlu dipakai setiap saat. Agar tidak tampak seperti beban, sebut saja sesuatu seperti "simbol kebebasan."
CA: Oke Teman, itu sebabnya percakapan kami sangat menarik.
NB: Anda benar-benar dapat membicarakannya untuk waktu yang lama, yang sudah jelas. Kami membahas risiko dan tantangan, bukan? Kita bisa kembali ke sini. Dan keempat,
Tata Kelola Global
peluang terakhir untuk stabilisasi adalah untuk menutup kesenjangan dalam pemerintahan. Kontrol akan menjadi cacat dalam tata kelola tingkat mikro, mencegah seseorang dari melakukan sesuatu yang ilegal. Tentu saja, masalah yang sama diamati di tingkat makro, di tingkat global. Jelas, dibutuhkan kompetensi untuk mencegah gangguan dalam koordinasi global, untuk menghindari perang antara negara-negara besar, perlombaan senjata, masalah umum dengan bencana, untuk mengatasi kerentanan tipe 2a.
CA:Istilah "pemerintahan global" jelas tidak populer sekarang, tetapi Anda dapat berargumen bahwa dalam perjalanan sejarah manusia, pada setiap tahap perkembangan baru, kekuatan teknologi meningkat. Orang-orang telah mengubah dan memusatkan kekuatan ini. Misalnya, ketika geng penjahat yang berkeliaran dapat memimpin masyarakat, jawabannya adalah bahwa Anda memiliki negara-bangsa dan Anda memusatkan kekuatan - polisi atau tentara, dan "Anda tidak bisa melakukan itu." Logikanya, mungkin, adalah bahwa jika satu orang atau sekelompok orang dapat menghancurkan umat manusia, suatu hari kita akan memulai jalan ini, setidaknya dalam beberapa aspek?
NB:Jelas, dalam perjalanan perkembangan sejarah manusia, skala aparat politik telah meningkat. Pertama ada sekelompok pemburu-pengumpul, kemudian kepala suku, negara-kota, bangsa, sekarang ada organisasi internasional, dll. Saya hanya ingin memastikan bahwa saya dapat menyoroti sejumlah besar aspek negatif dan risiko baik dalam hal pengawasan total dan dalam tata kelola global. Saya hanya ingin mencatat bahwa jika kita beruntung, dunia bisa berubah sedemikian rupa sehingga semua hal di atas hanya akan menjadi penyelamatan dari bola hitam.
CA:Seperti yang saya pahami, logika teori ini adalah harus dipahami bahwa semuanya tidak akan terjadi dengan segera. Ini semacam mimpi naif yang banyak dari kita memiliki teknologi yang selalu digunakan untuk kebaikan. Teruskan, jangan berhenti, cepatlah jika memungkinkan, dan jangan memikirkan konsekuensi yang bahkan mungkin tidak terjadi. Itu bisa terjadi. Dan jika ya, kita harus menerima keadaan petugas lain dan menjadi bagian dari perlombaan senjata. Jika Anda ingin memiliki kekuatan, yang terbaik adalah membatasi, atau mencari tahu bagaimana cara membatasinya.
NB:Saya pikir ini adalah pilihan yang sangat baik, dalam arti bahkan yang paling mudah dan dapat bekerja. Tapi ini berarti kami sangat rentan terhadap penampilan bola hitam. Saya pikir dengan menambahkan sedikit koordinasi, jika kita menyelesaikan semua masalah di tingkat manajemen makro dan mikro, maka kita akan mengambil semua bola dari tempat sampah dan menuai banyak manfaat.
CA: Apa bedanya jika kita hidup dalam simulasi? Kami hanya me-reboot.
NB: Saya rasa itu tidak datang.
CA: Bagaimana menurutmu? Menyatukan semuanya, apa kemungkinan kita akan dikutuk?
(Saya suka tawa orang ketika pertanyaan ini diajukan.)
NB: Pada tingkat individu, kita akan tetap berakhir, seiring berjalannya waktu kita bertambah tua, membusuk, dan hal-hal seperti itu, kan?
Ini sebenarnya sedikit lebih rumit. Jika Anda ingin menghitung kemungkinan bahwa kita akan berakhir, pertama-tama, siapa "kita"? Jika Anda berusia bertahun-tahun, Anda bisa mati secara alami. Jika Anda masih muda, maka Anda dapat memiliki sebanyak 100 tahun. Probabilitasnya adalah individu. Kemudian ambang batas, yaitu membatasi konsep penghancuran peradaban. Dalam buku saya, saya tidak menganggap bencana eksistensial sebagai penghancuran peradaban. Ini semua masalah definisi. Katakanlah akan ada satu miliar kematian atau pengurangan 50% dalam PDB global, tetapi bagaimana Anda mendefinisikan ambang, Anda mendapatkan berbagai tingkat probabilitas. Saya pikir Anda akan memanggil saya optimis yang menakutkan.
CA: Anda adalah seorang optimis yang ketakutan, dan saya pikir Anda telah menciptakan beberapa dari orang-orang Anda sendiri yang terintimidasi sekarang.
NB: Hidup dalam simulasi.
CA:Persis. Nick Bostrom, ide-ide Anda luar biasa. Terima kasih telah menakuti kami sampai mati.
Diterjemahkan oleh Olia Francia
Diulas oleh Natalia Ost
Pelajari detail cara mendapatkan profesi yang dicari dari awal atau Tingkatkan keterampilan dan gaji dengan menyelesaikan kursus online berbayar SkillFactory:
- Kursus Pembelajaran Mesin (12 minggu)
- Belajar Ilmu Data dari awal (12 bulan)
- Profesi analis dengan level awal apa pun (9 bulan)
- Python untuk Kursus Pengembangan Web (9 bulan)
Baca lebih lajut
- Tren dalam Ilmu Data 2020
- Ilmu Data sudah mati. Ilmu Bisnis Bisnis berumur panjang
- Data Keren Para ilmuwan tidak membuang waktu untuk statistik
- Bagaimana Menjadi Ilmuwan Data Tanpa Kursus Online
- 450 kursus gratis dari Liga Ivy
- Ilmu Data untuk humaniora: apa itu "data"
- Data Sciene : Decision Intelligence