Noam Chomsky tentang masa depan pembelajaran mendalam

Selama beberapa minggu terakhir, saya melakukan korespondensi email dengan anarko-sindikalis favorit saya, Noam Chomsky. Saya pertama kali menghubungi dia untuk menanyakan apakah perkembangan terakhirnya di JST (jaringan saraf tiruan) telah memaksanya untuk memikirkan kembali teori linguistiknya yang terkenal tentang tata bahasa universal. Percakapan kami menyentuh kemungkinan keterbatasan deep learning, seberapa baik ANN sebenarnya memodelkan otak biologis, dan juga berbicara tentang topik filosofis. Saya tidak akan mengutip Profesor Chomsky secara langsung di sini, karena diskusi kita bersifat informal, tetapi saya akan mencoba merangkum temuan-temuan utama.



Dan, omong-omong, kemarin, 7 Desember, Noam Chomsky berusia 92 tahun!





kf "Kapten Fantastis"




Sedikit tentang Noam Chomsky



Noam Chomsky pada dasarnya adalah seorang profesor linguistik (banyak yang menyebutnya "bapak linguistik modern"), tetapi dia mungkin lebih dikenal di luar dunia akademis sebagai seorang aktivis, filsuf, dan sejarawan. Chomsky adalah penulis lebih dari 100 buku dan diakui sebagai intelektual publik terkemuka dunia dalam jajak pendapat tahun 2005 oleh Foreign Policy and Prospect .



Saya mengagumi karya Chomsky, terutama kritiknya terhadap imperialisme Amerika, neoliberalisme, dan media. Di mana pandangan kami agak berbeda adalah sehubungan dengan penolakannya terhadap para filsuf kontinental (terutama pasca-strukturalis Prancis). Saya mungkin telah ternoda dengan meminjam terlalu banyak dari sumber-sumber Foucault, Lacan, dan Derrida di awal masa dewasa saya, tetapi saya selalu menemukan pendekatan analitis Chomsky terhadap filsafat secara moral menarik tetapi sedikit "disempurnakan" untuk penjelasan yang memuaskan tentang dunia kita. Sementara penghinaannya terhadap tokoh-tokoh pasca-struktural ini sangat mencolok, pandangan filosofis Chomsky lebih halus daripada yang diyakini para pengkritiknya.



Tata bahasa universal



Saya harus langsung mengatakan bahwa saya bukan ahli bahasa, tetapi di bagian artikel ini saya akan mencoba memberikan gambaran umum tentang teori tata bahasa universal. Sebelum Chomsky, hipotesis utama dalam linguistik adalah bahwa manusia dilahirkan dengan pikiran tabula rasa dan memperoleh bahasa melalui penguatan. Artinya, anak-anak mendengar apa yang orang tua mereka katakan, meniru apa yang mereka dengar, dan ketika mereka menggunakan kata dengan benar atau membangun kalimat, mereka dipuji. Chomsky menunjukkan bahwa penguatan hanyalah bagian dari proses dan bahwa otak manusia harus memiliki struktur universal bawaan untuk memfasilitasi penguasaan bahasa. Argumen utamanya adalah:



  1. Anak-anak belajar bahasa terlalu cepat dan terlalu sedikit data untuk menjelaskan hal ini dengan pembelajaran penguatan (argumen yang dikenal sebagai "kemiskinan insentif").

  2. , , . 1960- , , 10 , .

  3. . , , .

  4. . , , , , .



Teori kemampuan bahasa yang dikodekan secara genetik ini mendapat penerimaan luas dalam komunitas ilmiah, tetapi pertanyaan yang jelas adalah: "Seperti apa tata bahasa universal ini?" Tak lama kemudian, para peneliti yang berani mulai menemukan sifat-sifat umum dari semua bahasa manusia, tetapi masih belum ada konsensus tentang bentuk kemampuan bahasa bawaan kita. Aman untuk mengasumsikan bahwa tata bahasa universal tidak terdiri dari aturan sintaksis tertentu, tetapi kemungkinan besar merupakan fungsi kognitif fundamental.



Chomsky mendalilkan bahwa di beberapa titik dalam sejarah, manusia mengembangkan kemampuan untuk melakukan proses rekursif sederhana yang disebut "fusi", sebuah proses yang bertanggung jawab atas properti dan batasan struktur sintaksis dalam bahasa manusia. Agak abstrak (dan terlalu rumit untuk melakukannya dengan benar), tetapi pada dasarnya "penggabungan" adalah proses mengambil dua objek dan menggabungkannya untuk membentuk objek baru. Meskipun tampak biasa-biasa saja, kemampuan untuk menggabungkan konsep secara mental dan melakukannya secara rekursif adalah menipu dan memungkinkan kita untuk menciptakan "variasi tak terbatas dari ekspresi terstruktur secara hierarki." Lompatan genetik yang kecil namun menentukan ini tidak hanya dapat menjelaskan kemampuan kita untuk berkomunikasi secara verbal, tetapi juga mengarah padabahwa dia mungkin bertanggung jawab (setidaknya sebagian) untuk bakat matematika dan kreativitas manusia dalam arti yang lebih luas. Mutasi "fusi" ini, yang terjadi pada salah satu nenek moyang kita sekitar 100.000 tahun yang lalu, mungkin menjadi salah satu kunci yang memisahkan manusia dari hewan lain.



Jaringan saraf tiruan



Alasan utama mengapa saya menghubungi Profesor Chomsky adalah ini: Saya ingin mendengar pandangannya tentang jaringan saraf tiruan (saya tahu lebih banyak tentang mereka daripada tentang linguistik). ANN adalah bagian dari model pembelajaran mesin yang dimodelkan setelah otak manusia dan dipelajari dengan cara yang serupa: dengan melihat banyak contoh. Model semacam itu memerlukan sedikit kode dan dapat melakukan berbagai tugas kompleks yang cukup luas (misalnya, penandaan gambar, pengenalan suara, pembuatan teks ) dengan arsitektur yang relatif sederhana. Contoh instruktif dari pendekatan ini adalah model AlphaGo .(dikembangkan oleh Google), yang mempelajari cara bermain Go (permainan papan yang sulit dan bermasalah) dan akhirnya menjadi tak terkalahkan oleh manusia juara dunia. Hal yang paling mengesankan tentang ini adalah dia dilatih untuk bermain tanpa aturan keras atau campur tangan manusia, yaitu modelnya adalah "tabula rasa". Meskipun JST jelas bukan analogi yang sempurna untuk otak manusia, saya bertanya kepada profesor apakah JST mengatakan bahwa kita tidak benar-benar membutuhkan struktur kognitif yang sudah di-hardcode untuk belajar dari data yang tersebar.







Chomsky dengan tepat menunjukkan bahwa JST berguna untuk tugas yang sangat terspesialisasi, tetapi tugas ini harus dibatasi secara tajam (walaupun volumenya mungkin tampak besar mengingat memori dan kecepatan komputer modern). Dia membandingkan ANN dengan crane besar yang bekerja pada gedung bertingkat tinggi; meskipun pekerjaan seperti itu pasti mengesankan, baik bangunan maupun derek ada dalam sistem batas tetap. Alur pemikiran ini konsisten dengan pengamatan saya bahwa semua terobosan dalam pembelajaran mendalam yang telah saya amati telah terjadi di area yang sangat spesifik, dan kami tampaknya tidak mendekati hal seperti itu dalam kecerdasan buatan umum (apa pun artinya). Chomsky juga menunjukkan bukti yang berkembang bahwa JST tidak dapat secara akurat memodelkan kemampuan kognitif manusia, yang relatif kayabahwa sistem komputasi yang terlibat dapat meluas bahkan ke tingkat seluler.



Jika Chomsky benar (dan saya pikir dia benar), apa implikasi dari memajukan penelitian deep learning? Lagipula, tidak ada yang magis tentang otak manusia. Itu hanyalah struktur fisik yang terdiri dari atom, dan oleh karena itu cukup rasional untuk percaya bahwa pada suatu saat di masa depan kita akan dapat membuat versi buatan dari otak yang mampu menggeneralisasikan kecerdasan. Dengan demikian, JST modern hanya menawarkan simulacrum dari jenis kognisi ini, dan menurut logika Chomsky, kita tidak akan mencapai batas berikutnya ini tanpa terlebih dahulu memperdalam pemahaman kita tentang cara kerja jaringan saraf organik.



Relativisme moral







Penerapan etis AI adalah masalah utama dalam data scientist saat ini, tetapi terkadang hal itu tampak kabur dan subjektif di area spesifik lain. Karya Chomsky tidak hanya memberikan perspektif teknis yang unik tentang masa depan pembelajaran yang mendalam; tata bahasa universal juga memiliki implikasi moral yang mendalam, karena bahasa adalah cara kita berbicara tentang dan menafsirkan dunia. Misalnya, Chomsky percaya bahwa struktur saraf bawaan yang disebutkan di atas mengecualikan relativisme moral dan harus ada batasan moral universal. Ada banyak jenis relativisme moral, tetapi prinsip dasarnya adalah bahwa tidak ada dasar objektif untuk definisi etis. Para relativis moral berpendapat bahwa meskipun kita sangat percaya pada pernyataan seperti "perbudakan itu tidak bermoral",kami tidak memiliki cara empiris untuk membuktikan hal ini kepada mereka yang tidak setuju dengan kami, karena setiap bukti akan selalu didasarkan pada penilaian nilai, dan nilai-nilai kami pada akhirnya bersifat eksogen dan ditentukan oleh budaya dan pengalaman.



Chomsky berpendapat bahwa moralitas memanifestasikan dirinya di dalam otak dan oleh karena itu, menurut definisi, merupakan sistem biologis. Semua sistem biologis memiliki variasi (alami dan karena rangsangan yang berbeda), tetapi variasi ini juga memiliki batasan. Pertimbangkan sistem visual manusia: percobaan telah menunjukkan bahwa ia memiliki beberapa plastisitas dan dibentuk oleh pengalaman (terutama pada anak usia dini). Dengan memvariasikan data yang memasuki sistem visual manusia, seseorang secara harfiah dapat mengubah distribusi reseptor dan dengan demikian mengubah cara seseorang memandang garis horizontal dan vertikal. Yang tidak dapat Anda lakukan adalah mengubah mata manusia menjadi mata serangga, atau memberi seseorang kemampuan untuk melihat sinar-X. Menurut Chomsky, sistem biologis (termasuk moralitas) dapat sangat bervariasi, tetapi tidak terbatas.Dia melanjutkan dengan mengatakan bahwa bahkan jika Anda percaya bahwa moralitas kita sepenuhnya berasal dari budaya, Anda masih perlu memperoleh budaya itu dengan cara yang sama seperti Anda memperoleh sistem apa pun (sebagai hasil dari struktur kognitif bawaan yang universal).



Tambahan pertama saya untuk apa yang telah dikatakan dalam artikel ini adalah ini: jika kita berasumsi bahwa moralitas hanyalah konsekuensi dari "fusi" (atau sesuatu yang sama primitif), maka sementara ini mungkin memaksakan batasan teoretis, intuisi saya adalah bahwa bahwa moralitas kita bisa berubah begitu liar sehingga hampir tidak mungkin untuk membuat penilaian universal. Chomsky pernah berdebat di masa lalu tentang bagaimana kemajuan moral tampaknya mengikuti tren tertentu (misalnya, menerima perbedaan, meninggalkan penindasan, dll.), Tetapi saya berjuang untuk memahami bagaimana tren luas ini akan muncul secara konsisten dari struktur kognitif atom sederhana seperti itu. Ketika saya berbicara dengan profesor tentang hal ini, dia berpendapat bahwa pandangan ini adalah ilusi dan ketika kita tidak memahami sesuatu, mereka tampak lebih bervariasi dan kompleks,daripada yang sebenarnya. Ia mencontohkan deviasi yang diamati pada kerangka tubuh hewan pasca ledakan Kambrium. Hanya 60 tahun yang lalu, pandangan umum dalam biologi adalah bahwa organisme berubah begitu banyak sehingga masing-masing harus dipelajari secara individual, tetapi sekarang kita tahu bahwa ini sepenuhnya salah dan bahwa perbedaan genetik antar spesies cukup kecil. Variasi dalam sistem pembelian yang kompleks harus minimal, jika tidak, kami tidak akan dapat memperolehnya.Variasi dalam sistem pembelian yang kompleks harus minimal, jika tidak, kami tidak akan dapat memperolehnya.Variasi dalam sistem pembelian yang kompleks harus minimal, jika tidak, kami tidak akan dapat memperolehnya.



gambar






Jangan lupakan kode promo HABR , yang menambahkan 10% diskon pada banner.








All Articles