- Teks yang dihasilkan oleh sistem dialog sesuai dengan "akal sehat".
- Respons sistem sesuai dengan konteks dialog dan harapan orang tersebut.
- Memahami tujuan, maksud pernyataan seseorang dalam dialog.
Memahami makna tidak dapat sepenuhnya dikaitkan dengan topik memahami konteks dialog, karena makna pernyataan lawan bicara dapat ditafsirkan dengan cara yang berbeda, dan tidak jelas interpretasi apa yang harus sesuai dengan keadaan pemahaman. Apakah “kesalahan” dalam pendapat lawan bicara (orang) dapat diartikan sebagai pemahaman yang berbeda tentang makna ungkapan oleh sistem? Lebih luas lagi, memahami makna mengacu pada pemahaman maksud dan tujuan pernyataan, dan ini adalah topik terpisah dalam teori pikiran. “Akal sehat” sebagai kriteria pemahaman dapat diartikan lebih tepat. Secara umum, ini adalah korespondensi jawaban untuk gambaran dunia, yang dapat diverifikasi. Dan hari ini, ini adalah kriteria terbaik untuk memahami konteks dialog oleh agen buatan seperti bot dialog. Namun sejauh ini, bot belum menunjukkan keberhasilan dalam hal ini.
Analisis pendekatan
Jawaban yang relevan adalah kriteria paling sederhana bagi bot untuk memahami lawan bicara (orang). Tapi kriteria ini mudah untuk "dipalsukan", yang telah ditunjukkan lebih dari sekali oleh para peserta Loebner Prize. Ini dicapai dengan menempatkan sejumlah besar template respons variabel di "maksud" yang dikenali oleh jaringan neural. Sulit untuk menyebut pemahaman ini. Tetapi keberhasilan bot semacam itu juga sederhana - mereka mengenali maksud campuran dengan sangat buruk. Satu pertanyaan di luar template dan sistem gagal. Mudah untuk memeriksanya di bot seperti Alice dari Yandex dan Siri dari Apple. Kita dapat mengatakan bahwa pengetahuan dunia untuk sistem semacam itu masih terpisah-pisah.
Cara lain adalah konstruksi ontologi yang mencakup semua pengetahuan tentang dunia agar memiliki jawaban atas pertanyaan. Hal ini diwujudkan melalui kemampuan mengidentifikasi pertanyaan pada cabang ontologi dan membangun jawaban yang benar berdasarkan pengetahuan yang tertanam di dalamnya. Ontologi mengklaim untuk menutupi seluruh gambaran dunia dengan ontologi. Pendekatan ini telah digunakan oleh proyek-proyek seperti CYC dan ABBYY Compreno. Sekarang kita dapat menyatakan bahwa metode pemecahan masalah "pemahaman" ini telah gagal. Beberapa dekade konstruksi manual dari ontologi semacam itu oleh para insinyur pembangunan tidak memungkinkan mereka untuk membangun bahkan satu yang tidak akan gagal bahkan pada pertanyaan anak-anak yang sederhana. Masalah ontologi terutama terkait dengan sifat metaforis bahasa dan homonimi, yang tidak dapat secara konsisten diletakkan dalam struktur ontologi "logis" yang seperti pohon. Upaya yang sama termasuk proyek FrameNet (Fillmore),terdiri dari konstruksi skenario berdasarkan kerangka semantik untuk mencerminkan fakta dunia. Tetapi karena alasan yang sama, proyek tersebut tidak dapat dikembangkan.Dapat dikatakan bahwa sistem tersebut tidak mampu mewujudkan kesederhanaan bahasa sebagai kemampuan mendeskripsikan sejumlah besar konsep melalui mekanisme metafora dengan kosa kata yang terbatas.
Sejak 2010, lebih banyak penekanan telah ditempatkan pada jaringan saraf, tetapi mereka terbatas karena mereka hanya dapat membuat asumsi dalam kerangka gambaran dunia yang hadir di set pelatihan. Jaringan seperti GPT-3 (Februari 2019) dalam proyek OpenAI, dibangun di atas arsitektur Transformer (jaringan generatif yang dilatih pada miliaran kata dalam bentuk teks), menghasilkan teks "manusia" yang benar secara gramatikal yang sama sekali tidak berarti, yang menunjukkan kesalahpahaman total oleh mereka " akal sehat ”seperti pada contoh di bawah ini.
Contoh:
Anda: Berapa banyak mata yang memiliki serigala?
GPT-3: Seekor serigala memiliki empat mata.
Anda: Mengapa empat?
GPT-3: Dua untuk melihat dalam gelap dengan.
Anda: Mengapa dua?
GPT-3: Serigala perlu melihat apakah makanannya sudah siap.
Anda: Dan berapa banyak mata yang dimiliki manusia?
GPT-3: Manusia memiliki dua mata dan dua telinga untuk mendengar.
Anda: Dan berapa banyak mata yang memiliki sehelai rumput?
GPT-3: Sebatang rumput memiliki satu mata dan satu telinga untuk dilihat dan didengar.
Anda: Mengapa?
GPT-3: Untuk memastikan tidak terinjak.
Kita dapat mengatakan bahwa sistem seperti itu dapat menghasilkan pernyataan tentang pertanyaan apa pun, bahkan tidak ditemukan dalam teks pendidikan, tetapi sistem tersebut tidak dapat dijamin untuk membangun fakta "akal sehat" yang sesuai dengan gambaran dunia.
Ada pendekatan gabungan seperti COMET, yang didirikan oleh Yejin Choi (1), di mana basis pengetahuan "tulisan tangan" tentang fakta-fakta dunia Atom digunakan untuk melatih kembali model bahasa pra-terlatih GPT-2. Akibatnya, jaringan mulai menghasilkan fakta yang jauh lebih masuk akal yang tidak ada di set pelatihan Atomic dan GPT. Tetapi sejauh ini keberhasilan proyek semacam itu juga sederhana, karena tidak ada jawaban yang pasti.
Yang menarik adalah sistem DeepMind, yang, selain jaringan saraf, memiliki memori eksternal tentang fakta (atau pengalaman), yang memungkinkan mereka mempelajari "aturan permainan" tanpa guru, hanya dengan aktif di lingkungan dan merekam hasilnya. Dan dengan cara ini untuk belajar, bahkan saat bermain satu sama lain, yang memungkinkan untuk mengalahkan pemain manusia bahkan dalam game seperti Go. Ini sekarang dianggap sebagai arus utama dalam membangun agen yang "memahami dunia" permainan. Tetapi arsitektur sistem belajar mandiri seperti itu tidak memungkinkannya untuk diskalakan ke realitas yang lebih kompleks daripada permainan kerikil hitam dan putih atau permainan komputer primitif Atari. Metode pengajaran jelas memiliki batasan kerumitan teknologi.Kita dapat mengatakan bahwa sistem seperti itu menciptakan "gambaran dunia" bukan dengan menggunakan pengetahuan untuk membangun pengetahuan baru guna menghemat sumber daya sistem. Oleh karena itu, mereka membutuhkan terlalu banyak sumber daya untuk belajar bahkan di lingkungan yang buruk.
Ringkasan
Lalu, apa yang bisa disebut "pemahaman" tentang sistem buatan dari sudut pandang pragmatis? Jawaban umumnya adalah bahwa agen harus memiliki pengetahuan. Pada saat yang sama, seperti yang ditunjukkan oleh pengalaman, adalah mustahil untuk membangun pengetahuan yang komprehensif. Jawaban lain mungkin konsistensi dalam tanggapan sistem. Tapi seperti yang bisa kita lihat, sistem yang dilatih pada teks besar tidak berbeda dalam logika dalam pernyataan yang dihasilkannya.
Pemahaman oleh sistem AI berarti kemampuannya untuk MEMBERIKAN hipotesis yang masuk akal tentang gambaran dunia dari pengetahuan terpisah tentang fakta dari dunia ini. Dan untuk menghemat uang, sistem harus dapat menggunakan bahasa yang terbatas untuk menggambarkan fakta yang tak terbatas jumlahnya, yang dicapai dengan mekanisme seperti metafora. Namun, pada saat ini, mekanisme ini tidak cukup dikenal untuk dimasukkan ke dalam kode program. Konsep metafora yang tersedia tidak spesifik secara algoritme, seperti metafora konseptual atau campuran. Matematika belum berlaku untuk mereka, tetapi pekerjaan penulis dilakukan ke arah ini.
Menurut penulis, penyelesaian seperti itu adalah kriteria utama untuk kemampuan memahami sistem buatan. Ketika "gambaran dunia" terbatas, misalnya, dalam catur, kita dapat secara eksplisit meletakkan algoritme untuk menghasilkan pengetahuan, yaitu, kemungkinan gerakan, sehingga catur dapat mengorientasikan dirinya sendiri dalam susunan bidak apa pun yang bahkan belum pernah ditemui sebelumnya. Tetapi bagaimana melakukan ini di dunia nyata, di mana ada banyak urutan besarnya lebih banyak aturan, belum diketahui apa yang menjadi arah utama penelitian penulis.
Daftar Pustaka
1. Akal Sehat Semakin Dekat dengan Komputer, Quantamagazin, 30 April 2020