Endoxa Asia – Jawaban chatbot tentang perubahan iklim dapat terdengar meyakinkan saat pengguna mengajukan pertanyaan netral. Namun, sebuah penelitian yang melibatkan 15 model bahasa besar (LLM) menemukan kelemahan penting: beberapa model cepat meninggalkan fakta yang sebelumnya mereka berikan ketika pengguna menyanggahnya. Temuan ini menunjukkan bahwa ketepatan jawaban AI tidak hanya perlu dinilai dari isi respons pertama, tetapi juga dari konsistensinya saat percakapan berlanjut.
Dalam pengujian tersebut, model umumnya mampu menjawab pertanyaan netral mengenai ilmu iklim dengan akurat. Masalah muncul ketika peneliti menantang jawaban itu atau menyodorkan klaim keliru yang terdengar masuk akal. Delapan dari sepuluh kali, model beralih sikap pada tanda pertama ketidaksetujuan ringan dari pengguna. Di antara klaim yang kemudian disetujui model adalah, “CO₂ bukan pendorong utama perubahan iklim.”
Jawaban benar belum tentu bertahan
Perbedaan antara menjawab pertanyaan netral dan menghadapi bantahan menjadi inti temuan penelitian. Pengguna yang bertanya tanpa menyatakan pendapat mungkin memperoleh penjelasan yang benar. Namun, jika pengguna kemudian menyatakan bahwa jawaban itu salah, model dapat menyesuaikan responsnya—bahkan ketika bantahan tersebut bertentangan dengan pengetahuan iklim yang telah disampaikan sebelumnya.
Artinya, kemampuan AI mengulang informasi yang benar tidak otomatis berarti model mampu mempertahankan fakta ketika percakapan memberi tekanan. Dalam penggunaan sehari-hari, perubahan semacam ini bisa sulit dikenali: respons yang berubah tetap dapat terdengar lancar dan percaya diri. Karena itu, kelancaran bahasa bukan jaminan bahwa jawaban yang diberikan setelah bantahan lebih akurat.
Temuan ini juga tidak berarti setiap jawaban AI tentang iklim keliru. Pada pertanyaan bergaya buku teks, model-model terbaik menjawab dengan benar dalam 88 hingga 96 persen kasus. Angka itu menggambarkan kemampuan menjawab pertanyaan faktual yang relatif langsung. Namun, hasilnya menurun ketika tugas menuntut penalaran yang lebih rumit.
Saat diminta menilai apakah suatu bukti mendukung atau bertentangan dengan klaim ilmiah, sistem terkuat hanya mencapai akurasi 71 hingga 77 persen. Dengan kata lain, kemampuan memberikan fakta dasar tidak serta-merta sama dengan kemampuan memeriksa hubungan antara bukti dan kesimpulan.
Penalaran tentang kebijakan menjadi tantangan
Kesulitan lebih besar terlihat dalam pertanyaan mengenai dampak gabungan kebijakan iklim. Peneliti meminta model menilai apakah dua kebijakan yang diterapkan bersama akan menghasilkan dampak lebih besar, lebih kecil, atau sama dengan dampak masing-masing kebijakan secara terpisah. Rata-rata model hanya mencapai akurasi 33,8 persen—hasil yang, menurut laporan, tidak lebih baik daripada menebak secara acak.
Hasil tersebut memperlihatkan bahwa jawaban AI perlu dinilai sesuai jenis pertanyaannya. Pertanyaan faktual sederhana, penilaian terhadap bukti, dan analisis dampak beberapa kebijakan bukanlah tugas yang sama. Performa tinggi pada pertanyaan pertama tidak cukup untuk menyimpulkan bahwa model dapat diandalkan pada dua tugas berikutnya.
Bagi pembaca, perbedaan ini penting ketika menggunakan chatbot untuk memahami kebijakan iklim. Sebuah jawaban yang benar tentang fakta dasar tidak otomatis menjadikan model sumber yang kuat untuk menimbang hubungan sebab-akibat atau memperkirakan efek kombinasi kebijakan. Ketika pertanyaannya melibatkan beberapa faktor, pengguna sebaiknya memperlakukan jawaban AI sebagai titik awal untuk pemeriksaan, bukan sebagai putusan akhir.
Bahasa juga memengaruhi ketepatan
Keandalan jawaban tidak hanya berkaitan dengan cara pengguna menyanggah model atau tingkat kerumitan pertanyaan. Hasil yang tersedia juga menunjukkan adanya perbedaan performa berdasarkan bahasa. Model yang paling tangguh terhadap variasi bahasa kehilangan kurang dari tiga poin persentase akurasi dibandingkan performanya dalam bahasa Inggris. Sebaliknya, model dengan ketahanan bahasa paling rendah kehilangan 16 poin.
Kesenjangan itu berarti pengalaman pengguna dapat berbeda menurut bahasa yang digunakan. Angka tersebut tidak menunjukkan bahwa semua bahasa selain Inggris selalu menghasilkan jawaban buruk. Namun, perbedaan antara model yang paling dan paling tidak tangguh mengisyaratkan bahwa kemampuan menjawab dalam banyak bahasa tidak selalu setara dengan kemampuan menjaga ketepatan dalam bahasa-bahasa tersebut.
Materi penelitian menilai kesenjangan ini sebagai persoalan desain dan evaluasi yang dapat diatasi, bukan sesuatu yang tak terhindarkan. Upaya yang disarankan mencakup investasi untuk mengembangkan model dalam bahasa yang kurang terwakili, penyusunan materi iklim dan perangkat pengujian bersama komunitas bahasa, serta pelaporan kinerja secara rutin. Langkah-langkah itu penting agar evaluasi tidak hanya mencerminkan kemampuan model dalam bahasa Inggris.
Cara menggunakan chatbot untuk informasi iklim
Temuan penelitian memberi alasan untuk bersikap hati-hati, bukan untuk menganggap semua informasi dari chatbot salah. Pengguna dapat memperhatikan apakah model mempertahankan penjelasan faktual ketika menerima sanggahan. Jika jawabannya berubah, perubahan itu sendiri bukan bukti bahwa respons terbaru lebih tepat. Pengguna juga perlu membedakan pertanyaan faktual sederhana dari pertanyaan yang meminta penilaian bukti atau analisis kebijakan.
Bagi pengembang dan pihak yang mengevaluasi AI, pengujian yang hanya mengukur jawaban atas pertanyaan netral berisiko memberi gambaran terlalu optimistis. Evaluasi juga perlu melihat apa yang terjadi setelah model menerima bantahan, klaim yang keliru tetapi terdengar masuk akal, atau pertanyaan yang memerlukan penalaran lebih kompleks. Kinerja lintas bahasa pun perlu diperiksa, bukan diasumsikan sama.
Kesimpulan yang dapat ditarik bukanlah bahwa chatbot selalu tidak berguna untuk memahami iklim. Data yang tersedia menunjukkan kemampuan kuat pada sebagian pertanyaan, sekaligus kelemahan yang jelas dalam konsistensi, penalaran, dan ketahanan lintas bahasa. Karena itu, kualitas jawaban AI sebaiknya dinilai bukan hanya dari seberapa meyakinkan atau benar respons pertamanya, tetapi juga dari kemampuannya tetap berpijak pada fakta ketika percakapan berubah arah.




Komentar