Pertanyaan tentang kemampuan apa yang secara unik dimiliki manusia telah lama berfokus pada bahasa, sebuah ciri yang secara terkenal diatribusikan oleh Aristoteles kepada umat manusia. Sementara model bahasa besar (LLM) seperti ChatGPT dapat meniru ucapan manusia, para peneliti sedang menyelidiki apakah model-model ini benar-benar dapat memahami dan merasionalisasi tentang bahasa. Beberapa ahli linguistik, termasuk Noam Chomsky, berpendapat bahwa LLM tidak memiliki keterampilan penalaran yang diperlukan untuk analisis bahasa yang canggih, menunjukkan bahwa kemampuan mereka terbatas pada pengenalan pola berdasarkan dataset yang luas.
Namun, sebuah studi terbaru yang dipimpin oleh ahli linguistik dari Universitas California, Berkeley, dan Universitas Rutgers menantang perspektif ini. Para peneliti menguji beberapa LLM dengan serangkaian tes linguistik, termasuk tugas yang mengharuskan model untuk menggeneralisasi aturan dari bahasa yang dibangun. Sementara sebagian besar model mengalami kesulitan, satu model menunjukkan kemampuan yang luar biasa, melakukan analisis linguistik yang setara dengan mahasiswa pascasarjana dalam linguistik. Temuan ini, menurut peneliti Gašper Beguš, secara signifikan mengubah pemahaman kita tentang potensi AI.
Tom McCoy, seorang ahli linguistik komputasi di Universitas Yale, menekankan pentingnya penelitian ini seiring dengan semakin bergantungnya masyarakat pada teknologi AI. Memahami kekuatan dan kelemahan model-model ini sangat penting, dan analisis linguistik berfungsi sebagai kerangka kerja yang efektif untuk mengevaluasi kemampuan penalaran mereka. Desain studi ini bertujuan untuk memastikan bahwa model-model tersebut tidak sekadar mengulangi informasi yang dihafal, yang merupakan kekhawatiran umum mengingat pelatihan mereka pada dataset yang luas.
Untuk menilai model-model tersebut secara ketat, para peneliti merancang tes linguistik yang terdiri dari empat bagian. Ini termasuk menganalisis kalimat menggunakan diagram pohon, sebuah metode yang diperkenalkan oleh Chomsky dalam karya seminalnya. Salah satu aspek penting dari tes ini menguji rekursi, sebuah fitur linguistik kompleks yang memungkinkan penyisipan frasa dalam frasa. Kemampuan untuk menggunakan rekursi sering kali disebut sebagai karakteristik yang menentukan dari bahasa manusia, tanpa bukti yang meyakinkan bahwa spesies lain dapat menggunakannya dengan cara yang canggih.
Hasilnya mengejutkan, terutama untuk model OpenAI yang dikenal sebagai o1, yang berhasil menavigasi struktur rekursif yang kompleks dan menunjukkan pemahaman tentang ambiguitas dalam bahasa. Kinerja ini menimbulkan pertanyaan tentang batasan model AI saat ini dan apakah mereka pada akhirnya dapat melampaui keterampilan bahasa manusia. Meskipun model-model tersebut belum menghasilkan wawasan orisinal tentang bahasa, kemajuan yang sedang berlangsung menunjukkan bahwa mereka mungkin terus menyempurnakan kemampuan mereka, berpotensi mengurangi keunikan kemampuan linguistik manusia.