Chatbot dengan kecerdasan buatan (AI) seperti Bard dan ChatGPT mampu menghasilkan teks yang mirip dengan manusia, tetapi para peneliti mempertanyakan apakah model-model ini benar-benar memahami apa yang mereka katakan. Sebuah makalah oleh Emily Bender menunjukkan bahwa model bahasa besar (LLM) yang digunakan dalam chatbot menghasilkan teks tanpa mengacu pada makna, menjadikannya sebagai burung beo stokastik. Namun, penelitian baru oleh Sanjeev Arora dan Anirudh Goyal mengusulkan bahwa ketika LLM menjadi lebih besar dan dilatih dengan lebih banyak data, mereka mengembangkan kemampuan baru yang mengisyaratkan pemahaman tentang kombinasi yang tidak mungkin ada dalam data pelatihan. Pendekatan teoritis ini telah meyakinkan para ahli seperti Geoff Hinton. Arora dan Goyal menggunakan teori graf acak untuk memodelkan perilaku LLM dan menemukan bahwa model yang lebih besar menjadi lebih terampil dan mendapatkan kemampuan yang tidak terduga dengan menggabungkan berbagai keterampilan. Mereka berpendapat bahwa model-model ini tidak hanya meniru apa yang mereka lihat sebelumnya. Menguji klaim mereka, mereka menemukan bahwa LLM dapat menghasilkan teks dengan menggunakan berbagai keterampilan.
