Anthropic telah memperkenalkan AI ‘pemindai otak ’ baru untuk meningkatkan pemahaman tentang model bahasa besar (LLM) dan mengatasi keterbatasannya, terutama dalam matematika dan halusinasi. Penelitian ini menggunakan teknik yang disebut penelusuran sirkuit, yang terinspirasi oleh ilmu saraf, yang memungkinkan para peneliti untuk melacak proses pengambilan keputusan di dalam model. Terlepas dari kemampuan untuk merancang dan melatih model-model ini, cara kerja internal mereka sebagian besar masih buram, sehingga mendorong kebutuhan akan wawasan yang lebih dalam.
Penelitian ini mengungkapkan bahwa LLM tidak hanya memprediksi kata berikutnya, tetapi juga dapat menunjukkan perencanaan yang rumit, seperti yang ditunjukkan saat menghasilkan bait-bait berima. Sebagai contoh, model Claude, model Anthropic, mendekati masalah matematika sederhana melalui langkah-langkah yang tidak konvensional, yang pada akhirnya sampai pada jawaban yang benar sambil memberikan penjelasan yang menyesatkan tentang prosesnya. Hal ini mengindikasikan adanya keterputusan yang signifikan antara keluaran model dan penalaran internalnya.
Selain itu, penelitian ini menunjukkan bahwa LLM mungkin berpikir dalam ruang konseptual yang digunakan bersama dalam berbagai bahasa, yang mengisyaratkan adanya ‘bahasa pemikiran universal.’ Meskipun temuan ini menjelaskan beberapa aspek operasional LLM, penelitian ini juga menyoroti tantangan di masa mendatang, karena memahami sepenuhnya model ’model ’ struktur ini tetap menjadi upaya yang memakan waktu. Secara keseluruhan, penelitian ini menandai sebuah langkah maju dalam mengungkap kompleksitas perilaku AI.
