Chatbots mit künstlicher Intelligenz (KI) wie Bard und ChatGPT sind in der Lage, menschenähnliche Texte zu produzieren, aber Forscher bezweifeln, dass diese Modelle wirklich verstehen, was sie sagen. Eine Arbeit von Emily Bender legt nahe, dass große Sprachmodelle (LLMs), die in Chatbots verwendet werden, Text ohne Bezug auf die Bedeutung generieren, was sie zu “stochastischen Papageien” macht. Neue Forschungen von Sanjeev Arora und Anirudh Goyal schlagen jedoch vor, dass LLMs, wenn sie größer werden und auf mehr Daten trainiert werden, neue Fähigkeiten entwickeln, die auf das Verstehen von Kombinationen hindeuten, die in den Trainingsdaten wahrscheinlich nicht existieren. Dieser theoretische Ansatz hat Experten wie Geoff Hinton überzeugt. Arora und Goyal verwendeten die Zufallsgraphen-Theorie, um das Verhalten von LLMs zu modellieren, und fanden heraus, dass größere Modelle immer geschickter werden und durch die Kombination mehrerer Fähigkeiten unerwartete Fähigkeiten erlangen. Sie argumentieren, dass diese Modelle nicht einfach nachahmen, was sie bereits gesehen haben. Um ihre Behauptung zu überprüfen, fanden sie heraus, dass LLMs mit Hilfe mehrerer Fähigkeiten Text generieren können.
