Das Dokument stellt Voyager vor, einen verkörperten Agenten für lebenslanges Lernen in Minecraft, der kontinuierlich die Welt erkundet, verschiedene Fähigkeiten erwirbt und neue Entdeckungen macht, ohne dass ein Mensch eingreifen muss. Voyager besteht aus drei Schlüsselkomponenten: einem automatischen Lehrplan, der die Erkundung maximiert, einer ständig wachsenden Bibliothek mit ausführbarem Code zum Speichern und Abrufen komplexer Verhaltensweisen und einem neuen iterativen Prompting-Mechanismus, der Umgebungsfeedback, Ausführungsfehler und Selbstüberprüfung zur Programmverbesserung einbezieht. Voyager interagiert mit GPT-4 über Blackbox-Abfragen, wodurch die Notwendigkeit einer Feinabstimmung der Modellparameter umgangen wird. Empirisch gesehen zeigt Voyager eine starke Fähigkeit zum lebenslangen Lernen im Kontext und eine außergewöhnliche Leistung beim Spielen von Minecraft. Es erhält 3,3 Mal mehr einzigartige Gegenstände, legt 2,3 Mal längere Strecken zurück und schaltet wichtige Meilensteine im Tech-Tree bis zu 15,3 Mal schneller frei als frühere SOTA. Voyager ist in der Lage, die erlernte Fertigkeitenbibliothek in einer neuen Minecraft-Welt zu nutzen, um neuartige Aufgaben von Grund auf zu lösen, während andere Techniken Schwierigkeiten haben, sich zu verallgemeinern. Das Dokument erörtert auch die Herausforderungen beim Aufbau allgemein fähiger verkörperter Agenten, die kontinuierlich erkunden, planen und neue Fähigkeiten in offenen Welten entwickeln. Die Autoren argumentieren, dass klassische Ansätze Verstärkungslernen (Reinforcement Learning, RL) und Nachahmungslernen verwenden, die mit primitiven Handlungen arbeiten, was für systematische Erkundung, Interpretierbarkeit und Verallgemeinerung eine Herausforderung darstellen könnte. Jüngste Fortschritte bei Agenten, die auf großen Sprachmodellen (Large Language Model, LLM) basieren, nutzen das in vortrainierten LLMs gekapselte Weltwissen, um konsistente Handlungspläne oder ausführbare Strategien zu generieren. Sie werden auf verkörperte Aufgaben wie Spiele und Robotik sowie auf NLP-Aufgaben ohne Verkörperung angewendet. Das Dokument schließt mit der Feststellung, dass Voyager als Ausgangspunkt für die Entwicklung leistungsstarker generalistischer Agenten dient, ohne dass die Modellparameter angepasst werden müssen.
>
