OpenAI hat sein GPT-4 Turbo with Vision Modell über seine API verfügbar gemacht und damit einen bedeutenden Fortschritt erzielt. Dieses Modell ermöglicht die kombinierte Analyse von Text und Bildern, wodurch KI-Anwendungen rationalisiert werden. Vision-Anfragen können nun den JSON-Modus und Funktionsaufrufe nutzen, was die Automatisierung von Aktionen innerhalb verbundener Apps ermöglicht. Vor allem brauchen Entwickler keine separaten Modelle für Text und Bilder mehr, da der GPT-4 Turbo jetzt Bilder analysieren und mit einem einzigen API-Aufruf Schlussfolgerungen ziehen kann. OpenAI hat verschiedene Anwendungen dieser Technologie vorgestellt, darunter Cognition’s AI Coding Agent, Healthify’s Ernährungsanalyse-App und TLDraw’s virtuelles Whiteboard, das Zeichnungen in funktionale Websites umwandelt. Diese Beispiele zeigen das vielfältige Potenzial von GPT-4 Turbo with Vision, von der Unterstützung bei der Programmierung bis hin zu Erkenntnissen über die Ernährung und die Erstellung von Websites. Der JSON-Modus und die Funktionsaufrufe der API erhöhen ihren Nutzen zusätzlich und machen sie zu einem wertvollen Werkzeug für Entwickler, die KI-Funktionen in ihre Anwendungen integrieren wollen.
