Meta hat ImageBind vorgestellt, ein KI-Modell, das in der Lage ist, Informationen aus sechs Modalitäten zu verbinden, darunter Text, Bild/Video, Audio, Tiefe, Wärme und Trägheitsmesseinheiten (IMU). Das Modell erlernt eine einzige Einbettung oder einen gemeinsamen Repräsentationsraum für alle Modalitäten, so dass Maschinen verschiedene Formen von Informationen besser zusammen analysieren können. ImageBind kann frühere spezialisierte Modelle, die individuell für eine bestimmte Modalität trainiert wurden, übertreffen. Das Modell ist Teil der Bemühungen von Meta’s, multimodale KI-Systeme zu schaffen, die aus allen möglichen Arten von Daten um sie herum lernen. ImageBind zeigt, dass bildgepaarte Daten ausreichen, um diese sechs Modalitäten miteinander zu verbinden und anderen Modellen zu ermöglichen, neue Modalitäten ohne ressourcenintensives Training zu verstehen. Das starke Skalierungsverhalten des Modells ermöglicht es, viele KI-Modelle zu ersetzen oder zu verbessern, indem es ihnen ermöglicht, andere Modalitäten zu nutzen. ImageBind erreichte auch eine neue Spitzenleistung bei der modalitätsübergreifenden Erkennung von Null-Schuss-Aufgaben. Die KI-Forschungsgemeinschaft muss das Skalierungsverhalten, das nur in größeren Modellen auftritt, noch effektiv quantifizieren und ihre Anwendungen verstehen. Meta hofft, dass die Forschungsgemeinschaft ImageBind und die dazugehörige Veröffentlichung nutzen wird, um neue Wege zur Bewertung von Bildgebungsmodellen zu finden, die zu neuen Anwendungen führen werden.
