Das Dokument erörtert den zunehmenden Wunsch verschiedener Nutzergruppen, ihre eigenen quelloffenen Large Language Models (LLMs) in lokalen Umgebungen unabhängig zu nutzen. Die jüngste Bewegung konzentriert sich auf die Einführung freizügigerer wirklich offener LLMs, um sowohl Forschungs- als auch kommerziellen Interessen gerecht zu werden. Das MLC LLM-Projekt zielt darauf ab, Open LLMs zugänglich zu machen, indem es deren Einsatz auf Browsern, mobilen Geräten, GPUs der Verbraucherklasse und anderen Plattformen ermöglicht und erleichtert. Das Projekt bringt RedPajama-Unterstützung für eine breite Palette von Verbrauchergeräten mit Hardwarebeschleunigung. Die Machine Learning Compilation (MLC) von TVM Unity spielt eine entscheidende Rolle bei der effizienten Bereitstellung und Demokratisierung von Open LLMs. MLC LLM ermöglicht eine bequeme Gewichtsanpassung, da die Nutzer nur ein Verzeichnis im Huggingface-Format bereitstellen müssen. Die iOS-App ermöglicht es den Nutzern, personalisierte Gewichte desselben Modells bei Bedarf über einen Link zu den Modellartefakten herunterzuladen, ohne dass sie neu kompiliert oder bereitgestellt werden müssen. Das MLC LLM-Projekt ist ein recht junges Projekt, und es gibt noch viel zu tun, wie z. B. die Bereitstellung von Dokumentation für Entwickler, die Modularisierung der Gesamtbibliotheken und die Erweiterung des vorgefertigten MLC-Pip-Entwicklungspakets. Das Projekt wird in Zusammenarbeit mit der ETH Zürich, OctoML, CMU Catalyst und der MLC-Community durchgeführt. Das Projekt ist nur möglich dank der Open-Source-Ökosysteme, auf die sie sich stützen, einschließlich der Apache TVM-Community, der PyTorch- und Hugging Face-Community und der Teams hinter RedPajama, Dolly, Vicuna, SentencePiece, LLaMA und Alpaca.
