Dokument pojednáva o rastúcej túžbe rôznych skupín používateľov nezávisle využívať vlastné veľké jazykové modely (LLM) s otvoreným zdrojovým kódom v rámci miestnych prostredí. Najnovšie hnutie sa zameriava na zavádzanie povoľnejších skutočne otvorených LLM, ktoré majú uspokojiť výskumné aj komerčné záujmy. Cieľom projektu MLC LLM je sprístupniť otvorené LLM tým, že sa umožnia a pohodlne nasadia v prehliadačoch, mobilných zariadeniach, na grafických procesoroch spotrebiteľskej triedy a iných platformách. Projekt prináša podporu RedPajama pre širokú škálu spotrebiteľských zariadení s hardvérovou akceleráciou. Kompilácia strojového učenia (Machine Learning Compilation, MLC) od TVM Unity zohráva rozhodujúcu úlohu pri umožňovaní efektívneho nasadenia a demokratizácie Open LLM. MLC LLM umožňuje pohodlné prispôsobenie hmotnosti, ktoré používateľom stačí poskytnúť adresár vo formáte Huggingface. Aplikácia pre iOS umožňuje používateľom stiahnuť personalizované váhy toho istého modelu na požiadanie prostredníctvom odkazu na artefakty modelu bez opätovnej kompilácie alebo opätovného nasadenia. Projekt MLC LLM je pomerne mladý projekt a čaká ho ešte veľa práce vrátane prinášania dokumentácie pre vývojárov, modularizácie celkových knižníc a rozširovania predpripraveného vývojového balíka MLC pip. Projekt sa realizuje v spolupráci s ETH Zürich, OctoML, CMU Catalyst a komunitou MLC. Projekt je možný len vďaka ekosystémom s otvoreným zdrojovým kódom, na ktorých stojí, vrátane komunity Apache TVM, komunít PyTorch a Hugging Face a tímov stojacich za RedPajama, Dolly, Vicuna, SentencePiece, LLaMA a Alpaca.
