El documento discute el creciente deseo entre diversos grupos de usuarios de utilizar independientemente sus propios Modelos de Lenguaje de Código Abierto (LLMs) dentro de entornos locales. El movimiento más reciente se ha centrado en la introducción de LLM verdaderamente abiertos más permisivos para satisfacer tanto los intereses comerciales como los de investigación. El proyecto MLC LLM pretende hacer accesibles los LLM abiertos haciendo posible y cómoda su implantación en navegadores, dispositivos móviles, GPU de consumo y otras plataformas. El proyecto lleva el soporte de RedPajama a una amplia gama de dispositivos de consumo con aceleración por hardware. Machine Learning Compilation (MLC) de TVM Unity desempeña un papel fundamental a la hora de posibilitar la implantación eficiente y la democratización de los LLM abiertos. MLC LLM permite una cómoda personalización del peso que los usuarios sólo tienen que proporcionar un directorio en formato Huggingface. La aplicación iOS permite a los usuarios descargar pesos personalizados del mismo modelo bajo demanda a través de un enlace a los artefactos del modelo sin necesidad de volver a compilar o desplegar. El proyecto MLC LLM es bastante joven y quedan muchas cosas por hacer, como aportar documentación para desarrolladores, modularizar las bibliotecas generales y ampliar el paquete de desarrollo precompilado MLC pip. El proyecto se realiza en colaboración con ETH Zürich, OctoML, CMU Catalyst, y la comunidad MLC. El proyecto sólo es posible gracias a los ecosistemas de código abierto en los que se apoyan, incluyendo la comunidad Apache TVM, las comunidades PyTorch y Hugging Face, y los equipos detrás de RedPajama, Dolly, Vicuna, SentencePiece, LLaMA, y Alpaca.
