Bu belge, çeşitli kullanıcı grupları arasında yerel ortamlarda kendi açık kaynaklı Büyük Dil Modellerini (LLM’ler) bağımsız olarak kullanma konusundaki artan arzuyu tartışmaktadır. En son hareket, hem araştırma hem de ticari çıkarlara hitap etmek için daha izin verici gerçek Açık LLM’ler sunmaya odaklanmaktadır. MLC LLM projesi, Açık LLM’leri tarayıcılara, mobil cihazlara, tüketici sınıfı GPU’lara ve diğer platformlara dağıtmayı mümkün ve uygun hale getirerek erişilebilir kılmayı amaçlamaktadır. Proje, RedPajama desteğini donanım hızlandırmalı çok çeşitli tüketici cihazlarına getiriyor. TVM Unity’nin Makine Öğrenimi Derlemesi (MLC), Açık LLM’lerin verimli bir şekilde dağıtılmasını ve demokratikleştirilmesini sağlamada kritik bir rol oynamaktadır. MLC LLM, kullanıcıların yalnızca Huggingface formatında bir dizin sağlamaları gereken uygun ağırlık özelleştirmesine izin verir. iOS uygulaması, kullanıcıların aynı modelin kişiselleştirilmiş ağırlıklarını, yeniden derleme veya yeniden dağıtım yapmadan model eserlerine bir bağlantı yoluyla talep üzerine indirmelerine olanak tanır. MLC LLM projesi oldukça genç bir projedir ve geliştiriciler için dokümantasyon sağlamak, genel kütüphaneleri modüler hale getirmek ve önceden oluşturulmuş MLC pip geliştirme paketini genişletmek de dahil olmak üzere yapılması gereken birçok şey vardır. Proje ETH Zürich, OctoML, CMU Catalyst ve MLC topluluğu ile işbirliği içinde yürütülmektedir. Proje, Apache TVM topluluğu, PyTorch ve Hugging Face toplulukları ve RedPajama, Dolly, Vicuna, SentencePiece, LLaMA ve Alpaca’nın arkasındaki ekipler de dahil olmak üzere üzerinde durdukları açık kaynaklı ekosistemler sayesinde mümkündür.
