Dokumen ini membahas keinginan yang meningkat di antara berbagai kelompok pengguna untuk secara mandiri menggunakan Large Language Model (LLM) sumber terbuka mereka sendiri di lingkungan lokal. Gerakan terbaru telah berfokus pada pengenalan LLM Terbuka yang lebih permisif untuk memenuhi kepentingan penelitian dan komersial. Proyek MLC LLM bertujuan untuk membuat Open LLM dapat diakses dengan membuatnya memungkinkan dan nyaman untuk digunakan pada browser, perangkat seluler, GPU kelas konsumen, dan platform lainnya. Proyek ini membawa dukungan RedPajama ke berbagai perangkat konsumen dengan akselerasi perangkat keras. Kompilasi Pembelajaran Mesin (MLC) dari TVM Unity memainkan peran penting dalam memungkinkan penyebaran dan demokratisasi Open LLM yang efisien. MLC LLM memungkinkan kustomisasi bobot yang nyaman sehingga pengguna hanya perlu menyediakan direktori dalam format Huggingface. Aplikasi iOS memungkinkan pengguna untuk mengunduh bobot yang dipersonalisasi dari model yang sama sesuai permintaan melalui tautan ke artefak model tanpa kompilasi ulang atau penyebaran ulang. Proyek MLC LLM adalah proyek yang cukup muda, dan ada banyak hal yang harus dilakukan, termasuk menghadirkan dokumentasi untuk pengembang, memodularisasi keseluruhan pustaka, dan memperluas paket pengembangan pip MLC yang sudah ada sebelumnya. Proyek ini dilakukan dengan berkolaborasi dengan ETH Zürich, OctoML, CMU Catalyst, dan komunitas MLC. Proyek ini hanya dapat terlaksana berkat ekosistem open-source yang menjadi tempat mereka berdiri, termasuk komunitas Apache TVM, komunitas PyTorch dan Hugging Face, serta tim di balik RedPajama, Dolly, Vicuna, SentencePiece, LLaMA, dan Alpaca.
