Meta baru saja meluncurkan dua model bahasa besar (LLM) baru, Llama 4 Scout dan Llama 4 Maverick, sebagai tambahan dari seri Llama 4. Kedua model ini dirancang sebagai model *open-weight native*, yang berarti parameter bobot modelnya dapat diakses publik. Inovasi utama terletak pada penggunaan arsitektur *Mixture of Experts* (MoE), yang memungkinkan pemrosesan teks yang lebih efisien dan efektif.
Arsitektur MoE memungkinkan Llama 4 Scout dan Maverick untuk menggunakan beberapa sub-model khusus (“experts”) untuk menangani bagian-bagian input teks yang berbeda. Ini berbeda dari model LLM tradisional yang menggunakan satu set parameter tunggal. Dengan pendekatan ini, pemrosesan menjadi lebih efisien karena hanya sub-model yang relevan yang diaktifkan untuk setiap tugas.
Llama 4 Scout dan Maverick dilatih menggunakan sejumlah besar teks, gambar, dan video tanpa label. Hal ini memungkinkan model untuk memiliki pemahaman yang lebih komprehensif terhadap berbagai jenis data dan konteks visual. Kemampuan multi-modal ini merupakan keunggulan signifikan dibandingkan beberapa model LLM generasi sebelumnya yang hanya fokus pada teks.
Perbedaan Llama 4 Scout dan Llama 4 Maverick
Meskipun keduanya menggunakan arsitektur MoE, Scout dan Maverick memiliki spesifikasi dan kemampuan yang berbeda. Scout, yang dapat berjalan pada satu GPU Nvidia H100, dirancang untuk tugas-tugas yang lebih ringan seperti meringkas dokumen dan penalaran berbasis kode. Keunggulannya terletak pada “jendela konteks” yang besar, mencapai 10 juta token, memungkinkannya memproses dokumen yang sangat panjang.
Sebaliknya, Maverick membutuhkan sumber daya komputasi yang lebih besar, yaitu sistem Nvidia H100 DGX atau setara. Dengan total 400 miliar parameter (meski hanya 17 miliar parameter aktif dan 128 experts), Maverick menunjukkan performa yang lebih unggul dalam berbagai tugas. Hasil pengujian internal menunjukkan kemampuannya yang luar biasa dalam menjawab percakapan ringan, menghasilkan tulisan kreatif, memecahkan masalah, penalaran, dan pemahaman multibahasa.
Keunggulan Maverick yang paling menonjol adalah kemampuannya dalam menangani pertanyaan kompleks dengan konteks panjang, kemampuan pengkodean, dan kemampuan untuk menganalisis gambar. Dalam hal kualitas tulisan kreatif, Meta mengklaim Maverick melampaui GPT-40 dan Gemini 2.0.
Spesifikasi Teknis dan Implikasi
Jumlah parameter dalam model LLM sering dikaitkan dengan kemampuannya. Meskipun Maverick memiliki parameter total yang jauh lebih besar daripada Scout (400 miliar vs 109 miliar), jumlah parameter aktif dan jumlah “experts” lebih menentukan efisiensi dan kinerja. Model dengan jumlah parameter aktif yang lebih sedikit, tetapi dengan arsitektur yang dioptimalkan seperti MoE, bisa lebih efisien dalam hal komputasi dan konsumsi energi.
Konsep “token” dalam LLM perlu dipahami. Token adalah unit terkecil dari teks yang diproses oleh model. Kalimat dipecah menjadi beberapa token, yang memungkinkan model untuk memahami dan memproses informasi dengan lebih baik. Jendela konteks yang besar pada Scout memungkinkan model untuk mempertimbangkan lebih banyak informasi dari konteks sebelumnya saat menghasilkan respon.
Perlu dicatat bahwa Meta juga sedang mengembangkan model LLM lain yang lebih canggih, bernama Behemoth. Dengan 2 triliun parameter total, Behemoth diproyeksikan untuk melampaui Maverick dan Scout serta model AI kompetitor lainnya, seperti GPT-4.5, Claude 3.7 Sonnet, dan Gemini 2.0 Pro.
Kesimpulan
Peluncuran Llama 4 Scout dan Maverick menandai langkah signifikan dalam perkembangan LLM. Penggunaan arsitektur MoE dan kemampuan multi-modal menawarkan solusi yang lebih efisien dan efektif untuk berbagai aplikasi. Meskipun Maverick menunjukkan keunggulan dalam tugas-tugas yang lebih kompleks, Scout menawarkan pilihan yang lebih praktis untuk tugas-tugas yang lebih ringan dengan kebutuhan komputasi yang lebih rendah. Dengan pengembangan model-model seperti Behemoth, masa depan LLM tampak menjanjikan dengan peningkatan kemampuan dan efisiensi yang terus-menerus.
