Nvidia Membuka Nemotron 3 Ultra, Model andalan 550 miliar parameter dengan arsitektur hybrid MoE Mamba-Transformer

Menurut Beating, Nvidia merilis model bahasa besar andalannya, Nemotron 3 Ultra, pada 4 Juni, dengan total 550 miliar parameter dan 55 miliar parameter aktif. Model ini memperoleh skor 48 pada indeks kecerdasan Artificial Analysis, menjadikannya model open-source berbasis AS dengan performa terbaik, berada di peringkat kedua setelah Kimi K2.6 dengan 54 poin.

Model ini menggunakan arsitektur hibrida Mamba-Transformer MoE yang bergantian antara lapisan state space Mamba-2 dengan lapisan atensi Transformer, mendukung jendela konteks 1 juta token sambil menghindari pertumbuhan kuadratik pada KV cache. Dibandingkan model padat dengan skala serupa, arsitektur hibrida mencapai throughput 5x lebih tinggi dan biaya inferensi 30% lebih rendah untuk tugas agen. Nemotron 3 Ultra tersedia di Hugging Face, NVIDIA NIM, dan OpenRouter.