Xiaomi Mengungkap Detail Pelatihan MiMo-V2-Pro: Parameter Model 1T, Ribuan GPU Diterjunkan

Pesan Gate News, 24 April — Pemimpin tim model bahasa besar Xiaomi, Luo Fuli, mengungkapkan dalam wawancara mendalam bahwa model MiMo-V2-Pro memiliki total 1 triliun parameter dan memerlukan ribuan GPU untuk pelatihan. Ia mencatat bahwa skala 1T mewakili ambang batas minimum untuk mencapai kinerja yang mendekati tingkat Claude Opus 4.6 dan mendapatkan tiket masuk yang kompetitif untuk fase berikutnya dari agen AI.

Secara teknis, versi Pro menggunakan mekanisme extreme sparse attention dengan rasio 7:1 antara global attention dan sliding window attention, untuk mengendalikan biaya inferensi bagi pemrosesan konteks panjang. Model ini juga mempertahankan arsitektur MTP (Multi-Token Prediction) untuk memanfaatkan kelebihan daya komputasi agar inferensi lebih cepat.

Dari sisi manajemen, tim MiMo yang beranggotakan 100 orang hanya memiliki 30–40 orang yang terlibat langsung dalam iterasi inti. Tim beroperasi tanpa hierarki formal atau pembagian sub-kelompok yang eksplisit, serta tanpa tenggat waktu pengiriman. Saat menghadapi masalah numerik yang tidak stabil seperti lonjakan training loss, tim memprioritaskan menghentikan pelatihan untuk investigasi, bahkan jika itu berarti menghentikan operasi selama satu atau dua minggu dan menimbulkan biaya komputasi hingga jutaan dolar.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.

Artikel Terkait

Pengadilan Tiongkok menetapkan preseden terbaru: pembenaran PHK yang tidak melanggar hukum untuk otomatisasi AI tanpa pemutusan hubungan kerja

Pengadilan Hangzhou dalam putusan terbarunya menyatakan bahwa pemecatan, penurunan jabatan, atau pemotongan gaji secara besar-besaran oleh perusahaan dengan alasan penerapan teknologi seperti AI adalah tindakan yang melanggar hukum; kemajuan teknologi semata tidak setara dengan PHK yang diatur secara hukum. Dalam kasus ini, karyawan diturunkan jabatannya akibat otomatisasi dan mengalami pemotongan gaji hingga 40%; pengadilan akhirnya mengabulkan ganti rugi, yang menunjukkan bahwa saat mendorong otomatisasi, perusahaan perlu tetap patuh serta menyediakan penyesuaian peran kerja dan pelatihan ulang.

ChainNewsAbmedia15menit yang lalu

Hoskinson Membahas Peran Midnight dalam Ekosistem Cardano di The Breakdown

Charles Hoskinson, pendiri Cardano dan co-founder Ethereum, tampil sebagai bintang tamu di episode 701 podcast "The Breakdown" yang dibawakan oleh David Gokhshtein untuk membahas proyek Midnight, tantangan pengalaman pengguna dalam kripto, dan visinya untuk masa depan blockchain. Dalam wawancara tersebut, Hoskinson

CryptoFrontier7jam yang lalu

Bisnis Berkshire Energy Melihat Peluang Pertumbuhan dari Lonjakan Permintaan Energi Berbasis AI

Menurut Beating, dalam rapat pemegang saham Berkshire, CEO Abel menyoroti bahwa permintaan listrik yang digerakkan oleh AI menciptakan peluang pertumbuhan baru bagi bisnis energi perusahaan, dengan separuh utilitas energinya sudah menangani kebutuhan daya terkait AI. Di Iowa, pusat data sekarang menyumbang

GateNews10jam yang lalu

Kesaksian pekan pertama gugatan Musk vs Altman: Mengakui XAI menyuling OpenAI, peringatkan AI seperti Terminator

Musk dalam kesaksian pengadilan minggu pertama di Pengadilan Federal Oakland menuduh Altman dan Brockman menipu dana nirlaba awal, memperingatkan risiko kiamat AI, dan mengakui bahwa sebagian xAI disuling dari model OpenAI; ia mengatakan ia menginvestasikan 38 juta dolar AS, menyaksikan OpenAI beralih dari nirlaba menjadi valuasi 800 miliar dolar AS. Investasi Microsoft pada tahun 2022 dipandang sebagai titik balik runtuhnya kepercayaan. OpenAI berpendapat Musk berusaha membajak, dan membela diri dengan motif persaingan sebagai alasan. Selanjutnya pada minggu kedua, para saksi termasuk Russell dan Brockman.

ChainNewsAbmedia11jam yang lalu

AI Keuangan Terkait Trump Akuisisi Block Street senilai 43 Juta Dolar AS

Menurut Fortune, AI Financial, sebuah perusahaan kripto yang terkait dengan keluarga Trump dan sebelumnya dikenal sebagai Alt5 Sigma, mengakuisisi Block Street, sebuah perusahaan infrastruktur kripto, senilai 43 juta dolar AS minggu lalu. Matthew Morgan, penasihat AI Financial dan CEO Block Street, menyatakan bahwa akuisisi tersebut bukanlah

GateNews12jam yang lalu

Saham Riot Melonjak 8% Setelah Memperluas Kesepakatan Pusat Data AMD

Saham perusahaan penambang Bitcoin, Riot, naik 8% setelah ekspansi kesepakatan pusat data AMD. Kemitraan yang diperluas mencakup ketentuan pembiayaan yang lebih baik, menegaskan pergeseran strategis Riot dari penambangan bitcoin menuju operasi pusat data untuk kecerdasan buatan. Langkah ini menandakan meningkatnya kepercayaan

GateNews15jam yang lalu
Komentar
0/400
Tidak ada komentar