Tencent Meluncurkan Model Hy3 Terkuantisasi dengan 295B Parameter, Dapat Diterapkan pada Satu GPU

TENCENT-0,30%
Baru-baru ini, Tencent Hunyuan merilis versi terkuantisasi dari model Hy3 sebagai respons terhadap permintaan komunitas, sehingga model berparameter 295 miliar dapat berjalan pada satu GPU inference, atau bahkan mesin lokal dengan memori yang cukup. Tim tersebut mengkuantisasi bobot Hy3 hingga presisi 1-bit dan 4-bit, mengemasnya dalam format GGUF, dan mengintegrasikannya dengan ekosistem llama.cpp, sehingga yang sebelumnya membutuhkan klaster multi-GPU kini menjadi lebih mudah diakses untuk skenario penerapan yang lebih luas.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar