كشفت Tencent عن خوارزمية Stem Sparse Attention التابعة لنموذج Hunyuan، وخفّضت زمن تأخر الرمز الأول 3.7x عند سياق 128K

بحسب Guru Club، في 5 يونيو، كشفت Tencent Hunyuan عن خوارزمية Stem sparse attention، التي تم اعتمادها من مؤتمر رفيع المستوى في تعلم الآلة ICML-26. تحقق الخوارزمية دقة شبه خالية من فقدان عند ميزانية 25% عبر Token Position Decay (TPD) وOutput-Aware Metric (OAM)، كما تُقلل زمن تأخير أول رمز بمقدار 3.7x عند طول سياق 128K عند دمجها مع مشغّلي HPC.
إخلاء المسؤولية: قد تكون المعلومات الواردة في هذه الصفحة مستمدة من مصادر خارجية وهي للمرجعية فقط. لا تمثل هذه المعلومات آراء أو وجهات نظر Gate ولا تشكل أي نصيحة مالية أو استثمارية أو قانونية. ينطوي تداول الأصول الافتراضية على مخاطر عالية. يرجى عدم الاعتماد حصرياً على المعلومات الواردة في هذه الصفحة عند اتخاذ القرارات. لمزيد من التفاصيل، يرجى الرجوع على إخلاء المسؤولية.
تعليق
0/400
لا توجد تعليقات