فتحت Nous Research مصدرًا مفتوحًا لنموذج الانتباه Lighthouse مع تسريع 17x على B200 لسياق 512K

تذكر شركة Beating أن Nous Research قد أطلقت كود Lighthouse Attention مفتوح المصدر، وهو آلية تدريب لسياقات طويلة تحقق تسريعاً 17x لمعالجة نص بطول 512 ألف على وحدة معالجة رسومية واحدة من طراز B200، وتسريعاً شاملاً للتدريب بنسبة 1.4–1.7x عند طول 98 ألف. تستخدم التقنية نهجاً من الخشن إلى الدقيق: إذ تقوم أولاً بمسح ملخصات مضغوطة بمستويات مختلفة لتحديد المقاطع الأساسية، ثم تمرّر النص المُفلتر إلى FlashAttention للمعالجة. وفي الاختبارات على نموذج تبلغ معلماته 5.3 مليار ومع تدريب على 50 مليار رمز، لم تُقلّل هذه المقاربة وقت التدريب فحسب، بل تطابقت أيضاً أو تجاوزت أداء خط الأساس للتدريب المعتمد بالكامل على الانتباه.