Nous Research открыла исходный код Lighthouse Attention с ускорением в 17 раз на B200 для контекста 512K

Beating сообщает, что Nous Research открыла исходный код Lighthouse Attention — механизма обучения для длинного контекста, который обеспечивает 17-кратное ускорение при обработке текста длиной 512 тыс. на одном GPU B200, а также 1,4–1,7-кратное ускорение обучения end-to-end при длине 98 тыс. В основе подхода лежит схема coarse-to-fine: сначала он сканирует сжатые сводки на разных уровнях, чтобы определить ключевые сегменты, затем передаёт отфильтрованный текст в FlashAttention для обработки. В тестах на модели с 512k параметров, обученной на 50 миллиардах токенов, метод не только сократил время обучения, но и соответствовал базовой производительности обучения с полностью attention-механизмом или превзошёл её.