Согласно сообщениям, исследователи NVIDIA и MIT выпустили Lightning OPD (Offline On-Policy Distillation) — новую посттренировочную методику для больших языковых моделей, которая устраняет необходимость держать учительскую модель в работе во время обучения. Путём предварительного вычисления лог-вероятностей учительской модели офлайн эта схема повышает эффективность обучения в 4 раза, одновременно освобождая все ресурсы GPU для обучения студентской модели.
При тестировании на 8 GPU NVIDIA H100 Lightning OPD успешно дистиллировала Qwen3-30B-A3B-Base (MoE-модель с 30 миллиардами параметров) и получила 71,0 на бенчмарке AIME 2024, тогда как стандартная OPD на том же оборудовании упиралась в нехватку памяти. Для более компактной модели Qwen3-8B методике потребовалось всего 30 GPU-часов, чтобы достичь 69,9 балла.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
AI-стартап для голосовых ассистентов Vapi завершил $50M раунд серии B, возглавляемый Peak XV Partners
По данным TechCrunch, Vapi, стартап в сфере AI-голосов, завершил раунд Series B на 50 миллионов долларов, возглавленный Peak XV Partners, с постинвестиционной оценкой примерно в 500 миллионов долларов. Ring, дочерняя компания Amazon, внедрила Vapi для обработки 100% входящих звонков после оценки более 40 поставщиков AI-голоса, что помогло провести раунд финансирования.
GateNews12м назад
Точность GPT-5.4 падает с 100% до 54% на ARC-AGI после многократного суммирования памяти
Исследование памяти агента от Beating, проведённое Диланом Чжаном, аспирантом Университета Иллинойса, показало, что многократное резюмирование опыта модели может ухудшать производительность, а не улучшать её. В задачах ARC-AGI GPT-5.4 достиг 100% точности на 19 проблемах без памяти, но после нескольких раундов компрессии памяти на основе правильных траекторий решения точность упала до 54%. Аналогично, в задачах покупок WebShop метод AWM показал результат 0,64 с 8 экспертными траекториями, но сни
GateNews24м назад
OpenAI расширяет программу доверенного доступа для десятков европейских предприятий 12 мая
12 мая, по сообщениям, OpenAI объявила о планах расширить свою Программу доверенного доступа на десятки европейских предприятий.
GateNews46м назад
Живой «Трансформеры»! Uxu Technology представила первого в мире серийного робота-носителя, цена — 570 тыс. долларов
Компания по производству роботов из Ханчжоу Unitree Robotics (Unitree Robotics) 12 мая представила свой новый продукт GD01 — пилотируемый мех, который может свободно переключаться между режимами двуногого человекоподобного хождения и четвероногого лазания. Можно сказать, что это перенесло на реальность кинематографические кадры из научно‑фантастических блокбастеров «Трансформеры» и «Тихоокеанский рубеж». На этот раз релиз — это не только технологическое зрелище, но и наглядное отражение того, ка
ChainNewsAbmedia1ч назад
Thinking Machines Model Ties GPT-Realtime-2 за первое место в аудиобенчмарке сегодня, набрав 43,4% APR Score
Согласно последнему бенчмарку Audio MC S2S от Scale Labs, опубликованному сегодня, модель Thinking Machines TML-Interaction-Small набрала 43,36 балла, разделив первое место с моделью OpenAI GPT-Realtime-2 (xHigh) — 43,4% по шкале APR. Абсолютный лидер по результатам, GPT-Realtime-2 (xHigh), набрал 48,45 балла, тогда как TML-Interaction-Small следовала за ним с 43,36 балла; разница попала в пределы статистической погрешности, поэтому официально было объявлено равенство за первое место.
GateNews2ч назад
Артур Хейс предсказывает, что BTC вернётся к $126 000 на фоне гонки ИИ вооружений между США и Китаем и «военной» инфляции
Как сообщает Odaily, Артур Хейс опубликовал статью под названием «The Butterfly Touch» 12 мая, в которой спрогнозировал, что биткоин вернется к $126 000 в результате конкуренции США и Китая в сфере ИИ-капитальных затрат, а также инфляции, подпитываемой войной. Хейс заявил, что криптовый рынок быков официально стартовал после военного удара США по Ирану 28 февраля 2026 года, при этом биткоин уже сформировал базу около $60 000. Он ожидает ускорения роста после пробоя $90 000. Хейс назвал три факто
GateNews2ч назад
