Сообщение Gate News, 24 апреля — технический отчет DeepSeek о V4 показывает, что V4-Flash и V4-Pro были предварительно обучены соответственно на 32T и 33T токенах, то есть вдвое больше, чем примерно 15T токенов, использованных для V3. В отчете признается, что при обучении сталкивались с «существенными проблемами нестабильности»: всплески лосса многократно возникали из-за аномалий в слое Mixture-of-Experts (MoE); сам механизм маршрутизации усугубляет эти аномалии, и простое откатывание не может решить проблему.
DeepSeek внедрила два решения, которые теперь применяются в реальном обучении: Предвосхищающее маршрутизирование, которое отделяет вычисление индекса маршрутизации от обновлений магистральной (backbone) сети и автоматически запускает процесс только при обнаружении всплесков лосса (добавляя примерно 20% накладных расходов), и Ограничение SwiGLU, которое напрямую подавляет аномалии, ограничивая значения активаций фиксированным диапазоном. В отчете говорится, что оба подхода эффективны, но признается: «базовые принципы по-прежнему недостаточно изучены».
Сьюзен Чжан (Susan Zhang), исследователь из Google DeepMind, ранее работавшая в Meta AI и OpenAI, прокомментировала, что нестабильность, вызванная удвоением данных обучения, «объясняет задержку». Она охарактеризовала два решения как «костыли», при этом отметив техническую прозрачность DeepSeek.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
IREN приобретает Mirantis в рамках сделки полностью акциями $625M , чтобы расширить платформу AI Cloud
По данным BlockBeats, IREN Limited договорилась приобрести компанию по разработке ПО для облачной инфраструктуры Mirantis примерно за $625 миллионов в сделке с оплатой полностью акциями 5 мая. Приобретение направлено на расширение возможностей IREN в облачных сервисах на базе ИИ за счёт внедрения ПО и возможностей оркестрации для
GateNews4ч назад
Генеральный директор Anthropic: США рассматривают упрощённый процесс выпуска модели ИИ, конкуренты отстают на 1–3 месяца
Согласно 金十, генеральный директор Anthropic сообщил 5 мая, что, похоже, правительство США рассматривает возможность упрощения процесса выпуска моделей искусственного интеллекта. Глава компании отметил, что возможности других крупных AI-лабораторий могут отставать от Anthropic на 1–3
GateNews5ч назад
Команда SGLang завершила $100M раунд посевного финансирования на $400M оценку, Accel возглавляет
По данным Beating, команда, стоящая за открытым исходным кодом inference-движка SGLang, официально учредила RadixArk и завершила раунд seed-финансирования на $100 миллионов при оценке в $400 миллионов после получения средств. Accel возглавила раунд, а Spark Capital выступила со-ведущим инвестором. Полупроводниковые конкуренты Nvidia (через
GateNews5ч назад
OpenAI предоставляет 8 000 разработчикам увеличение лимита скорости Codex в 10 раз до 5 июня
По данным Beating, OpenAI отправила письма более чем 8 000 разработчикам, которые зарегистрировались на офлайн-мероприятие GPT-5.5 в Сан-Франциско, предоставив им 10-кратное увеличение лимитов скорости Codex, действующее немедленно вплоть до 5 июня. Все заявители получают награду независимо от того, получили ли они приглашение на мероприятие
GateNews5ч назад
Совместное предприятие OpenAI с Anthropic ведёт переговоры о покупке трёх компаний, предоставляющих услуги в сфере ИИ, 5 мая
По данным Jin 10, совместное предприятие OpenAI с Anthropic ведёт переговоры о приобретении трёх компаний, оказывающих AI-услуги, 5 мая. Сообщается, что в число целевых компаний входят инженерно-ориентированные фирмы, работающие в сфере AI-услуг
GateNews5ч назад
Anthropic во вторник запускает десять ИИ-агентов для финансовых услуг
Во вторник Anthropic запустила десять новых AI-агентов, предназначенных для выполнения задач в сфере финансовых услуг, включая подготовку презентаций для встреч с клиентами, проверку финансовой отчетности и эскалацию кейсов для комплаенс-проверки. Инструменты ориентированы на специалистов в банкинге, страховании, управлении активами и финтехе
GateNews5ч назад
