De acordo com reportagens, pesquisadores da NVIDIA e do MIT lançaram o Lightning OPD (Offline On-Policy Distillation), um novo framework de pós-treinamento para grandes modelos de linguagem que elimina a necessidade de manter um modelo professor em execução durante o treinamento. Ao pré-computar, offline, os log-probabilities do modelo professor, o framework melhora a eficiência do treinamento em 4x, enquanto libera todos os recursos de GPU para o treinamento do modelo aluno.
Em testes com 8 GPUs NVIDIA H100, o Lightning OPD conseguiu fazer a destilação de Qwen3-30B-A3B-Base (um modelo MoE com 30 bilhões de parâmetros) e atingiu 71,0 no benchmark AIME 2024, enquanto o OPD padrão ficou sem memória no mesmo hardware. Para o modelo Qwen3-8B menor, o framework exigiu apenas 30 horas de GPU para chegar a 69,9 pontos.
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
A startup de voz por IA Vapi conclui a $50M Series B liderada pela Peak XV Partners
De acordo com a TechCrunch, a Vapi, uma startup de voz com IA, concluiu uma rodada de financiamento Série B de US$ 50 milhões, liderada pela Peak XV Partners, com uma avaliação pós-money de aproximadamente US$ 500 milhões. A Ring, subsidiária da Amazon, implantou a Vapi para gerenciar 100% de suas chamadas de entrada após avaliar mais de 40 fornecedores de voz com IA, ajudando a impulsionar a rodada de captação.
GateNews12m atrás
A precisão do GPT-5.4 cai de 100% para 54% no ARC-AGI após repetidas sínteses de memória
De acordo com a Beating, um estudo recente de memória de agentes, conduzido por Dylan Zhang, estudante de doutorado na University of Illinois, descobriu que resumir repetidamente as experiências do modelo pode piorar o desempenho em vez de melhorá-lo. Em tarefas ARC-AGI, o GPT-5.4 alcançou 100% de acurácia em 19 problemas sem memória, mas, após múltiplas rodadas de compressão de memória com base em trajetórias de solução corretas, a acurácia caiu para 54%. Da mesma forma, em tarefas de compras n
GateNews24m atrás
OpenAI amplia o programa de acesso confiável para dezenas de empresas europeias em 12 de maio
De acordo com reportagens de 12 de maio, a OpenAI anunciou planos de expandir seu Programa de Acesso Confiável para dezenas de empresas europeias.
GateNews46m atrás
Transformers de verdade! A Unitree Technology lançou o primeiro veículo robótico do mundo em produção em massa, com preço de US$ 570 mil
A empresa chinesa de robôs Unitree Robotics, com sede em Hangzhou, lançou em 12 de maio seu mais novo produto, o GD01: um mecha humanoide bípede e também com modo de escalada quadrúpede, com troca livre entre as duas configurações, capaz de carregar um humano. Em outras palavras, é como se as cenas dos filmes de ficção científica “Transformers” e “Pacific Rim” tivessem sido trazidas para a vida real. Este lançamento não é apenas uma curiosidade tecnológica, mas também reflete a rápida aceleração
ChainNewsAbmedia1h atrás
Thinking Machines Model Ties GPT-Realtime-2 para o primeiro lugar no benchmark de áudio de hoje, com pontuação de 43,4% de APR
De acordo com o mais recente benchmark Audio MC S2S da Scale Labs divulgado hoje, o modelo TML-Interaction-Small da Thinking Machines alcançou 43,36 pontos, empatando com a OpenAI GPT-Realtime-2 (xHigh) na primeira colocação com uma pontuação de 43,4% de APR. O líder absoluto em pontuação, GPT-Realtime-2 (xHigh), marcou 48,45 pontos, enquanto o TML-Interaction-Small ficou logo atrás com 43,36 pontos; a diferença ficou dentro das margens de erro estatístico, resultando em um empate oficial na pri
GateNews2h atrás
Arthur Hayes prevê que o Bitcoin volte a US$ 126.000 em meio à corrida armamentista de IA entre EUA e China e à inflação ligada à guerra
De acordo com a Odaily, Arthur Hayes publicou um artigo intitulado “The Butterfly Touch” em 12 de maio, prevendo que o Bitcoin retornará a US$ 126.000 como resultado da competição de gastos de capital com IA EUA-China e da inflação impulsionada pela guerra. Hayes afirmou que o mercado altista de criptomoedas foi oficialmente iniciado após a ação militar dos EUA contra o Irã em 28 de fevereiro de 2026, com o Bitcoin já tendo formado uma base em torno de US$ 60.000. Ele espera ganhos acelerados ap
GateNews2h atrás
