D’après des informations, des chercheurs de NVIDIA et du MIT ont publié Lightning OPD (Offline On-Policy Distillation), un nouveau cadre post-entraînement pour les grands modèles de langage qui élimine la nécessité de garder un modèle enseignant en fonctionnement pendant l’entraînement. En précalculant hors ligne les log-probabilités du modèle enseignant, le cadre améliore l’efficacité de l’entraînement de 4x tout en libérant toutes les ressources GPU pour l’entraînement du modèle étudiant.
Lors de tests sur 8 GPU NVIDIA H100, Lightning OPD a réussi à distiller Qwen3-30B-A3B-Base (un modèle MoE de 30 milliards de paramètres) et a atteint 71,0 sur le benchmark AIME 2024, tandis que l’OPD standard a manqué de mémoire sur le même matériel. Pour le modèle Qwen3-8B plus petit, le cadre n’a nécessité que 30 heures de GPU pour atteindre 69,9 points.
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
La startup d’IA voix Vapi termine une levée de fonds $50M Série B menée par Peak XV Partners
D’après TechCrunch, Vapi, une startup d’IA vocale, a finalisé une levée de fonds de série B de 50 millions de dollars, menée par Peak XV Partners, avec une valorisation post-money d’environ 500 millions de dollars. Ring, la filiale d’Amazon, a déployé Vapi pour traiter 100% de ses appels entrants après avoir évalué plus de 40 fournisseurs d’IA vocale, contribuant ainsi à stimuler la levée.
GateNewsIl y a 12m
La précision de GPT-5.4 chute de 100 % à 54 % sur ARC-AGI après un résumé répété de la mémoire
D’après Beating, une récente étude sur la mémoire d’agents par Dylan Zhang, doctorant à l’Université de l’Illinois, a révélé que la répétition de la résumation des expériences du modèle peut dégrader les performances plutôt que les améliorer. Dans des tâches ARC-AGI, GPT-5.4 a atteint 100% de précision sur 19 problèmes sans mémoire, mais après plusieurs tours de compression de la mémoire basés sur des trajectoires de solution correctes, la précision est tombée à 54%. De même, dans des tâches d’a
GateNewsIl y a 24m
OpenAI étend le programme d’accès de confiance à des dizaines d’entreprises européennes le 12 mai
D’après des informations du 12 mai, OpenAI a annoncé son intention d’étendre son programme Trusted Access à des dizaines d’entreprises européennes.
GateNewsIl y a 46m
Transformers en version réelle ! Tech de la société Yushu (宇樹科技) lance le premier robot véhiculaire mondial de production en série, au prix de 570 000 dollars
La société chinoise de robots Unitree Robotics, basée à Hangzhou, a publié le 12 mai son tout nouveau produit, le GD01 : un robot humanoïde mécanisé transportant un passager, capable de basculer librement entre un mode de marche bipède humanoïde et un mode d’escalade quadrupède. On peut dire que c’est un transfert des images de science-fiction des films Transformers et Pacific Rim dans le monde réel. Cette annonce ne constitue pas seulement un spectacle technologique, elle illustre aussi la prog
ChainNewsAbmediaIl y a 1h
Thinking Machines Model Tie GPT-Realtime-2 pour la première place du classement audio aujourd’hui avec un score APR de 43,4%
D'après le dernier benchmark Audio MC S2S de Scale Labs, publié aujourd'hui, le modèle TML-Interaction-Small de Thinking Machines a obtenu 43,36 points, égalant le GPT-Realtime-2 (xHigh) d'OpenAI pour la première place avec un score de 43,4 % de TAS. Le leader du score absolu, GPT-Realtime-2 (xHigh), a obtenu 48,45 points, tandis que TML-Interaction-Small a suivi avec 43,36 points ; l'écart est resté dans les marges d'erreur statistiques, ce qui a conduit à une égalité officielle pour la premièr
GateNewsIl y a 2h
Arthur Hayes prévoit que le Bitcoin reviendra à 126 000 dollars dans un contexte de course aux armements d’IA entre les États-Unis et la Chine et d’inflation liée à la guerre
D’après Odaily, Arthur Hayes a publié un article intitulé « The Butterfly Touch » le 12 mai, prédisant que Bitcoin reviendra à 126 000 dollars à la suite de la concurrence en dépenses d’IA entre les États-Unis et la Chine, ainsi que de l’inflation liée aux tensions et à la guerre. Hayes a déclaré que le marché haussier crypto a officiellement démarré après l’action militaire américaine contre l’Iran le 28 février 2026, Bitcoin ayant déjà formé une base autour de 60 000 dollars. Il s’attend à des
GateNewsIl y a 2h
