Gate News message, April 27 — Logan Kilpatrick, senior product manager at Google DeepMind and product lead for Google AI Studio, stated on X that every company building AI-based products should establish its own custom benchmarks to measure AI model performance. He described this as a method to make model improvements “disproportionately benefit your company” and urged founders and business leaders to “start tomorrow.”
Most companies currently rely on public leaderboards to select AI models, but these measure general capabilities that often misalign with specific business scenarios. Kilpatrick cited the example of a contract review company most concerned with clause extraction accuracy—a capability absent from public benchmarks, making it impossible to assess model performance on that task. Custom benchmarks offer two key advantages: first, they enable companies to evaluate each model update against their own business tasks and select the model that performs best in their actual use case rather than the highest-ranked model overall; second, they allow companies to share these test sets with model providers, driving continuous optimization in areas that matter to their business.
Kilpatrick noted that companies like Zapier and Sierra are already implementing this approach, stating that “there is a lot of alpha that can be created here.”
Avertissement : Les informations contenues dans cette page peuvent provenir de tiers et ne représentent pas les points de vue ou les opinions de Gate. Le contenu de cette page est fourni à titre de référence uniquement et ne constitue pas un conseil financier, d'investissement ou juridique. Gate ne garantit pas l'exactitude ou l'exhaustivité des informations et n'est pas responsable des pertes résultant de l'utilisation de ces informations. Les investissements en actifs virtuels comportent des risques élevés et sont soumis à une forte volatilité des prix. Vous pouvez perdre la totalité du capital investi. Veuillez comprendre pleinement les risques pertinents et prendre des décisions prudentes en fonction de votre propre situation financière et de votre tolérance au risque. Pour plus de détails, veuillez consulter l'
avertissement.
Articles similaires
Les revenus récurrents annuels (ARR) de ElevenLabs bondissent à $500M en 4 mois, en hausse de 43 % depuis la fin de l’année ; le tour de table D se clôture avec BlackRock, NVentures et plus de 30 célébrités
D'après Beating, la plateforme de voix IA ElevenLabs a annoncé que son revenu annuel récurrent (ARR) a bondi à 500 millions de dollars au cours des 4 derniers mois, en hausse de 43 % par rapport aux 350 millions de dollars enregistrés à la fin de l'année 2025. Cette croissance a été portée par l’adoption par les entreprises d’agents vocaux IA pour le service client, la vente et le recrutement.
Le c
GateNewsIl y a 9m
Elastics clôture une levée pré-amorçage de 2 millions de dollars menée par Frst
Selon ChainCatcher, Elastics, un système d’exploitation de marché prédictif basé sur l’IA, a achevé une levée de fonds Pre-Seed de 2 millions de dollars. Frst a mené la levée, avec la participation de ElevenLabs, XBTO, RedStone et
GateNewsIl y a 46m
L’ancien dirigeant de Qualcomm Alex Katouzian rejoint Intel en tant que directeur exécutif (EVP) du client computing et de l’IA physique le 4 mai
Intel a annoncé le 4 mai qu’Alex Katouzian, un cadre expérimenté de Qualcomm, a rejoint l’entreprise en tant que vice-président exécutif et directeur général du groupe Client Computing et Physical AI, avec un reporting direct auprès du PDG Chen Lixu. Katouzian a passé 25 ans chez Qualcomm, plus récemment en tant que e
GateNewsIl y a 1h
K Wave Media, coté au Nasdaq, supprime sa trésorerie en Bitcoin et redirige $485M vers l’IA
La société K Wave Media, cotée au Nasdaq, a abandonné son projet de trésorerie en bitcoin et réorienté 485 millions de dollars vers des investissements dans l’intelligence artificielle, moins d’un an après avoir levé 500 millions de dollars pour le bitcoin initial.
GateNewsIl y a 1h
Nova Intelligence clôture une levée de fonds de série A de 31,5 millions de dollars menée par Chemistry le 5 mai
Selon Fortune, la plateforme d’agents d’IA Nova Intelligence a clôturé un tour de financement de série A de 31,5 millions de dollars le 5 mai, mené par Chemistry. Accel, Conviction et SAP.io ont également participé au tour.
La plateforme de Nova analyse, modernise et génère du code sur mesure pour la paie, la chaîne d’approvisionnement, et
GateNewsIl y a 1h
Cipher Digital obtient une facilité de crédit de $200M pour étendre ses centres de données IA et HPC
D'après Globenewswire, Cipher Digital, un mineur de bitcoin coté au Nasdaq, a obtenu une facilité de crédit renouvelable de 200 millions de dollars auprès d'institutions financières mondiales afin d'améliorer sa liquidité et d'accélérer l'expansion de sa plateforme de centres de données dédiée à l'IA et au calcul haute performance (HPC). L'entreprise a publié son résultat au T1
GateNewsIl y a 2h
