Perplexity AI a introduit WANDR (Wide ANd Deep Research), un benchmark ouvert conçu pour évaluer l’efficacité des systèmes d’intelligence artificielle dans l’exécution de tâches de recherche à grande échelle, le 14 juillet 2026. Le framework contient 500 tâches réalistes de collecte de données, modélisées sur du travail professionnel de connaissances, y compris l’analyse de marché, la due diligence, les revues de littérature, l’intelligence concurrentielle, les comparaisons de produits et la recherche de talents. Le benchmark a été lancé pour relever le défi auquel font face les systèmes d’IA actuels : identifier de grands nombres d’entités pertinentes et vérifier chaque résultat à l’aide de preuves étayant chaque élément. D’après Perplexity, même le modèle le plus performant dans l’évaluation de l’entreprise a atteint une note F1 « soft » de 0,363 et une note F1 « hard » de 0,133, ce qui indique que la recherche à grande échelle, appuyée par des preuves, est encore loin d’être entièrement automatisée. Le benchmark inclut plus de 170 000 enregistrements appuyés par des sources répartis sur ses 500 tâches, offrant un environnement de test à grande échelle pour des agents d’IA orientés recherche dans un secteur où une couverture exhaustive sur des centaines, voire des milliers d’enregistrements, est essentielle pour le travail professionnel de connaissances.
Perplexity évalue six systèmes de recherche IA en utilisant le benchmark WANDR
Perplexity a évalué six systèmes de recherche IA en production en utilisant WANDR dans des conditions de test identiques. Sa plateforme Search as Code (SaC) a obtenu la meilleure performance globale, avec une note F1 « soft » de 0,363 et une note F1 « hard » de 0,133. Anthropic arrive en deuxième avec des scores de 0,249 et 0,072, tandis que les autres systèmes évalués n’ont pas dépassé une note F1 « soft » de 0,121. L’étude a également révélé que l’augmentation de l’effort computationnel améliore généralement les performances pour plusieurs modèles, même si des coûts plus élevés et des temps de traitement plus longs ne se traduisent pas systématiquement par de meilleurs résultats.
Contrairement aux benchmarks d’IA traditionnels qui se concentrent sur la génération d’une réponse unique ou d’un rapport écrit, WANDR mesure la capacité d’un système d’IA à identifier de nombreux types d’entités pertinentes et à vérifier chaque résultat à l’aide de preuves étayant chaque élément. Le benchmark vise à refléter des flux de recherche en conditions réelles, où la réussite dépend non seulement de la découverte d’informations exactes, mais aussi de l’obtention d’une couverture exhaustive sur des centaines, voire des milliers d’enregistrements.
WANDR utilise un processus d’évaluation sans référence pour valider la recherche IA
WANDR utilise un processus d’évaluation sans référence qui vérifie chaque affirmation soumise à partir des preuves citées par le système d’IA, plutôt que de comparer les résultats à une clé de réponse fixe. Chaque affirmation est vérifiée en fonction de la qualité des sources, de l’exactitude factuelle, de la pertinence et de la mesure dans laquelle les extraits fournis étayent réellement l’information présentée. Cette approche est conçue pour mieux refléter la recherche dans le monde réel, où l’information évolue avec le temps et où il est difficile de maintenir des ensembles de réponses exhaustifs.
Le benchmark fournit aussi des diagnostics détaillés pour identifier les étapes où les systèmes d’IA échouent lors de tâches de recherche complexes. Les performances peuvent être mesurées sur plusieurs étapes, notamment la découverte d’informations, l’enrichissement des données, le rapprochement d’identités, la validation des sources et l’extraction des preuves, permettant aux développeurs de repérer des faiblesses au-delà des scores globaux de précision.
Perplexity a indiqué que le benchmark est destiné à servir de ressource ouverte pour les chercheurs et les développeurs travaillant sur des systèmes de recherche et de recherche assistée par IA. Au-delà de la simple évaluation, WANDR pourrait aussi soutenir de futures techniques d’apprentissage par renforcement en fournissant un retour structuré à chaque étape du processus de recherche, permettant aux modèles d’IA d’améliorer non seulement l’exactitude factuelle, mais aussi la planification, la couverture et la collecte de preuves à grande échelle.
FAQ
Que s’est-il passé le 14 juillet 2026 avec Perplexity AI ?
Perplexity AI a lancé WANDR (Wide ANd Deep Research), un benchmark ouvert conçu pour évaluer l’efficacité des systèmes d’intelligence artificielle dans l’exécution de tâches de recherche à grande échelle qui exigent à la fois une découverte d’informations large et une collecte de preuves détaillée.
Comment la plateforme Search as Code de Perplexity a-t-elle performé dans l’évaluation WANDR ?
La plateforme Search as Code (SaC) de Perplexity a obtenu la meilleure performance globale parmi six systèmes de recherche IA évalués, avec une note F1 « soft » de 0,363 et une note F1 « hard » de 0,133.
Que vérifie le processus d’évaluation sans référence de WANDR ?
Le processus d’évaluation sans référence de WANDR vérifie chaque affirmation soumise à partir des preuves citées par le système d’IA, en contrôlant la qualité des sources, l’exactitude factuelle, la pertinence et la mesure dans laquelle les extraits fournis étayent réellement l’information présentée.
