A Perplexity lança o benchmark WANDR, com 500 tarefas de investigação, para avaliar as capacidades dos agentes de IA

A Perplexity AI lançou o WANDR (Wide ANd Deep Research), um benchmark open source, a 15 de julho, para medir a eficácia dos sistemas de IA no desempenho de tarefas de investigação em larga escala que exigem descoberta ampla de informação e verificação rigorosa de evidências, em detalhe. O benchmark inclui 500 tarefas realistas de recolha de dados, modeladas em trabalho profissional de conhecimento, incluindo análise de mercado, due diligence, revisões bibliográficas e inteligência competitiva, suportadas por mais de 170.000 registos verificados por fontes.

Ao contrário dos benchmarks tradicionais que avaliam respostas isoladas, o WANDR mede a capacidade de um sistema de IA para identificar grandes quantidades de entidades relevantes e verificar cada resultado com evidência de suporte. Na avaliação de seis sistemas de IA em produção, a plataforma Search as Code da Perplexity alcançou o melhor desempenho, com uma pontuação F1 suave de 0,363 e uma pontuação F1 rígida de 0,133, seguida pela Anthropic, com 0,249 e 0,072, indicando que a investigação em larga escala, suportada por evidências, ainda está longe de estar totalmente automatizada.