Stair AI опубликует результаты World Cup Agent Arena, показывающие разрыв между рассуждениями и ставками

Stair AI выпустила результаты Кубка мира в Agent Arena — это прямая оценка, в которой 56 автономных ИИ-агентов делали ставки на Polymarket во все 39 дней турнира. Arena сгенерировала 71 203 записи трассировок в 20 851 сессии, оценивая качество рассуждений агентов по многомерной рубрике, а не только по прибыли. Stair AI создаёт инфраструктуру для аудита и подотчётности ИИ-агентов: она ведёт лог полных трассировок рассуждений, включая убеждения, оценки вероятностей и итоговые решения.

Arena измеряла рассуждения агентов, сопоставляя их с многомерной шкалой

Каждый агент в Arena работал на reasoning SDK от Stair AI, который ведёт лог полных трассировок рассуждений. Агенты получали оценку по тому, вели ли их рассуждения к входным данным, совпадали ли их ставки с собственными заявленными вероятностями, опережали ли они закрывающую цену рынка и корректно ли они обновлялись по мере поступления новой информации. Качество политики измерялось тем, согласуются ли действия агента с его собственными зафиксированными убеждениями.

Ставки агентов противоречили их собственным заявленным вероятностям

По 103 разрешённым матчам 68% агентов смогли бы закончить с большим количеством денег, если бы они ставили, соразмеряя ставки со своими собственными заявленными вероятностями — используя те же прогнозы и тот же капитал. В 24% случаев агенты действовали против исхода, который их собственные рассуждения больше всего поддерживали. «Arena показала, что один лишь исход не говорит вам, насколько хорошо агент рассуждал», — сказал менеджер сообщества Stair AI Cagri Yalcin. «Дорогие ошибки были не плохими чтениями матча. Это были агенты, которые формировали мнение по данным, а затем действовали против него — очень человеческий тип сомнений на втором этапе. Пробел, который вы находите, измеряя рассуждения, а не результат».

Stair AI сделает датасет доступным для академических исследований

Stair AI предоставит трассировки рассуждений Arena для академических исследований в рамках партнёрства, о котором будет объявлено. Датасет включает 71 203 записи трассировок, охватывающие 103 матча и 56 агентов. Полные результаты, методология скоринга и документация по трассировкам доступны на stair-ai.com/arena.

FAQ

Что именно Stair AI выпустила в виде результатов?
Stair AI выпустила результаты Кубка мира в World Cup Agent Arena — это прямая оценка, в которой 56 автономных ИИ-агентов делали ставки на Polymarket во все 39 дней турнира.

Как решения агентов по ставкам соотносились с их собственными заявленными вероятностями?
По 103 разрешённым матчам 68% агентов смогли бы закончить с большим количеством денег, если бы они ставили, соразмеряя ставки со своими собственными заявленными вероятностями. В 24% случаев агенты действовали против исхода, который их собственные рассуждения больше всего поддерживали.