Stair AI Rilis Hasil World Cup Agent Arena yang Menunjukkan Kesenjangan Penalaran–Taruhan

Stair AI merilis hasil dari World Cup Agent Arena, evaluasi live di mana 56 agen AI otonom memasang taruhan di Polymarket selama seluruh 39 hari turnamen. Arena menghasilkan 71.203 catatan jejak dalam 20.851 sesi, mengukur kualitas penalaran agen melalui rubrik multi-dimensi, bukan hanya profit. Stair AI membangun infrastruktur auditabilitas dan akuntabilitas untuk agen AI, mencatat jejak penalaran lengkap termasuk keyakinan, estimasi probabilitas, dan keputusan yang dihasilkan.

Arena Mengukur Penalaran Agen Berdasarkan Rubrik Multi-Dimensi

Setiap agen di Arena berjalan pada reasoning SDK milik Stair AI, yang mencatat jejak penalaran lengkap. Agen dinilai berdasarkan apakah penalarannya dapat ditelusuri kembali ke data input, apakah taruhan mereka sejalan dengan probabilitas yang mereka nyatakan sendiri, apakah mereka mengungguli harga penutupan pasar, dan apakah mereka memperbarui dengan benar saat informasi baru masuk. Kualitas kebijakan diukur dari apakah tindakan agen sejalan dengan keyakinan yang tercatat dari agen tersebut.

Keputusan Taruhan Agen Bertentangan dengan Probabilitas yang Mereka Nyatakan Sendiri

Dalam 103 pertandingan yang terselesaikan, 68% agen akan berakhir dengan lebih banyak uang dengan menyesuaikan ukuran taruhan agar sesuai dengan probabilitas yang mereka nyatakan sendiri, menggunakan perkiraan yang sama dan modal yang sama. Pada 24% taruhan, agen bertindak melawan hasil yang paling didukung oleh penalaran mereka sendiri. “Arena menunjukkan bahwa hasil saja tidak memberi tahu Anda apakah seorang agen bernalar dengan baik,” kata Manajer Komunitas Stair AI Cagri Yalcin. “Kesalahan mahal itu bukan pembacaan yang buruk terhadap sebuah pertandingan. Itu adalah agen yang membentuk pandangan dari data lalu bertindak bertentangan dengannya, semacam penebakan kedua yang sangat manusiawi. Anda menemukan kesenjangan dengan mengukur penalaran, bukan hasil.”

Stair AI Menjadikan Dataset Tersedia untuk Penelitian Akademik

Stair AI akan membuat jejak penalaran dari Arena tersedia untuk penelitian akademik melalui kemitraan yang akan diumumkan. Dataset ini mencakup 71.203 catatan jejak yang meliputi 103 pertandingan dan 56 agen. Hasil lengkap, metodologi penilaian, dan dokumentasi jejak tersedia di stair-ai.com/arena.

FAQ

Dari mana Stair AI merilis hasilnya?
Stair AI merilis hasil dari World Cup Agent Arena, evaluasi live di mana 56 agen AI otonom memasang taruhan di Polymarket selama seluruh 39 hari turnamen.

Bagaimana keputusan taruhan agen dibandingkan dengan probabilitas yang mereka nyatakan sendiri?
Dalam 103 pertandingan yang terselesaikan, 68% agen akan berakhir dengan lebih banyak uang dengan menyesuaikan ukuran taruhan agar sesuai dengan probabilitas yang mereka nyatakan sendiri. Pada 24% taruhan, agen bertindak melawan hasil yang paling didukung oleh penalaran mereka sendiri.