AutomationBench-AA Baru Zapier Ungkap Guardrail Kepatuhan Memangkas Skor Model AI Teratas hingga Setengahnya

Menurut pemantauan Beating, Zapier dan Artificial Analysis meluncurkan AutomationBench-AA, sebuah benchmark otomatisasi alur kerja SaaS independen yang didasarkan pada data anonim nyata dari platform Zapier. Benchmark ini terdiri dari 657 tugas multi-langkah dan 40 lingkungan SaaS simulasi termasuk Gmail, Slack, Salesforce, dan Jira.

Yang krusial, benchmark ini memberlakukan pagar pembatas kepatuhan yang ketat: setiap pelanggaran terhadap aturan bisnis perusahaan yang telah ditentukan secara otomatis membuat skor tugas akhir menjadi nol. Dalam evaluasi awal, semua model mengalami penurunan skor drastis akibat penalti kepatuhan. Claude Fable 5 menyelesaikan 73% tugas tetapi hanya mencapai skor akhir 48,6%; Gemini 3.5 Flash dan GPT-5.5 keduanya menyelesaikan sekitar 68% dan 67% tugas masing-masing tetapi mendapat skor 42,6% dan 42,1%. Open-source GLM-5.2 mendapat skor 27,8%.