OpenAI Temukan Sekitar 30% Pertanyaan SWE-Bench Bermasalah, Tarik Rekomendasi

Menurut laporan audit yang dirilis oleh OpenAI, sekitar 30% dari 731 pertanyaan publik di SWE-Bench Pro tidak cocok untuk evaluasi pemrograman AI yang andal. Penyaringan otomatis mengidentifikasi 200 pertanyaan bermasalah (27,4%), sementara tinjauan manual menemukan 249 masalah (34,1%). Masalah utama meliputi deskripsi tugas yang tidak lengkap, persyaratan pengujian yang terlalu ketat, pengujian tersembunyi yang memeriksa persyaratan yang tidak diungkapkan, dan cakupan pengujian yang tidak memadai. OpenAI mencatat bahwa tingkat keberhasilan model mutakhir pada pertanyaan publik ini meningkat dari 23,3% menjadi 80,3% selama delapan bulan, tetapi kenaikan tersebut harus diinterpretasikan dengan hati-hati mengingat adanya noise pada benchmark ini. Perusahaan telah mencabut rekomendasinya sebelumnya untuk mengadopsi SWE-Bench Pro dan menyerukan komunitas untuk membangun tolok ukur pemrograman yang lebih andal.
Penafian: Informasi di halaman ini mungkin berasal dari sumber pihak ketiga dan hanya untuk referensi. Ini tidak mewakili pandangan atau pendapat Gate dan bukan merupakan nasihat keuangan, investasi, atau hukum. Perdagangan aset virtual melibatkan risiko tinggi. Mohon jangan hanya mengandalkan informasi di halaman ini saat membuat keputusan. Untuk detailnya, lihat Penafian.
Komentar
0/400
Tidak ada komentar