Perusahaan startup perangkat lunak persewaan AS PocketOS yang didirikan oleh Jer Crane baru-baru ini menulis bahwa agen AI (AI Agent) untuk pelatihan internal perusahaan, karena sebuah operasi yang tidak disengaja, secara tidak sengaja menghapus permanen basis data lokal dan semua cadangan yang ada dalam waktu tiga bulan, sehingga menambah risiko untuk mendorong transisi struktur karyawan AI bagi perusahaan-perusahaan besar.
(Musk membeli startup AI Cursor dengan premi 60 miliar dolar? Strategi sebelum IPO SpaceX)
Cursor AI bertindak sendiri, satu baris kode menghapus data selama tiga bulan
Crane mengatakan, tim tersebut mengembangkan alat Cursor dengan bantuan AI, menghubungkan model andalan Anthropic Claude Opus 4.6, sehingga agen AI dapat menjalankan tugas pemeliharaan rutin di lingkungan pengujian (staging). Di tengah jalan, agen menghadapi masalah ketidaksesuaian kredensial, tetapi tidak menghentikan dan bertanya kepada manusia; sebaliknya, agen itu sendiri mencari solusi.
Agen itu menemukan Token API yang awalnya hanya digunakan untuk menambah atau menghapus domain kustom, lalu dengan sendirinya mengeksekusi satu perintah yang bertujuan menghapus volume pada GraphQL API penyedia infrastruktur cloud Railway:
curl -X POST \ -H “Authorization: Bearer [token]” \ -d ‘{“query”:”mutation { volumeDelete(volumeId: \”3d2c42fb-…\”) }”}’
API Railway tidak memiliki mekanisme konfirmasi apa pun, tidak perlu memasukkan nama sumber daya, verifikasi kedua, persetujuan tinjauan manual; setelah 9 detik, basis data pun lenyap. Pada saat yang sama, karena Railway menyimpan snapshot pada disk yang sama dengan volume utama, cadangan juga ikut terhapus bersama entitas tersebut. PocketOS menyatakan bahwa versi cadangan terbaru yang bisa dipulihkan adalah versi dari tiga bulan lalu.
Setelah kejadian, Crane meminta agen AI untuk menjelaskan tindakannya; agen itu juga mengakui melanggar aturan sistem “operasi non-dapat-balik tidak boleh dilakukan tanpa instruksi jelas dari pengguna”, tidak membaca dokumen teknis Railway, tidak memverifikasi apakah ID volume dibagi lintas lingkungan, dan hanya “menebak” bahwa operasi tersebut hanya akan memengaruhi lingkungan pengujian.
Penjagaan keamanan Cursor gagal: pemasaran terlepas dari kenyataan
Crane menekankan secara khusus bahwa ini bukan kesalahan pada konfigurasi uji coba murah. Cursor mempromosikan fitur keamanan seperti (Destructive Guardrails) yang dirancang untuk pencegahan tindakan destruktif dan batasan mode Plan Mode hanya-baca, serta dalam dokumen juga menegaskan bahwa operasi berisiko tinggi harus disetujui oleh manusia. Namun agen tersebut bukan hanya mengabaikan aturan-aturan ini, bahkan dalam pengakuannya setelah kejadian, agen itu mendaftar satu per satu standar keamanan yang dilanggarnya.
Faktanya, ini bukan kasus pertama. Pada Desember 2025, pihak resmi Cursor bahkan sudah mengakui secara terbuka bahwa “ada celah serius dalam pemaksaan kepatuhan terhadap kendala Plan Mode”, dan forum komunitas juga mengumpulkan beberapa contoh di mana agen mengabaikan perintah berhenti lalu menjalankan tindakan destruktif sendiri.
Di sisi lain, lebih dari 30 jam setelah insiden, Railway bahkan belum mampu memberikan jawaban pemulihan data yang pasti.
Korban sebenarnya: pelanggan rental yang tidak bisa mengambil mobil
Biaya kesalahan teknis akhirnya ditanggung oleh sekelompok pemilik usaha kecil yang tidak mengetahui apa pun. Pelanggan PocketOS sebagian besar adalah pelaku bisnis rental mobil, dan sebagian telah menggunakan perangkat lunak tersebut hingga lima tahun. Pada hari kejadian yang jatuh pada hari Sabtu, pelanggan yang seharusnya datang langsung mengambil mobil menemukan bahwa catatan pemesanan mereka sepenuhnya hilang; data pelanggan baru dalam hampir tiga bulan, penugasan kendaraan, serta catatan pembayaran semuanya hilang.
Crane menghabiskan banyak waktu untuk membantu pelanggan merekonstruksi data secara manual dari catatan pembayaran Stripe, integrasi kalender, dan konfirmasi email. Sebagian pelanggan baru masih terus dipotong dari Stripe, tetapi sudah tidak ada lagi dalam basis data setelah pemulihan; pekerjaan rekonsiliasi berikutnya diperkirakan memakan waktu beberapa minggu.
Isyarat zaman percepatan AI: masukkan cepat, tata kelola lambat
Dalam beberapa tahun terakhir, dunia usaha mempercepat pemotongan tenaga teknis di bawah tekanan biaya, sekaligus menyerahkan lebih banyak pekerjaan kepada agen AI untuk dieksekusi; meluasnya alat pengodean berbasis AI juga membuat operasi infrastruktur yang sebelumnya memerlukan penilaian insinyur senior semakin tergantikan oleh proses otomatis. Namun, pengalaman Crane dengan jelas menunjukkan: pengetahuan keamanan seperti verifikasi cadangan, isolasi lingkungan, dan prinsip least privilege tidak benar-benar dipahami dan diterapkan oleh agen AI.
(Bantuan menulis program oleh AI memicu malapetaka? Amazon mengalami gangguan sistem empat kali dalam satu minggu, manajemen tingkat atas segera mengadakan rapat evaluasi)
Crane mengajukan lima permintaan reformasi:
Operasi destruktif harus memerlukan konfirmasi manual dan tidak boleh dapat dilewati secara otomatis oleh agen
API Token harus mendukung pembatasan operasi yang lebih rinci dan batasan lingkup lingkungan
Cadangan tidak boleh berbagi lokasi penyimpanan yang sama dengan data asli
Platform harus memublikasikan komitmen tingkat layanan untuk pemulihan data (SLA)
Sistem prompt agen AI tidak boleh menjadi satu-satunya garis pertahanan keamanan; mekanisme pemaksaan harus dibangun ke lapisan bawah pada gateway API dan arsitektur otorisasi.
Di saat seluruh industri saling berteriak tentang transformasi AI, insiden ini mengangkat masalah yang lebih mendasar: ketika perusahaan mempercepat penggantian penilaian manusia dengan AI, siapa yang memastikan pengalaman dan intuisi manusia benar-benar diubah menjadi aturan keamanan yang benar-benar dapat dieksekusi.
Artikel ini Cursor AI agent mogok! satu baris kode mengosongkan basis data perusahaan dalam 9 detik, penjagaan keamanan jadi omong kosong; pertama kali muncul di Berita Rantai ABMedia.
Related News
Guo Mingchi: OpenAI ingin membuat ponsel AI Agent, MediaTek, Qualcomm, dan Luxshare Precision menjadi rantai pasokan kunci
AI Agent kini bisa secara mandiri mereproduksi makalah akademis yang kompleks: Mollick mengatakan kesalahan lebih banyak berasal dari teks asli manusia, bukan dari AI
Cursor Mengungkap Alasan Pelatihan XAI: Daya komputasi terjebak, SpaceX memegang opsi senilai 60 miliar dolar AS lainnya untuk akuisisi
Penilaian pasar sekunder Anthropic menembus 1 triliun dolar: Forge Global mengungguli OpenAI sebesar 880 miliar
Pemerintahan Trump mengumumkan rencana penindakan terhadap pemurnian AI, menuduh perusahaan Tiongkok melakukan pencurian sistematis kemampuan model