Pennsylvania Menggugat Character.AI atas Chatbot yang Mengaku sebagai Psikiater Berlisensi

Singkatnya

• Pennsylvania menggugat Character.AI, menuduh bahwa chatbot tersebut mengaku sebagai psikiater berlisensi dengan menggunakan nomor lisensi yang tidak valid.
• Negara bagian mengatakan chatbot tersebut menampilkan kredensial medis palsu.
• Kasus ini menambah pengawasan hukum terhadap platform tersebut, yang sudah menghadapi banyak gugatan.

Pennsylvania telah mengajukan gugatan terhadap pengembang AI generatif Character.AI, menuduh perusahaan tersebut membiarkan chatbot mengaku sebagai profesional medis berlisensi dan memberikan informasi menyesatkan kepada pengguna. Tindakan tersebut, yang diumumkan Selasa oleh kantor Gubernur Josh Shapiro, mengikuti penyelidikan yang menemukan bahwa sebuah chatbot mengaku sebagai psikiater berlisensi di Pennsylvania dan memberikan nomor lisensi yang tidak valid. Negara bagian mengatakan perilaku ini melanggar Undang-Undang Praktik Medis dan sedang mencari perintah awal untuk menghentikannya. Character.AI menolak membahas rincian gugatan, dengan alasan proses hukum yang sedang berlangsung, tetapi mengatakan kepada Decrypt bahwa “prioritas tertinggi kami adalah keselamatan dan kesejahteraan pengguna kami.”

Juru bicara tersebut menambahkan bahwa karakter di platform dibuat oleh pengguna, bersifat fiksi, dan dimaksudkan untuk hiburan dan peran, dengan “penafian yang mencolok di setiap obrolan” yang menyatakan bahwa mereka bukan orang nyata dan tidak boleh diandalkan untuk nasihat profesional.  “Character.ai memprioritaskan pengembangan produk yang bertanggung jawab dan memiliki proses tinjauan internal yang kuat serta pengujian ulang untuk menilai fitur terkait,” kata juru bicara tersebut. Kasus ini muncul saat perusahaan menghadapi tantangan hukum lain yang terkait dengan platform chatbot-nya. Pada tahun 2024, seorang ibu di Florida menggugat perusahaan setelah anak remajanya meninggal karena bunuh diri setelah berbulan-bulan berinteraksi dengan chatbot yang didasarkan pada karakter Daenerys Targaryen dari “Game of Thrones”. Gugatan tersebut menuduh platform berkontribusi terhadap kerusakan psikologis. Kasus ini akhirnya diselesaikan pada Januari lalu.

Perusahaan juga menghadapi keluhan tentang bot buatan pengguna yang meniru orang nyata. Dalam satu kasus, sebuah chatbot menggunakan kemiripan seorang korban pembunuhan remaja sebelum dihapus setelah keberatan dari keluarga korban. Menanggapi gugatan tersebut, Character AI memperkenalkan langkah-langkah keamanan baru, termasuk sistem yang dirancang untuk mendeteksi percakapan berbahaya dan mengarahkan pengguna ke sumber daya dukungan. Mereka juga membatasi beberapa fitur untuk pengguna yang lebih muda. Pejabat Pennsylvania mengatakan bahwa gugatan ini merupakan bagian dari dorongan yang lebih luas untuk menegakkan hukum yang ada seiring penyebaran alat AI. Negara bagian telah membentuk satuan tugas penegakan AI dan sistem pelaporan untuk potensi pelanggaran. Dalam proposal anggaran 2026-27, Shapiro menyerukan kepada pembuat undang-undang untuk mengesahkan aturan baru untuk bot pendamping AI, termasuk verifikasi usia dan persetujuan orang tua, perlindungan untuk menandai dan mengarahkan laporan tentang penyakitan diri atau kekerasan kepada otoritas, pengingat rutin bahwa pengguna tidak berinteraksi dengan orang nyata, dan larangan terhadap konten seksual eksplisit atau kekerasan yang melibatkan anak di bawah umur. “Warga Pennsylvania berhak tahu siapa—atau apa—yang mereka ajak bicara secara online, terutama terkait kesehatan mereka,” kata Shapiro dalam sebuah pernyataan. “Kami tidak akan membiarkan perusahaan menyebarkan alat AI yang menyesatkan orang agar percaya mereka menerima nasihat dari profesional medis berlisensi.”