Sebuah laporan penelitian dari Common Sense Media mengungkap risiko besar penggunaan kecerdasan buatan (AI) sebagai pendamping atau AI Companion untuk anak-anak dan remaja di bawah 18 tahun. Laporan ini muncul setelah gugatan atas peristiwa bunuh diri seorang anak laki-laki 14 tahun setelah berinteraksi dengan chatbot AI. Gugatan tersebut ditujukan kepada aplikasi Character.AI, menyoroti potensi risiko bagi generasi muda. Hal ini membuat banyak pihak menyerukan agar pengembang aplikasi AI meningkatkan langkah-langkah keamanan dan transparansi. Terdapat percakapan berbau seksualitas dan pesan yang mendorong tindakan melukai diri sendiri yang seharusnya tidak dapat diakses oleh pengguna di bawah 18 tahun.
Penelitian yang dilakukan bersama Universitas Stanford menguji tiga layanan AI pendamping seperti Character.AI, Replika, dan Nomi. Aplikasi AI pendamping memungkinkan pengguna untuk berinteraksi dengan chatbot yang dirancang oleh pengguna lain. Namun, ada kekhawatiran bahwa anak-anak dan remaja dapat terikat secara berbahaya pada karakter AI atau mengakses konten yang tidak sesuai dengan usia mereka.
Para peneliti menemukan bahwa aplikasi pendamping AI dapat memberikan ‘nasihat’ berbahaya atau melibatkan pengguna dalam role play seksual yang tidak pantas. Risiko ini jauh lebih besar daripada manfaat yang dijanjikan oleh AI pendamping. Oleh karena itu, diperlukan langkah-langkah lebih lanjut untuk melindungi anak-anak dari akses konten yang tidak pantas dan menjauhkan mereka dari risiko yang mungkin timbul akibat interaksi dengan AI.
