Kementerian Komunikasi dan Digital (Komdigi) telah memberikan peringatan keras kepada Grok AI dan X terkait penyalahgunaan teknologi kecerdasan buatan untuk membuat dan menyebarkan konten asusila. Ancaman sanksi administratif hingga pemutusan akses diberlakukan jika tidak mematuhi aturan yang berlaku di Indonesia. Komdigi menyatakan bahwa X sebagai salah satu Penyelenggara Sistem Elektronik (PSE) wajib taat pada regulasi yang berlaku dan siap memberikan sanksi kepada penyedia layanan AI dan pengguna yang memproduksi atau menyebarkan konten yang melanggar hukum.
Sejak berlakunya Undang-Undang Nomor 1 Tahun 2023 tentang Kitab Undang-Undang Hukum Pidana (KUHP), masalah konten pornografi diatur dengan tegas. Pasal 172 dan Pasal 407 menjelaskan definisi pornografi serta ancaman hukuman bagi pelanggar. Masyarakat yang menjadi korban manipulasi foto atau pelanggaran hak citra diri diimbau untuk melapor kepada aparat penegak hukum dan mengadukan kasusnya kepada Komdigi.
Direktur Jenderal Pengawasan Ruang Digital Komdigi, Alexander Sabar, menyatakan bahwa Grok AI belum memiliki pengaturan yang memadai untuk mencegah produksi dan distribusi konten pornografi yang berbasis foto nyata warga Indonesia. Manipulasi foto pribadi bisa berdampak serius terhadap privasi dan hak citra diri seseorang, oleh karena itu perlu adanya koordinasi dengan PSE untuk memastikan penggunaan teknologi secara bertanggung jawab.
Langkah-langkah yang diambil Komdigi termasuk memperkuat sistem moderasi konten, mencegah pembuatan deepfake asusila, dan menangani pelanggaran privasi serta hak citra diri dengan cepat. PSE diwajibkan untuk memastikan bahwa teknologi yang mereka sediakan tidak disalahgunakan untuk melanggar privasi, eksploitasi seksual, atau merusak martabat seseorang. Ini adalah langkah penting untuk melindungi semua pihak yang terlibat dari dampak negatif teknologi yang tidak bertanggung jawab.
