Ada kekhawatiran yang meningkat tentang konten eksplisit yang dihasilkan AI yang membanjiri platform sosial. Masalah sistem otomatis yang menghasilkan materi tidak pantas telah menarik perhatian serius dari pembuat kebijakan, yang berpendapat bahwa konten semacam itu merupakan tantangan moderasi yang signifikan. Perusahaan teknologi menghadapi tekanan yang meningkat untuk menerapkan kontrol yang lebih ketat terhadap media sintetis, terutama ketika algoritma memperkuat output berkualitas rendah atau berbahaya. Ini menimbulkan pertanyaan penting tentang tanggung jawab platform dan apakah langkah-langkah keamanan AI saat ini cukup untuk mencegah penyalahgunaan dalam skala besar.