Munculnya video yang dihasilkan oleh Sora 2, alat pembuatan video terbaru dari OpenAI, telah memicu reaksi balik yang signifikan karena sifatnya yang mengganggu. Salah satu video tersebut menampilkan seorang gadis muda yang realistis dengan mainan yang menyerupai mainan seks, yang menyebabkan kemarahan luas. Klip ini, yang menampilkan suara latar yang menyarankan bahwa mainan tersebut tidak berbahaya, telah dibagikan secara luas di TikTok, menunjukkan betapa cepatnya konten semacam itu dapat menyebar secara online. Video lain yang ditemukan bahkan lebih eksplisit, menggambarkan anak-anak yang dihasilkan oleh AI dalam skenario yang tidak pantas.
Legalitas seputar konten yang dihasilkan oleh AI yang melibatkan anak di bawah umur masih kabur. Laporan dari Internet Watch Foundation menunjukkan peningkatan yang mengkhawatirkan dalam materi penyalahgunaan seksual anak yang dihasilkan oleh AI (CSAM), dengan peningkatan yang signifikan dalam kasus-kasus serius. Sebagian besar konten ini menargetkan gadis-gadis, menimbulkan alarm tentang eksploitasi citra mereka dalam format digital. Meskipun Sora 2 belum dikaitkan dengan pembuatan bentuk konten yang paling parah, potensi penyalahgunaan tetap menjadi perhatian yang mendesak.
Sebagai respons terhadap masalah yang berkembang terkait materi berbahaya yang dihasilkan oleh AI, pemerintah Inggris sedang mempertimbangkan amandemen pada RUU Kejahatan dan Kepolisian. Legislatif ini bertujuan untuk menerapkan kontrol yang lebih ketat pada alat AI untuk mencegah pembuatan CSAM. Sementara itu, di Amerika Serikat, banyak negara bagian telah memberlakukan undang-undang untuk mengkriminalisasi CSAM yang dihasilkan oleh AI, mencerminkan pengakuan yang semakin meningkat terhadap risiko yang ditimbulkan oleh teknologi semacam itu.
OpenAI telah mengambil langkah-langkah untuk mengurangi risiko yang terkait dengan Sora 2, termasuk langkah-langkah untuk mencegah penggunaan citra anak di bawah umur dalam konteks yang tidak pantas. Platform ini telah menetapkan kebijakan yang melarang eksploitasi individu di bawah usia 18 tahun dan memiliki mekanisme untuk melaporkan setiap kejadian yang membahayakan anak. Namun, efektivitas langkah-langkah ini dipertanyakan, terutama karena para pembuat konten menemukan cara untuk menghindari perlindungan yang ada.
Sifat mengganggu dari video-video ini telah memicu diskusi tentang tanggung jawab perusahaan AI dan platform media sosial. Para ahli berpendapat bahwa praktik moderasi yang lebih nuansa diperlukan untuk membedakan antara konten yang tidak berbahaya dan yang berbahaya. Seiring dengan perkembangan lanskap materi yang dihasilkan oleh AI, kebutuhan akan perlindungan yang kuat dan langkah-langkah proaktif untuk melindungi anak di bawah umur dari eksploitasi tetap menjadi hal yang kritis.