Sebuah pos Reddit yang kini telah dihapus berjudul "generasi gambar nsfw gemini sangat mudah" menampilkan pengguna yang saling bertukar tips tentang cara menggunakan model AI Gemini milik Google untuk menghasilkan gambar wanita dalam pakaian minim. Di antara konten yang dibagikan, seorang pengguna meminta perubahan seorang wanita yang mengenakan sari India menjadi bikini, yang dipenuhi dengan gambar deepfake. Setelah WIRED memberi tahu Reddit, tim keamanan platform tersebut menghapus permintaan dan gambar yang dihasilkan, dengan alasan pelanggaran terhadap aturan mereka tentang media intim yang tidak konsensual.
Subreddit tempat pertukaran ini terjadi, r/ChatGPTJailbreak, telah mengumpulkan lebih dari 200.000 pengikut sebelum dilarang karena melanggar kebijakan situs. Seiring dengan semakin populernya alat AI generatif, kasus pelecehan terhadap wanita melalui gambar deepfake yang tidak konsensual telah meningkat, dengan jutaan orang mengunjungi situs berbahaya yang dirancang untuk melepas pakaian foto nyata menggunakan AI.
Sebagian besar chatbot mainstream, termasuk Gemini milik Google dan ChatGPT milik OpenAI, dilengkapi dengan pengaman untuk mencegah pembuatan konten eksplisit. Namun, ada pengecualian, seperti Grok milik xAI. Pada bulan November, Google meluncurkan Nano Banana Pro, sebuah model pencitraan yang unggul dalam memodifikasi foto yang ada, sementara OpenAI baru-baru ini merilis model ChatGPT Images yang diperbarui.
Meskipun ada pengaman ini, pengguna telah mampu menghindari pembatasan. Dalam pengujian yang dilakukan oleh WIRED, prompt dasar memungkinkan transformasi wanita berpakaian menjadi deepfake bikini menggunakan Gemini dan ChatGPT. Google menyatakan bahwa mereka memiliki kebijakan melawan pembuatan konten seksual eksplisit dan terus meningkatkan alatnya untuk selaras dengan kebijakan ini. OpenAI mengakui bahwa mereka telah melonggarkan beberapa pengaman terkait tubuh dewasa dalam konteks nonseksual tetapi menekankan larangannya terhadap pengubahan kemiripan seseorang tanpa izin.
Diskusi di Reddit tentang pembuatan gambar NSFW tetap aktif, dengan pengguna berbagi instruksi tentang mengubah pakaian wanita menjadi bikini. Para ahli hukum, seperti Corynne McSherry dari Electronic Frontier Foundation, memperingatkan bahwa potensi untuk menciptakan "gambar yang seksual secara abusif" menimbulkan risiko signifikan, menekankan perlunya akuntabilitas di antara pengguna dan perusahaan terkait penggunaan alat yang kuat ini.