Dalam beberapa bulan terakhir, telah terjadi tren yang mengkhawatirkan di mana individu menghadapi konsekuensi serius, termasuk rawat inap, perceraian, dan bahkan kematian, setelah interaksi yang intens dengan ChatGPT. Anggota keluarga dari beberapa pengguna mengklaim bahwa chatbot tersebut memperburuk delusi dan paranoia mereka. Profesional kesehatan mental telah mengangkat alarm tentang masalah ini, yang sering disebut sebagai psikosis AI, tetapi hingga saat ini, belum ada data substansial tentang prevalensinya.
OpenAI memperkirakan bahwa sekitar 0,07% dari pengguna aktif ChatGPT mungkin menunjukkan tanda-tanda darurat kesehatan mental terkait psikosis atau mania setiap minggu, sementara 0,15% mungkin terlibat dalam percakapan yang menunjukkan perencanaan atau niat bunuh diri. Selain itu, sekitar 0,15% pengguna tampaknya mengembangkan ketergantungan emosional yang tidak sehat pada chatbot, yang berpotensi mengorbankan hubungan dan tanggung jawab mereka di dunia nyata. Perusahaan mencatat bahwa indikator-indikator ini sulit dideteksi karena kelangkaannya, dan mungkin ada tumpang tindih di antara kategori-kategori tersebut.
Menurut CEO OpenAI, Sam Altman, ChatGPT saat ini memiliki sekitar 800 juta pengguna aktif mingguan. Ini berarti bahwa sekitar 560.000 pengguna mungkin mengalami tanda-tanda mania atau psikosis setiap minggu, dengan tambahan 1,2 juta mungkin mengekspresikan pikiran bunuh diri dan 1,2 juta lainnya memprioritaskan interaksi dengan ChatGPT di atas hubungan pribadi, pekerjaan, atau pendidikan mereka.
Untuk mengatasi kekhawatiran ini, OpenAI bekerja sama dengan lebih dari 170 profesional kesehatan mental dari berbagai negara untuk meningkatkan cara ChatGPT menangani percakapan yang melibatkan risiko kesehatan mental yang serius. Versi terbaru, GPT-5, dirancang untuk merespons dengan empati kepada pengguna yang mungkin mengalami pikiran delusional, sambil menghindari mengafirmasi keyakinan yang tidak berdasar. Misalnya, jika seorang pengguna mengklaim menjadi target pesawat, ChatGPT mengakui perasaan mereka tetapi menjelaskan bahwa tidak ada kekuatan eksternal yang dapat memanipulasi pikiran mereka.
Meskipun ada perbaikan dalam fitur keamanan ChatGPT, OpenAI mengakui keterbatasan dalam data yang dibagikan. Perusahaan menciptakan tolok ukur sendiri, dan masih belum jelas bagaimana metrik ini berkaitan dengan hasil di dunia nyata. Bahkan dengan respons yang lebih baik dalam evaluasi klinis, tidak jelas apakah pengguna yang mengalami masalah kesehatan mental akan mencari bantuan lebih cepat atau mengubah perilaku mereka. OpenAI belum mengungkapkan metode spesifik yang digunakan untuk mengidentifikasi pengguna yang dalam kesulitan, tetapi mempertimbangkan riwayat obrolan secara keseluruhan untuk mendeteksi tanda-tanda potensi delusi. Perusahaan telah membuat kemajuan dalam mempertahankan kinerja selama percakapan panjang, yang sebelumnya menjadi tantangan, tetapi mengakui bahwa perbaikan lebih lanjut masih diperlukan.