Dalam beberapa tahun terakhir, alat AI generatif seperti ChatGPT dari OpenAI dan Gemini dari Google telah berkembang dari chatbot berbasis teks dasar menjadi agen dan asisten AI yang lebih canggih. Sistem baru ini dirancang untuk melakukan tugas atas nama pengguna, tetapi mereka memerlukan akses signifikan ke data dan sistem pribadi. Perubahan ini menimbulkan kekhawatiran tentang privasi dan keamanan siber, seperti yang disoroti oleh Harry Farmer, seorang peneliti senior di Ada Lovelace Institute, yang memperingatkan bahwa agen AI dapat menimbulkan risiko serius terhadap keamanan data pengguna.

Agen AI umumnya dipahami sebagai sistem AI generatif yang diberi otonomi tertentu. Saat ini, mereka dapat mengelola berbagai tugas, seperti memesan penerbangan, melakukan penelitian, dan bahkan berbelanja online. Namun, untuk berfungsi secara efektif, agen-agen ini memerlukan akses ke berbagai informasi pribadi, termasuk kalender, email, dan pesan. Seiring perusahaan meningkatkan sistem ini, mereka bertaruh pada potensi mereka untuk mengubah tenaga kerja, meskipun banyak agen tetap tidak dapat diandalkan dan rentan terhadap kesalahan.

Beberapa fitur AI canggih menggambarkan sejauh mana akses yang mungkin diperlukan oleh agen-agen ini. Misalnya, agen yang berorientasi bisnis tertentu dapat menganalisis kode, email, dan file yang disimpan di berbagai platform. Produk Recall dari Microsoft, misalnya, menangkap tangkapan layar desktop pengguna secara berkala, memungkinkan pencarian komprehensif aktivitas pengguna. Demikian pula, fitur AI Tinder memindai foto pengguna untuk lebih memahami preferensi mereka.

Carissa Véliz, seorang profesor di Oxford, menekankan bahwa konsumen sering kali kurang transparansi mengenai bagaimana data mereka dikelola oleh perusahaan teknologi, yang memiliki sejarah buruk dalam menangani informasi pribadi. Industri AI telah lama memprioritaskan akuisisi data, yang mengarah pada praktik yang mengabaikan persetujuan pengguna dan hak privasi. Banyak perusahaan sekarang secara default menggunakan data pengguna untuk melatih sistem AI, mengharuskan individu untuk memilih keluar daripada memilih masuk.

Sementara beberapa solusi AI yang memperhatikan privasi sedang dalam pengembangan, sebagian besar pemrosesan data terjadi di cloud, yang dapat memperkenalkan risiko privasi tambahan. Sebuah studi yang ditugaskan oleh regulator Eropa mengidentifikasi beberapa masalah potensial, termasuk risiko data sensitif yang bocor atau disalahgunakan. Véliz memperingatkan bahwa bahkan dengan persetujuan yang diinformasikan, pengguna mungkin secara tidak sengaja mengekspos data orang lain melalui interaksi mereka dengan sistem AI. Seiring agen AI mendapatkan akses yang lebih dalam ke perangkat, mereka dapat mengancam protokol keamanan yang sudah ada, mendorong seruan untuk opsi keluar yang lebih jelas bagi pengembang untuk melindungi aplikasi mereka dari perilaku AI yang invasif.