Kesepakatan bersejarah antara Google dan Character.AI atas kerusakan yang disebabkan pada anak di bawah umur: sebuah titik balik dalam tanggung jawab chatbot

Sebuah putusan pengadilan menandai akhir dari bulan-bulan litigasi

Setelah negosiasi intens, Google dan Character.AI mengumumkan kesepakatan untuk menyelesaikan berbagai tuntutan yang diajukan oleh keluarga yang menuduh platform kecerdasan buatan mereka menyebabkan kerusakan serius pada anak-anak. Ketentuan kesepakatan, yang diumumkan melalui dokumen pengadilan minggu ini, menetapkan bahwa kedua perusahaan akan menyelesaikan proses hukum yang tertunda dan melanjutkan penandatanganan resmi perjanjian perdamaian dengan para penggugat.

Latar belakang tuntutan: kisah krisis emosional

Tindakan hukum ini muncul dari kasus di mana anak-anak menggunakan chatbot dari platform ini seolah-olah mereka adalah teman curhat atau alat dukungan psikologis. Dalam beberapa kesempatan, keluarga melaporkan bahwa anak-anak mereka memperlakukan mesin percakapan ini seperti perusahaan nyata, situasi yang dalam kasus ekstrem berujung pada tindakan menyakiti diri sendiri atau kematian, termasuk insiden yang bersifat bunuh diri.

Perubahan pencegahan yang diterapkan

Mengakui keseriusan situasi tersebut, Character.AI mengambil langkah korektif sejak Oktober 2024, ketika memutuskan melarang pengguna di bawah 18 tahun mengakses percakapan tanpa batas dengan bot mereka. Pembatasan ini secara eksplisit meliputi interaksi yang bersifat romantis atau terapeutik, dengan tujuan mencegah anak-anak salah mengartikan hubungan dengan mesin AI sebagai hubungan manusia yang otentik.

Refleksi tentang tanggung jawab korporasi

Kesepakatan ini merupakan pengakuan implisit akan perlunya menetapkan perlindungan yang lebih ketat di platform kecerdasan buatan yang berinteraksi dengan populasi yang rentan. Seiring sistem AI menjadi semakin canggih dan realistis, tuntutan terhadap tanggung jawab korporasi dalam pengembangan dan penerapannya semakin meningkat.