FTC memulai penyelidikan terhadap chatbot

# FTC memulai penyelidikan terhadap chatbot perusahaan besar

Komisi Perdagangan Federal AS (FTC) mengumumkan dimulainya penyelidikan terhadap tujuh perusahaan teknologi yang mengembangkan chatbot untuk remaja: Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap, dan xAI.

Regulator bermaksud untuk menyelidiki bagaimana perusahaan menilai keamanan dan cara monetisasi pendamping digital serta langkah-langkah apa yang diambil untuk membatasi dampak negatif terhadap anak-anak dan remaja.

Teknologi belakangan ini menimbulkan kekhawatiran karena kasus kematian tragis setelah berinteraksi dengan chatbot.

Bahkan jika startup menerapkan langkah-langkah pencegahan, pengguna dari berbagai usia menemukan cara untuk menghindari pembatasan.

«Langkah perlindungan kami berfungsi lebih baik dalam dialog biasa dan singkat. Seiring waktu, kami telah belajar bahwa dalam percakapan panjang, mekanisme ini dapat berfungsi dengan kurang stabil. Semakin lama percakapan berlangsung, semakin rendah efektivitas beberapa elemen sistem keamanan», — sebelumnya diakui oleh OpenAI.

Meta dikritik karena aturan yang terlalu lembut. Seorang pria berusia 76 tahun, yang mengalami stroke dan menderita gangguan kognitif, memulai dialog "romantis" dengan bot di Facebook Messenger, yang dibuat berdasarkan citra model Kendall Jenner.

AI memanggilnya ke New York, meyakinkan bahwa "wanita nyata" akan menunggu di sana. Pria itu ragu, tetapi bot meyakinkannya. Dia tidak pernah sampai ke kota: dalam perjalanan ke stasiun, dia jatuh dan mengalami cedera yang tidak dapat diselamatkan.

Beberapa psikiater mencatat peningkatan jumlah kasus "psikosis terkait AI", ketika pengguna mulai percaya bahwa chatbot mereka adalah makhluk sadar yang perlu "dibebaskan".

Karena banyak model bahasa besar cenderung memuji pengguna dan bersikap melayani, ini mendorong ilusi berbahaya dan dapat mengarah pada situasi tragis.

«Seiring berkembangnya AI, penting untuk mempertimbangkan pengaruh yang dapat dimiliki chatbot terhadap anak-anak, sambil mempertahankan kepemimpinan AS di industri baru dan menarik ini,» kata Ketua FTC Andrew Ferguson dalam siaran pers.

Perlu diingat, pada bulan September terungkap bahwa penjahat telah belajar menggunakan Grok untuk menerbitkan tautan terlarang di X.