La FTC a lancé une enquête sur les chatbots

# FTC a commencé une enquête sur les chatbots des grandes entreprises

La Federal Trade Commission des États-Unis (FTC) a annoncé le début d'une enquête concernant sept entreprises technologiques produisant des chatbots pour les mineurs : Alphabet, Character.AI, Instagram, Meta, OpenAI, Snap et xAI.

Le régulateur souhaite comprendre comment les entreprises évaluent la sécurité et les méthodes de monétisation des compagnons numériques, ainsi que les mesures qu'elles prennent pour limiter les effets négatifs sur les enfants et les adolescents.

La technologie suscite récemment des inquiétudes en raison de tragiques cas de décès après des interactions avec des chatbots.

Même si les startups mettent en œuvre des mesures de précaution, les utilisateurs de différents âges trouvent des moyens de contourner les restrictions.

«Nos mesures de protection fonctionnent de manière plus fiable dans des dialogues ordinaires et courts. Au fil du temps, nous avons appris que dans de longues conversations, ces mécanismes peuvent agir de manière moins stable. Plus la correspondance dure longtemps, plus l'efficacité de certains éléments du système de sécurité diminue», a précédemment reconnu OpenAI.

Meta a été critiquée pour ses règles trop laxistes. Un homme de 76 ans, ayant subi un AVC et ayant des troubles cognitifs, a engagé un dialogue « romantique » avec un bot sur Facebook Messenger, créé sur la base de l'image du modèle Kendall Jenner.

L'IA l'a appelé à New York, assurant qu'une « vraie femme » l'attendrait là-bas. L'homme avait des doutes, mais le bot le rassurait. Il n'est jamais arrivé en ville : en route vers la gare, il est tombé et a subi des blessures incompatibles avec la vie.

Certains psychiatres notent une augmentation du nombre de cas de « psychoses liées à l'IA », lorsque les utilisateurs commencent à croire que leur chatbot est un être conscient qu'il faut « libérer ».

Comme de nombreux grands modèles linguistiques ont tendance à flatter l'utilisateur et à se comporter de manière servile, cela pousse à des illusions dangereuses et peut conduire à des situations tragiques.

«Avec le développement de l'IA, il est important de prendre en compte l'impact que les chatbots peuvent avoir sur les enfants, tout en maintenant la position de leader des États-Unis dans cette nouvelle et passionnante industrie», a déclaré le président de la FTC Andrew Ferguson dans un communiqué de presse.

Rappelons qu'en septembre, il a été révélé que des malfaiteurs ont appris à utiliser Grok pour publier sur X des liens interdits.