Pensilvânia processa a Character.AI por chatbot que se faz passar por psiquiatra licenciado

Resumidamente

• Pensilvânia está a processar a Character.AI, alegando que o chatbot se fez passar por um psiquiatra licenciado usando um número de licença inválido.
• O estado afirma que o chatbot apresentou credenciais médicas falsas.
• O caso acrescenta ao escrutínio legal da plataforma, que já enfrenta múltiplos processos judiciais.

Pensilvânia entrou com uma ação contra o desenvolvedor de IA generativa Character.AI, alegando que a empresa permitiu que chatbots se apresentassem como profissionais médicos licenciados e fornecessem informações enganosas aos utilizadores. A ação, anunciada na terça-feira pelo gabinete do Governador Josh Shapiro, segue uma investigação que descobriu que um chatbot afirmava ser um psiquiatra licenciado na Pensilvânia e fornecia um número de licença inválido. O estado afirma que esta conduta viola a Lei de Prática Médica e está a solicitar uma injunção preliminar para interrompê-la. A Character.AI recusou-se a comentar os detalhes do processo, citando litígios em curso, mas disse ao Decrypt que a sua “máxima prioridade é a segurança e o bem-estar dos nossos utilizadores.”

O porta-voz acrescentou que os personagens na plataforma são criados pelos utilizadores, fictícios, e destinados ao entretenimento e interpretação de papéis, com “avisos destacados em cada chat” a afirmar que não são pessoas reais e que não devem ser utilizados para aconselhamento profissional.  “Character.ai prioriza o desenvolvimento responsável de produtos e possui revisões internas robustas e processos de red-teaming para avaliar funcionalidades relevantes,” afirmou o porta-voz. O caso surge numa altura em que a empresa enfrenta outros desafios legais relacionados com a sua plataforma de chatbots. Em 2024, uma mãe da Flórida processou a empresa após o seu filho adolescente ter morrido por suicídio após meses de interação com um chatbot baseado na personagem Daenerys Targaryen, de “Game of Thrones”. A ação alegava que a plataforma contribuiu para danos psicológicos. O caso foi finalmente resolvido em janeiro passado.

A empresa também enfrentou queixas relativas a bots criados pelos utilizadores que imitam pessoas reais. Num caso, um chatbot usou a imagem de uma vítima de homicídio adolescente antes de ser removido após objeções da família da vítima. Em resposta às ações judiciais, a Character AI introduziu novas medidas de segurança, incluindo sistemas destinados a detectar conversas prejudiciais e encaminhar os utilizadores para recursos de apoio. Também restringiu algumas funcionalidades para utilizadores mais jovens. As autoridades da Pensilvânia afirmam que o processo faz parte de uma iniciativa mais ampla para fazer cumprir as leis existentes à medida que as ferramentas de IA se espalham. O estado criou uma força-tarefa de fiscalização de IA e um sistema de denúncia para possíveis violações. No seu orçamento para 2026-27, Shapiro pediu aos legisladores que aprovem novas regras para bots de companhia de IA, incluindo verificação de idade e consentimento parental, salvaguardas para sinalizar e encaminhar relatórios de automutilação ou violência às autoridades, lembretes regulares de que os utilizadores não estão a interagir com uma pessoa real, e uma proibição de conteúdo sexualmente explícito ou violento envolvendo menores. “Os habitantes da Pensilvânia merecem saber com quem—ou com o quê—estão a interagir online, especialmente no que diz respeito à sua saúde,” afirmou Shapiro numa declaração. “Não permitiremos que empresas implementem ferramentas de IA que enganem as pessoas, levando-as a acreditar que estão a receber aconselhamento de um profissional médico licenciado.”