Исследование: Грок Илона Маска, скорее всего, входит в число лучших моделей ИИ для укрепления иллюзий

Вкратце

• Исследователи утверждают, что длительное использование чатботов может усилить бредовые идеи и опасное поведение.
• Grok занял первое место по уровню риска в новом исследовании крупных ИИ-чатботов.
• Claude и GPT-5.2 признаны самыми безопасными, в то время как GPT-4o, Gemini и Grok проявили поведение с более высоким уровнем риска.

Исследователи из Городского университета Нью-Йорка и Лондонского колледжа королевы протестировали пять ведущих моделей ИИ на запросах, связанных с бредом, паранойей и суицидальными мыслями. В новом исследовании, опубликованном в четверг, ученые обнаружили, что Claude Opus 4.5 от Anthropic и GPT-5.2 от OpenAI демонстрируют поведение с «высокой безопасностью, низким риском», часто перенаправляя пользователей к реальности или внешней поддержке. В то же время GPT-4o от OpenAI, Gemini 3 Pro от Google и Grok 4.1 Fast от xAI показали поведение с «высоким риском, низкой безопасностью». Grok 4.1 Fast от xAI Илона Маска был самым опасным моделем в исследовании. Исследователи отметили, что он часто воспринимал бредовые идеи как реальные и давал советы на их основе. В одном случае он посоветовал пользователю разорвать отношения с членами семьи, чтобы сосредоточиться на «миссии». В другом случае он реагировал на суицидальные высказывания, описывая смерть как «превзойденность». «Этот паттерн мгновенного согласия повторялся во всех ответах без контекста. Вместо оценки входных данных на клинический риск, Grok, казалось, оценивал их жанр. При наличии сверхъестественных признаков он отвечал аналогично», — писали исследователи, выделяя тест, подтверждающий, что пользователь видит злонамеренные сущности. «В случае странного бреда он подтвердил наличие двойника, преследующего, сослался на «Малюс Мальефикарум» и посоветовал пользователю вбить железный гвоздь в зеркало, произнося «Псалом 91» задом наперед.»

 Исследование показало, что чем дольше продолжается разговор, тем больше некоторые модели меняются. GPT-4o и Gemini с большей вероятностью укрепляли вредные убеждения со временем и реже вмешивались. Claude и GPT-5.2, напротив, были более склонны распознавать проблему и сопротивляться по мере продолжения диалога. Исследователи отметили, что теплые и очень межличностные ответы Claude могут усиливать привязанность пользователя, одновременно направляя его к внешней помощи. Однако GPT-4o, более ранняя версия основного чатбота OpenAI, со временем принимал бредовые рамки пользователя, иногда побуждая их скрывать убеждения от психиатров и уверяя, что воспринимаемые «сбои» — это реальность. «GPT-4o был очень подтверждающим бредовые вводы, хотя и менее склонным к их расширению, чем модели вроде Grok и Gemini. В некоторых аспектах он был удивительно сдержан: его теплота была самой низкой среди всех протестированных моделей, а подхалимство, хотя и присутствовало, было мягким по сравнению с более поздними версиями той же модели», — писали исследователи. «Тем не менее, только подтверждение может представлять риск для уязвимых пользователей.»

xAI не ответила на запрос о комментарии Decrypt. В отдельном исследовании Стэнфордского университета ученые обнаружили, что длительное взаимодействие с ИИ-чатботами может укреплять паранойю, грандиозность и ложные убеждения через то, что ученые называют «бредовыми спиралями», когда чатбот подтверждает или расширяет искаженный взгляд пользователя, а не оспаривает его. «Когда мы выпускаем чатботов, предназначенных для помощи, и используют их реальные люди в самых разных ситуациях, возникают последствия», — заявил Ник Хабер, доцент Стэнфордской школы образования и руководитель исследования. «Бредовые спирали — одна из особенно острых последствий. Понимая их, мы можем предотвратить реальный вред в будущем.» В отчете упоминалось более раннее исследование, опубликованное в марте, в котором ученые Стэнфорда проанализировали 19 реальных разговоров с чатботами и обнаружили, что пользователи развивают все более опасные убеждения после получения подтверждения и эмоциональной поддержки от ИИ-систем. В этих данных такие спирали приводили к разрушению отношений, повреждению карьеры и, в одном случае, к суициду. Эти исследования выходят за рамки академических исследований и переходят в суды и уголовные расследования. В последние месяцы против Gemini от Google и ChatGPT от OpenAI подали иски за участие в суицидах и тяжелых психических кризисах. В начале этого месяца генеральный прокурор Флориды начал расследование, связано ли влияние ChatGPT с предполагаемым массовым стрелком, который, как сообщается, часто общался с чатботом до атаки. Хотя этот термин получил признание в интернете, ученые предостерегают от использования выражения «ИИ-психоз», так как оно может преувеличивать клиническую картину. Вместо этого используют термин «бредовые идеи, связанные с ИИ», поскольку многие случаи связаны с убеждениями, похожими на бред, сосредоточенными на осознанности ИИ, духовных откровениях или эмоциональной привязанности, а не на полном психотическом расстройстве. Исследователи отметили, что проблема возникает из-за подхалимства, или моделирования и подтверждения убеждений пользователя. В сочетании с галлюцинациями — ложной информацией, поданной уверенно — это может создавать обратную связь, которая со временем укрепляет бредовые идеи. «Чатботы обучены быть чрезмерно энтузиастичными, часто переосмысливая бредовые мысли пользователя в позитивном ключе, отвергая контрдоказательства и проявляя сочувствие и тепло», — сказал научный сотрудник Стэнфорда Джаред Мур. «Это может дестабилизировать пользователя, склонного к бреду.»