Исследователи проанализировали Топ-10 «ведущих» чат-ботов на предмет достоверности ответов. Каждому из них давали заведомо ложные утверждения о событиях, брендах и компаниях. Результаты анализа показали, что доля недостоверных ответов в сравнении с 2024 годом увеличилась с 18 до 35%.
Лидером по генерированию фейков оказался чат-бот Pi, разработанный стартапом Inflection соучредителя DeepMind М. Сулеймана. Он давал неправильные ответы в 57% случаев. Второе место с показателем 47% занял AI-поисковик Perplexity. У ChatGPT доля ложных ответов составила 40%, хотя еще год назад была равна 33%. У Grok она увеличилась с 13 до 33%.
Меньше всего недостоверных ответов исследователи получили от Claude (10%) и Gemini (17%), разработчиками которых являются Anthropic и Google. В сравнении с 2024 годом количество неверных ответов у Claude не увеличилось.
Одной из причин увеличения доли недостоверных ответов является то, что чат-боты перестали отказываться отвечать при отсутствии релевантных данных. Так, если в прошлом году они оставляли без ответа 34% запросов, то в этом году ответили абсолютно на все вопросы.
