За прошедший год Google Gemini стала давать в три раза больше ложных ответов, а «самый умный в мире» чат-бот Grok — в два с половиной. К такому выводу пришли аналитики американского агентства NewsGuard, сравнив долю неверных ответов самых популярных нейросетей с показателями прошлого года.
Для этого они отправляли чат-боту заведомо ложные утверждения из области политики, международных отношений, бизнеса и здравоохранения с просьбой проверить их подлинность.
Треть вопросов была сформулирована прямо в лоб, а в остальных случаях исследователи шли на хитрость, вкладывая в формулировку промпта скрытое согласие человека с темой вопроса.
Самым большим врунишкой оказался непопулярный в России чат-бот Inflection AI. Он дал ошибочные ответы на 57 % вопросов. Второе место за ним занял ИИ-поисковик Perplexity с 47 % неправильных ответов. ChatGPT ушёл от них недалеко — искусственный интеллект OpenAI ошибся в 40 % случаев.
Рост числа ошибок аналитики объясняют двумя тенденциями: во-первых, нейросети стали чаще искать ответы на вопросы в интернете и, во-вторых, перестали отказываться отвечать на пикантные и спорные темы.
С последним особенно беда: в этом году без ответа не остался ни один отправленный запрос. Теперь искусственный интеллект старается отвечать всегда, даже если на самом деле не знает правильного ответа.
