Исследователи из Техасского университета и Университета Пердью выяснили, что нейросети деградируют, если кормить их брейнротом — низкокачественным контентом вроде кликбейта, вирусных постов и сгенерированных роликов, созданных ради лайков.
Модели тренировали на двух типах «информационного мусора»: длинных пустых статьях с кликбейтными заголовками и коротких постах уровня «поставь лайк, чтобы этот котёнок нашёл дом». Посты, кстати, брали из X (бывший Twitter).
В итоге все модели стали глупее. Llama3 8B и Qwen2.5 7B/0.5B оказались устойчивее, а вот Qwen3 4B потеряла способность понимать контекст, рассуждать и соблюдать базовые правила безопасности. Чем больше мусора — тем хуже ответы. Хуже всего брейнрот переварила Llama3 8B: у неё вырос нарциссизм, снизилась сговорчивость и появились признаки психопатии. И самое неприятное — эффект оказался необратимым.
Похоже, что пылесосить весь интернет ради обучения ИИ — плохая идея. Возможно, это касается только небольших локальных моделей. Исследования о том, как работают гиганты вроде условного ChatGPT, мы вряд ли увидим. Зато уже можно пофантазировать о том, что старый интернет однажды придётся изолировать файрволом, как в Cyberpunk 2077! И запускать интернет по новой, оставив психопатичные ИИ беситься без нас.
