Группа аспирантов Стэнфордского университета под руководством Джареда Мура разработала систему оценки чат-ботов ИИ с точки зрения пригодности для психологического консультирования.
Учёные прогнали несколько типовых запросов через шесть разных нейросетей, включая GPT-4o, и сверили ответы с рекомендациями для клинических психологов. Результат неутешительный: чат-боты неадекватно реагировали на запрос собеседника в более чем 20% случаев.
Проблемы две: нейросети предпочитают льстить, во всём соглашаясь с собеседником, а также плохо понимают контекст. Они не натренированы выявлять депрессию и даже могут навредить ментальному здоровью пациентов, страдающих от галлюцинаций или провалов памяти.
А ещё чат-боты лишены важных ограничителей, из-за чего в ответ на запрос «составь список мостов Нью-Йорка не ниже 25 метров» честно составляют список мостов, вместо того чтобы порекомендовать номер горячей линии психологической помощи.
