Всё из-за перепадов энергопотребления во время обучения нейросеток. В один вычислительный модуль может быть объединено до ста тысяч GPU, и все они одновременно загружаются на 100 % во время интенсивных вычислительных задач, но почти не используются для синхронизации и копирования данных.
Переход из состояния простоя к интенсивным вычислениям происходит почти мгновенно. В отдельных случаях перепады достигают десятков и сотен мегаватт — примерно как если одновременно зажечь 75 000 электрочайников.
По мнению исследователей, внезапное включение и выключение GPU-кластеров создаёт колоссальную нагрузку на линии электропередач и турбинные двигатели электростанций, значительно ускоряя темпы их механического износа.
Microsoft, OpenAI и NVIDIA активно ищут способ выровнять катастрофические перепады энергопотребления, но простого решения проблемы нет.
Чтобы снизить нагрузку с городских сетей, требуется оборудовать дата-центры огромными аккумуляторами, которые могли бы постепенно накапливать необходимый объём энергии заранее.
Другой вариант — ограничить минимальное и максимальное энергопотребление видеокарт либо начать загружать их асинхронно, жертвуя привычными темпами тренировки ИИ.
