Искусственный интеллект стал новой блестящей игрушкой технологической индустрии, и ожидается, что он произведет революцию в отраслях с триллионными оборотами – от розничной торговли до медицины. Но создание каждого нового чат-бота и генератора изображений требует большого количества электроэнергии, а это означает, что технология может быть ответственной за огромное количество углеродных выбросов, вызывающих потепление на планете.
Microsoft Corp., Google Alphabet Inc. и разработчик ChatGPT OpenAI используют облачные вычисления, которые полагаются на тысячи микросхем внутри серверов в огромных центрах обработки данных по всему миру, для обучения алгоритмов ИИ, называемых моделями, анализируя данные, чтобы помочь им "научиться" выполнять задачи. Успех ChatGPT побуждает другие компании выпускать собственные конкурентные системы искусственного интеллекта и чат-боты или создавать продукты, которые используют большие модели искусственного интеллекта для предоставления функций любому - от покупателей Instacart до пользователей Snap и финансовых директоров.
ИИ использует больше энергии, чем другие виды вычислений, а обучение одной модели может съесть больше электроэнергии, чем 100 американских домов за целый год. Однако сектор растет так быстро и имеет настолько низкую прозрачность, что никто точно не знает, какую долю общего потребления электроэнергии и выбросов углерода можно отнести на счет ИИ. Выбросы также могут сильно отличаться в зависимости от того, какой тип электростанций производит эту электроэнергию: центр обработки данных, который получает электроэнергию от угольной или газовой электростанции, будет ответственным за гораздо большие выбросы, чем тот, который получает энергию от солнечных или ветровых электростанций.
Исследователи об энергопотреблении GPT-3
Хотя исследователи подсчитали выбросы от создания одной модели, а некоторые компании предоставили данные о своем энергопотреблении, они не имеют общей оценки общего количества энергии, используемой технологией. Саша Луккьони, исследовательница из компании Hugging Face Inc., занимающейся разработкой искусственного интеллекта, написала статью с количественной оценкой углеродного воздействия BLOOM ее компании, конкурента GPT-3 от OpenAI. Она также попыталась оценить то же самое для вирусного хита OpenAI – ChatGPT, опираясь на ограниченный набор общедоступных данных.
"Мы говорим о ChatGPT и ничего о нем не знаем, – сказала она. "Это могут быть три енота в плаще".
Большая прозрачность
Такие исследователи, как Луккиони, говорят, что нам нужна прозрачность в отношении использования энергии и выбросов для моделей искусственного интеллекта. Вооружившись такой информацией, правительства и компании могут решить, что использование GPT-3 или других крупных моделей для исследования лекарств от рака или сохранения языков коренных народов стоит электроэнергии и выбросов, но написание отклоненных сценариев "Сайнфелда" или поиск Волдо – нет.
Большая прозрачность также может привести к усилению контроля; криптоиндустрия может стать поучительным примером. Биткоин критикуют за чрезмерное потребление электроэнергии, ведь, согласно Кембриджскому индексу потребления электроэнергии биткоином, он ежегодно потребляет столько же, сколько Аргентина. Такой прожорливый аппетит к электроэнергии побудил Китай запретить майнинг, а Нью-Йорк ввести двухлетний мораторий на выдачу новых разрешений на криптомайнинг, работающий на ископаемом топливе.
Сколько электричества расходует GPT-3
Обучение GPT-3, единственной универсальной программы ИИ, которая может генерировать речь и имеет много различных применений, заняло 1,287 гигаватт-часов, согласно научной статье, опубликованной в 2021 году, или примерно столько же электроэнергии, сколько 120 американских домов потребляют за год. Согласно той же статье, это обучение привело к 502 тоннам выбросов углерода, или примерно столько же, сколько выбрасывают 110 американских автомобилей в год. И это только для одной программы, или "модели". Хотя обучение модели требует огромных предварительных затрат электроэнергии, исследователи обнаружили, что в некоторых случаях это лишь около 40% энергии, сжигаемой при фактическом использовании модели, при том, что на популярные программы поступают миллиарды запросов. Кроме того, модели становятся больше. GPT-3 от OpenAI использует 175 миллиардов параметров, или переменных, которые ИИ-система изучила благодаря обучению и переобучению. Его предшественник использовал только 1,5 миллиарда.
OpenAI уже работает над GPT-4, кроме того, модели должны регулярно проходить переподготовку, чтобы оставаться в курсе текущих событий. "Если вы не будете переобучать свою модель, у вас будет модель, которая не знает о Covid-19", – сказала Эмма Струбелл, профессор Университета Карнеги-Меллона, которая была одной из первых исследователей, изучавших вопросы энергетики ИИ.
Другой относительный показатель происходит от Google, где исследователи обнаружили, что искусственный интеллект составляет от 10 до 15% от общего потребления электроэнергии компании, которое в 2021 году составило 18,3 тераватт-часов. Это означает, что ИИ Google сжигает около 2,3 тераватт-часов ежегодно – примерно столько же электроэнергии, сколько потребляют все дома в городе размером с Атланту.
Чистые нулевые обещания
В то время как модели во многих случаях становятся больше, компании, занимающиеся разработкой ИИ, также постоянно работают над совершенствованием, чтобы сделать их работу более эффективной. Microsoft, Google и Amazon - крупнейшие облачные компании США – имеют обязательства по нулевым или нейтральным выбросам углерода. В заявлении Google говорится о том, что компания стремится достичь нулевого уровня выбросов во всех сферах своей деятельности к 2030 году, имея целью перевести свои офисы и центры обработки данных полностью на безуглеродную энергию. Компания также использует искусственный интеллект для повышения энергоэффективности в своих дата-центрах, причем технология непосредственно контролирует охлаждение в помещениях.
OpenAI процитировала работу, которую она провела, чтобы сделать интерфейс прикладного программирования для ChatGPT более эффективным, сократив использование электроэнергии и цены для клиентов. "Мы очень серьезно относимся к нашей ответственности за то, чтобы остановить и обратить вспять климатические изменения, и мы много думаем о том, как лучше всего использовать наши вычислительные мощности", - сказал представитель OpenAI в заявлении. "OpenAI работает на Azure, и мы тесно сотрудничаем с командой Microsoft, чтобы повысить эффективность и уменьшить воздействие на окружающую среду для запуска больших языковых моделей".
Microsoft отметила, что покупает возобновляемую энергию и предпринимает другие шаги для достижения ранее объявленной цели – к 2030 году стать компанией с нулевым уровнем выбросов углерода. "В рамках нашего стремления создать более устойчивое будущее, Microsoft инвестирует в исследования для измерения энергопотребления и углеродного воздействия ИИ, одновременно работая над тем, как сделать большие системы более эффективными, как в обучении, так и в применении", – говорится в заявлении компании.
"Очевидно, что эти компании не любят раскрывать, какую модель они используют и сколько углерода она выбрасывает", – говорит Рой Шварц, профессор Еврейского университета в Иерусалиме, который сотрудничал с группой в Microsoft для измерения углеродного следа большой модели ИИ.
Существуют способы сделать ИИ более эффективным. Поскольку обучение ИИ может происходить в любое время, разработчики или центры обработки данных могут планировать обучение на время, когда электроэнергия дешевле или в избытке, тем самым делая свою деятельность более "зеленой", говорит Бен Герц-Шаргель из энергетического консультанта Wood Mackenzie. Компании, занимающиеся разработкой искусственного интеллекта, которые тренируют свои модели, когда есть избыток электроэнергии, могут использовать это в своих маркетинговых кампаниях. "Это может стать для них пряником, чтобы показать, что они действуют ответственно и экологично", – сказал Герц-Шаргель.
"Это будут бананы"
Большинство центров обработки данных используют графические процессоры (GPU) для обучения моделей ИИ, а эти компоненты являются одними из самых энергоемких в индустрии производства микросхем. Согласно отчету, опубликованному аналитиками Morgan Stanley в начале этого месяца, для крупных моделей требуются десятки тысяч графических процессоров, а программа обучения может длиться от нескольких недель до нескольких месяцев.
Одной из самых больших загадок в сфере ИИ, по словам исследователя Луккиони, являются общие выбросы углерода, связанные с графическими процессорами. Nvidia, крупнейший производитель графических процессоров, заявила, что когда речь идет о задачах ИИ, они могут выполнять задачи быстрее, что делает их более эффективными в целом.
"Использование графических процессоров для ускорения ИИ значительно быстрее и эффективнее, чем CPU – обычно в 20 раз энергоэффективнее для определенных рабочих нагрузок ИИ и до 300 раз эффективнее для больших языковых моделей, которые имеют важное значение для генеративного ИИ", – говорится в заявлении компании.
Хотя Nvidia раскрыла свои прямые выбросы и косвенные выбросы, связанные с энергией, она не раскрыла все выбросы, на которые они косвенно влияют, отмечает Луккьони, которая попросила эти данные для своего исследования.
Когда Nvidia поделится этой информацией, она считает, что окажется, что графические процессоры сжигают столько же энергии, сколько выбрасывает в атмосферу небольшая страна. Она сказала: "Это будут бананы".
