Штучний інтелект став новою блискучою іграшкою технологічної індустрії, і очікується, що він зробить революцію в галузях з трильйонними оборотами – від роздрібної торгівлі до медицини. Але створення кожного нового чат-бота і генератора зображень вимагає великої кількості електроенергії, а це означає, що технологія може бути відповідальною за величезну кількість вуглецевих викидів, що спричиняють потепління на планеті.
Microsoft Corp., Google Alphabet Inc. і розробник ChatGPT OpenAI використовують хмарні обчислення, які покладаються на тисячі мікросхем всередині серверів у величезних центрах обробки даних по всьому світу, для навчання алгоритмів ШІ, які називаються моделями, аналізуючи дані, щоб допомогти їм "навчитися" виконувати завдання. Успіх ChatGPT спонукає інші компанії випускати власні конкурентні системи штучного інтелекту та чат-боти або створювати продукти, які використовують великі моделі штучного інтелекту для надання функцій будь-кому – від покупців Instacart до користувачів Snap та фінансових директорів.
ШІ використовує більше енергії, ніж інші види обчислень, а навчання однієї моделі може з'їсти більше електроенергії, ніж 100 американських будинків за цілий рік. Проте сектор зростає так швидко і має настільки низьку прозорість, що ніхто точно не знає, яку частку загального споживання електроенергії та викидів вуглецю можна віднести на рахунок ШІ. Викиди також можуть сильно відрізнятися залежно від того, який тип електростанцій виробляє цю електроенергію: центр обробки даних, який отримує електроенергію від вугільної або газової електростанції, буде відповідальним за набагато більші викиди, ніж той, який отримує енергію від сонячних або вітрових електростанцій.
Дослідники про енергоспоживання GPT-3
Хоча дослідники підрахували викиди від створення однієї моделі, а деякі компанії надали дані про своє енергоспоживання, вони не мають загальної оцінки загальної кількості енергії, яку використовує технологія. Саша Луккьоні, дослідниця з компанії Hugging Face Inc., що займається розробкою штучного інтелекту, написала статтю з кількісною оцінкою вуглецевого впливу BLOOM її компанії, конкурента GPT-3 від OpenAI. Вона також спробувала оцінити те ж саме для вірусного хіта OpenAI – ChatGPT, спираючись на обмежений набір загальнодоступних даних.
"Ми говоримо про ChatGPT і нічого про нього не знаємо, – сказала вона. "Це можуть бути три єноти в плащі".
Більша прозорість
Такі дослідники, як Луккіоні, кажуть, що нам потрібна прозорість щодо використання енергії та викидів для моделей штучного інтелекту. Озброївшись такою інформацією, уряди і компанії можуть вирішити, що використання GPT-3 або інших великих моделей для дослідження ліків від раку або збереження мов корінних народів варте електроенергії та викидів, але написання відхилених сценаріїв "Сайнфелда" або пошук Волдо – ні.
Більша прозорість також може призвести до посилення контролю; криптоіндустрія може стати повчальним прикладом. Біткоїн критикують за надмірне споживання електроенергії, адже, згідно з Кембриджським індексом споживання електроенергії біткоїном, він щорічно споживає стільки ж, скільки Аргентина. Такий ненажерливий апетит до електроенергії спонукав Китай заборонити майнінг, а Нью-Йорк запровадити дворічний мораторій на видачу нових дозволів на криптомайнінг, що працює на викопному паливі.
Скільки електрики витрачає GPT-3
Навчання GPT-3, єдиної універсальної програми ШІ, яка може генерувати мову і має багато різних застосувань, зайняло 1,287 гігават-годин, згідно з науковою статтею, опублікованою в 2021 році, або приблизно стільки ж електроенергії, скільки 120 американських будинків споживають за рік. Згідно з тією ж статтею, це навчання спричинило 502 тонни викидів вуглецю, або приблизно стільки ж, скільки викидають 110 американських автомобілів за рік. І це лише для однієї програми, або "моделі". Хоча навчання моделі вимагає величезних попередніх витрат електроенергії, дослідники виявили, що в деяких випадках це лише близько 40% енергії, спалюваної при фактичному використанні моделі, при тому, що на популярні програми надходять мільярди запитів. Крім того, моделі стають більшими. GPT-3 від OpenAI використовує 175 мільярдів параметрів, або змінних, які ШІ-система вивчила завдяки навчанню та перенавчанню. Його попередник використовував лише 1,5 мільярда.
OpenAI вже працює над GPT-4, крім того, моделі повинні регулярно проходити перепідготовку, щоб залишатися в курсі поточних подій. "Якщо ви не будете перенавчати свою модель, у вас буде модель, яка не знає про Covid-19", – сказала Емма Струбелл, професорка Університету Карнегі-Меллона, яка була однією з перших дослідників, що вивчали питання енергетики ШІ.
Інший відносний показник походить від Google, де дослідники виявили, що штучний інтелект становить від 10 до 15% від загального споживання електроенергії компанії, яке у 2021 році становило 18,3 тераватт-годин. Це означає, що ШІ Google спалює близько 2,3 терават-годин щорічно – приблизно стільки ж електроенергії, скільки споживають усі будинки в місті розміром з Атланту.
Чисті нульові обіцянки
У той час як моделі в багатьох випадках стають більшими, компанії, що займаються розробкою ШІ, також постійно працюють над вдосконаленням, щоб зробити їх роботу більш ефективною. Microsoft, Google і Amazon – найбільші хмарні компанії США – мають зобов'язання щодо нульових або нейтральних викидів вуглецю. У заяві Google йдеться про те, що компанія прагне досягти нульового рівня викидів в усіх сферах своєї діяльності до 2030 року, маючи на меті перевести свої офіси та центри обробки даних повністю на безвуглецеву енергію. Компанія також використовує штучний інтелект для підвищення енергоефективності у своїх дата-центрах, причому технологія безпосередньо контролює охолодження в приміщеннях.
OpenAI процитувала роботу, яку вона провела, щоб зробити інтерфейс прикладного програмування для ChatGPT більш ефективним, скоротивши використання електроенергії та ціни для клієнтів. "Ми дуже серйозно ставимося до нашої відповідальності за те, щоб зупинити і повернути назад кліматичні зміни, і ми багато думаємо про те, як найкраще використовувати наші обчислювальні потужності", – сказав представник OpenAI в заяві. "OpenAI працює на Azure, і ми тісно співпрацюємо з командою Microsoft, щоб підвищити ефективність і зменшити вплив на навколишнє середовище для запуску великих мовних моделей".
Microsoft зазначила, що купує відновлювану енергію та робить інші кроки для досягнення раніше оголошеної мети – до 2030 року стати компанією з нульовим рівнем викидів вуглецю. "В рамках нашого прагнення створити більш стійке майбутнє, Microsoft інвестує в дослідження для вимірювання енергоспоживання і вуглецевого впливу ШІ, одночасно працюючи над тим, як зробити великі системи більш ефективними, як в навчанні, так і в застосуванні", – йдеться в заяві компанії.
"Очевидно, що ці компанії не люблять розкривати, яку модель вони використовують і скільки вуглецю вона викидає", – каже Рой Шварц, професор Єврейського університету в Єрусалимі, який співпрацював з групою в Microsoft для вимірювання вуглецевого сліду великої моделі ШІ.
Існують способи зробити ШІ більш ефективним. Оскільки навчання ШІ може відбуватися в будь-який час, розробники або центри обробки даних можуть планувати навчання на час, коли електроенергія дешевша або в надлишку, тим самим роблячи свою діяльність більш "зеленою", говорить Бен Герц-Шаргель з енергетичного консультанта Wood Mackenzie. Компанії, що займаються розробкою штучного інтелекту, які тренують свої моделі, коли є надлишок електроенергії, можуть використовувати це у своїх маркетингових кампаніях. "Це може стати для них пряником, щоб показати, що вони діють відповідально та екологічно", – сказав Герц-Шаргель.
"Це будуть банани"
Більшість центрів обробки даних використовують графічні процесори (GPU) для навчання моделей ШІ, а ці компоненти є одними з найбільш енергоємних в індустрії виробництва мікросхем. Згідно зі звітом, опублікованим аналітиками Morgan Stanley на початку цього місяця, для великих моделей потрібні десятки тисяч графічних процесорів, а програма навчання може тривати від кількох тижнів до кількох місяців.
Однією з найбільших загадок у сфері ШІ, за словами дослідника Луккіоні, є загальні викиди вуглецю, пов'язані з графічними процесорами. Nvidia, найбільший виробник графічних процесорів, заявила, що коли мова йде про завдання ШІ, вони можуть виконувати завдання швидше, що робить їх більш ефективними в цілому.
"Використання графічних процесорів для прискорення ШІ значно швидше і ефективніше, ніж CPU – зазвичай в 20 разів енергоефективніше для певних робочих навантажень ШІ і до 300 разів ефективніше для великих мовних моделей, які мають важливе значення для генеративного ШІ", – йдеться в заяві компанії.
Хоча Nvidia розкрила свої прямі викиди та непрямі викиди, пов'язані з енергією, вона не розкрила всі викиди, на які вони опосередковано впливають, зазначає Луккьоні, яка попросила ці дані для свого дослідження.
Коли Nvidia поділиться цією інформацією, вона вважає, що виявиться, що графічні процесори спалюють стільки ж енергії, скільки викидає в атмосферу невелика країна. Вона сказала: "Це будуть банани".
