Климатические алармисты ведут войну с энергоемкими криптовалютными майнингами, но до сих пор не осудили большие языковые модели (LLM), такие как ChatGPT компании OpenAI, поддерживаемой Microsoft, которые потребляют 16 унций (470 мл.) пресной воды каждый раз, когда пользователь задает ему ряд вопросов.

Стремясь извлечь выгоду из увлечения генеративным ИИ (искусственный интеллект), ведущие разработчики технологий, включая Microsoft, OpenAI и Google, признали, что растущий спрос на их инструменты искусственного интеллекта влечет за собой значительные затраты, от дорогих полупроводников до увеличения потребления воды.

Но они часто скрывают детали. Мало кто в Айове знал о том, что она является родиной самой совершенной крупноязычной модели OpenAI — GPT-4, пока один из руководителей Microsoft в своей речи не заявил, что она «была буквально создана рядом с кукурузными полями к западу от Де-Мойна».

Построение большой языковой модели требует анализа закономерностей в огромном массиве написанного человеком текста. Все эти вычисления требуют много электроэнергии и выделяют много тепла. Чтобы охладить их в жаркие дни, центрам обработки данных необходимо подавать воду — часто в градирни, расположенные за пределами зданий складского типа.

В связи с беспрецедентной популярностью чатботов в этом году возникли экологические проблемы, связанные с LLM, поскольку массивные центры обработки данных, на которых работают чатботы, требуют огромного количества жидкостного охлаждения на основе воды.

В своем последнем экологическом отчёте Microsoft сообщила, что мировое потребление воды выросло на 34% с 2021 по 2022 год (почти до 1,7 миллиарда галлонов, или более 2500 бассейнов олимпийского размера), что является резким увеличением по сравнению с предыдущими годами, которое сторонние исследователи связывают с её [Microsoft] исследованиями в области искусственного интеллекта.

«Можно с уверенностью сказать, что большая часть роста обусловлена ИИ», включая «значительные инвестиции в генеративный ИИ и партнерство с OpenAI», — говорит Шаолей Рен, исследователь из Калифорнийского университета в Риверсайде, который пытался рассчитать воздействие на окружающую среду продуктов генеративного ИИ, таких как ChatGPT.

В работе, которая должна быть опубликована в конце этого года, команда Рена подсчитала, что ChatGPT «выпивает» 500 миллилитров воды (примерно столько же, сколько содержится в 16-унциевой бутылке с водой) каждый раз, когда вы задаете ему серию из 5-50 подсказок или вопросов.

Этот показатель зависит от местонахождения серверов и времени года. Оценка включает косвенное потребление воды, которое компании не измеряют, например, для охлаждения электростанций, обеспечивающих электроэнергией центры обработки данных.

«Большинство людей не знают о том, какие ресурсы используются в ChatGPT», — сказал Рен. «Если вы не знаете о потреблении ресурсов, то мы никак не сможем помочь в их экономии».

Компания Google сообщила о росте потребления воды на 20% за тот же период, что Рен также в значительной степени связывает со своей работой в области искусственного интеллекта. Скачок Google не был равномерным: в штате Орегон, где водопотребление компании привлекло внимание общественности, оно было стабильным, а за пределами Лас-Вегаса — удвоилось.

В штате Айова компания также испытывала жажду, потребляя больше питьевой воды в своих центрах обработки данных в Совет-Блаффс, чем где-либо ещё.

Отвечая на вопросы The Associated Press, Microsoft в своем заявлении на этой неделе сообщила, что инвестирует средства в исследования по измерению энергетического и углеродного следа ИИ, «работая над тем, как сделать большие системы более эффективными как в обучении, так и в применении».

«Мы будем продолжать следить за уровнем выбросов, ускорять прогресс, увеличивая использование экологически чистой энергии для питания центров обработки данных, закупая возобновляемые источники энергии и предпринимать другие усилия для достижения наших целей в области устойчивого развития — к 2030 году стать экологически чистыми, водосберегающими и безотходными», — говорится в заявлении компании.

В пятницу OpenAI присоединилась к этим замечаниям, заявив, что она «тщательно обдумывает» наилучшее использование вычислительных мощностей.

“Мы признаем, что обучение больших моделей может быть энергоемким и водозатратным” и работаем над повышением эффективности, — говорится в сообщении.

Microsoft впервые инвестировала 1 млрд долларов в компанию OpenAI из Сан-Франциско в 2019 году, более чем за два года до того, как стартап представил ChatGPT и вызвал во всём мире интерес к достижениям в области искусственного интеллекта. В рамках сделки софтверный гигант поставлял вычислительные мощности, необходимые для обучения моделей ИИ.

Для выполнения хотя бы части этой работы обе компании обратились к Западному Де-Мойну (штат Айова), городу с населением 68 тыс. человек, где Microsoft уже более десяти лет собирает центры обработки данных для предоставления своих услуг облачных вычислений. В конце этого года здесь должны открыться четвертый и пятый центры обработки данных.


Движение по межштатной автомагистрали 35 проходит мимо центра обработки данных Microsoft, вторник, 5 сентября 2023 года, в Западном Де-Мойне, штат Айова. Microsoft уже более десяти лет собирает группу центров обработки данных для поддержки своих облачных вычислительных сервисов. Её четвёртый и пятый центры обработки данных в городе должны открыться позднее в этом году.

«Они строят их так быстро, как только могут», — говорит Стив Гаер, который был мэром города, когда Microsoft пришла в город. По словам Гаера, компанию привлекло стремление города к созданию общественной инфраструктуры и она внесла «ошеломляющую» сумму денег в виде налоговых платежей, поддерживающих эти инвестиции.

«Но, знаете, они были довольно скрытными в отношении того, что они там делают», — добавил он.


Центр обработки данных Microsoft возле межштатной автомагистрали 35 во вторник, 5 сентября 2023 года, в Западном Де-Мойне, штат Айова.

Впервые Microsoft заявила о разработке одного из самых мощных в мире суперкомпьютеров для OpenAI в 2020 году, отказавшись сообщить AP его местоположение, но описав его как «единую систему» с более чем 285 000 ядер обычных полупроводников и 10 000 графических процессоров — тип чипа, который стал критически важным для рабочих нагрузок ИИ.

По мнению экспертов, «предварительное обучение» модели искусственного интеллекта может иметь смысл проводить в одном месте из-за большого объема данных, которые необходимо передавать между вычислительными ядрами.

Только в конце мая президент Microsoft Брэд Смит сообщил, что компания построила в штате Айова «передовой суперкомпьютерный вычислительный центр ИИ», предназначенный исключительно для того, чтобы OpenAI мог обучать свою модель четвертого поколения — GPT-4.

В настоящее время эта модель используется в премиум-версиях ChatGPT и некоторых продуктах Microsoft, что ускорило дискуссию о сдерживании социальных рисков ИИ для общества.

«Он был создан этими выдающимися инженерами в Калифорнии, но на самом деле он был сделан в Айове», — сказал Смит.

В некотором смысле Западный Де-Мойн является относительно эффективным местом для обучения мощной системы искусственного интеллекта, особенно по сравнению с центрами обработки данных Microsoft в Аризоне, которые потребляют гораздо больше воды при тех же вычислительных потребностях.

«Так что если вы разрабатываете модели искусственного интеллекта в Microsoft, то вам следует запланировать обучение в Айове, а не в Аризоне», — сказал Рен. «С точки зрения обучения разницы нет. А вот с точки зрения потребления воды или энергии разница большая».

В течение большей части года погода в штате Айова достаточно прохладная, чтобы компания Microsoft могла использовать наружный воздух для поддержания нормальной работы суперкомпьютера и отвода тепла из здания. Только когда температура превышает 29,3 градуса по Цельсию (около 85 градусов по Фаренгейту), происходит забор воды, говорится в публичном сообщении компании.



Это все равно может быть много воды, особенно летом. В июле 2022 года, за месяц до того, как OpenAI заявила о завершении обучения GPT-4, компания Microsoft закачала в свой кластер центров обработки данных в штате Айова около 11,5 млн. галлонов воды, согласно данным West Des Moines Water Works. Это составило около 6% от общего объема воды, используемой в этом районе, который также снабжает питьевой водой жителей города.

В 2022 г. в документе компании West Des Moines Water Works говорилось, что она и городские власти «будут рассматривать будущие проекты центров обработки данных» Microsoft только в том случае, если эти проекты смогут «продемонстрировать и внедрить технологии, позволяющие значительно снизить пиковое потребление воды по сравнению с текущим уровнем», чтобы сохранить запасы воды для жилых и других коммерческих нужд.

Несмотря на значительное потребление энергии и пресной воды, ChatGPT и другие LLM не подвергались такому пристальному вниманию со стороны борцов за экологию, как криптодобыча уже на протяжении многих лет.


Источники:

www.zerohedge.com

apnews.com