Исследование: вычислительные мощности для обучения искусственного интеллекта создают большой углеродный след.

Алгоритмы искусственного интеллекта, которые используются в некоторых из самых передовых технологических приложений, таких как написание связных отрывков текста или создание изображений из описаний, могут потребовать огромных вычислительных мощностей для обучения. А это, в свою очередь, требует большого количества электроэнергии, что заставляет многих беспокоиться о том, что углеродный след этих все более популярных сверхмощных систем искусственного интеллекта делает их экологически неустойчивыми.

Новое исследование, проведенное учеными Калифорнийского университета в Беркли и Google, в которых используются многие из этих крупных систем ИИ, дает наиболее точные на сегодняшний день оценки углеродного следа некоторых из этих современных систем.

Например, GPT-3, мощная языковая модель, созданная компанией OpenAI в области искусственного интеллекта из Сан-Франциско, во время обучения произвела эквивалент 552 метрических тонн углекислого газа, согласно исследованию. Это столько же, сколько можно было бы произвести, управляя 120 легковыми автомобилями в течение года. Усовершенствованный чат-бот Google Мина потреблял 96 метрических тонн эквивалента углекислого газа, или примерно столько же, сколько потребляло более 17 домов в течение года.
Хотя эти цифры пугающе велики, они меньше, чем некоторые предыдущие оценки исследователей, которые не имели доступа к такой же подробной информации внутри Google и OpenAI. Исследовательский документ, который был размещен в репозитории нерецензируемых исследований arxiv.org в среду, также показывает, что воздействие ИИ на климат можно смягчить.
Исследователи приходят к выводу, что углеродный след от обучения этих алгоритмов сильно различается в зависимости от дизайна алгоритма, типа компьютерного оборудования, используемого для его обучения, и характера выработки электроэнергии там, где это обучение происходит.

Исследователи из Google обнаружили, что изменение всех трех этих факторов может снизить углеродный след от обучения одного из этих очень больших алгоритмов искусственного интеллекта до 1000 раз. Простое изменение центра обработки данных, используемого для обучения алгоритма, с места, где выработка электроэнергии требует интенсивного использования угля, например, в Индии, на место, где электрическая сеть работает на возобновляемых источниках энергии, например в Финляндии, может уменьшить его в 10-100 раз.

« Это похоже на старую шутку о трех самых важных вещах в сфере недвижимости: место расположение , место расположение и место расположение », - говорит Дэвид Паттерсон, исследователь из Google.

Паттерсон, который также является почетным профессором Калифорнийского университета в Беркли, говорит, что это, в конечном счете, хорошая новость, потому что большинство алгоритмов ИИ обучаются «в облаке», а фактическая обработка происходит в центрах обработки данных, которые могут находиться в сотнях или даже тысячах миль от места, где находится человек, создающий систему. « В облачных вычислениях легче всего изменить местоположение » , - говорит он.
Но если экологическая устойчивость станет основным критерием при обучении систем искусственного интеллекта, это также должно еще больше укрепить рыночные позиции крупнейших поставщиков облачных услуг. Потому что такие компании, как Microsoft, Google, IBM и Amazon Web Services, имеют десятки центров обработки данных во многих разных местах, в том числе в областях с более низкими средними температурами, что снижает затраты на охлаждение всех серверных стоек и снижает потребление энергии.

carbon-footprint-thermostat-tn.jpeg (59 KB)

Воздействие на окружающую среду сверхмощных систем ИИ, предназначенных для обработки языка, было одним из критических замечаний в отношении таких алгоритмов, выдвинутых группой специалистов по этике ИИ внутри Google, которые сыграли роль в событиях, которые ускорили отставку Тимнита Гебру и последующее увольнение Маргарет Митчелл, два соруководителя исследовательской группы по этике ИИ.

Джефф Дин, старший исполнительный вице-президент Google, который возглавляет исследовательское подразделение компании и которого Гебру и ее сторонники упрекали за свою роль в ее отстранении, является одним из девяти авторов, упомянутых в новом исследовательском документе по сокращению выбросов углекислого газа этих систем ИИ. Одно из его предполагаемых критических замечаний в отношении более ранней статьи Гебру заключается в том, что в ней не обсуждались способы смягчения негативного этического воздействия крупных языковых моделей.

Помимо перехода в место с более экологичной электросетью, еще одним способом сократиить энергопотребление этих моделей является использование компьютерных микросхем, специально разработанных для нейронных сетей, своего рода программного обеспечения для машинного обучения, смоделированного на основе человеческого мозга, который за это отвечает.

Сегодня большинство рабочих нагрузок искусственного интеллекта обучаются на компьютерных микросхемах, которые изначально были разработаны для рендеринга графики в видеоиграх. Но все больше новых видов компьютерных микросхем, предназначенных только для нейронных сетей, устанавливается в центрах обработки данных, управляемых крупными компаниями, занимающимися облачными вычислениями, такими как Google, Microsoft и Amazon Web Services.

Переход от графических процессоров к этим новым специализированным микросхемам для нейронных сетей может сократить в пять раз потребление энергии, необходимой для обучения сверхмощного алгоритма, и ее можно снова сократить вдвое, перейдя с самого раннего поколения этих новых чипов ИИ к последним их версиям, как выяснили исследователи.
Еще большую экономию - в 10 раз - можно получить, изменив сами алгоритмы нейронной сети так, чтобы они стали тем, что компьютерные ученые называют «разреженными». Это означает, что большинство искусственных нейронов в сети подключаются к относительно небольшому количеству других нейронов, и поэтому требуется меньшее количество этих нейронов для обновления того, как они взвешивают данные для каждого нового примера, с которым алгоритм сталкивается во время обучения. Мод Тексье, еще один исследователь Google, работавший над исследованием, надеется, что результаты исследования помогут подтолкнуть всю отрасль к стандартизированным тестам для измерения энергопотребления и углеродного следа алгоритмов искусственного интеллекта. Но чтобы получить точную оценку углеродного следа, важно знать не только, насколько экологична электрическая сеть в каком-либо конкретном месте в целом, но и точно, какова была комбинация возобновляемой энергии и электроэнергии на основе ископаемого топлива в определенные часы, когда алгоритм ИИ проходил обучение. По словам эксперта, получить эту информацию от поставщиков облачных услуг было сложно, хотя крупные компании, предоставляющие облачные услуги, начинают предоставлять клиентам более подробную информацию о выбросах углекислого газа.

По материалам: Fortune

InternetUA

https://internetua.com/

Новости по теме
Облачный провайдер De Novo расследовал причины сбоя приложения "Дія".

Облачный провайдер De Novo расследовал причины сбоя приложения "Дія".

Расследование показало, что сбой приложения "Дія" не был случайным. по итогам был составлен полный отчет о хронологии событий, все заказчики проинформированы. Данные и приложения клиентов не пострадали. “Дия” объявила о создании двухсайтовой катас...

InternetUA

Киберполиция вышла на след группы уголовников, промышлявших интернет-мошенничеством.

Киберполиция вышла на след группы уголовников, промышлявших интернет-мошенничеством.

Правоохранители сегодня установили некоторых членов преступной группировки, участники которой, отбывая сроки в исправительной колонии, размещали фейковые объявления в интернете и заставляли доверчивых украинцев переводить им значительные суммы ден...

InternetUA

На OLX начали действовать предприятия-мошенники, жертвами становятся юридические лица.

На OLX начали действовать предприятия-мошенники, жертвами становятся юридические лица.

Сегодня стало известно, что помимо"простых" мошенников-индивидуалистов на OLX начали орудовать преступные юридические лица. Появился прецедент,когда одна компания "кинула" на деньги другую организацию через официальнозаключеный договор, а "товар" ...

InternetUA

Форосский парк: запрет есть – стройка идет - Доброе утро, Крым.

Форосский парк: запрет есть – стройка идет - Доброе утро, Крым.

Строительство детского лагеря на территории памятника паркового искусства в поселке Форос приостановлено до осени, об этом в середине апреля написал на своей странице «Вконтакте» подконтрольный России глава Крыма Сергей Аксенов. Но, как сообщают м...

День памяти жертв геноцида крымских татар. В Крыму и на материке - Крымский вечер

День памяти жертв геноцида крымских татар. В Крыму и на материке - Крымский вечер

18 мая в Украине и мире чтят память жертв геноцида крымскотатарского народа. В этот день в 1944 году началась советская кампания депортации крымских татар из Крыма, за несколько дней с полуострова депортировали весь народ. 18 мая 2021 года жертв д...

Нові меблі та окрема ванна кімната: як виглядають нові камери за 12 тисяч гривень в місяць.

Нові меблі та окрема ванна кімната: як виглядають нові камери за 12 тисяч гривень в місяць.

В Лук'янівському СІЗО в Києві презентували новий корпус на 18 камер, перебування в яких коштує 12 тис грн на місяць з людини. На ремонт одного такого корпусу витратили близько 14 млн грн. Це - кошти з державного бюджету. Натомість гроші, отримані ...

3

Дело Медведчука. Новые факты - Итоги 18.05.21

Дело Медведчука. Новые факты - Итоги 18.05.21

00:00 Смотрите в этом выпуске: 00:21 Украина и мир чтят память жертв депортации крымскотатарского народа. 00:59 Кадровые ротации в правительстве. Верховная Рада во время внеочередного заседания уволила трёх министров. 03:32 Президент Владимир Зеле...

Навальный, хакеры, санкции: эксклюзивное интервью Сергея Нарышкина Би-би-си.

Навальный, хакеры, санкции: эксклюзивное интервью Сергея Нарышкина Би-би-си.

В интервью корреспонденту Би-би-си Стиву Розенбергу глава Службы внешней разведки России Сергей Нарышкин отверг обвинения в том, что его агентство было связано с массовой кибератакой в США в прошлом году. Нарышкин предположил, что эту операцию мог...

Крым будет свободным: обращение президента ко Дню памяти жертв геноцида крымских татар.

Крым будет свободным: обращение президента ко Дню памяти жертв геноцида крымских татар.

Президент Украины Владимир Зеленский в День памяти жертв геноцида крымскотатарского народа отметил, что каждый украинец разделяет эту боль. Он также рассказал, что подписал указ о мерах по деоккупации и реинтеграции полуострова, а для защиты прав ...