Google Cloud Tensor Processing Unit

2024: Google призналась в краже ИИ-технологий после подаче против нее иска на $1,67 млрд

24 января 2024 года Google и компания Singular Computing заключили мировое соглашение, которым они урегулировали многолетнее судебное разбирательство, связанное с предполагаемым нарушением прав на запатентованные технологии. Условия договоренности не раскрываются, однако сам факт его достижения указывает на то, что Google признала свою вину в краже разработок. Подробнее здесь.

2021: Анонс тензорных процессоров четвертого поколения

18 мая 2021 года Google анонсировала тензорные процессоры Tensor Processing Unit (TPU) четвертого поколения. Новые решения, как утверждают разработчики, вдвое быстрее предшествующей модели.

Представляя новые Tensor Processing Unit, генеральный директор Google Сундар Пичаи отметил, что эти чипы можно объединять в блоки, состоящие из 4096 TPU. Производительность одного такого блока может превышать 1 эксафлопс и соответствовать мощности 10 млн ноутбуков с наиболее продвинутыми техническими характеристиками.

Это самая быстрая система, которую мы когда-либо развертывали в Google, и это историческая веха для нас, — заявил Пичаи. — Раньше, чтобы получить эксафлопс, вам нужно было построить собственный суперкомпьютер. У нас уже развернуто немало таких систем, а скоро в наших дата-центрах появятся десятки модулей TPU v4, многие из которых будут примерно на 90% работать без выброса CO2.

Google представила процессор четвертого поколения

По словам главы Google, четвертое поколение тензорных процессоров будет доступно облачным клиентам позднее в 2021 году. Точные сроки он не назвал. Также неизвестно, когда новые TPU поступят в продажу для использования в системах за пределами Google. Ранее компания продавала такие процессоры в виде модулей.

Утверждается, что модули или кластеры TPU v4 превосходят TPU предыдущего поколения в рабочих нагрузках в области искусственного интеллекта и машинного обучения, включая обнаружение объектов, обработку естественного языка, классификацию изображений, машинный перевод и многое другое.

Как отмечает издание TechCrunch, TPU были одними из первых кастомных чипов Google. В то время как конкуренты, в том числе Microsoft, решив использовать более гибкие FPGA для своих сервисов машинного обучения, Google заранее сделала ставку на эти нестандартные микросхемы. На их разработку уходит немного больше времени, и они быстро устаревают по мере изменения технологий, но могут обеспечить значительно лучшую производительность, отмечается в публикации.^[1]

2018: Третье поколение: 100 петафлопс мощности и водяное охлаждение

В рамках конференции для разработчиков Google I/O 2018 было представлено третье поколение тензорных процессоров Tensor Processing Unit (TPU), предназначенных для машинного обучения. Новое решение, как сообщили в компании Google, в восемь раз производительнее по сравнению с предшественником.

Эти чипы настолько мощные, что нам впервые пришлось применять жидкостное охлаждение в наших дата-центрах, — заявил генеральный директор Google Сундар Пичай.

TPU 3.0 поддерживает обработку вычислительных нагрузок производительностью 100 петафлопс. У версии TPU 2.0, представленной в 2017 году, показатель составлял 180 терафлопс. Каждая плата подключается к слоту PCI Express 3.0 x16.

Google не раскрыла детальную информацию о новой платформе. На изображении, которое компания показала во время конференции, можно было видеть плату с четырьмя водоблоками, то есть одна плата, как и ранее, содержит четыре тензорных процессора (ASIC), объединенных в один контур. Главной частью процессора является матрица, выполняющая операции умножения-сложения (multiply-accumulate).

Процессоры Tensor Processing Unit в восемь раз быстрее Google TPU 2.0

Также известно, что TPU 3.0 имеет вдвое больше высокоскоростной памяти (128 Гбайт) относительно второго поколения, благодаря чему оборудование стало лучше подходить для больших моделей машинного обучения, работающих с гигантскими массивами данных.

В одну серверную стойку можно устанавливать до 64 модулей TPU 3.0, что вдвое больше по сравнению с предшественником. Справиться с отводом тепла такой системы без водяного охлаждения было бы тяжело.

Клиенты Google смогут воспользоваться мощностями TPU 3.0 через облако Google Cloud, однако сроки публичной доступности новинки не сообщаются. Версия TPU 2.0 была запущена в качестве сервиса в феврале 2018 года, пользователи могут арендовать только один модуль за раз.^[2]

2017: Анонс первого поколения

17 мая 2017 года Google анонсировала процессор для суперкомпьютеров Cloud Tensor Processing Unit (TPU). Решение, ориентированное на системы машинного обучения, будет использоваться не только самой компанией, но и ее клиентами, которые смогут получить доступ к новинке через облако Google Cloud.

Cloud TPU не будет продаваться производителям серверов напрямую. Они смогут воспользоваться производительностью процессоров, подключившись к облачному сервису Google для выполнения своих рабочих нагрузок и хранения данных на оборудовании американской компании.

Cloud Tensor Processing Unit

Cloud TPU — это второе поколение чипов, разрабатываемых Google. Первая версия была представлена 2016 году. Тогда сообщалось, что TPU — это интегральная схема специального назначения (ASIC), предназначенная для ускорения процессов получения готовых результатов в уже обученных нейросетях. К примеру, система вступает в работу, когда пользователь инициирует голосовой поиск, запрашивает перевод текста или ищет совпадение с изображением.

Cloud TPU стал быстрее предшественника: производительность выросла до 180 терафлопс в операциях с плавающей точкой. В каждом процессоре содержится специальная высокоскоростная сеть, позволяющая создавать суперкомпьютеры, которые в Google называют TPU Pod.

Один такой модуль содержит 64 новых процессора и обладает производительностью на уровне 11,5 петафлопс. Такая скорость значительно снижает время обучения систем искусственного интеллекта. Так, один из суперкомпьютер Google проходил за сутки одну процедуру обучения, используя 32 самых быстрых на рынке GPU, в то время как лишь восьмая часть TPU Pod позволяет проводить аналогичные операции всего лишь с утра до вечера.

Один модуль, состоящий из четырех процессоров Cloud TPU, примерно в 12 тыс. быстрее суперкомпьютера Deep Blue, получившего известность после победы в шахматах над чемпионом мира Гарри Каспаровым в 1997 году, отметил Урс Хёльцле (Urs Hölzle), старший вице-президент Google по технической инфраструктуре.

Google не раскрыла ни сроки, ни стоимость аренды новых процессоров, ни имя производителя этих решений. Компания, продолжающая закупать чипы у Intel и Nvidia, может ежегодно экономить миллиарды долларов за счет использования собственных решений, отмечает Bloomberg.

Этот рынок быстро развивается. Нам очень важно продвигать машинное обучение в собственных целях и быть лучшими в облаке, — заявил Урс Хёльцле.[3]

Примечания