Facebook: Caffe2

2017

Поддержка Intel Math Kernel Library

24 апреля 2017 года пресс-служба Intel сообщила о расширении участия в поддержке собственных процессоров в фреймворках и оптимизации их для работы с различными прикладными вариантами обучения и построения логических выводов. В основе этих усилий использование библиотеки математических функций Intel Math Kernel Library (Intel MKL), которая выполняет инструкции Intel Advanced Vector Extension CPU.

На 24 апреля 2017 года Facebook и Intel сотрудничают над интеграцией функций Intel MKL в Caffe2 для обеспечения максимальной производительности процессоров при формировании логических выводов.

Свойства библиотеки Math Kernel Library, (2017)

В таблице ниже представлены показатели производительности на топологии AlexNet при использовании библиотеки Intel MKL в сравнении с библиотекой Eigen BLAS. В таблице параметр OMP_NUM_THREADS обозначает число физических ядер, используемых при обработке. При небольших рабочих нагрузках по созданию логических выводов рекомендуется запускать каждую рабочую нагрузку в отдельном ядре процессора и выполнять множество рабочих нагрузок параллельно, по одной рабочей нагрузке на ядро.

Результаты производительности фреймворка Caffe2 на топологии AlexNet при использовании библиотек Intel MKL и Eigen BLAS. Тестирование выполнено на компьютерах с процессорами Intel Xeon E5-2699 v4 (с кодовым названием Broadwell) @ 2,20 ГГц с двумя сокетами, 22 физическими ядрами на сокет (в общей сложности использовалось 44 физических ядра в обоих сокетах), 122 ГБ RAM DDR4, 2133 МГц, отключенной опцией HT, под управлением Linux 3.10.0-514.2.2.el7.x86_64 CentOS 7.3.1611, Intel MKL версии 20170209, Eigen BLAS версии 3.3.2, при использовании Caffe2 от 17 апреля 2017 года.

Согласно утверждению Intel, результаты свидетельствуют о высокой оптимизации Caffe2 для работы с процессорами компании и производительности.

Ускорение Caffe2

20 апреля 2017 года NVIDIA и Facebook сообщили о результатах совместной работы по ускорению фреймворка Caffe2.

Caffe2 позволяет разработчикам и исследователям создавать сценарии масштабного распределенного обучения и приложения машинного обучения для конечных устройств.

Предоставление сервисов на основе искусственного интеллекта на мобильных устройствах должно выполняться за доли секунды. Для обработки запросов требуются графические процессоры, обеспечивающие скорость обработки данных, оптимизированное программное обеспечение для задач глубокого обучения, которое способно реализовать потенциал аппаратной платформы.

Совместными усилиями NVIDIA и Facebook оптимизировали работу Caffe2 с помощью средств глубокого обучения на платформе графических процессоров NVIDIA. Caffe2 использует SDK-библиотеки NVIDIA — cuDNN, cuBLAS и NCCL – обеспечивая обучение и вывод с ускорением на конфигурациях мульти-GPU.

Диаграмма сравнительных результатов ускорения, (2017)

На 20 апреля 2017 года компании-партнеры отозвались о Caffe2, как быстром, масштабируемом, портативном фреймворке глубокого обучения. Он обеспечивает почти линейное масштабирование обучения нейронных сетей с ускорением пропускной способности в 57 раз на восьми объединенных в сеть серверах Facebook Big Basin с 64 ускорителями NVIDIA Tesla P100.

Caffe2

Caffe2 - набор кроссплатформенных инструментов для машинного обучения.

18 апреля 2017 года Facebook опубликовала исходный код фреймворка для машинного обучения Caffe2. Это позволит разработчикам мобильных приложений использовать технологии ИИ на мобильных устройствах под управлением iOS и Android, на миникомпьютерах типа Raspberry Pi.

Caffe2 - набор инструментов для мобильной разработки. Окружение разработки даст пользователям возможность использовать технологии распознавания изображений, обработки естественного языка и компьютерного зрения на смартфоне. Такие задачи как правило передаются на удалённый облачный сервер, а результаты вычислений возвращаются на устройство.

Для обработки задач Caffe2 использует мощности мобильных устройств, которые позволяют обучать несложные нейронные сети. Фреймворк можно использовать для создания чат-ботов.

Над ускорением работы последней версии фреймворка работали компании NVIDIA, Qualcomm, Intel, Amazon и Microsoft.