NVIDIA сегодня объявила об обновлении  библиотек с алгоритмами глубокого обучения (deep learning) с поддержкой GPU-ускорения. Новая версия ПО позволяет удвоить скорость обучения нейронных сетей.

Более точные нейронные сети благодаря ускоренному обучению моделей и их более сложной структуре позволят ученым и исследователям ускорить работу над проектами, связанными с глубоким обучением.

DIGITS 2 – автоматическое масштабирование на несколько GPU

DIGITS 2 – это первая полнофункциональная система с графическим интерфейсом, которая помогает пользователям проектировать, обучать и тестировать сети глубокого обучения в задачах классификации изображений.

DIGITS 2 теперь позволяет автоматически масштабировать обучение нейронных сетей на несколько высокопроизводительных графических процессоров. Для задач классификации изображений это позволит сократить время обучения сети вдвое (по сравнению с системой на базе одного GPU).

Поддержка автоматического масштабирования на несколько GPU в DIGITS 2 максимально полно задействует ресурсы системы благодаря автоматическому распределению нагрузки между графическими процессорами системы. С помощью DIGITS 2, на системе на базе  четырех GPU на базе архитектуры NVIDIA Maxwell, инженеры NVIDIA обучили широко известную нейронную сеть AlexNet в два раза быстрее, чем на системе на базе одного GPU. 1 И это не предел. Заказчики компании, уже получившие возможность испытать новую версию системы, смогли добиться даже лучших результатов.

«Обучение одной из наших глубоких сетей для автоматического тегирования на одном NVIDIA GeForce GTX Titan X занимает примерно шестнадцать дней. С новой системой автоматического масштабирования при использовании четырех процессоров Titan X процесс сократился до пяти дней, - говорит Саймон Осиндеро (Simon Osindero), архитектор систем искусственного интеллекта для Yahoo Flickr. – Это большое преимущество, оно позволяет нам быстрее получать результаты, а также более масштабно исследовать пространство моделей для получения более точных результатов».

cuDNN 3 – обучение более крупных и сложных моделей становится быстрее

cuDNN – это GPU-ускоренная библиотека математических операций для глубоких нейронных сетей, которую разработчики встраивают во фреймворки машинного обучения высокого уровня.

В cuDNN 3 добавлена поддержка хранения 16-битных данных с плавающей точкой в памяти GPU, что удваивает объем хранимой информации и оптимизирует использование пропускной способности памяти. Благодаря этому исследователи могут обучать более сложные нейронные сети.

«Мы уверены, что поддержка FP16 для хранения данных в памяти GPU в библиотеках NVIDIA позволит нам еще больше масштабировать наши модели, так как это увеличит эффективный объем памяти нашей системы и повысит эффективность масштабирования обучения нейронной сети на несколько графических процессоров, - говорит Брайан Катанзаро (Bryan Catanzaro), старший исследователь в Baidu Research. – В итоге, точность наших моделей возрастет еще больше».

cuDNN 3 также обеспечивает весомый рост производительности в сравнении с cuDNN 2 при обучении нейронных сетей на одном GPU. Так, с новой версией инженеры NVIDIA смогли обучить сеть AlexNet в два раза быстрее на системе на базе одного GPU NVIDIA GeForce GTX TITAN X.2

Предфинальная версия DIGITS 2 уже доступна для бесплатного скачивания для зарегистрированных разработчиков NVIDIA. Подробнее смотрите на сайте DIGITS.

Библиотека cuDNN 3 будет доступна в крупных инфраструктурах глубокого обучения в ближайшие месяцы. Подробнее смотрите на сайте cuDNN.