Фреймворк NVIDIA NeMo Megatron; настраиваемая большая языковая модель Megatron 530B; Triton Inference Server для разработки и развертывания языковых моделей для развития промышленности и науки
САНТА-КЛАРА, Калифорния—GTC— 9 ноября 2021— NVIDIA открывает двери в мир разработки и развертывания больших языковых моделей для компаний по всему миру. Большие языковые модели позволят им создавать собственные чат-боты для разнообразных областей применения, персональных помощников и другие приложения на базе ИИ, которые понимают язык с беспрецедентным уровнем тонкости и нюансов.
Компания представила фреймворк NVIDIA NeMo Megatron для обучения языковых моделей с триллионами параметров, настраиваемую большую языковую модель (LLM) Megatron 530B, которую можно обучать новым областям и языкам, и NVIDIA Triton Inference Server™ с поддержкой распределенного инференса как между несколькими GPU, так и между несколькими узлами с GPU.
Вместе с системами NVIDIA DGX™ данные инструменты обеспечивают готовое к эксплуатации решение корпоративного уровня, упрощающее разработку и внедрение больших языковых моделей.
«Крупные языковые модели доказали свою гибкость и способность отвечать на глубокие вопросы из предметной области, переводить языки, понимать и резюмировать документы, писать тексты и делать вычисления, и все это без специального обучения или контроля, — отмечает Брайан Катанзаро (Bryan Catanzaro), вице-президент по исследованиям в области прикладного глубокого обучения в NVIDIA. — Создание больших языковых моделей для новых языков и областей, вероятно, является крупнейшей задачей для суперкомпьютеров, и теперь эти возможности стали доступны для любой компании в мире».
Разработка NVIDIA NeMo Megatron и Megatron 530B
Фреймворк NVIDIA NeMo Megatron построен на базе Megatron — проекта с открытым исходным кодом команды исследователей NVIDIA, изучающей эффективное обучение языковых моделей в любом масштабе.
Фреймворк NeMo Megatron позволяет компаниям решать проблемы обучения сложных моделей обработки естественного языка. Он оптимизирован для масштабирования в инфраструктуре ускоренных вычислений NVIDIA DGX SuperPOD™.
NeMo Megatron автоматизирует сложность обучения LLM с помощью библиотек обработки данных, которые собирают, обрабатывают, систематизируют и очищают данные. Используя передовые технологии для распараллеливания данных, он позволяет эффективно распределять обучение больших языковых моделей между тысячами графических процессоров.
Megatron 530B — крупнейшая на сегодня настраиваемая языковая модель. Компании могут дополнительно обучать ее работе с новыми доменами и языками с помощью фреймворка NeMo Megatron.
NVIDIA Triton Inference Server для инференса LLM в реальном времени
Поддержка нескольких GPU и узлов в новейшем сервере NVIDIA Triton Inference Server позволяет распределять рабочие нагрузки инференса для LLM между многими графическими процессорами и узлами в реальном времени. Для таких моделей требуется больше памяти, чем доступно в одном GPU или даже в большом сервере с несколькими GPU, а инференс должен выполняться быстро.
С Triton Inference Server модель Megatron 530B может работать на двух системах NVIDIA DGX, чтобы сократить время обработки с минуты на CPU-сервере до половины секунды, что позволяет развертывать LLM для приложений реального времени.
Кастомные языковые модели разрабатываются во всем мире
Одними из первых разработчиков больших языковых моделей, использующих NVIDIA DGX SuperPOD, стали SiDi, JD Explore Academy и VinBrain.
SiDi, один из крупнейших бразильских институтов исследований и разработок в области искусственного интеллекта, адаптировал виртуального помощника Samsung для 200 миллионов бразильцев, говорящих на португальском языке.
JD Explore Academy, подразделение исследований и разработок JD.com — ведущего поставщика технологий и услуг для цепочек поставок, использует NVIDIA DGX SuperPOD для разработки NLP-модели для приложений интеллектуального обслуживания клиентов, розничной торговли, логистики, IOT, здравоохранения и других областей.
VinBrain, вьетнамская компания в области здравоохранения, использовала DGX SuperPOD для разработки и развертывания клинической языковой модели для радиологии и телемедицины в 100 больницах, где ее применяют более 600 практикующих врачей.
Доступность
Компании могут подать заявку на участие в программе раннего доступа к ускоренному фреймворку NVIDIA NeMo Megatron для обучения больших языковых моделей.
Triton доступен в NVIDIA NGCTM, каталоге оптимизированного программного обеспечения для GPU, который включает фреймворки, наборы инструментов, предварительно обученные модели и Jupyter Notebooks, а также в виде открытого исходного кода из репозитория Triton GitHub.
Системы NVIDIA DGX SuperPOD и NVIDIA DGX доступны у партнеров NVIDIA по всему миру; цены по запросу.
Зарегистрируйтесь бесплатно, чтобы узнать больше на конференции NVIDIA GTC, которая продолжится до 11 ноября. Смотрите выступление основателя и генерального директора NVIDIA Дженсена Хуанга 9 ноября в прямом эфире и в записи.