Чтобы анимированные персонажи могли вызвать интерес зрителя, они, в первую очередь, должны двигаться. Однако процесс «оживления» виртуальных персонажей никогда не был простой задачей.
Технология захвата движения (Motion Capture) записывает и воссоздает в цифровом виде движения человека для создания трехмерной анимации. Вспомните работу Энди Серкиса (Andy Serkis), перевоплотившегося в Голлума в многосерийном фильме «Властелин колец».
Проблема заключается в том, что традиционная технология захвата движения основана на использовании дорогостоящего и громоздкого оборудования, а также требует привлечения опытных профессионалов для управления многокамерными установками, использования студийного пространства и специальных костюмов с датчиками, которые надевают актеры.
«Затрачиваемое время, силы и расходы слишком высоки», — объяснил Гэван Грейвсен (Gavan Gravesen) сооснователь и генеральный директор RADiCAL. Нью-Йоркская компания ,участник программы NVIDIA Inceptionдля стартапов, следуя своему названию, нарушает сложившиеся традиции. «Мы делаем упор на то, чтобы обеспечить универсальность, плавную интеграцию и высокую скорость работы – и все это при низких затратах», — заявил директор RADiCAL.
Решение, разработанное компанией, работает на базе GPU NVIDIA. Чтобы его использовать, разработчикам игр, художникам 3D графики, кинопроизводителям и создателям проектов виртуальной или дополненной реальности требуется только одно физическое устройство – 2D камера. Подойдет даже камера на телефоне. Нет необходимости в другом оборудовании или сложных датчиках, что значительно снижает расходы и трудозатраты.
Быстрый захват движения
Пользователи из любой точки мира могут загружать свои видео, снятые на смартфон или веб-камеру, напрямую в облако RADiCAL. Компания обрабатывает эти видео с помощью искусственного интеллекта и науки о движениях, чтобы определить происходящее на экране, перенести человеческие движения в трехмерное пространство и даже воссоздать то, что камера не может видеть.
Алгоритм автоматически подстраивается под разные пропорции и телодвижения и создает модель, движения которой повторяют поведение объекта на видео в 3D. За счет плавности движения модели этот процесс кажется простым, однако это не так.
«Мы интегрировали в наш продукт технологии глубокого обучения, робототехники, компьютерного зрения и биомеханики, а это требует мощной среды для разработки ИИ», — рассказала Анна-Кьяра Беллини (Anna-Chiara Bellini), сооснователь и технический директор RADiCAL. Вычисления на GPU NVIDIA играют важную роль в работе этого решения.
Быстрые итерации с TensorFlow и CUDA
По словам Беллини, первой проблемой, с которой столкнулись в RADiCAL во время разработки искусственного интеллекта, стал огромный объем данных, который необходимо обработать. В процессе создания алгоритмов обработка одного неподвижного изображения требовала анализа до 6 ГБ данных. Однако каждая секунда записи движения содержит 120 кадров, трансформируясь в ошеломляющие 720 ГБ данных.
Для интеграции программирования на GPU в свои исследования, Беллини и ее команда остановили свой выбор на TensorFlow, что позволило им получить «единую модель исполнения» всего рабочего процесса. «Благодаря использованию специализированных ядер, написанных на CUDA, в комбинации с TensorFlow, мы поняли, что простое ядро, написанное за пару часов, может сэкономить нам много дней на моделировании», — рассказала она.
Для поддержки своих моделей движения RADiCAL поочередно обрабатывает кадры на мульти-GPU системах. «Это стало возможно благодаря таким технологиям, как, например, NVIDIA NVLink нового поколения с поддержкой нескольких GPU Tesla V100», — пояснила Беллини.
Используя вычислительные мульти-GPU системы в облаке, Беллини и ее команда сократили в 10 раз цикл разработки своего проекта, начиная от создания идеи и заканчивая разработкой и производством.
«С помощью GPU NVIDIA мы получили возможность работать быстрее, исследовать больше возможностей и использовать время наших инженеров машинного обучения более эффективно, — поделилась Беллини. — Это стало настоящим открытием».
Готовые к использованию файлы анимации
После обработки видео RADiCAL позволяет в реальном времени просмотреть и сравнить полученные 3D модели и исходные видеоматериалы на своем вебсайте или в приложении MOTiON.
Пользователи также могут скачать анимационные файлы в формате, который позволит использовать их для работы с трехмерной графикой, дополненной и виртуальной реальностью, создания игровых движков и в других программах.
Недавно RADiCAL запустил программу бета-тестирования для всех желающих испытать продукт в творческих индустриях. В ближайшие недели стартап готовится к коммерческому релизу.
Компания RADiCAL – один из 2800 стартапов со всего мира, участвующих в программе NVIDIA Inception. В рамках этой программы NVIDIA помогает ускорить развитие стартапов, предоставляя доступ к своим технологиям и знаниям и оказывая маркетинговую поддержку.