Исследователи NVIDIA демонстрируют революционные достижения в области создания графики в реальном времени

Автор: NVIDIA РОССИЯ

Компьютерная графика и искусственный интеллект – это краеугольные камни технологий NVIDIA. Вместе они приближают авторов контента к созданию 3D-изображений кинематографического качества, которые создаются в реальном времени.

Этим летом на конференциях по графическим технологиям подразделение NVIDIA Research демонстрирует результаты работы по трассировки путей и созданию контента в реальном времени. Большая часть наработок использует искусственный интеллект. Эти проекты позволяют решать самые сложные задачи в графике с помощью новых инструментов и внедрять современные достижения в области рендеринга в реальном времени.

Одна из целей — улучшить реалистичность визуализируемого освещения, проходящего через сложные материалы, такие, как мех или туман. Другая — помочь художникам легче превращать свои творческие замыслы в реалистичные модели и сцены.

Исследования, представленные на этой неделе на SIGGRAPH 2021, недавней Конференции по высокопроизводительной графике и Симпозиуме по рендерингу Eurographics, показывают, как графические процессоры NVIDIA RTX расширяют границы фотореалистичной графики в реальном времени.

Для рендеринга фотореалистичных изображений в реальном времени требуется точное моделирование света, имитирующее те же законы, которые управляют светом в физическом мире. Самый эффективный из известных до сих пор подходов — трассировка пути — требует огромных вычислительных ресурсов, но позволяет получать впечатляющие изображения.

Платформа NVIDIA RTX, со специализированным аппаратным обеспечением для трассировки лучей и высокопроизводительными тензорными ядрами для эффективной оценки моделей ИИ, специально создана для этой задачи. Тем не менее, по-прежнему существуют ситуации, когда создание высококачественных визуализированных изображений остается сложной задачей.

Рассмотрим, например, тигра, бродящего по лесу.

Увидеть свет: трассировка пути в реальном времени

Чтобы сделать сцену полностью реалистичной, создатели должны визуализировать сложные световые эффекты, такие как отражения, тени и видимая дымка.

В сцене с лесом пятна солнечного света просачиваются сквозь листья на деревьях, и молекулы воды, взвешенные в туманном воздухе, превращают их в дымку. Рендеринг реалистичных изображений облаков, пыльных поверхностей или тумана в реальном времени раньше был невозможен. Но исследователи NVIDIA разработали методы, которые в 10 раз эффективнее вычисляют визуальный эффект этих явлений.

Сам тигр одновременно освещен солнечным светом и затенен деревьями. Когда он идет через лес, его отражение видно в пруду внизу. Для такого рода насыщенных изображений как с прямыми, так и с вторичными отражениями может потребоваться вычисление тысяч путей для каждого пикселя сцены.

Эта задача слишком ресурсоемкая для решения в реальном времени. Поэтому группа исследователей NVIDIA создала алгоритм выборки пути, который отбирает пути и отражения, больше всего влияющие на финальное изображение, и визуализирует изображения в 100+ раз быстрее, чем было возможно ранее.

ИИ для тигра: нейронное кэширование излучения

Другая группа исследователей NVIDIA совершила прорыв в области глобального освещения с помощью новой техники под названием нейронное кэширование излучения. В этом методе используются RT-ядра NVIDIA для трассировки лучей и тензорные ядра для ускорения ИИ для обучения крошечной нейронной сети в реальном времени при рендеринге динамической сцены.

Нейронная сеть изучает, как свет распределяется по сцене. Она обрабатывает более миллиарда запросов глобального освещения в секунду на графическом процессоре NVIDIA GeForce RTX 3090, отображая густой мех тигра с детализированным освещением, ранее недоступным в режиме реального времени.

Легкое создание сложных текстур

По мере развития алгоритмов рендеринга важно, чтобы доступный 3D-контент соответствовал сложности и разнообразию, на которые способны эти алгоритмы.

Исследователи NVIDIA разрабатывают различные методы, которые помогают создателям контента моделировать насыщенные и реалистичные трехмерные среды. Одно из направлений — материалы с высокой геометрической сложностью, которые сложно моделировать с использованием традиционных методов.

Детали ткани рубашки, ковра или стеблей травы часто намного меньше размера пикселя, что затрудняет их эффективное хранение и визуализацию. Исследователи NVIDIA решают эту задачу с помощью алгоритма NeRF-Tex, в котором нейронные сети используются для представления этих сложных материалов и кодирования их реакции на освещение.

Видеть лес как деревья

Сложные геометрические объекты также различаются по внешнему виду в зависимости от того, насколько они близки к зрителю. Один из примеров – дерево с листьями: в крупном плане видны детали ветвей, листьев и коры. Вдалеке оно покажется просто зеленой каплей.

Было бы пустой тратой времени отрисовывать детализированную кору и листья на дереве, которое находится на другом конце леса в сцене. Но в крупном плане модель должна быть максимально реалистичной.

Это классическая задача компьютерной графики, известная как уровень детализации. Художники часто сталкиваются с этой проблемой, вручную моделируя разные версии каждого 3D-объекта, чтобы обеспечить эффективный рендеринг.

Исследователи NVIDIA разработали новый подход, который автоматически генерирует упрощенные модели на основе метода обратного рендеринга. С его помощью можно создавать упрощенные модели, оптимизированные так, чтобы казаться неотличимыми от оригиналов, но с намного меньшей геометрической сложностью.

NVIDIA на SIGGRAPH 2021

В команду NVIDIA Research, занимающуюся искусственным интеллектом, компьютерной графикой, компьютерным зрением, беспилотными автомобилями, робототехникой и многим другим, входят более 200 специалистов со всего мира. На выставке SIGGRAPH, которая проходит с 9 по 13 августа, наши исследователи обсуждают следующие темы:

Смотреть видео — https://www.youtube.com/watch?v=3XSFfaTmjpA.

Смотрите выступление NVIDIA в реальном времени 11 августа в 02:30 по московскому времени, в которой NVIDIA Research покажет создание цифровых аватаров на основе искусственного интеллекта.

За круглым столом 11 августа мы также обсудим проблему графики в реальном времени в киберспорте. Интерактивная демоверсия доступна по запросу в рамках программы SIGGRAPH Emerging Technologies.

Смотрите полный список мероприятий NVIDIA на SIGGRAPH 2021.