Почему не создают фотореалистичных аватаров в виртуальной реальности?

8 января 2018, 2 минуты чтения

Представьте, что вы находитесь в виртуальной реальности в очках Oculus Rift или HTC Vive, а перед вами трехмерный персонаж. Им в реальном времени управляет ваш знакомый, да и выглядит персонаж в точности как он, ведь нет сложности отсканировать человека или какой-либо объект и на базе этих данных сформировать трехмерную модель с фотореалистичными текстурами. И эта модель движется в точности, как ваш друг, так как его движения в реальности фиксируются системой трекинга и переносятся в виртуальную сцену.

Денис Тамбовцев

Креативный директор

Но вот вы бросаете взгляд на глаза этого виртуального аватара, а человек «на другом конце провода» начинает говорить…

И вся магия присутствия в этот момент дает сбой

Благодаря, позиционированному в пространстве источнику голоса вы осознаете, что говорит ваш реалистично выглядящий и реалистично двигающейся друг, но его эмоции на лице — их нет, либо они идут в разрез с контекстом, выражение лица не меняется или меняется некорректно, микромимика на детализированной геометрии не читается, речь совершенно не соответствует выражению, а направление глаз не совпадает в вашими ожиданиями относительно движения тела. Ведь вы знаете этого человека и как он себя ведет в реальном мире. И вот перед вами уже не цифровая версия знакомого, а кукла, пугающая своей реалистичностью и одновременной искусственностью.

NOT NOW, PHELPS! (LA NOIRE VR)

Все дело в том, что на текущий момент развития потребительских версий устройств виртуальной реальности нет готового и доступного решения для перехвата движения зрачков, а также мимики пользователя и их последующего переноса в виртуальную среду. Сейчас для трекинга эмоций используется сложное и дорогое оборудование, требующее длительной настройки и применяется в основном на профессиональных актерах для создания анимаций в игровых проектах и кино.

Facial capture with no-cost head pose during audio recording (playblast)

Hellblade Live Performance & Real-Time Animation | GDC 2016 Event Coverage | Unreal Engine

Если мы создаем фотореалистичное лицо аватара, но не имеем возможности управления мимикой (например, требуется реализовать анимацию в реальном времени), то при всей своей фотореалистичности виртуальный персонаж будет больше похож именно на очень реалистичную, но куклу, что может привести к эффекту «зловещей долины» и сработать в минус в плане погружения пользователя.

Таким образом, уровень фотореализма в изображении аватаров взаимосвязан с возможностями их анимации, а она связана с системами трекинга. Чем более реалистично выглядит персонаж, тем больше требований к воспроизведению эмоций, мимики и т.д. И по достижении определенной границы реалистичности аватара, начинает возникать ситуация, когда из-за технических ограничений систем трекинга возникает рассинхронизация между фотореализмом и качеством анимации.

Но дело не только в устройствах трекинга. Создание фотореалистичных персонажей требует соответствующего окружения в котором они должны смотреться гармонично, реалистичного света и материалов, а это создает высокую нагрузку на оборудование (и ведь ВР-проекты уже сами по себе довольно требовательны к «железу»), что ведет к большим объемам работ по созданию и оптимизации контента.

Отсюда вытекает и третий аспект — даже если будет решен вопрос с трекингом мимики, стоимость подобных решений в ближайшем будущем будет крайне высока и для большинства ситуаций просто экономически нецелесообразна.