Os pesquisadores podem pegar uma imagem e usá-la como ponto de referência para criar um mundo virtual, objeto ou pessoa.

À medida que as empresas exploram a presença do metaverso por meio de um gêmeo digital, a capacidade de criar conteúdo 3D estilizado e mundos virtuais de maneira rápida e fácil só se tornará mais importante no futuro.

Um recentemente publicado Universidade de Cornell O artigo explorou essa tendência crescente e desenvolveu uma solução para produzir campos de radiação neural estilizados (SNeRFs) que podem ser usados ​​para criar uma ampla variedade de cenas virtuais dinâmicas em velocidades maiores do que os métodos tradicionais.

Usando várias imagens de referência, a equipe de pesquisa do Qui Nguyen-Phuoc, Feng Liu e lei xiao foram capazes de gerar cenas 3D estilizadas que podem ser usadas em uma variedade de ambientes virtuais. Por exemplo, imagine colocar um headset VR e ver como o mundo real ficaria através de uma lente estilizada, como uma pintura de Pablo Picasso.

Esse processo permite que a equipe não apenas crie objetos virtuais rapidamente, mas também utilize seu ambiente do mundo real como parte do mundo virtual com detecção de objetos 3D. 

É importante notar que a equipe de pesquisa também foi capaz de observar o mesmo objeto através de diferentes direções de visão no mesmo ponto de vista, também conhecido como consistência de visão cruzada. Isso cria um efeito 3D imersivo quando visualizado em VR.

Ao alternar as etapas de otimização de NeRF e estilização, a equipe de pesquisa conseguiu pegar uma imagem e usá-la como um estilo de referência para recriar um ambiente, objeto ou pessoa do mundo real de uma maneira que adapte a estilização dessa imagem, assim acelerando o processo de criação.

“Introduzimos um novo método de treinamento para resolver esse problema, alternando as etapas de otimização de NeRF e estilização”, disse a equipe. “Esse método nos permite fazer uso total de nossa capacidade de memória de hardware para gerar imagens em maior resolução e adotar métodos de transferência de estilo de imagem mais expressivos. Nossos experimentos mostram que nosso método produz NeRFs estilizados para uma ampla variedade de conteúdo, incluindo cenas internas, externas e dinâmicas, e sintetiza novas visualizações de alta qualidade com consistência de visualização cruzada.”

Por causa das limitações de memória do NeRF, os pesquisadores também tiveram que resolver outro problema de como eles poderiam renderizar mais imagens 3D de alta definição a uma velocidade que parecia mais em tempo real. A solução foi criar um loop de visualizações renderizadas que, a cada iteração, fosse capaz de direcionar os pontos de estilização de forma mais consistente a cada passagem e, em seguida, reconstruir a imagem com mais detalhes. 

A tecnologia também melhorou os avatares. A abordagem estilizada do SNeRF da equipe de pesquisa permitiu que eles criassem um avatar que fosse mais expressivo durante as conversas. O resultado são avatares 4D dinâmicos que podem transmitir de forma realista emoções como raiva, medo, excitação e confusão, tudo sem ter que usar um emoji ou pressionar um botão em um controlador VR.

O trabalho de pesquisa ainda continua, mas no momento a equipe conseguiu desenvolver um método para estilização de cenas 3D usando representações neurais implícitas que impactavam seu ambiente e seus avatares. Além disso, sua abordagem de usar um método de estilização alternada permitiu que eles aproveitassem o uso total de sua capacidade de memória de hardware para estilizar cenas 3D estáticas e dinâmicas, permitindo que a equipe gerasse imagens com resolução mais alta e adotasse uma transferência de estilo de imagem mais expressiva métodos em RV. 

Se você estiver interessado em aprofundar os detalhes, você pode acessar o relatório deles SUA PARTICIPAÇÃO FAZ A DIFERENÇA.

Crédito da imagem: Universidade de Cornell