Empresa fornece o código aberto da solução para que empresas criem cada vez mais personagens reais em jogos e aplicações 3D

Ao utilizar grandes modelos de linguagem e fala, a IA generativa está criando avatares 3D inteligentes capazes de interagir com os usuários em conversas naturais, sendo utilizados desde videogames até o atendimento ao cliente. E, para que esses personagens sejam realmente realistas, eles precisam de expressões faciais humanas. Pensando nisso, a NVIDIA anunciou hoje (24) que a sua tecnologia NVIDIA Audio2Face, que acelera a criação de personagens digitais realistas ao fornecer animação facial e sincronização labial em tempo real, impulsionada por IA generativa, está disponibilizando o código aberto da tecnologia, visando acelerar a adoção de avatares movidos por IA em jogos e aplicações 3D.

O Audio2Face utiliza IA para gerar animações faciais realistas a partir do áudio. Ele funciona analisando recursos acústicos, como fonemas e entonação, para criar um fluxo de dados de animação, que depois é mapeado para as poses faciais de um personagem. Esses dados podem ser renderizados offline para conteúdos pré-roteirizados ou transmitidos em tempo real para personagens dinâmicos controlados por IA, garantindo sincronização labial precisa e expressões emocionais autênticas.

A NVIDIA está liberando em código aberto os modelos da tecnologia e o SDK do Audio2Face, permitindo que qualquer desenvolvedor de jogos e aplicativos 3D crie e implemente personagens de alta fidelidade com animações de ponta. A empresa também está disponibilizando a estrutura de treinamento do Audio2Face, para qualquer pessoa poder ajustar e personalizar os modelos pré-existentes de acordo com suas necessidades específicas. Veja abaixo a lista completa de ferramentas open source e saiba mais no NVIDIA Developer.

A disponibilização do código aberto da tecnologia possibilita que desenvolvedores, estudantes e pesquisadores aprendam com o código de última geração e construam sobre ele. Isso cria um ciclo de feedback, no qual a comunidade pode adicionar novos recursos e otimizar a tecnologia para diferentes casos de uso. Com isso, a NVIDIA busca tornar a animação facial de alta qualidade mais acessível para todos.

O modelo Audio2Face, líder do setor, já está amplamente implantado nos setores de jogos, mídia & entretenimento e atendimento ao cliente. Diversos ISVs e desenvolvedores de jogos, incluindo Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs e UneeQ Digital Humans, já utilizam o Audio2Face em seus trabalhos.

A Reallusion, que oferece uma plataforma para criadores desenvolverem personagens 3D, integrou o Audio2Face em suas ferramentas: “O Audio2Face utiliza IA para criar animação facial expressiva e multilíngue a partir de áudio”, afirmou Elvis Huang, Head of Innovation da Reallusion, Inc. “Sua integração perfeita com o iClone, o Character Creator e o iClone AI Assistant da Reallusion, além de ferramentas avançadas de edição, como face-key editing, face puppeteering e AccuLip, tornam a produção de animações faciais de alta qualidade mais fácil do que nunca.”

Além disso, a Survios, desenvolvedora de Alien: Rogue Incursion Evolved Edition, acelerou seu processo de animação, possibilitando a entrega de experiências de personagens de alta qualidade mais rapidamente: “Ao integrar o Audio2Face no Evolved Edition, simplificamos o pipeline de sincronização labial e captura facial, garantindo uma experiência de personagens mais imersiva e autêntica para os jogadores”, afirmou Eugene Elkin, Game Director e Lead Engineer da Survios.

Atualizações mais recentes do RTX Kit
O RTX Kit é o conjunto de tecnologias de renderização neural da NVIDIA que permite realizar Ray Tracing em jogos com IA, renderizar cenas com geometrias complexas e criar personagens de jogos com visuais fotorrealistas.

O RTX Neural Texture Compression SDK reduz drasticamente o uso de memória de texturas de alta qualidade sem comprometer a fidelidade visual. As melhorias incluem:

• Otimizações de biblioteca para conjuntos de texturas muito grandes e desempenho aprimorado com Cooperative Vectors no DX12.
• Conjunto expandido de recursos de renderização, com melhor desempenho e suporte ao DLSS.
• Melhorias na ferramenta de linha de comando para compressão e descompressão de grandes conjuntos de texturas.
• Nova cena Intel Sponza, ideal para benchmarking.

O RTX Global Illumination SDK oferece soluções de iluminação indireta com Ray Tracing e recebeu novidades como:

• Adição da opção VSync Pathtracer.
• Visualização de cache com alternância de demodulação de mater.
• O algoritmo SHaRC (Spatially Hashed Radiance Cache) removeu a opção de compactação, introduziu demodulação opcional de materiais, além de novos passes de depuração e atualizações na documentação.

NVIDIA vGPU amplia os horizontes do desenvolvimento de jogos

A tecnologia NVIDIA vGPU (virtual GPU) permite o compartilhamento de GPU entre múltiplos usuários em um ambiente virtual, oferecendo recursos de GPU para apoiar desenvolvedores de jogos em toda a organização. A Activision reformulou seu pipeline global de integração, entrega e implantação com o auxílio do NVIDIA vGPU, substituindo 100 servidores por apenas seis unidades com GPU RTX. Os resultados foram:

• Redução de 82% na infraestrutura física.
• Queda de 72% no consumo de energia.
• Mais de 250.000 tarefas executadas diariamente por 3.000 desenvolvedores em mais de 500 sistemas.

Ao consolidar a infraestrutura e possibilitar a alocação dinâmica de GPUs, a Activision construiu uma plataforma escalável de testes automatizados que abrange desde validação do multijogador de seus títulos, até testes de regressão visual e de desempenho, acelerando o ritmo de iteração e elevando a qualidade do código em toda a linha.