Calipia : le blog

Bluffant : Nvidia vient de produire une nouvelle technologie pour entrainer des algorithmes d’IA dont l’objectif des de créer une scène 3D à partir d’un petit échantillon de photos prises (en 2D donc) sous différents angles. Cette méthode fusionne l’entraînement des réseaux neuronaux et le rendu rapide, et est l’une des premieres de ce type à le faire.

La société a appliqué cette approche à une technologie relativement récente connue sous le nom de champs de radiance neuronaux (NeRF) et a produit « la technique NeRF la plus rapide à ce jour« , Instant NeRF, qui est capable d’atteindre des vitesses de plus de 1 000 fois dans certains cas. Ce modèle a besoin de quelques secondes pour s’entraîner sur quelques dizaines de photos couplées à des métadonnées sur les angles de la caméra, et peut ensuite rendre la scène 3D résultante en « quelques dizaines de millisecondes ».

La création d’une scène 3D avec les méthodes traditionnelles prend des heures ou plus, selon la complexité et la résolution de la visualisation. L’introduction de l’IA accélère les choses. Les premiers modèles NeRF rendaient des scènes nettes et sans artefacts en quelques minutes, mais il fallait encore des heures pour l’entraîner. Ici Instant NeRF, a réduit le temps de rendu de plusieurs ordres de grandeur. Il s’appuie sur une technique développée par NVIDIA, appelée encodage de grille de hachage multi-résolution. Grâce à une nouvelle méthode de codage d’entrée, les chercheurs peuvent obtenir des résultats de haute qualité en utilisant un minuscule réseau neuronal qui tourne rapidement.

Petite illustration vidéo des capacités offertes :

« Si les représentations 3D traditionnelles telles que les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne d’un objet ou d’une scène. En ce sens, l’Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie en 2D, en augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage en 3D. »

David Luebke, vice-président graphics research chez NVIDIA

Les applications de cette technologie sont nombreuses, on pense bien sûr à la création d’avatars réalistes pour le metavers, sans avoir besoin de matériel couteux…