Archives de Catégorie: AR VR

IA : Nvidia propose une application impressionnante de la technologie NeRF

Bluffant : Nvidia vient de produire une nouvelle technologie pour entrainer des algorithmes d’IA dont l’objectif des de créer une scène 3D à partir d’un petit échantillon de photos prises (en 2D donc) sous différents angles. Cette méthode fusionne l’entraînement des réseaux neuronaux et le rendu rapide, et est l’une des premieres de ce type à le faire.

La société a appliqué cette approche à une technologie relativement récente connue sous le nom de champs de radiance neuronaux (NeRF) et a produit « la technique NeRF la plus rapide à ce jour« , Instant NeRF, qui est capable d’atteindre des vitesses de plus de 1 000 fois dans certains cas. Ce modèle a besoin de quelques secondes pour s’entraîner sur quelques dizaines de photos couplées à des métadonnées sur les angles de la caméra, et peut ensuite rendre la scène 3D résultante en « quelques dizaines de millisecondes ».

La création d’une scène 3D avec les méthodes traditionnelles prend des heures ou plus, selon la complexité et la résolution de la visualisation. L’introduction de l’IA accélère les choses. Les premiers modèles NeRF rendaient des scènes nettes et sans artefacts en quelques minutes, mais il fallait encore des heures pour l’entraîner. Ici Instant NeRF, a réduit le temps de rendu de plusieurs ordres de grandeur. Il s’appuie sur une technique développée par NVIDIA, appelée encodage de grille de hachage multi-résolution. Grâce à une nouvelle méthode de codage d’entrée, les chercheurs peuvent obtenir des résultats de haute qualité en utilisant un minuscule réseau neuronal qui tourne rapidement.

Petite illustration vidéo des capacités offertes :

« Si les représentations 3D traditionnelles telles que les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne d’un objet ou d’une scène. En ce sens, l’Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie en 2D, en augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage en 3D. »

David Luebke, vice-président graphics research chez NVIDIA

Les applications de cette technologie sont nombreuses, on pense bien sûr à la création d’avatars réalistes pour le metavers, sans avoir besoin de matériel couteux…

Les ambitions de Google sur la réalité virtuelle se confirment…

Google aurait conclu un accord pour acheter Raxium, une startup de cinq ans d’existence qui développe de minuscules diodes électroluminescentes pour les écrans utilisés dans les dispositifs de réalité augmentée et mixte. Aujourd’hui la société n’a pas encore sorti le moindre produit commercial, mais son travail tourne autour des micro LED, qui peuvent produire le type de petits écrans dont les appareils de réalité augmentée ont besoin.

Google n’est clairement pas novice dans le domaine de la réalité virtuelle et augmentée et même précurseur (un peu trop) avec les Google Classes. Google recrute toujours à tour de bras dans ce domaine avec des offres d’emploi pour je cite : « un futur OS de réalité augmentée qui promet de toucher des milliards de personnes ». On connait aussi les développements de la firme de Mountain View autour du projet Iris (nouvelles sortes de Google Classes prévues pour 2024). La société avait également racheté la société canadienne North qui proposait il y a 4 ans déjà des lunettes innovantes au CES pouvant être associé à des prescriptions médicale et disponible à terme chez des opticiens… (nous vous en parlions sur ce post à l’époquee)

Pour en revenir à ce rachat, si tout le monde parle aujourd’hui de l’OLED, le Micro Led devraient être la prochaine grande nouveauté. Google n’est pas le seul à y investir, Apple a fait de même il y a beaucoup plus de temps avec le rachat d’une startup en 2014 qui travaillait dans ce domaine (on parlait alors d’achat pour l’Apple Watch). Meta s’est quant à lui associé à une société appelée Plessey pour la technologie des micro LED. Enfin Samsung (qui serait d’après les rumeur en train de préparer un successeur à Hololens de Microsoft) s’intéresse également à ce marché et vend déjà des téléviseurs à micro LED…

Vers un abandon d’Hololens ? Est-ce si grave ?

HoloLens 2 : découvrir les caractéristiques et les fonctionnalités –  Microsoft HoloLens 2

Rien ne va plus pour Hololens, selon le un rapport de Business Insider, Microsoft aurait décidé d’arrêter les frais sur ces modèles avec un arrêt de la version 3 décidé déjà depuis plus de 8 mois. Pour rappel la version 2 prévue à l’origine pour 2019 n’est arrivée qu’en 2020. Ceci aurait créé en s’en doute des mouvements et de fortes tensions dans les équipes de développement du produit. Equipes que Business Insider auraient consulté.

Hololens s’était très rapidement concentré sur le marché des entreprises, avec de très beaux succès. Récemment les déboires autour du méga contrat avec l’armée américaine (nous vous en parlions encore récemment sur le blog) avait fortement refroidi les développements et nouveaux projets. Autres soucis rapportés par de nombreux clients, les coût associées de développement, en plus bien entendu du coût élevé du matériel.

En interne, Business Insider rapporte les propos du directeur marketing mondial de l’entreprise : Chris Capossela (que nous connaissons bien et qui ne pratique pas en interne la langue de bois) aurait douté d’HoloLens et l’aurait qualifié d’erreur pour l’activité de Microsoft, que se serait : « un gadget sympa pour les vidéos promotionnelles« , ceci lors d’une réunion de l’ensemble du personnel. Le PDG de Microsoft Satya Nadella, souhaiterait quand à lui que Microsoft se concentre plus sur le logiciel qui sera l’élément essentiel pour le développement du Metavers demain.

Une orientation plus grand public serait donc la clé, mais avec du matériel… non Microsoft. On parle ainsi de Samsung comme partenaire hardware. Ce dernier n’est pas un inconnu pour Microsoft qui s’est souvent allié à lui pour lancer des innovations matérielles, comme les premiers PC sous Windows ARM, pas vraiment couronnés de succès. Mais aussi les premiers ultra-portables avant que l’entreprise se décide à faire ses propres tablettes-PC Surface ! Echaudé, le Coréen aurait demandé à Microsoft des garanties pour que ce dernier se limite au logiciel et seulement au logiciel…

Microsoft qui abandonnerait Hololens, est-ce si grave ? Pas vraiment à mon avis, c’est même peut-être l’inverse. Là où Microsoft a toujours marqué des points, c’est lorsque son logiciel était universel, et fonctionnait sur différentes plateformes. Le succès des offres Cloud Microsoft 365 et Azure, proposées depuis l’arrivée de Satya Nadella sur toutes les plateformes en témoigne. Alors s’associer à un (voir des) constructeurs de casques, dont pourquoi pas en utilisant aussi des Casques Oculus Quest, n’est sans doute pas une mauvaise chose, dans la course que fait le géant pour faire de son Metavers une réalité.

Hololens pas encore prêt pour les militaires…

Vous vous en souvenez, Microsoft avait gagné un contrat de plusieurs milliards de dollars avec l’armée américaine pour fournir aux soldats des casque de réalité augmentée Hololens. En octobre dernier l’armée stoppait le contrat en annonçant officiellement une pause estimant que la solution prototypée de Microsoft n’était pas « prête au combat »…

On apprend aujourd’hui selon un rapport de Bloomberg, que le casque n’est pas encore au point pour un usage sur le terrain des opérations. Dans une note confidentielle le directeur des tests du Pentagone estime que la solution n’est pas utilisable. Mais heureusement pour Microsoft et son contrat estimé à 22 milliards de $, le casque est une des composante, importante certes, mais la plateforme dite « Integrated Augmentation System » constituant le BackOffice fera l’objet d’une évaluation parallèle.

Mais rien n’est perdu à ce stade pour la solution Microsoft. L’armée a indiquée qu’elle avait noté des progrès depuis octobre dernier sur le matériel, même si au dela des fonctionnalités les matériaux utilisés ne sont pas encore à un niveau « militaire ». Il y a encore du boulot pour Microsoft et leur équipes d’ingénieurs, dans un contexte ou la Réalité Virtuelle et la Réalité augmentée est dans tous les projets des géants du numérique, Facebook (Meta) en tête qui débauche à tour de bras des spécialistes de chez Google… et Microsoft dans les équipes Hololens !

#CES 2022 : Partenariat Microsoft Qualcomm sur l’AR

Qualcomm & Microsoft Partner on "custom AR chips" for Next-gen Glasses

Les deux entreprises ont annoncée hier soir dans le cadre d’une série d’initiatives visant à promouvoir la réalité augmentée et le metavers, notamment le développement de puces personnalisées pour les lunettes AR. Les entreprises sont restées timides sur la nature des puces ou des produits finis, mais elles ont promis des lunettes « légères » et économes en énergie. En d’autres termes, vous pourriez avoir envie d’utiliser ces lunettes pendant de longues périodes. Sans doute un produit complémentaire à venir du casque Hololens qui restera la version haut de gamme.

Sans surprise, cela utilisera des logiciels, notamment l’outil de collaboration virtuelle Mesh de Microsoft et le système de développement Snapdragon Spaces XR de Qualcomm. Il n’a pas été fait mention des plates-formes que les lunettes prendront en charge, mais on peut présumer qu’elles seront compatibles avec Windows et bien sur le produit phare Teams !

Microsoft a longtemps évoqué son intention de rendre la réalité augmentée plus accessible que ses casques HoloLens. Ces puces n’atteindront pas nécessairement les lunettes destinées aux consommateurs, mais elles pourraient représenter un grand pas dans cette direction. Pour Qualcomm, cela pourrait également l’aider à contrôler l’avenir de la RA – elle pourrait ne pas avoir à craindre que Meta et d’autres entreprises dominent le métavers avec leurs propres équipements (nous en parlions lors du dernier Briefing Calipia) avec à terme une sorte de privatisation d’une partie de ce qui se veut être le futur d’internet (même si il y a encore pas mal de boulot pour que la vision devienne réalité !).

Metaverse : comment apporter le sens du toucher ?

C’est une chose sur laquelle travaille Meta (Facebook) avec des gants haptiques permettant de ressentir les choses. Le toucher est l’un des obstacles à surmonter pour développer une expérience plus complète en réalité virtuelle.

Pour relever ce défi, l’une des équipes de recherche des Reality Labs de Meta développe des gants haptiques confortables, personnalisables et, surtout, capables de reproduire toute une gamme de sensations dans les mondes virtuels, notamment la texture, la pression et les vibrations. L’entreprise a déclaré qu’elle travaillait sur les gants haptiques depuis sept ans et qu’elle avait dû développer de nouvelles techniques, technologies et disciplines pour ce faire, et le moins que l’on puisse dire c’est qu’effectivement ce n’est pas simple mais assez passionnant :

  • La discipline dite de « science perceptuelle » : « La technologie actuelle ne permettant pas de recréer entièrement la physique du monde réel dans la RV, nous explorons l’idée de combiner les retours auditifs, visuels et haptiques pour, par exemple, convaincre le système perceptif du porteur qu’il ressent le poids d’un objet« .
  • La robotique douce : « Les actionneurs mécaniques existants dégagent trop de chaleur pour qu’un tel gant puisse être porté confortablement toute la journée. Pour résoudre ce problème, nous créons de nouveaux actionneurs souples – de minuscules moteurs souples répartis sur tout le gant qui se déplacent de concert pour procurer des sensations à la main du porteur« .
  • Système dit « Microfluidique » : « nous développons le premier processeur microfluidique à haute vitesse au monde – une petite puce microfluidique qui contrôle le flux d’air qui déplace les actionneurs. L’utilisation de l’air (un fluide) nous permet de placer beaucoup plus d’actionneurs sur le gant que ce qui serait possible avec des circuits électroniques« .
  • Le suivi des mains : « Même avec un moyen de contrôler le flux d’air, le système doit savoir quand et où délivrer les bonnes sensations. Nous développons une technologie avancée de suivi de la main pour lui permettre d’identifier précisément où se trouve votre main dans une scène virtuelle, si vous êtes en contact avec un objet virtuel et comment votre main interagit avec l’objet« .
  • Le rendu haptique : « Notre moteur de rendu haptique envoie des instructions précises aux actionneurs de la main, sur la base d’une compréhension d’éléments tels que l’emplacement de la main et les propriétés des objets virtuels (comme la texture, le poids et la rigidité) avec lesquels la main entre en contact« .

Le travail de développement de ces gants en est encore aux premières étapes du processus de recherche, ce que reflète une vidéo d’accompagnement dans laquelle ils ont l’air plutôt maladroits. Lorsqu’ils deviendront plus pratiques, Meta espère vendre ces gants en vous permettant de les associer à votre casque VR ou à vos lunettes AR. Il y a encore du (gros) travail à faire visiblement.

Nous reviendrons sur ces défis lors du prochain Briefing Calipia.