Archives des étiquettes : AR

Metaverse : comment apporter le sens du toucher ?

C’est une chose sur laquelle travaille Meta (Facebook) avec des gants haptiques permettant de ressentir les choses. Le toucher est l’un des obstacles à surmonter pour développer une expérience plus complète en réalité virtuelle.

Pour relever ce défi, l’une des équipes de recherche des Reality Labs de Meta développe des gants haptiques confortables, personnalisables et, surtout, capables de reproduire toute une gamme de sensations dans les mondes virtuels, notamment la texture, la pression et les vibrations. L’entreprise a déclaré qu’elle travaillait sur les gants haptiques depuis sept ans et qu’elle avait dû développer de nouvelles techniques, technologies et disciplines pour ce faire, et le moins que l’on puisse dire c’est qu’effectivement ce n’est pas simple mais assez passionnant :

  • La discipline dite de « science perceptuelle » : « La technologie actuelle ne permettant pas de recréer entièrement la physique du monde réel dans la RV, nous explorons l’idée de combiner les retours auditifs, visuels et haptiques pour, par exemple, convaincre le système perceptif du porteur qu’il ressent le poids d’un objet« .
  • La robotique douce : « Les actionneurs mécaniques existants dégagent trop de chaleur pour qu’un tel gant puisse être porté confortablement toute la journée. Pour résoudre ce problème, nous créons de nouveaux actionneurs souples – de minuscules moteurs souples répartis sur tout le gant qui se déplacent de concert pour procurer des sensations à la main du porteur« .
  • Système dit « Microfluidique » : « nous développons le premier processeur microfluidique à haute vitesse au monde – une petite puce microfluidique qui contrôle le flux d’air qui déplace les actionneurs. L’utilisation de l’air (un fluide) nous permet de placer beaucoup plus d’actionneurs sur le gant que ce qui serait possible avec des circuits électroniques« .
  • Le suivi des mains : « Même avec un moyen de contrôler le flux d’air, le système doit savoir quand et où délivrer les bonnes sensations. Nous développons une technologie avancée de suivi de la main pour lui permettre d’identifier précisément où se trouve votre main dans une scène virtuelle, si vous êtes en contact avec un objet virtuel et comment votre main interagit avec l’objet« .
  • Le rendu haptique : « Notre moteur de rendu haptique envoie des instructions précises aux actionneurs de la main, sur la base d’une compréhension d’éléments tels que l’emplacement de la main et les propriétés des objets virtuels (comme la texture, le poids et la rigidité) avec lesquels la main entre en contact« .

Le travail de développement de ces gants en est encore aux premières étapes du processus de recherche, ce que reflète une vidéo d’accompagnement dans laquelle ils ont l’air plutôt maladroits. Lorsqu’ils deviendront plus pratiques, Meta espère vendre ces gants en vous permettant de les associer à votre casque VR ou à vos lunettes AR. Il y a encore du (gros) travail à faire visiblement.

Nous reviendrons sur ces défis lors du prochain Briefing Calipia.

On en sait (un peu) plus sur le projet le lunettes AR de Facebook (Project Nazare)

Facebook, pardon Meta, travaille depuis pas mal de temps sur des casques de réalité augmentée au delà des Oculus, des facteurs de forme type lunettes que nous serions en mesure de porter toute la journée , et bien qu’ils ne montrent pas encore de matériel, le PDG de l’entreprise, Mark Zuckerberg, a mentionné la semaine dernière à Facebook Connect 2021 que l’entreprise est en effet toujours en train de travailler sur ses premières « lunettes de réalité augmentée à part entière« , révélant le nom de code « Project Nazare« .

Dans un court concept simulé, Zuckerberg raconte une scène typique où des utilisateurs échangent des messages sur Whatsapp et organisent une soirée de jeu. Les avatars des amis apparaissent dans le champ de vision de l’utilisateur et le jeu commence. Nous sommes assez proche de ce qu’il est déjà possible de faire avec Horizon pour les réunions en entreprise, nous vous montrerons tout ceci avec le matériel (Oculus Quest 2) lors du prochain Briefing Calipia, pour ceux qui nous rejoindrons (ils pourront y compris essayer ceci à plusieurs 🙂 ). Mais si ceci fonctionne déjà assez bien (et c’est vraiment bluffant), on est encore loin d’un format « lunettes » que nous pourrions garder sur le nez toute la journée…

Il reste encore beaucoup de chemin à parcourir pour créer le facteur de forme souhaité pour le matériel, explique lui même Zuckerberg :

« Il y a beaucoup de travail technique à faire pour obtenir ce facteur de forme et cette expérience. Nous devons intégrer dans des lunettes d’environ 5 mm d’épaisseur des hologrammes, des projecteurs, des batteries, des radios, des puces en silicium personnalisées, des caméras, des haut-parleurs, des capteurs pour cartographier le monde qui vous entoure, etc. Nous avons donc encore du chemin à parcourir avec Nazare, mais nous faisons de bons progrès.« 

La société a également fait la démonstration d’une série d’expériences de maison intelligente liées à l’assistance et rendues possibles par le projet Aria, le prototype de casque riche en capteurs de la société qui a été testé l’année dernière. Cependant, Aria n’inclut aucune sorte d’écran AR, il s’agit donc plutôt d’un démonstrateur vers le type de lunettes AR compactes que la société semble viser.

Michael Ishigaki

Un de nos contacts chez Meta, Michael Ishigaki, ancien de Google où il a passé ces 8 dernières années, vient d’être embauché par Meta donc en tant que patron du projet Nazare. Il indiquait dans un post Linkedin, samedi dernier qu’ils allaient embaucher massivement dans son équipe dont pas mal de concepteurs-prototypistes « hybrides ». Au regard de l’annonce faite, on voit que beaucoup de questions sont encore posées :

Comment faire de Nazare la plateforme informatique la plus intuitive qui soit ? Comment faire en sorte que l’utilisation des lunettes AR soit socialement acceptable ? Comment rendre l’interaction avec ce dispositif agréable, confortable et efficace ?

#CES2021 : Lenovo dévoile ses lunettes ThinkReality à base du Snapdragon XR1

Aujourd’hui, Lenovo vient de présenter ses lunettes intelligentes ThinkReality A3, t basées sur sa plateforme de réalité augmentée ThinkReality. Ses nouvelles lunettes intègre le Snapdragon XR1 de Qualcomm, qui est conçu pour la réalité mixte et dispose d’un affichage stéréo en 1080p.

Jon Pershke, le vice-président de la stratégie et des activités émergentes de Lenovo précise :

« L’A3 est une solution de réalité augmentée de nouvelle génération – légère, puissante et polyvalente. Les lunettes intelligentes font partie d’une solution numérique intégrée complète de Lenovo qui comprend le dispositif de réalité augmentée avancé, le logiciel ThinkReality et les téléphones portables Motorola. Qu’il s’agisse de travailler dans des espaces virtuels ou de prendre en charge l’assistance à distance, le ThinkReality A3 améliore la capacité des travailleurs à en faire plus, où qu’ils se trouvent ».

Le ThinkReality A3 doit être connecté à un PC ou à un smartphone Motorola (marque appartenant à Lenovo) équipé d’un chipset Snapdragon de la série 8. L’édition PC est destinée aux moniteurs virtuels, qui peuvent être au nombre de cinq au maximum. Cela vous permettra en fait d’exécuter Windows sur un moniteur complet, d’exécuter des applications, etc. Il s’agit donc essentiellement d’utiliser le casque comme moniteur additionnel avec le calcul qui se fait dans le PC.

L’entreprise propose également une édition industrielle, conçue pour disposer de Réalité Augmentée dans les via la plate-forme ThinkReality. Celle-ci peut être utilisée pour la visualisation 3D, la modélisation, etc.

Le ThinkReality A3 arriverait sur certains marchés au milieu de l’année 2021 sans plus de précision (ni d’information sur son prix)

Google rachète le canadien North qui réalisait des lunettes à réalité augmentée

focal-2Nous vous avions parlé il y a 1 an et demi des lunettes Focals du canadien North. Nous les avions essayé lors du CES 2019, elles étaient dans le village Amazon Alexa. Elles avaient des fonctionnalités très interessantes et progressaient régulièrement.

Google a annoncé aujourd’hui l’acquisition de North. L’annonce officielle intervient quelques jours seulement après que les rumeurs de cette acquisition aient commencé à circuler. Les détails financiers exacts de l’opération n’ont pas été divulgués. L’équipe de North restera au Canada et rejoindra les bureaux de Google à Kitchener-Waterloo.

Conséquence de ce rachat, la société a annoncé qu’elle n’expédierait pas la deuxième génération de lunettes intelligentes Focals 2.0 (qui étaient attendues pour cet été). Elle a arrêté la production du dispositif de première génération en décembre dernier et elle remboursera les clients pour les commandes en cours.

Avec cette acquisition Google souhaite faire évoluer son dispositif alors que son propre matériel (Google Glass) n’avait pas trouvé son marché ce qui avait entraîné la suspension de ses ventes. Les Google Glass avaient finalement été transformée en un appareil destiné aux entreprises, sur le modèle d’Hololens chez Microsoft.

Grâce à cette l’acquisition et à l’expertise de North dans le développement de lunettes intelligentes mais surtout plus discrètes, la société pourrait relancer ses plans en préparant probablement un successeur aux Google Glass mais surtout en s’attaquant à des rivaux tels qu’Apple, qui devrait lancer ses propres lunettes à réalité augmentée en 2023…

La Réalité Virtuelle et la Réalité Augmentée attirent les investisseurs

La société Digi-Capital vient de sortir son nouveau rapport sur les investissements en matière de réalité augmentée / virtuelle. Ce rapport de 360 ​​pages fait état d’un investissement de plus de 5,4 milliards de dollars dans les domaines de réalité augmentée et de réalité virtuelle au cours du dernier exercice, à mi 2019.

ARVRLes entreprises chinoises ont collecté 2,5 fois plus de dollars que leurs homologues nord-américains. La valeur des transactions mondiales, ou les dollars investis, a augmenté considérablement au deuxième trimestre de 2019. Même si de l’avis des analystes 2019 sera une année de transition avant un point d’inflexion du marché – en particulier si les lunettes intelligentes Apple qui seraient dans les cartons étaient bien lancées au quatrième trimestre 2020, comme le prévoyait Digi-Capital et ceci depuis 2016.

Lunettes AppleApple est perçu ici comme un des acteurs clé du secteur capable de faire bouger les ligne avec un produit de masse suffisamment stable. Mais à ce stade seuls Tim Cook et son entourage savent vraiment si cela se réalisera et, le cas échéant, à quoi pourrait ressembler ses lunettes !

Un brevet Amazon pour une application pratique de Réalité Augmentée

Un brevet déposé par Amazon traitant de la réalité augmentée fait surface. Le géant du commerce en ligne propose d’équiper les livreurs d’un casque pour alerter l’agent de distribution sur les meilleurs moments pour effectuer une livraison, sur les meilleurs itinéraires et même pour les meilleurs endroits pour le stationnement, tandis qu’il conduit sa camionnette de livraison…

Amazon ARLes serveurs d’Amazon garderaient en mémoire la position des agents et de leur destination, et établiraient une correspondance entre ces itinéraires et une base de données compilée à partir des livraisons précédentes. Les agents pourraient (vocalement via Alexa ?) proposer des conseils à ajouter à la base de données pour la prochaine diffusion. Ainsi au fur et à mesure que les agents se promènent, les conseils de livraison et les notes s’afficheraient sur leur casque. Il serait même possible pour le destinataire de signaler une zone ou laisser le colis, zone qui apparaitrait ainsi dans le casque du livreur…

Quel avenir pour la Réalité Virtuelle et la Réalité Augmentée ?

Capture d’écran 2019-06-02 à 18.50.16C’est la question que se posait la semaine dernière les différents exposants de la 10 ème édition de l’événement « Augmented World Expo 2019 » qui se déroulait à Santa Clara.

Si la courbe d’adoption de la réalité virtuelle n’est pas aussi rapide que l’industrie l’espérait en particulier dans le grand public et des l’univers des jeux, on est très loin de la courbe d’adoption de la télévision en 3D qui a fait un beau flop alors même qu’elle était présente dans tous les nouveaux modèles de TV en 2016…

En effet la courbe d’adoption des technologies de réalités virtuelles, réalité augmentées ou réalité mixte serait la même que celle de la Télévision couleur… le siècle dernier !

AR VRCe taux de croissance est beaucoup plus lent que ce à quoi tout le monde s’attendait, au cours des deux dernières années de folie sur ces technologies. Mais il est assez rapide pour permettre à la technologie de base et aux entreprises qui la créent de survivre et de passer à la génération suivante en offrant des perspectives interessantes même si l’on est encore sur des applications limitées voir de niches.

Le potentiel du marché coté grand public est encore assez limité : et pour cause, le cout est l’élément essentiel à l’adoption. Une entreprise peut débourser 6 000 $ pour ce type de technologie. Mais vous ne pouvez pas la vendre aux consommateurs avant qu’il ne coûte 300 $. A ce prix tous les raffinements d’un HoloLens ne seront sans doute pas présents pour tout de suite…

Conclusion tables rondes de l’évènement : de nombreuses entreprises sont en train de « pivoter », quittant les marchés grand public pour s’orienter vers les entreprises, les divertissements basés sur l’emplacement et les marchés de la santé, de l’éducation et de l’industrie. Cela tombe bien, nous abordons ces domaines et leurs usages lors du Briefing Calipia de juin !

#CES2019 : la « Beauté 3.0 »

La startup Perfect Corp propose de révéler au prochain CES sa plateforme de « Beauté 3.0 » qui via des technologies d’Intelligence Artificielle (IA) et de la Réalité Augmentée (RA)
veut créer une expérience beauté virtuelle intelligente qui redéfinit la façon dont les consommateurs, les marques et les vendeurs appréhendent  la beauté… Vaste programme.

beaute3La société est connue pour avoir créé l’application de beauté virtuelle « YouCam Makeup« (note de 4,6/5 sur l’AppStore !), qui permet de réaliser un maquillage virtuel à partir d’un selfie. Cette application a connu un succès important pour se classer au numéro 1 des applications de ce genre. Une exploitation interessante de la réalité augmentée qui vient souvent démontrer ce concept (J’utilise également l’application IKEA pour illustrer la RA).

La société devrait démontrer de nouvelles solutions qui vont au delà du simple affichage en Réalité Augmentée en donnant des conseils. Pour cela (le dépôt de brevet serait en cours) elle utilise de l’IA avec de l’apprentissage profond ou deep learning et des réseaux neuronaux pour reconnaître directement les formes, les couleurs et les pixels de la peau à partir d’une image. L’objectif est bien sur de la recommandation de produit : la recherche de la teinte parfaite d’un fond de teint ou un diagnostic de la peau pour détecter les problèmes et suivre l’évolution à travers le temps.

Sur le stand du CES la société précise que  les invités pourront « faire l’expérience des derniers développements dans l’essai ultra-réaliste de maquillages, une coloration ombrée des cheveux en direct, et une consultation à la demande en vidéo auprès de conseillers beauté, donnant l’accès au professionnalisme des maquilleurs des points de vente juste depuis son téléphone portable« .

Hum, à voir, et l’on vous ramène une petite vidéo de Patrick en train de se refaire une beauté 🙂

iOS 11 devrait démocratiser l’usage de la réalité augmentée

Dans une interview hier, Tim Cook, le patron d’Apple vantait les mérites de la réalité augmentée désormais accessible avec iOS 11.

Jusqu’alors très sceptique sur la réalité augmentée lorsqu’elle nécessitait de porter des lunettes ou un casque sur la tête d’une part, mais aussi sur la fluidité des solutions proposées, les applications à l’image de celle d’Ikea (Ikea Place – disponible pour l’instant que sur le Store US) risquent bien de changer la donne…

table ARNous n’avons pas résisté à mettre une nouvelle chaise dans le bureau, et une nouvelle petite table / coffre !

Une petite présentation des possibilités :