Metaverse : comment apporter le sens du toucher ?

C’est une chose sur laquelle travaille Meta (Facebook) avec des gants haptiques permettant de ressentir les choses. Le toucher est l’un des obstacles à surmonter pour développer une expérience plus complète en réalité virtuelle.
Pour relever ce défi, l’une des équipes de recherche des Reality Labs de Meta développe des gants haptiques confortables, personnalisables et, surtout, capables de reproduire toute une gamme de sensations dans les mondes virtuels, notamment la texture, la pression et les vibrations. L’entreprise a déclaré qu’elle travaillait sur les gants haptiques depuis sept ans et qu’elle avait dû développer de nouvelles techniques, technologies et disciplines pour ce faire, et le moins que l’on puisse dire c’est qu’effectivement ce n’est pas simple mais assez passionnant :
- La discipline dite de « science perceptuelle » : « La technologie actuelle ne permettant pas de recréer entièrement la physique du monde réel dans la RV, nous explorons l’idée de combiner les retours auditifs, visuels et haptiques pour, par exemple, convaincre le système perceptif du porteur qu’il ressent le poids d’un objet« .
- La robotique douce : « Les actionneurs mécaniques existants dégagent trop de chaleur pour qu’un tel gant puisse être porté confortablement toute la journée. Pour résoudre ce problème, nous créons de nouveaux actionneurs souples – de minuscules moteurs souples répartis sur tout le gant qui se déplacent de concert pour procurer des sensations à la main du porteur« .
- Système dit « Microfluidique » : « nous développons le premier processeur microfluidique à haute vitesse au monde – une petite puce microfluidique qui contrôle le flux d’air qui déplace les actionneurs. L’utilisation de l’air (un fluide) nous permet de placer beaucoup plus d’actionneurs sur le gant que ce qui serait possible avec des circuits électroniques« .
- Le suivi des mains : « Même avec un moyen de contrôler le flux d’air, le système doit savoir quand et où délivrer les bonnes sensations. Nous développons une technologie avancée de suivi de la main pour lui permettre d’identifier précisément où se trouve votre main dans une scène virtuelle, si vous êtes en contact avec un objet virtuel et comment votre main interagit avec l’objet« .
- Le rendu haptique : « Notre moteur de rendu haptique envoie des instructions précises aux actionneurs de la main, sur la base d’une compréhension d’éléments tels que l’emplacement de la main et les propriétés des objets virtuels (comme la texture, le poids et la rigidité) avec lesquels la main entre en contact« .
Le travail de développement de ces gants en est encore aux premières étapes du processus de recherche, ce que reflète une vidéo d’accompagnement dans laquelle ils ont l’air plutôt maladroits. Lorsqu’ils deviendront plus pratiques, Meta espère vendre ces gants en vous permettant de les associer à votre casque VR ou à vos lunettes AR. Il y a encore du (gros) travail à faire visiblement.
Nous reviendrons sur ces défis lors du prochain Briefing Calipia.