Calipia : le blog

Avec Copilot Vision with Highlights, Microsoft introduit une nouvelle forme d’assistance contextuelle sur Windows 10 et 11. Cette fonction permet à l’intelligence artificielle intégrée à Copilot de “voir” en temps réel ce qui se passe à l’écran afin de fournir informations, explications, suggestions et analyses directement liées à votre activité.

Présentée comme une “seconde paire d’yeux”, cette capacité est à la fois impressionnante sur le plan fonctionnel, et très sensible sur le plan de la confidentialité. Après la controverse provoquée par Recall en 2024, Microsoft semble bien décidé à apprendre de ses erreurs, en misant cette fois sur un modèle 100 % « opt-in ».

Une assistance active, entre deux applications

Concrètement, Copilot Vision fonctionne avec deux applications simultanément. Par exemple, un utilisateur peut travailler sur une vidéo dans Clipchamp tout en demandant à Copilot comment la recadrer. L’IA observe alors ce qui est affiché dans la fenêtre active, interprète l’interface, et propose une assistance ciblée, étape par étape.

Autre cas d’usage : la retouche photo dans l’application Photos, où Copilot peut vous montrer comment supprimer un objet ou ajuster les couleurs.

Le déclenchement se fait ainsi :

1. Lancement de l’application Copilot.
2. Clic sur l’icône de lunettes (en bas à droite du compositeur).
3. Sélection de l’application à partager.
4. Dialogue avec Copilot (questions, suggestions, tutoriels, etc.).
5. Arrêt du partage via “Stop”.

Pas d’abonnement requis… mais une frontière fine entre aide et surveillance

Bonne nouvelle pour les utilisateurs : Copilot Vision with Highlights est disponible gratuitement, sans nécessité d’un abonnement Copilot Pro. Cette stratégie d’accessibilité illustre bien l’approche de Microsoft : démocratiser l’usage de l’IA dans Windows, au-delà des fonctions purement productives de la suite 365.

Mais, pour ne pas répéter les erreurs de Recall, Microsoft a cette fois multiplié les garde-fous :

• Aucune activation automatique : la fonction est exclusivement déclenchée par l’utilisateur.
• Pas d’analyse en arrière-plan : le traitement est limité à l’application partagée, dans une session explicite.
• Aucune capture ou mémorisation d’écran par défaut.

Microsoft veut clairement rassurer. Ce changement de posture est une réponse directe à la crise de confiance déclenchée par Recall, dont le principe — capturer en continu l’écran de l’utilisateur pour l’exploiter ensuite via l’IA — avait été perçu comme un abus de pouvoir technologique.

Vers un OS proactif et contextuel

Derrière cette fonctionnalité se dessine une transformation de fond : Windows ne se contente plus de vous écouter via l’interface Copilot, il regarde, comprend, et agit selon ce qu’il perçoit à l’écran. C’est une forme de context-aware computing, où l’assistant devient une interface intermédiaire entre l’utilisateur et l’application.

Du point de vue des DSI, cette évolution est à double tranchant :

• Elle ouvre la porte à des usages puissants, notamment pour les utilisateurs peu formés, qui peuvent désormais obtenir un tutoriel immédiat dans leur environnement de travail.
• Elle soulève aussi des questions de contrôle, de journalisation et de gouvernance : qui décide de ce que Copilot peut “voir” ? Peut-on restreindre les applications compatibles ? Peut-on auditer l’historique des interactions ? Des outils d’encadrement de l’IA sont-ils prévus côté IT ?

Un déploiement par étapes, hors Europe (pour l’instant)

Pour le moment, Copilot Vision with Highlights est disponible uniquement aux États-Unis, sur Windows 10 et 11. Microsoft annonce une ouverture progressive vers d’autres marchés non-européens, sans calendrier précis. L’absence de l’Union européenne dans la première vague est un signal fort : la question de la conformité RGPD reste ouverte, même pour un outil activé manuellement.

Les retours des premiers utilisateurs, notamment ceux des canaux Insider, ont permis d’ajuster la fonctionnalité. Elle est désormais considérée comme stable pour un usage courant.

Mais cette fonction n’est pas anodine. Son efficacité repose sur une capacité d’observation en temps réel, et donc sur une relation de confiance entre l’utilisateur, l’IA, et l’éditeur. Le modèle opt-in est un bon début, mais il faudra s’assurer que l’architecture technique respecte les exigences de traçabilité, de ségrégation des flux et de protection des données sensibles.