Panne Microsoft 365 : Microsoft livre son diagnostic, et tout a commencé en juillet
Le rapport est tombé
Dans notre précédent article, nous évoquions une cause préliminaire et un champ « cause racine » désespérément vide. Microsoft a publié le 15 novembre son rapport post-incident préliminaire, et le scénario est plus instructif que prévu. Le coupable n’est pas un changement de la veille, mais un défaut logiciel introduit en juillet 2026 dans les passerelles réseau qui servent de porte d’entrée à Outlook et à une grande partie de Microsoft 365 (voir l’article de The Register).
Ce défaut a dormi plus de trois mois avant que deux circonstances assez banales ne le réveillent. Au plus fort de la crise, plus de 80 % des serveurs de passerelle ne répondaient plus…
Retour sur une chaîne causale qui ressemble à un manuel d’ingénierie de la fiabilité, au chapitre « ce qu’il ne faut jamais laisser arriver ».
Trois facteurs, un seul effondrement
Le rapport identifie trois facteurs qui, pris isolément, n’auraient sans doute rien provoqué.
Le premier est un défaut latent. En juillet, Microsoft déploie un correctif conçu spécifiquement pour ses serveurs de passerelle réseau Microsoft 365. Le déploiement suit le processus progressif habituel, se généralise en quelques semaines et fonctionne plus de trois mois sans incident visible. Il cache pourtant un problème de contention de verrous dans un processus interne de Windows, capable d’épuiser processeur et mémoire sous certaines charges.
Le deuxième est une hausse de charge. Le 12 novembre à 2h07, heure de Paris, le trafic de Teams bascule sur la passerelle principale, celle qui porte aussi Exchange Online. Rien d’exceptionnel en soi, mais la charge augmente et la nature du trafic change.
Le troisième est une capacité réduite. Près de 14 % des serveurs de cette passerelle étaient hors service, à la suite d’un problème sans lien survenu la veille . Microsoft estimait disposer d’une marge suffisante, et sur le papier c’était le cas.
Quand arrive le pic d’activité des bureaux américains, les trois facteurs se combinent. Les premiers serveurs se figent, la sonde de détection d’anomalies de connectivité s’allume à 17h03 et le premier ticket de support arrive à 17h33. En moins de deux heures, le défaut s’est propagé à toute la flotte.
Anatomie d’une cascade parfaite
Le mécanisme de propagation est un cas d’école. Quand un serveur de passerelle perd sa connectivité, la redirection automatique envoie son trafic vers les nœuds sains. Ceux-ci reçoivent plus de charge, atteignent les conditions qui déclenchent le défaut et se figent à leur tour. Le filet de sécurité devient l’accélérateur : c’est l’effet « troupeau tonitruant » (thundering herd) que les architectes connaissent bien.
Deux précisions du rapport méritent l’attention. D’abord, la contention s’aggravait sur les machines les plus récentes, dotées de plus de cœurs. Or les tests de charge de Microsoft portaient surtout sur du matériel moins puissant . Le banc d’essai ne reflétait pas la production, et le matériel le plus performant s’est révélé le plus vulnérable. On appréciera l’ironie.
Ensuite, un problème distinct a empêché les cloisons entre partitions de contenir la défaillance. Une panne qui aurait dû rester régionale est devenue mondiale. Pour un client européen, c’est le point le plus dérangeant : un défaut déclenché par la charge américaine a franchi les frontières logiques censées l’arrêter.
Pourquoi Outlook est-il resté indisponible plus longtemps que Teams ? Teams, OneDrive, SharePoint et les applications Office ont pu être basculés hors de la passerelle défaillante. Exchange Online ne le pouvait pas, pour des raisons d’échelle selon Microsoft. La messagerie est donc restée exposée pendant toute la durée de l’incident.
Une réparation laborieuse, puis des garde-fous
La remise en service a buté sur plusieurs obstacles. Les serveurs redémarrés étaient aussitôt submergés par le trafic en attente. Les mécanismes de récupération automatique n’étaient pas conçus pour une indisponibilité aussi large. Et les outils habituels (retour arrière, déploiement par anneaux, désactivation par feature flag) ne pouvaient pas annuler vite une modification installée depuis des mois .
Il a d’abord fallu comprendre. Le 13 novembre à 1h30, les équipes identifient la négociation de connexion comme principal point de blocage, des processus concurrents empêchant les connexions d’aboutir. À 8h20, un correctif du correctif commence à être appliqué : il ramène le code Windows concerné à son dernier état sain connu. Les serveurs sont retirés par groupes, mis à jour, redémarrés puis remis en service, parfois plus de la moitié d’une région à la fois.
L’Europe retrouve des niveaux normaux à 12h35. À 17h10, Microsoft considère que les clients ne sont plus activement touchés et entame une surveillance prolongée, le temps d’écouler les files de messages.
Selon le rapport préliminaire, plusieurs mesures sont déjà en place :
- le retour du code de gestion des connexions à son dernier état sain ;
- l’allongement du délai de distribution, pour éviter que les messages retardés ne reviennent en non-distribution ;
- l’ajout de capacité à titre préventif ;
- une surveillance supplémentaire de la redirection du trafic et de la gestion des connexions ;
- des garde-fous sur la répartition du trafic, pour empêcher l’effet cascade.
La liste complète des actions correctives et des chantiers de long terme est attendue dans le rapport définitif, annoncé pour le 20 novembre. On y cherchera trois réponses : ce qui change dans les tests de charge, dans l’isolation des partitions et dans la récupération automatisée.
Ce que le diagnostic change pour les DSI
Ce rapport confirme les leçons de notre premier article et en ajoute une. La résilience d’un service cloud dépend de choix d’architecture que le client ne voit pas et ne peut pas auditer. Un correctif de juillet, des tests sur du matériel peu représentatif, une cloison de partition défaillante : rien de tout cela n’était visible depuis un centre d’administration.
Pour le débat sur l’autonomie européenne, le point clé est le confinement. Héberger ses données en Europe n’a pas protégé les utilisateurs européens, car la passerelle réseau était partagée et la barrière entre partitions n’a pas tenu. L’autonomie se joue donc aussi sur l’isolation réelle des points d’entrée et des plans de contrôle. C’est précisément ce que promettent les offres souveraines et déconnectées, y compris celles de Microsoft.
Restons lucides pour autant. Un défaut latent de ce type peut exister chez n’importe quel fournisseur, européen ou non, et dans n’importe quel centre de données d’entreprise. Microsoft a publié un rapport détaillé un jour après la clôture de l’incident et reconnu ses lacunes de test sans détour. Peu d’acteurs, hébergeurs européens compris, offrent ce niveau de transparence. Exigence et reconnaissance ne sont pas incompatibles.
Trois questions à poser à vos fournisseurs, quels qu’ils soient :
- Comment les partitions et les régions sont-elles isolées, et qu’est-ce qui garantit qu’une défaillance ne les traverse pas ?
- Les environnements de test reflètent-ils la diversité matérielle de la production ?
- Quels services ne peuvent pas être basculés hors d’un composant partagé, et quel mode dégradé est prévu pour eux ?
On en parle au Briefing Calipia
Nous reviendrons sur ce rapport, et sur sa version définitive, lors du prochain Briefing Calipia en décembre, dans la session consacrée à la souveraineté. Nous y comparerons les promesses d’isolation des offres souveraines de Microsoft et des alternatives européennes, avec une grille d’analyse pragmatique pour les charges critiques. Sans dogme, et avec un œil attentif sur les correctifs de juillet.