Calipia : le blog

Microsoft met en avant ses offres pour créer des supercalculateurs via son programme de cloud computing Azure pour aider la société OpenAI. Parallèlement, la société a également annoncé une nouvelle machine virtuelle d’IA utilisant les nouvelles GPU améliorés de NVIDIA. Ainsi la nouvelle ND H100 v5 VM de Microsoft utilise, on s’en doutait, les GPU H100 de NVIDIA, Il est donc possible pour toutes les entreprises qui ont besoin d’ajouter des fonctions d’IA d’accéder à ce service de machine virtuelle qui présente les caractéristiques suivantes, un nouveau bond en terme de performance :

8x GPU NVIDIA H100 Tensor Core interconnectés via la nouvelle génération de NVSwitch et NVLink 4.0

• 400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand par GPU avec 3,2 To/s par VM dans un réseau fat-tree non bloquant
  NVSwitch et NVLink 4.0 avec une bande passante bisectionnelle de 3,6 To/s entre 8 GPU locaux dans chaque VM.
• Processeurs Intel Xeon Scalable de 4ème génération
  Interconnexion hôte-GPU PCIE Gen5 avec une bande passante de 64 Go/s par GPU
  16 canaux de DIMM DDR5 à 4800 MHz

Cette offre vient s’ajouter au ChatGPT in Azure OpenAI Service annoncé précédemment par Microsoft, nous vous en parlions hier sur le blog, qui permet à des tiers d’accéder à la technologie des chatbots via Azure.

Dans un autre billet de blog, Microsoft explique comment l’entreprise a commencé à travailler avec OpenAI pour aider à créer les supercalculateurs nécessaires au grand modèle de langage de ChatGPT (donc le nouveau Bing). Pour ce faire, il a fallu relier des milliers de GPU d’une toute nouvelle manière. Le blog propose une explication de Nidhi Chappell, chef de produit chez Microsoft pour Azure High Performance Computing and AI :

Pour former un grand modèle de langage, explique-t-elle, la charge de calcul est répartie entre des milliers de GPU dans un cluster. À certaines phases de ce calcul – appelé allreduce – les GPU échangent des informations sur le travail qu’ils ont effectué. Un réseau InfiniBand accélère cette phase, qui doit se terminer avant que les GPU ne puissent commencer le morceau de calcul suivant.

Ce matériel est associé à un logiciel qui permet d’optimiser l’utilisation des GPU NVIDIA et du réseau qui les fait fonctionner ensemble. Microsoft indique qu’elle continue d’ajouter des GPU et d’étendre son réseau tout en essayant de les faire fonctionner 24 heures sur 24 et 7 jours sur 7 grâce à des systèmes de refroidissement, des générateurs de secours et des systèmes d’alimentation électrique sans interruption.