NVidia | Calipia : le blog

Archives des étiquettes : NVidia

Microsoft fabriquerait ses propres puces dédiées à l’IA

Publié le 19 avril 2023 par Stephane Sabbague Poster un commentaire

Depuis quelques mois, fort de son partenariat avec OpenAI, Microsoft fait de l’IA sa priorité, avec la ribambelle de services « Copilot », pour son CRM, Office, la Sécurité, le code, etc. Nous avions même imaginé une édition pour remplacée les commerciaux le 1er avril, finalement pas si éloigné de la réalité :). On apprend aujourd’hui que Microsoft développerait sa propre puce matérielle (NPU) spécialement conçue pour les programmes d’intelligence artificielle, et ce depuis quatre ans.

Selon The Information, qui s’appuie sur deux sources anonymes, la puce porte le nom de code interne Athena et Microsoft y travaille depuis 2019, avec 300 employés qui s’y consacrent. L’article ajoute que la puce est actuellement testée par certains employés de Microsoft, ainsi que par OpenAI.

Comme beaucoup d’acteur, Microsoft utilise des puces fabriquées par NVIDIA pour ses services d’intelligence artificielle. L’idée est que la fabrication de son propre processeur interne répondra mieux à ses besoins et coûtera moins cher. Le lancement d’Athena serait prévu pour 2024.

Bien entendu, la création de puces en interne pour les serveurs et autres systèmes basés sur le cloud n’est pas une nouveauté dans le secteur. Apple, Amazon, Google et Facebook ont tous conçu leurs propres processeurs pour leur produits (clients ou serveurs). La destination de ces puces ne serait pas limité à des serveurs côté Microsoft, l’entreprise pourrait ajouter ces dernières à ses prochaines machines Surface, là encore rien de très surprenant, c’est ce que fait Apple dans ses iPhones et iPad depuis plusieurs années et se que fait Google dans ses derniers Pixel et sa prochaine tablette Pixel à venir en juin prochain.

Nous reparlerons de tout ceci lors du prochain Briefing Calipia.

Services Azure OpenAI assurés avec l’aide des composants Nvidia

Publié le 14 mars 2023 par Stephane Sabbague Poster un commentaire

Microsoft met en avant ses offres pour créer des supercalculateurs via son programme de cloud computing Azure pour aider la société OpenAI. Parallèlement, la société a également annoncé une nouvelle machine virtuelle d’IA utilisant les nouvelles GPU améliorés de NVIDIA. Ainsi la nouvelle ND H100 v5 VM de Microsoft utilise, on s’en doutait, les GPU H100 de NVIDIA, Il est donc possible pour toutes les entreprises qui ont besoin d’ajouter des fonctions d’IA d’accéder à ce service de machine virtuelle qui présente les caractéristiques suivantes, un nouveau bond en terme de performance :

8x GPU NVIDIA H100 Tensor Core interconnectés via la nouvelle génération de NVSwitch et NVLink 4.0

400 Gb/s NVIDIA Quantum-2 CX7 InfiniBand par GPU avec 3,2 To/s par VM dans un réseau fat-tree non bloquant
NVSwitch et NVLink 4.0 avec une bande passante bisectionnelle de 3,6 To/s entre 8 GPU locaux dans chaque VM.

Processeurs Intel Xeon Scalable de 4ème génération
Interconnexion hôte-GPU PCIE Gen5 avec une bande passante de 64 Go/s par GPU
16 canaux de DIMM DDR5 à 4800 MHz

Cette offre vient s’ajouter au ChatGPT in Azure OpenAI Service annoncé précédemment par Microsoft, nous vous en parlions hier sur le blog, qui permet à des tiers d’accéder à la technologie des chatbots via Azure.

Dans un autre billet de blog, Microsoft explique comment l’entreprise a commencé à travailler avec OpenAI pour aider à créer les supercalculateurs nécessaires au grand modèle de langage de ChatGPT (donc le nouveau Bing). Pour ce faire, il a fallu relier des milliers de GPU d’une toute nouvelle manière. Le blog propose une explication de Nidhi Chappell, chef de produit chez Microsoft pour Azure High Performance Computing and AI :

Pour former un grand modèle de langage, explique-t-elle, la charge de calcul est répartie entre des milliers de GPU dans un cluster. À certaines phases de ce calcul – appelé allreduce – les GPU échangent des informations sur le travail qu’ils ont effectué. Un réseau InfiniBand accélère cette phase, qui doit se terminer avant que les GPU ne puissent commencer le morceau de calcul suivant.

Ce matériel est associé à un logiciel qui permet d’optimiser l’utilisation des GPU NVIDIA et du réseau qui les fait fonctionner ensemble. Microsoft indique qu’elle continue d’ajouter des GPU et d’étendre son réseau tout en essayant de les faire fonctionner 24 heures sur 24 et 7 jours sur 7 grâce à des systèmes de refroidissement, des générateurs de secours et des systèmes d’alimentation électrique sans interruption.

IA : Nvidia propose une application impressionnante de la technologie NeRF

Publié le 28 mars 2022 par Stephane Sabbague Poster un commentaire

Bluffant : Nvidia vient de produire une nouvelle technologie pour entrainer des algorithmes d’IA dont l’objectif des de créer une scène 3D à partir d’un petit échantillon de photos prises (en 2D donc) sous différents angles. Cette méthode fusionne l’entraînement des réseaux neuronaux et le rendu rapide, et est l’une des premieres de ce type à le faire.

La société a appliqué cette approche à une technologie relativement récente connue sous le nom de champs de radiance neuronaux (NeRF) et a produit « la technique NeRF la plus rapide à ce jour« , Instant NeRF, qui est capable d’atteindre des vitesses de plus de 1 000 fois dans certains cas. Ce modèle a besoin de quelques secondes pour s’entraîner sur quelques dizaines de photos couplées à des métadonnées sur les angles de la caméra, et peut ensuite rendre la scène 3D résultante en « quelques dizaines de millisecondes ».

La création d’une scène 3D avec les méthodes traditionnelles prend des heures ou plus, selon la complexité et la résolution de la visualisation. L’introduction de l’IA accélère les choses. Les premiers modèles NeRF rendaient des scènes nettes et sans artefacts en quelques minutes, mais il fallait encore des heures pour l’entraîner. Ici Instant NeRF, a réduit le temps de rendu de plusieurs ordres de grandeur. Il s’appuie sur une technique développée par NVIDIA, appelée encodage de grille de hachage multi-résolution. Grâce à une nouvelle méthode de codage d’entrée, les chercheurs peuvent obtenir des résultats de haute qualité en utilisant un minuscule réseau neuronal qui tourne rapidement.

Petite illustration vidéo des capacités offertes :

« Si les représentations 3D traditionnelles telles que les maillages polygonaux s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : elles capturent de manière dense la façon dont la lumière rayonne d’un objet ou d’une scène. En ce sens, l’Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie en 2D, en augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage en 3D. »
David Luebke, vice-président graphics research chez NVIDIA

Les applications de cette technologie sont nombreuses, on pense bien sûr à la création d’avatars réalistes pour le metavers, sans avoir besoin de matériel couteux…

Microsoft prépare avec Nvidia de nouveaux GPUs dans Azure pour assurer la confidentialité des données

Publié le 24 mars 2022 par Stephane Sabbague Poster un commentaire

Afin de garantir la confidentialité et la sécurité des données sensibles dans le cloud, les principaux acteurs utilisent des mécanismes via des contrôles matériels et logiciels qui régissent la manière dont les données sont partagées et utilisées, ainsi que la manière dont les propriétaires des données peuvent valider ces processus. Aujourd’hui, les processeurs Intel et AMD permettent déjà la création d’environnements d’exécution de confiance afin d’assurer la confidentialité au niveau du processeur. Ces fonctions intégrées garantissent que les données restent chiffrées au repos, en transit et même en cours d’utilisation. Elles offres également un moyen pour valider la configuration du matériel et n’accorder l’accès aux données qu’aux algorithmes requis.

Ces solutions sont donc intégrées dans les CPU et Microsoft cherche donc maintenant à étendre ceci aux GPU, Systèmes largement utilisé dans des activités confidentielle lié à l’IA par exemple, ceci afin de s’assurer que les données peuvent être déchargées en toute sécurité vers du matériel plus puissant pour les besoins de calcul. Pour ce faire Microsoft collabore avec Nvidia qui équipe déjà largement des différents datacenter avec ses processeurs.

Microsoft a noté qu’il ne s’agit pas d’une mise en œuvre simple, car elle doit protéger les GPU contre diverses attaques tout en veillant à ce que les machines hôtes Azure disposent d’un contrôle adéquat pour les activités administratives. Au niveau matériel, l’implémentation ne devrait pas avoir d’impact négatif en matière énergétique et en terme de performances d’après les deux sociétés. Nvidia précisant qu’il ne devrait pas non plus nécessiter de modifications de l’architecture GPU existante.

L’entreprise détaille un peu le mode de fonctionnement de cette protection :

Un nouveau mode dans lequel tous les états sensibles du GPU, y compris sa mémoire, sont isolés de l’hôte.
Une racine de confiance matérielle sur la puce du GPU qui peut générer des attestations vérifiables capturant tous les états sensibles de sécurité du GPU, y compris tous les micrologiciels et microcodes.
Extensions du pilote du GPU pour vérifier les attestations du GPU, établir un canal de communication sécurisé avec le GPU et chiffrer de manière transparente toutes les communications entre le CPU et le GPU.
Support matériel pour crypter de manière transparente toutes les communications GPU-GPU sur NVLink.
Support dans le système d’exploitation invité et l’hyperviseur pour attacher de manière sécurisée les GPU à un CPU sécurisé, même si le contenu du CPU est chiffré.

Microsoft a déclaré qu’elle avait déjà intégré des capacités de chiffrement dans les GPU Nvidia A100 Tensor Core sur Azure et que cela a été fait grâce à une nouvelle fonctionnalité appelée Ampere Protected Memory (APM). Les détails de la mise en œuvre sont de nature forcément très technique et vous pouvez les consulter ici.

Cette solution est désormais disponible en bêta privée par le biais des VM GPU confidentielles Azure. Il est actuellement possible d’utiliser des VMs avec jusqu’à quatre GPU Nvidia A100 Tensor Core pour leurs charges de travail Azure à ce stade. Les prochaines étapes de Microsoft consistent à assurer une adoption plus large de ces pratiques et à travailler avec Nvidia sur son architecture Hopper pour améliorer encore la mise en œuvre existante.

Perlmutter : le superordinateur d’IA le plus rapide du monde.

Publié le 31 mai 2021 par Stephane Sabbague Poster un commentaire

IMPRESSIONNANT ! Nvidia et le National Energy Research Scientific Computing Center (NERSC) ont mis en marche jeudi dernier le Perlmutter, présenté comme le supercalculateur le plus rapide du monde pour l’intelligence Artificielle. Il doit son nom en l’honneur de l’astrophysicien Saul Perlmutter, qui travaille toujours comme astrophysicien au Berkeley Lab, et avait reçu le prix Nobel de physique en 2011 pour sa contribution à la découverte de l’énergie noire.

Le nouveau supercalculateur est doté de 6 144 GPU NVIDIA A100 Tensor Core et sera chargé, entre autres, d’assembler la plus grande carte 3D jamais réalisée de l’univers visible. Il traitera les données de l’instrument spectroscopique d’énergie noire (DESI), une sorte de caméra cosmique qui peut capturer jusqu’à 5 000 galaxies en une seule exposition. Il est hébergé au NERSC du Lawrence Berkeley National Laboratory.

« Perlmutter est le système le plus rapide de la planète pour le calcul en 16 et 32 bits utilisées dans les applications d’intelligence artificielle (IA) »
Dion Harris, responsable marketing des produits HPC/AI de Nvidia

Selon Nvidia, qui démontre ici son savoir faire indéniable en IA, les chercheurs ont besoin de la vitesse des GPU de Perlmutter pour capturer des dizaines d’expositions d’une nuit afin de savoir où diriger les appareils de vision la nuit suivante. La préparation d’une année de données en vue de leur publication prendrait des semaines ou des mois sur les systèmes précédents, mais Perlmutter devrait les aider à accomplir cette tâche en quelques jours seulement…

« Les gens explorent des modèles de réseaux neuronaux de plus en plus grands et il y a une demande d’accès à des ressources plus puissantes. Perlmutter, avec ses GPU A100, son système de fichiers all-flash et ses capacités de streaming de données, arrive à point nommé pour répondre à ce besoin d’IA ».
Wahid Bhimji, responsable par intérim du groupe des services de données et d’analyse du NERSC.

Perlmutter permettra aux quelque 7 000 chercheurs soutenus par le NERSC d’accéder à quatre exaflops de performances de calcul en précision mixte pour des projets scientifiques assistés par l’IA. Outre le projet de cartographie, les chercheurs utilisent le supercalculateur pour des travaux dans des domaines tels que la climatologie, où Perlmutter aidera à sonder les interactions subatomiques pour découvrir des sources d’énergie vertes. Sujet ô combien important maintenant aux USA… depuis Biden !

En attendant la mise au point (sans doute plus lointaine) d’un Ordinateur Quantique capable de réaliser avec cette machine, le projet, qui générera des simulations d’interactions entre atomes, requiert le mélange spécial d’IA et de calcul haute performance (HPC) . Le NERSC a déjà constaté des performances de traitement par GPU 20 fois plus rapides que celles des systèmes précédemment disponibles.

Nous reviendrons sur les applications de l’IA dans le domaine des entreprises lors d’une session spéciale du prochain Briefing Calipia qui commence la semaine prochaine et la suivante.

Enquête de l’administration Biden sur la pénurie de semi-conducteurs

Publié le 2 mars 2021 par Stephane Sabbague Un commentaire

La pénurie de semi-conducteurs est l’une des raisons pour lesquelles les consoles de jeux vidéo , telles que la PlayStation 5 et la Xbox Series X|S, ont été si difficiles à trouver ces trois derniers mois. Mais également des composants nécessaires à l’industrie américaine dans son ensemble.

La pénurie a plusieurs causes C’est clairement un des effets secondaires de la pandémie de COVID-19 avec l’augmentation mondiale de la demande mondiale d’électronique grand public, d’abord en raison d’équipements nécessaires pour le télétravail : nouveaux PC, Ecrans, Webcam, Clavier, etc mais aussi une des conséquences des ralentissements dues aux différentes quarantaines. Mais cela met en lumière aussi la dépendance des USA (et du monde entier) envers des pays comme Taiwan et la Corée du Sud par exemple pour les processeurs…

la Semiconductor Industry Association (SIA) a envoyé une lettre ouverte au président Biden, notant que la part des États-Unis dans la fabrication mondiale de semi-conducteurs n’a cessé de diminuer au cours des 30 dernières années, passant de 37 % à 12 %, avec des investissements américains en R&D relativement stables. Cette lettre, était cosignée par les PDG d’AMD, NVIDIA, Intel, Qualcomm et 17 autres sociétés technologiques américaines, elle demandait au président à s’attaquer à ce problème en autorisant des incitations fédérales pour la fabrication, la recherche et le développement de semi-conducteurs au niveau national. Ces mêmes sociétés louaient encore il y a quelques années les bénéfices de cette délocalisation de la production justifiant cette dernière car l’ingénierie restait bien sur le sol américain…

L’administration Biden à publié en fin de semaine dernière un décret sur les chaînes d’approvisionnement américaines qui ordonne aux ministères du commerce, de l’énergie, de la défense et de la santé de procéder à un examen de 100 jours des risques liés aux chaînes d’approvisionnement, et au secrétaire de chaque ministère de présenter des recommandations politiques qui permettront de faire face à ces risques.

Nvidia rachète ARM pour 40 Milliards de $

Publié le 14 septembre 2020 par Stephane Sabbague Un commentaire

On savait que le fond Softbank souhaitait se désengager de la société Anglaise ARM qu’il avait acquis en 2016 pour 32 milliards de $. C’est donc Nvidia qui rafle ma mise avec une belle plus value à la clé pour SoftBank de 25% tout de même en 4 ans.

Dans un article de blog, Nvidia a déclaré que la transaction lui permettait de créer « la première société informatique de l’ère de l’intelligence artificielle« . Nvidia a précisé qu’Arm continuera à exploiter son modèle de licence open-source, la propriété intellectuelle de la société restant enregistrée au Royaume-Uni. L’entreprise cherchera également à étendre sa présence au Royaume-Uni en construisant un nouveau centre d’excellence mondial d’IA sur le campus d’Arm à Cambridge, et investira également dans un superordinateur IA alimenté par Arm.

Jensen Huang, le « Geek » fondateur et CEO de NVIDIA, dont les présentations au CES sont toujours très techniques argumentées et passionnantes à déclaré que :

« Dans les années à venir, des billions d’ordinateurs équipés de l’IA créeront un nouvel internet des choses qui sera des milliers de fois plus grand que l’internet des personnes d’aujourd’hui. Notre combinaison créera une entreprise fabuleusement positionnée pour l’ère de l’IA. Simon Segars et son équipe chez Arm ont bâti une entreprise extraordinaire qui contribue à presque tous les marchés technologiques du monde. En associant les capacités informatiques de l’IA de NVIDIA au vaste écosystème du CPU d’Arm, nous pouvons faire progresser l’informatique dans le nuage, les smartphones, les PC, les voitures et la robotique, pour atteindre l’OT et étendre l’informatique IA à tous les coins du monde. »

Ceci dit la partie IoT d’ARM semble avoir été écarté du deal…

Reste à voir maintenant les réactions des régulateurs, américains, européen mais aussi chinois, ces derniers voyant aussi la prise de contrôle par le Californien Nvidia de la société anglaise pas forcément d’un bon oeil. Le deal devra être ficelé durant les 18 prochains mois. Ces régulateurs devront valider les gardes fous mis pour que les concurrents d’Nvidia puissent tout de même garder des relations normales avec ARM : on pense en particulier à Apple, Samsung mais aussi Qualcomm et… Huawei ?

Nvidia lance Deep Learning Super Sampling 2.0 pour améliorer le rendu graphique

Publié le 27 mars 2020 par Stephane Sabbague Poster un commentaire

Nvidia Nvidia a lancé cette semaine sa technologie Deep Learning Super Sampling (DLSS) 2.0. Cette technologie est basée sur un réseau neuronal artificiel qui utilise les TensorCores RTX de Nvidia pour augmenter les fréquences d’images et générer des images nettes qui approchent ou dépassent selon le constructeur le rendu natif.

Le DLSS 2.0 a été formé sur des dizaines de milliers d’images haute résolution dans un superordinateur à des fréquences d’images très basses. Avec les poids d’entraînement pour le réseau neuronal, DLSS 2.0 prend ensuite des images à plus faible résolution comme entrée et construit des images à haute résolution. Une fois cette opération réalisée Nvidia distribuece modèle d’apprentissage profond formé aux PC basés sur RTX via les pilotes NVIDIA et les mises à jour en continue.

Nividia indique que DLSS 2.0 :

« utilise les TensorCores de Turing fournissant jusqu’à 110 téraflops de puissance de calcul dédiée et fonctionne deux fois plus vite que son prédécesseur. Pour améliorer encore les performances, DLSS 2.0 utilise des techniques de rétroaction temporelle pour ne rendre qu’un quart à la moitié des pixels tout en offrant une qualité d’image comparable aux résolutions natives« .

De plus, contrairement à l’itération précédente, qui exigeait que le réseau neuronal soit entraîné pour chaque nouveau jeu, DLSS 2.0 s’entraîne en utilisant un contenu non spécifique au jeu. Cela génère un réseau généralisé qui fonctionne sur plusieurs jeux et conduit finalement à une intégration plus rapide des jeux et à un plus grand nombre de jeux DLSS.

Il dispose de trois modes de qualité d’image pour la résolution de rendu interne d’un jeu : Qualité, Équilibré et Performance. Parmi ces trois modes, le mode Performance permet d’augmenter la résolution jusqu’à 4X (c’est-à-dire 1080p vers du 4K).

Si vous êtes intéressé par le développement avec ces technologies, vous trouverez de plus amples informations ici.

Autre point (mais non lié aux jeux cette fois :)) : notre prochaine mission d’étude aux USA se déroulera du 4 au 10 octobre prochain (Seattle et San-Francisco) et le thème sera « IA et environnement de travail« . Si vous êtes intéressés contactez-nous par mail (mail direct ou sur contact (at) calipia.com )

Nvidia sur les terres d’Amazon et Microsoft

Publié le 15 janvier 2019 par Stephane Sabbague Poster un commentaire

Nvidia vient d’ouvrir un centre de recherche en robotique à Seattle. Ce centre de recherche est basé près du campus de l’Université de Washington et sera dirigé par Le Professeur Dieter Fox. Des experts du secteur travailleront au développement de la prochaine génération de robots capables d’effectuer des tâches de manipulation complexes aux côtés de l’homme.

« Dans le passé, la recherche en robotique était concentrée sur de petits projets indépendants plutôt que sur des systèmes entièrement intégrés. Nous réunissons ici une équipe interdisciplinaire collaborative d’experts du contrôle et de la perception des robots, de la vision par ordinateur et des robots humanoïdes. » précise le professeur Dieter Fox. Le centre comptera environ 50 employés, allant des experts de l’industrie et académiques aux visiteurs du corps professoral et aux étudiants stagiaires.

Le premier scénario en cours de travail au laboratoire est un simulateur de cuisine dans lequel un robot a été construit pour effectuer une série de tâches courantes, notamment récupérer des objets dans une armoire et nettoyer une table.

Le robot utilise la plate-forme Jetson de Nvidia pour la navigation, tandis que le traitement des inférences en temps réel est géré par les GPU TITAN. Plus de détails dans cette vidéo.