Archives des étiquettes : OpenAI

Le modèle GPT-3 accessible en exclusivité via Azure

GPT-3 est la dernière version d’un modèle de langage développé par la société OpenAI, qui possède grâce au Deep Learning, la capacité de générer du texte qu’il est quasiment impossible de distinguer d’un texte produit par un auteur humain. Ainsi OpenAI avait démontré en février 2019 comment à partir d’une courte phrase fournie en entrée (« In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English« ), GPT-2 avait généré un texte de 300 mots. Sur son site, OpenAI présente quelques exemples de traitement GPT-2, tous plus bluffants les uns que les autres.

En juillet 2019, Microsoft avait noué un partenariat étroit avec OpenAI, portant en particulier sur l’intégration des technologies OpenAI dans Azure et le choix par cette dernière d’Azure comme plateforme de choix, en particulier pour les phases d’apprentissage du modèle GPT. Les 2 acteurs ont profité de la conférence Ignite pour annoncer un pallier supplémentaire dans cette collaboration. Ainsi GPT-3, la dernière itération de la techno phare d’OpenAI, sera accessible via son API en exclusivité prochainement depuis Azure. Le changement d’échelle en terme de puissance de la dernière version GPT va permettre de répondre à des cas d’usages encore plus sophistiquées, avec par exemple la possibilité d’utiliser le même modèle mais entrainer sur des pixels, pour obtenir par exemple une solution qui génère des compléments et des échantillons d’images cohérents. Mais par ailleurs, cette montée en puissance va amener encore plus d’eau au moulin de ceux qui redoutent de voir se multiplier les fake news et fakes images de toutes sortes ….

Microsoft annonce un super calculateur

Lors de sa conférence développeurs Build (qui s’est tenue en ligne la semaine dernière), Microsoft a présenté un supercalculateur, positionné (selon Microsoft) dans le top 5 mondial des configurations de ce type. Destiné aux travaux dans le domaine de l’intelligence artificielle, conçu avec le spécialiste du domaine OpenAI, et pour son usage exclusif, ce supercalculateur est doté de caractéristiques impressionnantes, avec plus de 285 000 coeurs de CPU, 10 000 GPU et 400 gigabits par seconde en termes de connectivité pour chaque GPU. Cette méga configuration est (bien entendu) hébergée dans Azure.

Une telle puissance à disposition devrait permettre de pouvoir s’attaquer à des questions encore plus ambitieuses en termes de Deep Learning, autorisant ainsi de travailler sur des modèles capables de s’entrainer sur des très grandes quantités de données non étiquetées.

Microsoft a noué dans les derniers mois de nombreuses collaborations avec la société OpenAI, structure à but non lucratif basée à San Francisco et qui veut promouvoir une IA au service de tous.