Un nouveau LLM chez Microsoft à 500 milliards de paramètres ?
Microsoft a su prendre de l’avance en matière d’IA générative grace à son partenariat avec OpenAI. Mais l’entreprise serait en train de faire cavalier seul pour créer un nouveau modèle de langage étendu qui pourrait finir par rivaliser avec ChatGPT. Selon The Information, via des sources anonymes, le LLM interne de Microsoft s’appelle MAI-1. Il est développé avec 500 milliards de paramètres, alors que le GPT-4 d’OpenAI en compte plus de 1 000 milliards.
Le rapport indique que le développement de MAI-1 est dirigé par le nouveau responsable de l’IA de Microsoft, Mustafa Suleyman. Il a été engagé par la société en mars après avoir co-fondé la division DeepMind AI de Google, puis avoir créé sa propre entreprise d’IA, Inflection. Avant d’être embauché par Microsoft, Suleyman travaillait sur un autre LLM pour Inflection. The Information rapporte que ce nouveau LLM MAI-1 qu’il supervise ne partage aucun code avec son travail précédent avec Inflection, mais qu’il peut utiliser certaines données d’entraînement de cette startup.
Microsoft souhaite probablement moins dépendre d’OpenAI pour la création de services d’IA tels que ses différentes versions de Copilot, qui utilisent toutes actuellement une version de ChatGPT. Tout en évaluant la autres forces en présence. On se souvient il y a quelques semaines de l’investissement de Microsoft dans MistralAI. Microsoft a déjà publié un certain nombre de LLM open-source plus petits et plus légers. La semaine dernière, il a publié la nouvelle famille de petits LLM Phi-3. Ils fonctionnent avec un nombre de paramètres aussi faible que 3,8 milliards. Ils sont également conçus pour fonctionner sur des appareils locaux tels que les smartphones, mais ils sont toujours conçus pour gérer le traitement avancé du langage naturel pour une grande variété de tâches.
Le rapport publié aujourd’hui ne précise pas quels services seront utilisés par le futur MAI-1 LLM. The Information indique qu’il est possible que Microsoft en révèle davantage sur ce projet lors de sa conférence annuelle Build pour les développeurs, dans 15 jours… Nous en ferons la synthèse lors du prochain Briefing Calipia.