Calipia : le blog

Microsoft a récemment dévoilé Phi-4, un modèle de langage de petite taille doté de 14 milliards de paramètres, qui surpasse des modèles plus volumineux, notamment GPT-4, pas dans tout c’est clair mais dans des domaines tels que les mathématiques et le raisonnement complexe.

Microsoft met en avant les éléments suivants :

• Performance exceptionnelle en mathématiques : Phi-4 excelle dans les tâches de raisonnement mathématique, surpassant des modèles de grande envergure comme Gemini Pro 1.5. Cette prouesse est attribuée à l’utilisation de données synthétiques de haute qualité et à des processus d’entraînement innovants. 
• Utilisation de données synthétiques : Contrairement aux approches traditionnelles qui s’appuient principalement sur des données organiques, Phi-4 intègre stratégiquement des données synthétiques tout au long de son processus d’entraînement. Ces données sont générées via des techniques telles que le multi-agent prompting, les workflows d’auto-révision et l’inversion d’instructions, constituant la majeure partie de son corpus d’entraînement. 
• Améliorations post-entraînement : Des méthodes comme l’échantillonnage par rejet et une nouvelle approche de l’optimisation directe des préférences (DPO) ont été employées pour affiner les performances du modèle après l’entraînement initial, renforçant ainsi sa capacité à produire des réponses précises et cohérentes. 
• Préoccupations relatives à la contamination des données : Microsoft a mis en place des processus rigoureux de décontamination des données pour s’assurer que les ensembles de tests de référence ne sont pas compromis, garantissant ainsi l’intégrité des évaluations de performance. 
• Limitations : Malgré ses performances impressionnantes, Phi-4 présente des limites inhérentes à sa taille. Il peut générer des hallucinations sur des faits et montre une moindre aptitude à suivre des instructions détaillées de manière rigoureuse. Des évaluations de sécurité ont été menées pour identifier et atténuer les risques potentiels liés à son utilisation. 

Phi-4 est actuellement accessible via Azure AI Foundry sous un accord de licence de recherche Microsoft (MSRLA) et devrait être disponible sur Hugging Face en ce moment.