Calipia : le blog

Azure AI Content Safety est un service d’intelligence artificielle proposé par Microsoft pour détecter le contenu nuisible, qu’il soit généré par des utilisateurs ou des modèles d’IA, dans des applications et des services. Ce service fournit des API pour la détection de contenu indésirable, à la fois pour du texte et des images. Ainsi, Microsoft propose une API de détection de la validité des réponses des LLM. Cet outil permet de déterminer si les réponses générées par ces modèles sont bien fondées sur des sources sélectionnées par les utilisateurs. En effet, l’un des défis majeurs actuels des modèles d’IA est la production d’informations erronées ou non factuelles, phénomène connu sous le nom de “hallucinations”. Cette API aide ainsi les développeurs à identifier ces erreurs dans les réponses produites par les IA.

Voici comment cette fonctionnalité de correction fonctionne :

• Le développeur active la capacité de correction dans l’application.
• Lorsqu’une phrase non fondée est détectée, une nouvelle requête est envoyée au modèle d’IA pour correction.
• Le modèle évalue la phrase non fondée par rapport au document source.
• Les phrases sans lien avec le document source peuvent être complètement filtrées.
• Si le contenu provient du document source, le modèle reformule la phrase pour qu’elle soit conforme à celui-ci.
• Cette méthode de correction garantit que les informations fournies par l’IA restent cohérentes et fidèles aux données sources, renforçant ainsi la fiabilité des modèles.

Une petite explication en vidéo :

En plus de la fonctionnalité de correction, Microsoft a annoncé la préversion publique de la sécurité de contenu hybride via Azure AI Content Safety (AACS). Cette fonctionnalité permet aux développeurs de déployer des mécanismes de sécurité à la fois dans le cloud et directement sur les appareils. Grâce au SDK intégré d’AACS, les développeurs peuvent effectuer des vérifications de sécurité en temps réel, même sans connexion à Internet. Cela ouvre de nouvelles perspectives pour garantir une modération de contenu efficace dans des environnements variés et dans des conditions où l’accès au cloud n’est pas disponible.

Enfin, Microsoft a présenté la préversion de la détection de matériaux protégés dans le code. Cette fonctionnalité, qui permet de détecter si un modèle d’IA a généré du code protégé, est désormais disponible pour les applications génératives d’IA qui créent du code. Auparavant, cette capacité n’était accessible qu’à travers le service Azure OpenAI. Désormais, les clients peuvent l’utiliser en conjonction avec d’autres modèles génératifs d’IA.

Nous reviendrons sur ces outils et d’autres dans le cadre de sessions spéciales « IA » lors du prochain Briefing Calipia en novembre et décembre.