Calipia : le blog

Depuis quelques années, OpenAI développe des capacités textuelles pour ses agents, avec des outils comme Operator, Deep Research ou la Responses API. Mais dans un monde où l’interaction naturelle passe de plus en plus par la voix, rester cantonné au texte revient à offrir un aspirateur sans aspirateur. OpenAI corrige le tir avec une salve de trois nouveaux modèles audio temps réel, disponibles dès maintenant via l’API pour les développeurs.

GPT-Realtime-2 : le raisonnement vocal enfin sérieux

GPT-Realtime-2 est le modèle phare de ce lancement. Il est conçu pour des interactions vocales en direct dans lesquelles le modèle peut raisonner sur les demandes, appeler des outils, gérer les corrections et poursuivre la conversation de façon naturelle. 

Concrètement, plusieurs nouveautés méritent l’attention des architectes et DSI qui évaluent ce type de solution pour leurs projets :

Les « preambles » permettent au modèle de prononcer des formules d’attente (« laissez-moi vérifier ça ») pendant qu’il traite une requête. Ce détail, anodin en apparence, fait toute la différence dans les expériences vocales où le silence prolongé est systématiquement interprété comme une erreur. Les appels d’outils parallèles permettent quant à eux de déclencher plusieurs fonctions simultanément, tout en maintenant l’utilisateur informé. La récupération sur erreur est également améliorée, là où les modèles précédents se contentaient d’un silence gêné.

La fenêtre de contexte passe de 32 000 à 128 000 tokens, et le modèle gagne en compréhension de domaines spécialisés : terminologie médicale, noms propres, vocabulaire sectoriel. Le contrôle du ton permet d’adapter le style d’expression selon la situation, et cinq niveaux de raisonnement sont désormais disponibles : minimal, low, medium, high et xhigh. 

Les chiffres de benchmarks sont parlants : GPT-Realtime-2 avec raisonnement élevé atteint 96,6% sur Big Bench Audio, contre 81,4% pour GPT-Realtime-1.5. En mode xhigh, il monte à 48,5% sur Audio MultiChallenge pour le suivi d’instructions, contre 34,7% pour son prédécesseur. Des progrès substantiels, même si les benchmarks audio restent encore un domaine en construction. 

GPT-Realtime-Translate : la tour de Babel vocale à portée d’API

GPT-Realtime-Translate est conçu pour des expériences vocales multilingues en direct. Il peut traduire la parole depuis plus de 70 langues d’entrée vers 13 langues de sortie. OpenAI affirme que le modèle préserve le sens tout en maintenant le rythme du locuteur, même en cas de changement de contexte, d’accents régionaux ou de vocabulaire spécialisé. On imagine sans peine l’intérêt pour les centres d’appels internationaux, les plateformes de téléconférences ou les services aux citoyens multilingues. 

GPT-Realtime-Whisper : la transcription en flux, enfin

GPT-Realtime-Whisper est un modèle de transcription en streaming conçu pour la reconnaissance vocale à faible latence. Il retranscrit l’audio pendant que quelqu’un parle, ce qui peut être utile pour les sous-titres en direct, les notes de réunion, les transcriptions de cours et davantage. L’intérêt pour des scénarios d’entreprise est évident : comptes rendus automatiques, accessibilité en temps réel, workflows de support client. 

Architecture et tarification : ce que ça coûte vraiment

GPT-Realtime-2 est facturé 32 dollars par million de tokens audio en entrée (0,40 dollar pour les tokens en cache) et 64 dollars par million de tokens audio en sortie. GPT-Realtime-Translate est facturé 0,034 dollar par minute, et GPT-Realtime-Whisper 0,017 dollar par minute. 

Ces tarifs sont cohérents avec le niveau de prestation proposé, mais ils appellent une vigilance sur les volumes. Pour un centre de contacts traitant des milliers d’interactions quotidiennes, la facture peut grimper rapidement. La disponibilité de niveaux de raisonnement ajustables sur GPT-Realtime-2 est précisément une réponse à cette contrainte : inutile de solliciter le raisonnement xhigh pour un simple accusé de réception.

Ce que ça change pour les DSI

L’annonce illustre une tendance de fond : l’interface vocale n’est plus une fonctionnalité périphérique mais un vecteur d’interaction à part entière pour les agents IA. Contrairement aux pipelines traditionnels qui enchaînent plusieurs modèles de transcription et de synthèse vocale, la Realtime API traite et génère l’audio directement via un seul modèle. Cela réduit la latence, préserve les nuances de la parole et produit des réponses plus naturelles. 

Pour les architectes IT, cela soulève des questions concrètes : intégration dans les workflows existants (CRM, ITSM, plateformes RH), gestion de la confidentialité des conversations vocales, conformité RGPD puisque la Realtime API prend entièrement en charge la résidence des données dans l’UE pour les applications européennes. 

Il convient aussi de noter que ces capacités sont pour l’instant réservées aux développeurs via l’API. Pour les consommateurs, OpenAI travaille encore sur la mise à niveau de l’expérience vocale dans ChatGPT. La stratégie est donc clairement B2B dans un premier temps, ce qui laisse le champ libre pour des intégrations sur mesure. 

Documentation officielle OpenAI sur les nouveaux modèles vocaux :https://openai.com/index/advancing-voice-intelligence-with-new-models-in-the-api/