OpenAI dévoile BrowseComp : un nouveau défi pour les agents IA sur le web

BrowseComp a été publié par OpenAI le 10 avril 2025 pour mesurer une capacité très précise : retrouver sur le web une information rare, dispersée et difficile à formuler en requête. Les premiers systèmes obtenaient des scores presque nuls, tandis que Deep Research atteignait 51,5 %. En août 2026, les meilleurs résultats annoncés par OpenAI dépassent 90 %. Cette progression est spectaculaire, mais elle ne transforme pas BrowseComp en mesure universelle de la recherche fiable.

En bref

• BrowseComp comprend 1 266 questions conçues pour être difficiles à résoudre, mais relativement simples à vérifier grâce à une réponse courte.
• Les tâches demandent persistance, reformulation des recherches, navigation sur plusieurs sites et assemblage d’indices.
• Dans la publication initiale, GPT-4o avec navigation atteignait 1,9 %, OpenAI o1 9,9 % et une version précoce de Deep Research 51,5 %.
• OpenAI précisait que le modèle Deep Research avait été entraîné sur des données destinées à lui apprendre les tâches de type BrowseComp. Cette note interdit de lire le score comme une comparaison entièrement neutre.
• ChatGPT agent a ensuite atteint 68,9 % en juillet 2025, GPT-5.4 Pro 89,3 % en 2026, puis GPT-5.6 Sol en mode Ultra 92,2 % selon OpenAI.
• Le benchmark ne mesure pas bien les questions ambiguës, les longues synthèses, l’exhaustivité, la qualité rédactionnelle ni toutes les formes de citation.

Pourquoi BrowseComp a été créé

Les questions factuelles simples devenaient trop faciles pour des modèles équipés d’un moteur de recherche. OpenAI voulait tester un autre niveau : une réponse existe en ligne, mais aucun résultat évident ne la donne directement. L’agent doit construire plusieurs requêtes, suivre des pistes, éliminer des hypothèses et croiser des fragments.

Les auteurs ont demandé aux créateurs de questions de partir d’un fait puis de bâtir une interrogation « inversée ». Au lieu de chercher des propriétés d’un objet connu, le système reçoit plusieurs propriétés et doit retrouver l’objet. C’est une forme de recherche dans un espace immense, où la bonne stratégie compte autant que la connaissance du modèle.

Pour comprendre la boucle qui permet à un système de chercher, observer puis reformuler, consultez le guide Promptique des agents IA et de MCP.

Un benchmark difficile à trouver, simple à noter

BrowseComp privilégie des réponses courtes, stables et supposées non ambiguës. Cette conception rend la notation automatique ou humaine beaucoup plus robuste qu’une comparaison de rapports de dix pages. Les auteurs recherchent une asymétrie : trouver la réponse exige beaucoup de travail, la confirmer en exige moins.

OpenAI imposait plusieurs contrôles lors de la création. Les modèles disponibles devaient échouer, cinq recherches simples ne devaient pas révéler la réponse dans leurs premières pages et un autre humain devait normalement avoir du mal à résoudre la question rapidement. Dans une campagne de vérification sur 1 255 problèmes, des évaluateurs humains en ont jugé 70,8 % insolubles dans le temps accordé. Parmi les 367 considérés résolubles, 86,4 % des réponses correspondaient à la référence.

Ces chiffres montrent la difficulté, mais aussi une limite : une référence peut être contestable ou une page peut disparaître. Le web change, contrairement à un jeu de calcul figé.

Les scores initiaux et leur bonne lecture

Système	Score annoncé	Ce que le résultat suggérait en avril 2025
GPT-4o	0,6 %	La connaissance interne seule retrouvait très peu de réponses
GPT-4o avec navigation	1,9 %	Un accès au web sans stratégie persistante ne suffisait pas
GPT-4.5	0,9 %	Une capacité générale plus forte ne garantissait pas la recherche
OpenAI o1	9,9 %	Le raisonnement aidait même sans outil de navigation
Deep Research	51,5 %	Raisonnement, outils et navigation prolongée changeaient l’échelle

OpenAI ajoutait une note décisive : le modèle Deep Research avait été entraîné avec des données lui apprenant spécifiquement à réussir des tâches de type BrowseComp. Le résultat démontre une capacité acquise, mais ne représente pas une évaluation totalement extérieure au processus de développement.

La publication montrait aussi que davantage de calcul au moment de la réponse améliorait progressivement le score. Essayer plusieurs trajectoires puis choisir la meilleure pouvait encore apporter 15 % à 25 % relativement à une tentative unique. Cette amélioration a un coût : temps, tokens, recherches et ressources d’évaluation.

De 51,5 % à 92,2 % : une progression en quinze mois

ChatGPT agent atteint 68,9 %

Le 17 juillet 2025, OpenAI a présenté ChatGPT agent, capable de combiner navigation, recherche et actions. L’entreprise annonçait 68,9 % sur BrowseComp, soit 17,4 points de plus que Deep Research. Le benchmark devenait ainsi un indicateur récurrent pour les agents généralistes.

GPT-5.4 Pro atteint 89,3 %

En 2026, OpenAI a publié un score de 89,3 % pour GPT-5.4 Pro. La société a pris soin de signaler que la mesure avait été réalisée plus tard que celle de GPT-5.2, avec une liste de blocage plus longue pour écarter les sites contenant des réponses. Elle précisait aussi que le score reflétait à la fois le modèle, le système de recherche et l’état du web.

GPT-5.6 Sol en mode Ultra atteint 92,2 %

En juillet 2026, OpenAI a annoncé 92,2 % pour GPT-5.6 Sol en mode Ultra, contre 90,4 % pour Sol hors mode Ultra. À ce niveau, quelques points peuvent dépendre fortement du protocole, du harnais et de la prévention de la contamination. Le résultat reste une affirmation du fournisseur sur son système évalué, pas la promesse que 92,2 % des recherches ordinaires seront exactes.

Le défi permanent de la contamination

Une fois les questions publiées, leurs réponses peuvent être recopiées dans des pages accessibles au modèle. Un agent pourrait alors trouver la solution sans effectuer le raisonnement visé. OpenAI a inclus une chaîne canari pour aider à filtrer le benchmark des corpus d’entraînement et demande de ne pas diffuser les exemples avec leur réponse.

Pour ses évaluations récentes, OpenAI dit utiliser une liste de blocage excluant les sites qui révèlent les réponses. Cette mesure réduit une voie de fuite sans prouver qu’aucune contamination n’existe. Le problème concerne tous les benchmarks publics à mesure qu’ils deviennent célèbres.

Ce que BrowseComp a changé en pratique

• Persistance mesurable : l’évaluation récompense un agent qui change de piste au lieu de répéter une requête.
• Raisonnement avec outils : elle montre qu’un moteur de recherche ne suffit pas sans planification et lecture.
• Calcul au moment de la réponse : plusieurs tentatives et une sélection peuvent améliorer le résultat, avec un coût mesurable.
• Traçabilité : les équipes ont intérêt à conserver requêtes, pages consultées, citations et raisons d’arrêt.
• Évaluations spécialisées : une entreprise peut construire son propre « BrowseComp » à partir de faits métier difficiles mais vérifiables.

Un jeu interne utile ne doit pas recopier la difficulté artificielle du benchmark. Il peut réunir des questions réellement rencontrées : retrouver une clause dans plusieurs versions d’un contrat, identifier l’origine d’un chiffre ou relier une décision à ses pièces justificatives. Les réponses de référence doivent être datées, accompagnées des sources autorisées et révisées lorsque le corpus change. Mesurez séparément la réponse, les preuves, le temps, le coût et les pages inutiles. Cette méthode révèle si l’agent progresse réellement ou s’il augmente seulement son volume de navigation.

Le guide complet du prompt engineering explique comment définir critères, exemples et jeu de test. Pour choisir entre recherche rapide et rapport approfondi, le guide de l’IA générative replace ces fonctions dans leur contexte.

Ce que BrowseComp ne mesure pas bien

• Les demandes ouvertes où plusieurs réponses raisonnables coexistent.
• La qualité d’une longue synthèse et la hiérarchie entre faits, incertitudes et recommandations.
• L’exhaustivité d’un état de l’art ou d’une recherche juridique.
• La fidélité de chaque citation à la proposition qu’elle est censée soutenir.
• Le respect de la confidentialité, du droit d’auteur et des conditions des sites.
• La résistance aux pages malveillantes et aux injections d’instructions.
• Le rapport qualité, délai et coût dans une utilisation quotidienne.

Pour un usage en organisation, ces angles relèvent aussi de la gouvernance décrite dans le guide sur l’IA générative en entreprise.

FAQ

BrowseComp est-il un outil de recherche ?

Non. C’est un jeu d’évaluation pour mesurer des agents de navigation. OpenAI l’a publié dans son dépôt simple-evals.

Pourquoi les réponses sont-elles courtes ?

Une réponse courte et unique est plus facile à noter. Ce choix améliore la vérifiabilité, mais éloigne le benchmark des demandes réelles longues ou ambiguës.

Un score de 92,2 % signifie-t-il que la recherche est résolue ?

Non. Il décrit un système, une date et un protocole. Il ne couvre ni tous les besoins, ni toutes les erreurs possibles, ni le coût de la recherche.

Sources officielles

• OpenAI, BrowseComp: a benchmark for browsing agents, 10 avril 2025.
• Article de recherche BrowseComp, OpenAI, 2025.
• Dépôt officiel OpenAI simple-evals.
• OpenAI, Introducing ChatGPT agent, 17 juillet 2025.
• OpenAI, Introducing GPT-5.4, 2026.
• OpenAI, GPT-5.6, juillet 2026.