Raisonnement vérifiable : de la Chain of Thought aux preuves

L’essentiel. Les travaux fondateurs sur la Chain of Thought (CoT) ont montré que des étapes intermédiaires pouvaient améliorer certaines tâches de raisonnement, surtout avec les grands modèles étudiés. Le zero-shot CoT a ensuite obtenu des gains avec une simple amorce de raisonnement. Ces résultats ne signifient toutefois ni que toute verbalisation est exacte, ni qu’elle révèle fidèlement les mécanismes internes du modèle. En pratique, demandez plutôt une réponse, des hypothèses, des calculs, des citations et des contrôles courts que l’on peut auditer.

Ce que l’histoire de la CoT établit vraiment

En 2022, Wei et ses coauteurs décrivent le chain-of-thought prompting : quelques exemples montrent à un grand modèle des étapes intermédiaires avant la réponse. Sur plusieurs jeux de problèmes arithmétiques, symboliques et de sens commun, cette présentation améliore les résultats des modèles suffisamment grands étudiés. Il s’agit d’un résultat expérimental dans des conditions données, pas d’une loi universelle applicable à chaque modèle et à chaque tâche.

Quelques mois plus tard, Kojima et ses coauteurs proposent le zero-shot CoT. Au lieu de fournir des exemples, ils ajoutent une amorce équivalente à « réfléchissons étape par étape », puis extraient la réponse. Les gains rapportés sur certains benchmarks sont importants. Là encore, le résultat dépend des modèles, du décodage, des tâches et de la manière de noter. Une phrase célèbre n’est donc pas une garantie de justesse.

Le document historique de Promptique présentait la CoT comme une fenêtre transparente sur la réflexion de l’IA. Cette formulation doit être corrigée. Le texte généré est une sortie en langage naturel. Il peut aider à repérer une opération manquante ou une contradiction, mais il peut aussi rationaliser après coup une réponse, omettre une influence ou présenter une étape convaincante et fausse. Les recherches sur la fidélité des explications appellent précisément à ne pas assimiler cohérence verbale et explication causale du modèle.

Quand utiliser ou éviter le raisonnement explicité

• Utile : calcul multi-étapes, planification avec contraintes, comparaison fondée sur des critères, diagnostic dont chaque hypothèse peut être testée.
• Peu utile : traduction simple, extraction d’un champ explicite, reformulation courte ou question dont une recherche directe fournit la réponse.
• À éviter seul : décision à fort enjeu, explication causale du comportement du modèle, ou tâche où les données d’entrée sont incomplètes.

Avant / après : remplacer la narration par un dossier de preuve

Avant : « Réfléchis longuement étape par étape et donne la meilleure stratégie. » La consigne ne définit ni le succès, ni les données, ni les éléments contrôlables. Une réponse détaillée peut donner une illusion de rigueur.

Après : « Propose trois options. Pour chacune, liste les hypothèses, applique les critères chiffrés fournis, cite les données utilisées et indique un test qui pourrait invalider la conclusion. Donne ensuite une recommandation concise. » La qualité ne repose plus sur la longueur du raisonnement, mais sur la traçabilité des prémisses et la possibilité de réfuter le résultat.

Prompt copiable : justification auditée

Résous la tâche suivante : [TÂCHE].

Ne fournis pas de monologue interne. Donne uniquement une justification concise et vérifiable :
- résultat proposé ;
- hypothèses explicites ;
- données et sources utilisées ;
- calculs ou règles intermédiaires nécessaires ;
- deux contrôles indépendants du résultat ;
- principaux points d’incertitude ;
- condition qui ferait changer la conclusion.

Si une donnée manque, pose d’abord une question ou indique « impossible à conclure ».
Pour chaque calcul, écris la formule avec les unités.
Pour chaque fait externe, donne une source directe consultable.
Format final : Résultat / Éléments de preuve / Contrôles / Limites.

Quatre formes de vérifiabilité

1. Déductive : les prémisses sont données et chaque règle appliquée peut être inspectée.
2. Calculatoire : un tableur, un script ou une calculatrice reproduit le résultat avec les mêmes unités.
3. Documentaire : chaque fait renvoie à un passage précis d’une source identifiée et datée.
4. Empirique : une expérience, un test ou un contre-exemple peut confirmer ou invalider l’affirmation.

Une bonne sortie peut combiner ces formes. Pour un budget, exigez des calculs reproductibles ; pour une règle, une source officielle ; pour une stratégie, des hypothèses et des indicateurs observables. Si le modèle produit une explication longue mais aucune de ces prises de contrôle, vous n’avez pas gagné en fiabilité.

Erreurs fréquentes

• Présenter la CoT comme une reproduction fidèle de la cognition humaine.
• Généraliser des gains de benchmark à toutes les tâches et tous les modèles.
• Récompenser la longueur plutôt que la validité des étapes.
• Demander une explication après avoir suggéré la conclusion attendue.
• Oublier qu’une prémisse fausse produit parfois un raisonnement impeccablement structuré.
• Confondre une justification utile à l’utilisateur et une preuve du mécanisme interne.