Self-consistency et self-ask : croiser les chemins

L’essentiel. La self-consistency échantillonne plusieurs voies de résolution, agrège leurs réponses finales et retient généralement la réponse la plus fréquente dans l’échantillon ; le self-ask transforme une question composée en sous-questions explicites, éventuellement résolues avec une recherche. Ces méthodes peuvent améliorer certaines tâches difficiles, mais plusieurs réponses identiques peuvent partager la même erreur. Utilisez-les pour révéler les divergences, puis arbitrez avec un calcul, une source ou un test indépendant.

Deux techniques, deux problèmes différents

Wang et ses coauteurs présentent la self-consistency comme une stratégie de décodage associée à la Chain of Thought : on échantillonne un ensemble diversifié de chemins, puis on agrège leurs réponses finales. Sur les benchmarks étudiés, cette méthode dépasse le décodage glouton. Dans un outil grand public, on peut en approcher l’idée en lançant plusieurs résolutions séparées et diversifiées, sans montrer à chaque essai les sorties précédentes, puis en comparant leurs résultats et leurs éléments vérifiables. Elles ne sont toutefois pas statistiquement indépendantes et peuvent partager les mêmes biais.

Press et ses coauteurs étudient un autre défaut : le compositionality gap. Un modèle peut répondre correctement à des sous-questions et échouer à les composer. Leur méthode self-ask explicite des questions intermédiaires, y répond, puis construit la réponse finale. Sa structure permet aussi de confier les sous-questions factuelles à un moteur de recherche plutôt qu’à la seule mémoire paramétrique.

Correction indispensable : la réponse est 19/66

Le document initial de Promptique proposait ce problème : un sac contient 3 boules rouges, 4 bleues et 5 vertes ; on en tire deux sans remise. Quelle est la probabilité qu’elles aient la même couleur ? Il concluait à 5/11. Cette conclusion provenait d’une addition incorrecte.

Le contrôle combinatoire est direct. Il existe C(12,2) = 66 paires possibles. Les paires favorables sont C(3,2) = 3 rouges, C(4,2) = 6 bleues et C(5,2) = 10 vertes, soit 3 + 6 + 10 = 19. La probabilité correcte est donc 19/66 ≈ 28,79 %.

Le contrôle séquentiel confirme : (3/12 × 2/11) + (4/12 × 3/11) + (5/12 × 4/11) = 1/22 + 1/11 + 5/33. Avec le dénominateur 66, cela donne 3/66 + 6/66 + 10/66 = 19/66. La valeur 5/11 venait du passage fautif à « 10/22 ». Deux méthodes indépendantes et une simplification vérifiée rendent l’erreur visible.

Quand les utiliser — et quand s’arrêter

• Self-consistency : problème à réponse fermée, plusieurs voies plausibles, coût d’une erreur supérieur au coût de quelques générations.
• Self-ask : question multi-sauts, dépendances factuelles, besoin de savoir quelles informations rechercher.
• À éviter : tâche créative sans réponse unique, décision urgente à faible enjeu, ou absence de moyen externe pour départager les sorties.
• À encadrer : données sensibles et outils payants, car les répétitions augmentent exposition, coût et empreinte.

Avant / après : un seul verdict ou une comparaison utile

Avant : « Analyse ces trois fournisseurs et choisis le meilleur. » Une seule génération mélange recherche, interprétation et arbitrage ; son assurance masque les points fragiles.

Après : la tâche est découpée en sous-questions — prix comparable, conformité, délai, réversibilité — avec une source par réponse. Trois évaluations séparées, menées avec des angles aussi diversifiés que possible, appliquent ensuite la même grille. Les accords sont signalés, les divergences remontées à l’humain et aucun score n’est inventé lorsqu’une donnée manque.

Prompt copiable : self-ask contrôlé puis comparaison

Question principale : [QUESTION]
Sources autorisées : [DOCUMENTS OU DOMAINES]
Critère de réponse correcte : [CRITÈRE]

Phase A — Décomposition :
1. Liste uniquement les sous-questions nécessaires.
2. Pour chacune, indique la donnée attendue et la source capable de la prouver.
3. Réponds avec une citation directe courte ou marque « non établi ».
4. Compose une conclusion courte en montrant quelles réponses intermédiaires elle utilise.

Phase B — Contrôle :
Propose trois vérifications indépendantes du résultat (autre formule, autre source ou test).
Présente un tableau : résultat / méthode / preuve / divergence.
Ne donne pas de chaîne de pensée privée ; fournis seulement les calculs et justifications auditables.
Si les résultats divergent, ne vote pas automatiquement : explique quelle preuve externe peut les départager.

Un protocole pratique en six étapes

1. Définissez à l’avance ce qui constitue la même réponse : valeur exacte, classe ou conclusion normalisée.
2. Séparez les essais : une sortie ne doit pas être visible par la suivante.
3. Conservez les mêmes données et critères, sinon vous comparez des problèmes différents.
4. Normalisez les réponses finales sans effacer leurs hypothèses.
5. Examinez les minorités : une solution rare peut contenir la correction décisive.
6. Validez avec une preuve externe et journalisez le coût, les versions et le résultat.

Erreurs fréquentes

• Présenter plusieurs reformulations presque identiques comme des solutions indépendantes.
• Choisir la majorité sans examiner les preuves ni les hypothèses.
• Laisser le modèle répondre lui-même à une sous-question récente sans recherche.
• Modifier les données ou les critères entre les essais.
• Masquer les divergences en fusionnant trop tôt les réponses.
• Multiplier les appels sur une tâche simple sans bénéfice mesuré.