Aller au contenu
Promptique

Rechercher dans Promptique

Guides

Fine-tuning en 2026 : quand et comment personnaliser un modèle d’IA

Fine-tuning en 2026 : choisir entre SFT, DPO, LoRA et QLoRA, préparer les données, évaluer les gains, maîtriser les coûts, les risques et le déploiement.

Le fine-tuning adapte le comportement d’un modèle d’IA à partir d’exemples d’entraînement. Il peut améliorer un format, un ton, une classification ou une procédure répétitive, mais il ne constitue ni une base documentaire actualisée, ni un raccourci magique vers la fiabilité. En 2026, la bonne stratégie consiste à évaluer d’abord le modèle de base, optimiser le prompt et séparer clairement connaissance, comportement et préférences.

Ce guide fournit une méthode complète pour décider, préparer, entraîner, évaluer et exploiter un modèle personnalisé. Il couvre le fine-tuning supervisé, les préférences, LoRA et QLoRA, sans dépendre d’un fournisseur particulier.

Vérifié le 13 août 2026 : les modèles compatibles, prix et interfaces évoluent rapidement. Les principes de qualité des données, séparation des tests, sécurité et comparaison avec une baseline restent indispensables.

L’essentiel en 60 secondes

  • Le fine-tuning modifie le comportement appris du modèle ; le RAG lui fournit des informations au moment de la réponse.
  • Commencez par des évaluations, puis testez prompt, exemples et outils avant d’entraîner.
  • Le SFT apprend à reproduire des réponses de référence ; le DPO apprend à préférer une réponse à une autre.
  • LoRA entraîne de petits adaptateurs en gelant le modèle de base ; QLoRA combine LoRA et modèle quantifié pour réduire la mémoire.
  • La qualité, la diversité et la cohérence du dataset comptent davantage que son volume brut.
  • Le jeu de test doit rester totalement séparé des données d’entraînement.
  • Un modèle personnalisé demande versionnement, surveillance, gouvernance et procédure de retour arrière.

Sommaire

Qu’est-ce que le fine-tuning ?

Un modèle préentraîné a appris des régularités sur un vaste corpus. Le fine-tuning poursuit l’entraînement sur un dataset ciblé afin d’ajuster tout ou partie de ses paramètres. Le but peut être d’améliorer une tâche, d’imposer un style, de mieux suivre un format ou d’aligner les préférences.

Le fine-tuning ne copie pas simplement une base de connaissances dans le modèle. Les faits sont compressés dans les poids de façon diffuse, sans mécanisme fiable pour citer la source, supprimer un document ou garantir une mise à jour. Pour une information changeante, le RAG ou un outil métier est généralement plus adapté.

Différences entre prompting, RAG et méthodes d’adaptation
NotionCe qui changeRésultat recherché
PromptingInstructions dans le contexteGuider une requête sans entraînement
RAGInformations récupérées à la demandeRéponse fondée sur des sources actualisables
Fine-tuning completNombreux ou tous les poidsAdaptation profonde, coûteuse
PEFTPetite partie ou paramètres ajoutésAdaptation plus légère
Alignement par préférencesProbabilité relative des réponsesFavoriser des sorties préférées

Préentraînement, instruction tuning et adaptation métier

Le préentraînement apprend le langage à grande échelle. L’instruction tuning transforme ensuite le modèle en assistant capable de suivre des consignes. L’adaptation métier intervient après ces étapes et doit rester ciblée. Plus le modèle de base maîtrise déjà la tâche, moins l’entraînement supplémentaire doit compenser.

Quand faut-il fine-tuner un modèle ?

Le fine-tuning est justifié lorsqu’un comportement stable doit être reproduit à grande échelle et que les approches plus simples plafonnent. Le signal le plus fort est un écart mesuré entre la baseline et la cible, accompagné d’exemples de haute qualité montrant précisément la sortie attendue.

  • Classification avec taxonomie métier stable.
  • Extraction structurée dont le format varie malgré un schéma.
  • Ton éditorial très spécifique et répétitif.
  • Transformation d’entrées en sorties selon une convention constante.
  • Réduction d’un prompt long grâce à un comportement internalisé.
  • Amélioration d’un petit modèle pour une tâche étroite.

Quand ne faut-il pas l’utiliser ?

  • Pour ajouter des informations qui changent chaque semaine.
  • Pour corriger quelques prompts mal structurés.
  • Sans jeu de test ni métrique de réussite.
  • Lorsque les experts ne s’accordent pas sur la bonne réponse.
  • Pour contourner les limites de sécurité d’un modèle.
  • Lorsque le volume ne justifie pas le cycle de maintenance.

Règle pratique : si vous ne pouvez pas décrire et noter la réponse idéale, vous ne pouvez pas produire un dataset cohérent ni prouver que le fine-tuning l’améliore.

Prompting, RAG ou fine-tuning : comment choisir ?

Approche à privilégier selon le besoin
BesoinApproche prioritairePourquoi
Donner des consignes et quelques exemplesPromptingRapide, réversible, sans entraînement
Répondre depuis des documents à jourRAGSources modifiables et citations possibles
Appeler une base ou calculerOutilRésultat déterministe et autorisé
Stabiliser un style ou un formatFine-tuning superviséComportement appris sur des exemples
Choisir entre plusieurs qualités de réponsePréférencesApprend une hiérarchie
Combiner connaissance et comportementRAG + fine-tuningChaque mécanisme traite son propre problème

Optimisez d’abord la baseline avec les méthodes du guide complet du prompt engineering. Ajoutez des exemples représentatifs et une sortie structurée. Mesurez ensuite avec la grille d’évaluation et de non-régression. Le fine-tuning intervient seulement si l’écart résiduel est assez important pour justifier le projet.

Quelles méthodes de fine-tuning existent ?

Supervised Fine-Tuning ou SFT

Le SFT entraîne le modèle sur des paires entrée-sortie ou des conversations complètes. Il cherche à augmenter la probabilité des réponses de référence. C’est la méthode la plus directe pour apprendre un format, un ton ou une tâche dont la bonne sortie peut être écrite.

Direct Preference Optimization ou DPO

Le DPO utilise des triplets : entrée, réponse préférée et réponse rejetée. Il apprend à favoriser la première sans entraîner séparément un modèle de récompense. Cette approche convient lorsque plusieurs réponses sont plausibles mais qu’une politique éditoriale ou un critère humain permet de les classer.

RLHF et reinforcement fine-tuning

Le RLHF combine généralement préférences humaines, modèle de récompense et apprentissage par renforcement. D’autres méthodes utilisent un grader programmable ou vérifiable. Elles deviennent pertinentes lorsque la qualité peut être notée automatiquement ou par experts, mais leur complexité et leurs risques de récompense mal spécifiée sont supérieurs.

LoRA

LoRA gèle les poids du modèle et ajoute de petites matrices de faible rang aux couches ciblées. Seuls ces paramètres sont entraînés. Le coût mémoire et le stockage diminuent fortement, et plusieurs adaptateurs peuvent partager un même modèle de base. Le rang, les modules ciblés et le facteur d’échelle influencent la capacité d’adaptation.

QLoRA

QLoRA charge le modèle de base sous forme quantifiée, généralement en 4 bits, puis entraîne des adaptateurs LoRA. Le papier original a montré qu’un grand modèle pouvait être adapté avec beaucoup moins de mémoire tout en conservant une qualité compétitive sur ses évaluations. Cela rend l’expérimentation plus accessible, sans supprimer le besoin d’un dataset et d’une validation rigoureux.

Comparaison des principales méthodes de fine-tuning
MéthodeDonnéesCalculUsage
SFT completRéponses de référenceÉlevéAdaptation profonde
LoRARéponses de référenceModéréAdaptateurs légers
QLoRARéponses de référenceRéduitEntraînement sur matériel contraint
DPORéponse choisie et rejetéeVariablePréférences et style
RLHF ou RFTRécompense humaine ou graderÉlevé à très élevéTâches complexes et mesurables

Comment construire un bon dataset ?

Le dataset définit ce que le modèle apprend. Des exemples contradictoires enseignent l’incohérence ; des exemples artificiellement simples créent une illusion de performance ; des données dupliquées surpondèrent certains comportements.

Écrire une charte d’annotation

Avant l’annotation, documentez la tâche, les entrées autorisées, le format, les cas d’abstention, les règles de style et les exemples limites. Deux experts doivent pouvoir appliquer la charte de manière proche. Mesurez leur accord sur un échantillon et corrigez les ambiguïtés.

Couvrir la distribution réelle

  • Cas fréquents selon leur proportion réelle.
  • Cas rares mais coûteux.
  • Entrées courtes, longues, bruitées et incomplètes.
  • Langues, régions et terminologies utilisées.
  • Demandes hors périmètre et refus attendus.
  • Attaques ou tentatives de contournement pertinentes.

Nettoyer sans uniformiser à l’excès

Supprimez doublons, données corrompues, secrets et informations inutiles. Conservez cependant la diversité légitime. Si tous les exemples ont exactement la même longueur et la même structure, le modèle risque de mal généraliser aux demandes réelles.

Séparer entraînement, validation et test

Le test final ne doit jamais guider les choix d’entraînement. Dédupliquez au niveau sémantique, pas seulement caractère par caractère. Des variantes du même document réparties entre entraînement et test provoquent une fuite et gonflent artificiellement le score.

Rôle des partitions du dataset
PartitionRôlePeut guider les réglages ?
EntraînementMettre à jour les paramètresOui
ValidationChoisir hyperparamètres et arrêtOui, sans réentraînement dessus
TestEstimer la performance finaleNon
Shadow setAudit indépendant ou futurNon

Workflow de fine-tuning pas à pas

1. Définir la métrique et la baseline

Exécutez le modèle de base avec le meilleur prompt raisonnable. Mesurez exactitude, format, latence et coût. Sans baseline figée, vous ne saurez pas si l’entraînement apporte une amélioration.

2. Choisir le modèle de base

Vérifiez capacité, langue, contexte, licence, coût et support du fine-tuning. Le modèle le plus grand n’est pas automatiquement le meilleur candidat. Un modèle plus petit, déjà compétent sur la tâche, peut être plus économique et plus stable.

3. Construire un petit dataset pilote

Commencez avec quelques centaines d’exemples excellents si la tâche le permet, plutôt qu’un grand corpus non relu. Analysez les erreurs du premier run, puis ajoutez des exemples ciblés. Le volume optimal dépend de la complexité et de la diversité.

4. Valider le format

Contrôlez encodage, rôles, champs, longueurs, tokens et séparateurs. Assurez-vous que le format d’entraînement correspond au format d’inférence. Une différence de template de conversation peut dégrader fortement le résultat.

5. Lancer un entraînement conservateur

Utilisez un faible nombre d’époques et surveillez les pertes d’entraînement et de validation. Pour LoRA, documentez rang, alpha, dropout et modules ciblés. Pour une API gérée, conservez le job, le modèle de base, les paramètres et le fichier exact.

6. Comparer à l’aveugle

Présentez les sorties de la baseline et du modèle adapté sans révéler leur origine. Utilisez des graders humains, des règles déterministes et, avec prudence, un modèle juge. Les décisions à enjeu doivent conserver une revue experte.

7. Tester les régressions et la sécurité

Vérifiez que le gain ciblé ne détruit pas les capacités générales nécessaires. Testez refus, données sensibles, injection, biais et sorties interdites. Un modèle peut devenir plus obéissant au style mais moins prudent.

8. Déployer progressivement

Commencez en shadow mode ou sur une faible part du trafic. Comparez résultats, taux d’escalade et corrections humaines. Conservez le modèle précédent et un interrupteur de retour arrière.

Comment prouver que le fine-tuning fonctionne ?

La perte d’entraînement n’est pas une métrique métier. Un modèle peut mieux prédire le dataset et moins bien traiter de nouveaux cas. L’évaluation doit refléter le processus réel.

Métriques à choisir selon la tâche
TâcheMétrique principaleContrôle complémentaire
ClassificationPrécision, rappel, F1 par classeMatrice de confusion
ExtractionExact match par champTaux de schéma valide
RédactionPréférence aveugle selon grilleTemps de correction humaine
SupportRésolution correcteEscalade et satisfaction
CodeTests réussisSécurité et maintenabilité
RAGFidélité et exactitudeQualité de récupération

Mesurez les intervalles d’incertitude et la performance par segment. Une moyenne peut masquer une dégradation sur une langue, un type de client ou un cas rare. Analysez chaque erreur, puis classez-la : donnée, prompt, base model, entraînement, retrieval, outil ou grader.

Les hallucinations ne disparaissent pas avec le fine-tuning. L’entraînement peut rendre une réponse plus conforme au ton attendu tout en restant factuellement fausse. Exigez des sources ou des outils déterministes lorsque l’exactitude factuelle compte.

Données personnelles, propriété intellectuelle et AI Act

Un dataset d’entraînement peut contenir données personnelles, secrets, contenus sous licence ou droits d’auteur. Documentez la provenance, le fondement d’utilisation, les droits, la durée de conservation et les personnes autorisées. La pseudonymisation réduit certains risques sans toujours rendre les données anonymes.

  • Minimiser les données et supprimer les champs inutiles.
  • Détecter secrets, identifiants et contenus interdits.
  • Conserver consentements, contrats ou autre fondement applicable.
  • Limiter l’accès aux fichiers et checkpoints.
  • Évaluer mémorisation et extraction d’exemples.
  • Documenter le modèle de base, le dataset et la finalité.
  • Prévoir correction, retrait et nouvel entraînement si nécessaire.

Le guide IA générative en entreprise, RGPD et AI Act détaille la gouvernance du déploiement. Le rôle juridique dépend de l’usage, de la chaîne de valeur et du fait que le modèle soit fourni à des tiers. Une adaptation interne n’efface pas les obligations liées au système final.

Empoisonnement et portes dérobées

Des exemples manipulés peuvent enseigner un comportement caché ou dégrader certaines classes. Contrôlez la provenance, signez les versions, analysez les contributions externes et testez des déclencheurs inhabituels. Le dataset doit être traité comme du code sensible.

Comment gouverner les versions et les données ?

Un modèle adapté doit être reproductible. Pour chaque version, conservez l’identifiant exact du modèle de base, le hash du dataset, la charte d’annotation, le code de préparation, les hyperparamètres, les métriques et les validations. Un nom comme « modèle-support-v2 » ne suffit pas à expliquer ce qui a changé ni à reconstruire le résultat.

Artefacts à versionner pour reproduire le modèle
ArtefactÀ versionnerPourquoi
Modèle de baseFournisseur, ID, snapshot, licenceReproduire le point de départ
DatasetHash, provenance, filtres, partitionsDétecter les fuites et changements
EntraînementCode, seed, hyperparamètres, matérielComparer les expériences
ÉvaluationJeu de test, graders, scores par segmentJustifier la décision
DéploiementPrompt système, outils, seuils, dateRelier le modèle au produit réel

Créez une fiche de modèle destinée aux équipes métier et techniques : finalité, usages interdits, limites, population évaluée, données utilisées, propriétaires et procédure d’incident. Cette documentation évite que le modèle soit réutilisé pour une tâche jamais testée.

Gérer le cycle de correction

Les retours de production ne doivent pas être ajoutés automatiquement au dataset. Une erreur corrigée par un utilisateur peut elle-même être fausse, contenir une donnée personnelle ou ne représenter qu’une préférence individuelle. Placez les candidats dans une file de revue, faites-les anonymiser et annoter, puis mesurez leur valeur avant une nouvelle version.

Exemple chiffré : automatiser le tri de demandes

Une équipe reçoit 20 000 demandes mensuelles à classer dans 18 catégories. La baseline avec prompt atteint 88 % d’exactitude globale, mais seulement 61 % sur deux catégories proches. Chaque erreur coûte quatre minutes de correction. Le projet ne doit pas viser un vague « meilleur classement » : il peut viser 94 % au global, 85 % minimum par catégorie et aucun recul sur les demandes sensibles.

  1. Les experts annotent 2 500 exemples et réconcilient leurs désaccords.
  2. 1 800 servent à l’entraînement, 350 à la validation et 350 au test final.
  3. Un LoRA est entraîné sur un modèle compact déjà bon en français.
  4. Le modèle atteint 94,5 % au global et 86 % sur la catégorie la plus faible.
  5. Un test de production montre 1 300 corrections évitées par mois.

À quatre minutes par correction, le gain brut est d’environ 87 heures mensuelles. Il faut en déduire le temps de revue des cas incertains, le coût d’inférence et l’exploitation. Cet exemple illustre la bonne unité économique : le coût par décision correctement automatisée, pas le score isolé.

Seuil d’abstention : le modèle ne doit pas forcément classer 100 % des demandes. Un mécanisme envoyant les cas ambigus à un humain peut produire un système globalement plus fiable.

Interpréter le résultat sans se tromper

Ce scénario est illustratif : les volumes, scores et gains ne constituent ni un benchmark universel ni une promesse de rentabilité. Dans un projet réel, publiez les effectifs de chaque segment et l’incertitude des mesures. Une hausse moyenne peut masquer une régression sur une langue, un type de client ou une catégorie rare. Comparez aussi le modèle adapté à la meilleure baseline disponible, avec le même jeu de test, le même prompt, les mêmes outils et des conditions d’inférence comparables.

Avant la généralisation, faites fonctionner la nouvelle version en mode fantôme : elle produit une décision sans agir, tandis que le système en place reste la référence. Mesurez désaccords, faux positifs, abstentions, latence et coût par tâche acceptée. Déployez ensuite sur une fraction limitée du trafic avec un retour automatique vers la version précédente si un seuil critique est franchi. Cette démarche distingue un gain reproductible d’une variation liée à l’échantillon et protège les utilisateurs pendant la transition.

Quels coûts faut-il anticiper ?

Le coût ne se limite pas au GPU ou au prix du job. Il comprend collecte, annotation, revue, nettoyage, stockage, tests, déploiement, surveillance et réentraînement. Pour une API gérée, ajoutez les tokens d’entraînement et d’inférence. Pour un modèle ouvert, ajoutez matériel, ingénierie et exploitation.

Coûts souvent sous-estimés selon la phase
PhaseCoût caché fréquentIndicateur
DonnéesTemps des expertsCoût par exemple validé
EntraînementEssais infructueuxCoût par expérience
ÉvaluationRevue et arbitrageCoût du jeu de test
InférenceModèle adapté plus cher que baselineCoût par tâche réussie
MaintenanceDérive et nouveaux casTemps mensuel d’exploitation

Calculez le coût par résultat accepté, pas seulement par million de tokens. Un modèle plus cher qui réduit fortement la correction humaine peut être économiquement supérieur. À l’inverse, un fine-tuning économisant 20 % de tokens mais nécessitant une révision constante peut ne jamais s’amortir.

Exemples de cas d’usage

Support client

Le RAG fournit politiques et informations produit à jour ; un SFT apprend le ton, la structure et les conditions d’escalade. Les deux sont complémentaires. Mesurez résolution, erreurs factuelles et satisfaction.

Extraction de documents

Des exemples associent documents bruités et JSON corrigés. Le fine-tuning peut stabiliser les champs, mais les calculs et validations restent côté application. Le test doit inclure scans médiocres et formats absents de l’entraînement.

Style éditorial

Un corpus de textes validés peut enseigner ton, longueur et structure. Supprimez les faits spécifiques qui deviendraient obsolètes et évaluez séparément style et exactitude. Un bon style ne remplace pas le fact-checking.

Appels d’outils

Le fine-tuning peut améliorer le choix d’une fonction et le remplissage de ses arguments. La sécurité reste dans l’orchestrateur : permissions, validation et confirmation. Pour concevoir cette couche, consultez le guide des agents IA et MCP.

Les erreurs les plus fréquentes

  1. Entraîner avant d’évaluer : aucun objectif mesurable.
  2. Confondre savoir et comportement : faits obsolètes dans les poids.
  3. Utiliser les sorties brutes d’un modèle comme vérité : erreurs amplifiées.
  4. Mélanger train et test : score artificiel.
  5. Multiplier les exemples médiocres : bruit et contradictions.
  6. Ignorer le template : format d’inférence incompatible.
  7. Optimiser une moyenne : régression sur un segment critique.
  8. Oublier la baseline : gain impossible à attribuer.
  9. Déployer sans retour arrière : incident difficile à contenir.
  10. Négliger les droits : dataset juridiquement fragile.

Checklist avant entraînement

  • La tâche, la population et le seuil de réussite sont définis.
  • La baseline utilise un prompt et des outils correctement optimisés.
  • Le modèle de base et sa licence conviennent à l’usage.
  • La provenance et les droits du dataset sont documentés.
  • La charte d’annotation couvre les cas ambigus et les refus.
  • Les doublons et données sensibles inutiles sont retirés.
  • Les partitions train, validation et test sont isolées.
  • Les hyperparamètres et versions seront enregistrés.
  • Les évaluations métier, sécurité et régression sont prêtes.
  • Le coût total et le gain attendu sont estimés.
  • Le déploiement progressif et le retour arrière sont planifiés.
  • Un propriétaire assurera la surveillance après lancement.

FAQ sur le fine-tuning

Combien d’exemples faut-il ?

Il n’existe pas de nombre universel. Une tâche étroite peut progresser avec quelques centaines d’exemples excellents ; une distribution complexe en exige beaucoup plus. Commencez petit, mesurez les erreurs et augmentez de façon ciblée.

Le fine-tuning réduit-il les hallucinations ?

Il peut améliorer un comportement d’abstention si les exemples l’enseignent, mais il ne garantit pas la vérité. Pour des faits, utilisez sources, RAG, outils et validations.

Fine-tuning ou RAG pour des documents internes ?

Le RAG est prioritaire pour des documents actualisables et citables. Le fine-tuning peut le compléter pour apprendre le ton, le format ou l’usage des passages récupérés.

LoRA est-il aussi performant qu’un entraînement complet ?

LoRA peut atteindre une qualité comparable sur de nombreuses tâches, mais pas systématiquement. Le résultat dépend du modèle, des couches ciblées, du rang, des données et de l’objectif.

QLoRA dégrade-t-il le modèle ?

La quantification introduit une approximation, mais QLoRA a été conçu pour conserver une forte qualité avec moins de mémoire. La seule réponse fiable vient de l’évaluation sur votre tâche.

Peut-on fine-tuner avec des données synthétiques ?

Oui, après validation humaine et contrôle de diversité. Des sorties synthétiques non relues peuvent reproduire les erreurs, le style et les biais du modèle générateur.

Le DPO remplace-t-il le SFT ?

Souvent non. Le SFT enseigne d’abord la tâche et le format ; le DPO affine ensuite les préférences. Le choix dépend de la qualité initiale et des données disponibles.

Peut-on supprimer un exemple après entraînement ?

Supprimer le fichier source ne retire pas automatiquement son influence des poids. Selon le risque, il peut falloir réentraîner depuis une version propre ou utiliser une méthode d’unlearning dont l’efficacité doit être démontrée.

Comment éviter l’overfitting ?

Utilisez des données variées, une validation séparée, peu d’époques, un taux d’apprentissage prudent et un arrêt anticipé. Surveillez l’écart entre entraînement et validation.

Faut-il réentraîner à chaque nouveau modèle ?

Un adaptateur n’est pas toujours portable entre architectures ou versions. Conservez dataset et évaluations pour tester la nouvelle base, puis réentraînez si le gain est confirmé.

Ce qu’il faut retenir

Le fine-tuning est un levier de spécialisation, pas une première étape. Il crée de la valeur lorsque le comportement cible est stable, mesurable et suffisamment fréquent. La préparation des données et l’évaluation déterminent davantage le succès que le choix d’une technique à la mode.

Le bon ordre est simple : mesurer la baseline, améliorer le prompt, ajouter les outils ou le RAG nécessaires, puis entraîner sur des exemples validés. Déployez progressivement et continuez à évaluer. Un modèle personnalisé est un produit vivant, avec versions, propriétaires et incidents possibles.

Sources primaires et documentation officielle

Ce guide est pédagogique. Faites valider les traitements de données, licences et usages réglementés par les responsables compétents de votre organisation.