Apprendre avec l’IA à partir de ses propres documents : construire un tuteur qui cite ses sources

Donner ses propres documents à une IA change la nature de l’échange. Au lieu de lui demander ce qu’elle « sait », vous lui indiquez les livres posés sur sa table. Cette bibliothèque de travail rend ses affirmations plus faciles à contrôler, mais elle ne rend pas l’assistant infaillible.

Une petite bibliothèque plutôt qu’un oracle

Cette méthode porte souvent le nom de génération augmentée par recherche, ou RAG. Le système cherche d’abord des passages pertinents, puis les fournit au modèle pour construire sa réponse. L’article Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, de Patrick Lewis et collaborateurs, a formalisé cette approche en combinant une mémoire interne au modèle et une mémoire documentaire externe [1].

Dans leurs expériences, les auteurs obtenaient des réponses plus spécifiques et factuelles que leur modèle de comparaison dépourvu de recherche documentaire [1]. Cela ne transforme pourtant pas chaque réponse en vérité. Le modèle peut choisir le mauvais passage, le déformer ou produire une citation qui ne soutient qu’une partie de sa phrase.

Trois mots à distinguer

• Corpus : l’ensemble limité des documents autorisés pour la séance.
• Citation : le passage précis censé justifier une affirmation.
• Déduction : une conclusion raisonnable tirée des sources, mais qui n’y est pas écrite telle quelle.

Une citation n’est donc pas une décoration. Elle doit permettre de remonter de la réponse au document, puis au passage exact.

Étape 1 — Définir ce que vous voulez apprendre

Ne commencez pas par charger tout un disque dur. Commencez par une question de travail. « Je veux comprendre Python » reste trop large. « Je veux savoir écrire une fonction, lui transmettre des paramètres et tester son résultat » donne une direction exploitable.

Cette précision permet de choisir un corpus court. Elle évite aussi que l’assistant construise un parcours immense à partir de documents sans rapport direct avec votre objectif.

Étape 2 — Construire un petit corpus cohérent

1. Une source principale qui enseigne le sujet.
2. Une référence complémentaire qui précise ou actualise certains points.
3. Vos propres notes, afin de relier la séance à ce que vous savez déjà.
4. Un glossaire si le vocabulaire est spécialisé.

La qualité compte davantage que le volume. Cinquante PDF contradictoires ou mal numérisés créent du bruit. Trois documents bien choisis rendent les réponses plus faciles à vérifier.

Avant l’importation, contrôlez le titre, l’auteur, la date et l’origine de chaque fichier. Pour un PDF scanné, vérifiez aussi que le texte est réellement lisible par la machine. Une page visible à l’écran peut ne contenir qu’une image inexploitable.

Étape 3 — Donner un contrat au tuteur

L’assistant doit connaître les frontières de sa bibliothèque. Voici une consigne de départ réutilisable :

Ce contrat oblige l’assistant à distinguer l’information directement présente, la reformulation, la déduction et la connaissance ajoutée depuis l’extérieur. Sans cette séparation, une réponse fluide peut mélanger les quatre sans prévenir.

Étape 4 — Exiger une citation exploitable

« Source : document.pdf » ne suffit pas. Demandez le nom du document, le chapitre ou la page, une courte citation exacte et une phrase expliquant pourquoi ce passage soutient la réponse.

Le benchmark ALCE, présenté dans Enabling Large Language Models to Generate Text with Citations par Tianyu Gao et collaborateurs, évalue séparément la fluidité, l’exactitude et la qualité des citations [2]. Cette séparation est importante : un texte peut être agréable à lire tout en restant mal étayé.

Dans leur expérience sur le jeu de données ELI5, même les meilleurs systèmes étudiés manquaient d’un support citationnel complet dans 50 % des cas [2]. Demander une référence est donc un début, pas une vérification.

Étape 5 — Vérifier réellement le passage

1. Ouvrez le document annoncé.
2. Retrouvez le passage cité.
3. Lisez quelques lignes avant et après.
4. Vérifiez que le contexte ne change pas le sens.
5. Classez la réponse : soutenue, partiellement soutenue ou non soutenue.

Cette lecture autour du passage évite un piège fréquent : une phrase exacte, mais sortie d’un contexte qui en limite fortement la portée.

Étape 6 — Transformer le corpus en parcours

Une fois les sources contrôlées, demandez à l’IA de préparer une carte d’apprentissage : les prérequis, cinq à sept notions fondamentales, l’ordre conseillé, le document utile pour chaque notion et une production observable à la fin de chaque étape.

La production observable est essentielle. « Comprendre le chapitre » reste invisible. « Expliquer le mécanisme avec un exemple différent » ou « réaliser un petit programme qui fonctionne » permet une vraie vérification.

Étape 7 — Produire des exercices reliés aux sources

Un exercice fiable doit posséder sa propre trace documentaire. Après votre réponse seulement, demandez le corrigé, le passage qui le justifie, l’erreur de raisonnement éventuelle et une variante dans un autre contexte.

Alternez quatre formats : rappel libre, explication simple, diagnostic d’erreur et cas pratique. Les questionnaires à choix multiples sont utiles, mais ils ne démontrent pas à eux seuls que vous savez produire une réponse.

Étape 8 — Utiliser les contradictions au lieu de les cacher

Deux documents peuvent employer des définitions différentes, dater d’époques différentes ou défendre des conclusions incompatibles. Ne demandez pas immédiatement à l’IA de choisir le « meilleur ».

Demandez plutôt un tableau de désaccord : position de chaque source, passage justificatif, date, hypothèses et point précis de divergence. Vous pourrez décider si les documents se contredisent réellement ou s’ils répondent à des questions différentes.

Une séance complète en trente minutes

1. Cinq minutes : choisir l’objectif et les trois documents utiles.
2. Cinq minutes : faire extraire les notions et leurs passages sources.
3. Dix minutes : étudier une notion, puis répondre sans indice.
4. Cinq minutes : vérifier deux citations importantes dans les documents.
5. Cinq minutes : fermer les sources et restituer la notion de mémoire.

À la fin, notez séparément ce que vous savez faire seul, ce qui demande un indice et ce qui reste absent du corpus.

Les signaux d’alerte

• Une page citée n’existe pas.
• Le titre ou l’auteur d’un document change.
• La citation annoncée reste introuvable.
• Plusieurs sources seraient d’accord, mais aucun passage n’est montré.
• L’assistant répond malgré la consigne « absent du corpus ».
• Une déduction est présentée comme une phrase directement écrite dans le document.

Un bon tuteur ne masque pas les trous de sa bibliothèque. Il les rend visibles.

Sortir progressivement du corpus

Le corpus sert d’échafaudage. Il ne doit pas rester collé au bâtiment. Après la séance, fermez les documents et l’assistant. Restituez l’idée principale, expliquez-la avec vos mots, puis appliquez-la à un cas nouveau.

Rouvrez ensuite les sources pour mesurer les omissions et les erreurs. Si vous réussissez seulement lorsque le bon passage reste affiché, vous savez retrouver une information. Vous ne la maîtrisez pas encore.

Le principe à retenir

Vos documents ne rendent pas l’IA infaillible. Ils rendent ses affirmations plus faciles à contrôler. Le tuteur ne demande plus seulement d’être cru : il montre d’où vient sa réponse.