Réponse courte
- Remplacer le RAG classique : oui. Un agent (pi piloté par Qwen) qui cherche plusieurs fois, lit des pages entières et vérifie ses citations passe de 18,5 à 30 bonnes réponses sur 34.
- Supprimer l'embedding : pas conseillé. Dans cet agent, l'embedding reste l'un de ses outils (recherche hybride sens + mots-clés). Le gain vient de la boucle de l'agent, pas de l'absence de vecteurs.
- Se passer totalement de l'embedding : possible sur une documentation très codifiée (identifiants, numéros de paragraphes, tableaux), à condition de le mesurer sur le corpus visé.
En quoi c'est différent
RAG classique : un seul tir
Si les bons extraits ne sont pas dans les k premiers, la réponse est fausse ou vide : la recherche décide de tout.
Agent Qwen + pi : il cherche comme un ingénieur devant une bibliothèque
Le LLM reformule lui-même ses requêtes, suit les renvois et relit les pages voisines : il compense une recherche imparfaite.
Comment ça marche
- pi : agent de code minimal en ligne de commande (projet libre pi-mono). Le LLM tape des commandes, lit le résultat, recommence.
- Qwen : le LLM qui pilote, ici Qwen3.8-Flash-Next en 4 bits, local sur une DGX Spark.
- Corpus préparé : une page PDF = un fichier texte (texte natif + OCR des tableaux et formules), plus un sommaire
INDEX.md.
| Outil de l'agent | Rôle | Place de l'embedding |
|---|---|---|
rg "motif" | Recherche exacte : n° de tableau, symbole, référence | Aucune ; plus fiable que des vecteurs sur les identifiants |
search "…" | Recherche hybride, 8 pages avec extrait | Ici : sens (embedding) + mots-clés (BM25), fusionnés |
page doc N | Lit des pages entières, seule lecture qui donne le droit de citer | Aucune ; remplace les extraits découpés |
cite_check | Vérifie que chaque valeur citée figure sur une page lue | Aucune |
python3 | Calculs | Aucune |
Protocole imposé : plan des besoins → plusieurs recherches → lecture des pages utiles et voisines → carnet de preuves → brouillon → vérification des citations → fin. Garde-fous : chronomètre, rédaction forcée à partir des notes si le temps manque, retrait de toute citation d'une page non lue en entier.
Est-ce que ça marche : les mesures
| Système (1 DGX Spark, 34 questions) | Score | |
|---|---|---|
| RAG classique : recherche hybride puis 1 appel de rédaction | 18,5 / 34 | |
| Agent de recherche, puis 1 appel de rédaction | 28,5 / 34 | |
| Agent complet Qwen + pi, 300 s par question | 30 / 34 | |
| Même agent, 200 s par question | 25 / 34 | |
| Même agent, deux utilisateurs en même temps | 25 à 26 / 34 |
Juge : Claude Opus 5.5 avec une grille figée par question avant tout jugement. Bruit d'un passage à l'autre : ± 1 à 2 questions. Sur 189 questions (deux DGX) : 92 % de réponses correctes.
Ce que ces essais disent de l'embedding
- Le reranker gagne 6 à 10 points de rappel en recherche seule, rien dans l'agent : l'agent compense une recherche faible en cherchant plusieurs fois.
- De 30 à 300 documents : 29,8 contre 29,0 / 34. La recherche brute se dégrade, l'agent non.
- Sans embedding, en recherche seule, sur une norme de conception d'environ 1 700 pages : BM25 trouve une preuve dans les 10 premiers résultats pour 4 questions sur 12, l'hybride pour 9 sur 12 (index pas tout à fait identiques : indication, pas mesure).
- Agent complet sans embedding : pas encore mesuré. C'est l'essai qui trancherait.
- Le facteur limitant est la rédaction, pas la recherche : à preuves identiques, sur les questions difficiles, Qwen local rédige juste ~30 % du temps, Claude Sonnet ~80 %.
Quand se passer de l'embedding
rg + BM25 + agent suffisent
- Questions qui citent des identifiants (« § 7620 », « tableau 3 », nuance d'acier).
- Vocabulaire du métier stable, utilisateurs experts.
- Sommaire fiable : l'agent navigue par la table des matières.
- Corpus qui change souvent : aucun index vectoriel à recalculer (13 h sur processeur pour 9 300 tranches dans l'essai cité).
L'embedding reste utile
- Question formulée loin du texte (« combien de temps la paroi tient au feu » ↔ « résistance EI 60 »).
- Plusieurs langues, synonymes, abréviations maison.
- Corpus très large et hétérogène.
- Premier tour de recherche : moins de tours d'agent, donc moins de temps par question.
Le prix de l'agent
- Temps : 4 à 5 minutes par question, contre quelques secondes pour un RAG classique.
- Charge : sur une seule machine, deux utilisateurs simultanés coûtent 4 à 5 bonnes réponses sur 34.
- Contexte long : les pages entières remplissent le contexte ; le serveur doit accepter tout le contexte du LLM, sinon les réponses sont coupées sans erreur visible.
- Calcul : moins de calcul d'index (si pas d'embedding), mais bien plus d'appels LLM par question.
Recommandation
Garder l'embedding, mais comme un outil de l'agent
- Agent Qwen + pi avec
rg, lecture de pages entières et vérification des citations ; recherche hybride (sens + BM25), sans reranker. - Pour décider sur un corpus donné : même jeu de questions, agent avec
searchhybride puis BM25 seul, trois passages chacun, comparer les moyennes (bruit ± 1 à 2). - Si l'écart reste dans le bruit, supprimer l'embedding : une brique, un index et un service en moins.