Contrôles, exclusions et limites

L'automatisation rend les erreurs détectables et reproductibles. Elle ne remplace pas le jugement juridique là où une qualification ou une interprétation est nécessaire.

Contrôles automatiques actifs

• empreinte du corpus d'entrée et unicité des example_id ;
• structure conversationnelle system → user → assistant ;
• identité entre réponse structurée et message assistant ;
• présence et empreinte de chaque unité de preuve ;
• fidélité verbatim des tâches extractives ;
• absence de citation dans une abstention ;
• cohérence de l'affectation par document ;
• absence de fuite entre train, validation et test.

Ce qui reste hors de la v1

• les 7 922 chunks actuellement not_ready pour l'index ;
• les tâches complexes sur les 270 décisions DCC tant que leurs protocoles dédiés ne sont pas validés ;
• les cas pratiques sans solution de référence contrôlée ;
• la doctrine soumise à des droits ou autorisations spécifiques ;
• les anciennes Q&A conservées dans legacy/.

Pourquoi legacy/ reste à part

L'ancien essai compte 1 585 lignes physiques, 835 exemples uniques et 750 doublons. Sa lignée ne respecte pas le contrat actuel. Il sert de mémoire du projet, de galerie d'erreurs et éventuellement de jeu négatif — jamais de raccourci vers le fine-tuning.

Ce que ces contrôles ne prouvent pas

Ils ne déterminent pas qu'une disposition est encore en vigueur, qu'une interprétation est la seule possible ou qu'une réponse est adaptée à la situation d'une personne. Ces affirmations nécessitent des métadonnées juridiques, un protocole d'évaluation ciblé et, selon le risque, une validation humaine qualifiée.

La prochaine barre de qualité

L'expérience QLoRA doit être comparée au modèle de base sur les mêmes 51 exemples gelés. Les mesures porteront au minimum sur la fidélité au contexte, les citations, l'abstention, la forme de la réponse et les régressions. Un gain de style ne compensera pas une hausse des inventions.