Sur les preuves publiques les plus exigeantes disponibles en août 2026, le modèle en tête satisfait 94,6 % des critères individuels d’une grille d’évaluation sur des livrables juridiques réels, et produit un livrable où tous les critères passent sur 14,2 % des tâches. Les deux chiffres viennent du même benchmark, du même harness, de la même exécution. Aucun des deux n’est faux. Cet écart de 80 points constitue tout le contenu d’une affirmation de précision en AI juridique, et c’est pourquoi « à quel point l’AI juridique est-elle bonne » n’a pas de réponse unique : la réponse honnête dépend de la lecture du résultat par un juriste avant qu’il ne quitte la maison. Cette page est la grille en cinq lignes pour tout chiffre d’AI juridique qu’on vous présente, avec les valeurs 2026 pour vous calibrer.
Quand l’utiliser
Utilisez-la quand un éditeur, une présentation d’analystes ou un leaderboard vous tend un pourcentage et vous demande d’agir dessus : une décision de pilote, un choix de modèle dans une plateforme que vous avez déjà, une ligne budgétaire. Ne l’utilisez pas pour interroger l’affirmation d’un éditeur sur vos contrats ; c’est une autre procédure, et elle se trouve dans comment évaluer les affirmations de précision de la revue de contrats par AI. Cette page porte sur les benchmarks publiés : ce qu’ils mesurent, quel chiffre l’auteur a choisi de mettre en avant, et ce que le score ne supporte pas au contact du réel.
Ligne 1 — Quel standard de notation a produit le chiffre ?
Tout benchmark juridique sérieux de 2026 publie deux métriques, et l’écart entre elles dépasse l’écart entre deux éditeurs quelconques.
Le taux de critères satisfaits est la part des critères individuels de la grille qu’un modèle satisfait. Le taux de réussite intégrale est la part des tâches où tous les critères passent, sans crédit partiel. Artificial Analysis publie les deux pour Harvey LAB-AA, sa réimplémentation indépendante du Legal Agent Benchmark de Harvey, publiée le 2026-07-07 :
| Modèle | Taux de critères satisfaits | Taux de réussite intégrale | Coût par tâche |
|---|---|---|---|
| Kimi K3 (max) | 94,6 % | — | — |
| Claude Fable 5 (avec fallback) | 93,6 % | 14,2 % | ~$18,90 |
| Muse Spark 1.1 (xhigh) | 93,1 % | — | — |
| Claude Opus 4.8 (max) | — | 7,5 % | ~$8,20 |
| GLM-5.2 (max) | — | 7,5 % | ~$1,30 |
L’exécution de Harvey sur le benchmark complet indique que le meilleur modèle termine 7,1 % des tâches de bout en bout. Rien de tout cela n’est contradictoire. Une note avec 19 critères satisfaits sur 20 obtient 95 % sur une métrique et zéro sur l’autre, parce que le vingtième critère portait sur la clause de limitation de responsabilité.
Le calibrage. Si un relecteur lit le livrable entier avant l’envoi, le taux de critères satisfaits est le chiffre qui prédit l’ampleur de sa réécriture. Si le résultat part vers un client, un tribunal ou une contrepartie sans lecture complète, la réussite intégrale est le seul chiffre qui décrit votre exposition — et à 14,2 %, aucun système de 2026 ne supporte ce mode d’usage. Un éditeur qui avance un chiffre autour de 90 pour un flux sans relecture a répondu à une question que vous n’avez pas posée.
Ligne 2 — Horizon court ou horizon long ?
Les benchmarks se séparent nettement par la longueur de la tâche, et les scores ne se transfèrent pas d’un côté à l’autre.
Les benchmarks à horizon court notent un jugement délimité : LegalBench (162 tâches construites à la main sur six types de raisonnement juridique, NeurIPS 2023), les 41 catégories de clauses de CUAD, LEXam et l’ancien BigLaw Bench de Harvey. Lire un contrat, répondre à une question, classer une clause.
Les benchmarks à horizon long notent un produit de travail. Harvey a ouvert le code de LAB le 2026-05-06 : plus de 1 200 tâches sur 24 domaines de pratique, notées contre plus de 75 000 critères de grille rédigés par des experts. Chaque tâche remet à l’agent une instruction de style associé et les documents d’un dossier, et exige qu’il planifie, cherche, travaille à travers les pièces et produise un livrable.
Le calibrage. Faites correspondre l’horizon à ce que vous achetez. Un score d’extraction de clauses ne dit rien d’un agent qui rédige une note, et un taux de réussite intégrale à horizon long sous-estime un outil que vous n’utilisez que pour l’extraction. Quand un éditeur qui vend un produit agentique cite un score à horizon court, c’est ce décalage qui est le constat.
Ligne 3 — Quel harness, et quel juge ?
Un chiffre publié mesure un modèle plus l’échafaudage autour de lui. Artificial Analysis exécute LAB-AA sur son propre harness d’agent Stirrup et annonce les écarts sans détour : il omet les outils propres à Harvey et ses scripts de génération de documents, utilise des prompts simplifiés, exige une correspondance exacte des noms de fichiers, et note avec un juge Gemini 3.1 Pro unique plutôt qu’avec la méthode d’origine de Harvey. Les chiffres de Harvey sur les mêmes tâches sous-jacentes ne sont pas les mêmes chiffres.
Le calibrage. LAB-AA note un modèle. Le score propre d’un éditeur couvre un modèle plus le retrieval, les outils, les prompts et les garde-fous qu’il a construits. Ce ne sont pas des grandeurs comparables, et l’écart entre les deux est exactement le produit. Demandez laquelle vous regardez, et refusez la comparaison quand un éditeur place le score de son produit dans un tableau à côté de scores de modèles bruts.
Ligne 4 — Le jeu de tâches est-il privé et retenu ?
LAB-AA tourne sur 120 tâches privées ; Harvey a publié le code et une partie du jeu de données sur GitHub. Ce partage est délibéré. Un jeu de tâches public est une cible d’entraînement : dès que les questions sont sur internet, un score élevé cesse de distinguer un modèle qui raisonne d’un modèle qui a lu les réponses.
Le calibrage. Un jeu privé et retenu, exécuté par un tiers, est le niveau de preuve le plus fort. Un jeu public exécuté par un tiers est le niveau intermédiaire : exploitable pour classer, faible pour toute affirmation absolue. Un jeu public exécuté par l’éditeur est un objet marketing. Demandez la date de dernière rotation du jeu ; un benchmark inchangé depuis deux ans mesure la mémorisation.
Ligne 5 — Combien cela a-t-il coûté par tâche ?
Le coût par tâche est publié à côté de la qualité sur LAB-AA, et diviser l’un par l’autre produit le chiffre qui tranche un arbitrage build-or-buy : coût par livrable accepté = coût par tâche ÷ taux de réussite intégrale.
| Modèle | Coût/tâche | Réussite intégrale | Coût par livrable accepté |
|---|---|---|---|
| GLM-5.2 (max) | $1,30 | 7,5 % | ~$17 |
| Claude Opus 4.8 (max) | $8,20 | 7,5 % | ~$109 |
| Claude Fable 5 (avec fallback) | $18,90 | 14,2 % | ~$133 |
L’écart de 14,5× sur le coût brut du modèle se comprime à environ 8× une fois la qualité intégrée — et cesse alors de compter. Prenez un relecteur facturé $400 de l’heure, ce qui est une hypothèse et non une valeur mesurée : $133 achètent 20 minutes de son attention. Toute l’amplitude des coûts de modèles du leaderboard vaut entre 3 et 20 minutes du temps d’un avocat par livrable.
Le calibrage. En dessous d’environ 30 minutes de temps de relecture par livrable en dépense de modèle, choisissez sur le taux de réussite intégrale et ignorez le prix. Au-dessus, le coût du modèle est devenu une vraie ligne et appartient au business case. La plupart des charges de travail juridiques de 2026 se situent bien en dessous de ce seuil, ce qui veut dire que les équipes qui pilotent la dépense d’AI juridique par le prix du token optimisent le mauvais terme. Tarification par siège vs à l’usage en AI traite de la façon dont les éditeurs emballent ce coût une fois qu’il arrive sur votre facture.
La référence humaine est une comparaison mobile, pas une constante
Le rapport de recherche juridique de Vals AI, publié le 2025-10-14, a noté 200 questions sur 10 types de questions (une écartée pour une erreur de formulation) avec une pondération précision 50 %, autorité des sources 40 %, adéquation 10 %. Tous les produits d’AI se sont tenus à quatre points les uns des autres, entre 74 % et 78 %, contre une référence d’avocats à 69 %. Les questions multi-juridictionnelles ont coûté à chaque système 11 points en moyenne.
Deux choses accompagnent ce résultat. Thomson Reuters et LexisNexis ont décliné la participation et vLex s’est retiré, si bien que les trois plus grandes plateformes de recherche juridique sont absentes du benchmark de recherche indépendant le plus solide du marché — un éditeur non mesuré n’est pas un éditeur perdant, et il n’est pas gagnant non plus. Et le sens s’inverse selon la tâche : l’étude Vals de février 2025 a trouvé des outils battant le groupe témoin d’avocats sur l’extraction documentaire tout en perdant nettement contre lui sur le redlining, avec les mêmes éditeurs et le même panel.
Points de vigilance, chacun avec sa parade
Un pourcentage unique en titre. Un seul chiffre signifie que l’auteur a choisi laquelle des deux métriques montrer. Parade : refusez d’agir sur un score d’AI juridique tant que vous n’avez pas à la fois le taux de critères satisfaits et le taux de réussite intégrale, ou la déclaration de l’auteur sur celui dont il s’agit.
Comparer un score produit à un score modèle. Les tableaux d’éditeurs placent leur plateforme à côté de modèles frontier bruts, où c’est la différence de harness qui fait le travail. Parade : exigez que les deux lignes proviennent d’un même harness, ou lisez-les comme deux tableaux distincts.
Supposer que le classement prédit votre type de dossier. LAB-AA couvre 24 domaines de pratique et publie une moyenne ; la variance entre domaines n’est pas publiée par modèle. Parade : passez 20 de vos dossiers réels dans la liste courte avant de signer, et notez-les avec votre propre grille — les vérifications de grounding et hallucination relèvent du même passage.
Traiter un score comme durable. Les modèles de ce leaderboard tournent en quelques semaines, et 14 des 37 modèles listés portaient un résultat LAB-AA au moment de la rédaction. Parade : revérifiez le leaderboard avant chaque renouvellement, et inscrivez des droits de substitution de modèle au bon de commande, pour qu’une plateforme puisse vous basculer sur un meilleur modèle sans renégociation.
Quand ce framework casse
Il casse sur le travail non anglophone et non américain, où aucun benchmark public n’a une couverture exploitable, et sur les produits de travail propres à un cabinet, où la grille qui compte est votre propre fonds de précédents et non un panel d’experts. Il casse aussi là où le livrable n’a pas de corrigé : notes de stratégie, posture de négociation, conseil au client. Là, le benchmark vous dit quel modèle est un meilleur point de départ et rien d’autre, et l’évaluation doit être un pilote supervisé sur vos propres dossiers.
Pour situer ces scores dans une décision d’achat, lisez AI juridique vs legaltech et modèle d’AI verticale vs GPT wrapper, puis les pages éditeurs de Harvey, CoCounsel, Legora, Lexis+ avec Protégé et vLex Vincent AI.