16 h à 1 h 30
Chez Sully Group, un questionnaire de sécurité est passé de 16 heures à 1 heure 30, relecture humaine comprise, pour une satisfaction de 9/10.
Source : Gartner, cas d'adoption.Guide de l'acheteur
Comment évaluer un DSLM avant d'acheter
Une seule règle pour couper court aux démonstrations : jugez chaque outil sur vos documents, avec des chiffres, pas sur des slides.
Comment tester un fournisseur d'IA spécialisée ?
Faites passer le test des trois chiffres sur un de vos documents réels, un vrai appel d'offres de 150 pages, pas le fichier de démonstration du fournisseur. Comparez chaque outil, y compris votre prototype interne, sur : combien d'exigences il extrait, quelle part des réponses porte une citation de source à la page près, et combien d'écarts il détecte avec une recommandation. Le reste est de la présentation.
La check-list d'évaluation, prête pour votre RFP
Un DSLM (Domain-Specific Language Model, modèle de langage spécialisé par domaine) sérieux se juge sur preuves, pas sur promesses. Voici dix questions, dans l'ordre où un comité achats devrait les poser : reprenez-les telles quelles dans votre appel d'offres. Un fournisseur solide répond aux dix avec des éléments vérifiables ; toute hésitation sur l'une des cinq premières est un signal d'alerte.
| # | Question | À quoi ressemble une bonne réponse |
|---|---|---|
| 1 | Quelle est votre précision mesurée, sur quel benchmark ? | Un chiffre, un benchmark que vous pouvez inspecter, et une méthode. Pas de chiffre : c'est une démonstration, pas de la production. |
| 2 | Montrez-moi une source pour cette réponse. | Nom du document, numéro de page, horodatage, à un clic, pour chaque réponse. |
| 3 | Posez deux fois la même question de contrôle. Même réponse ? | Oui, de façon déterministe, en précisant où la variation générative est permise et où elle ne l'est pas. |
| 4 | Que fait le système quand il ne peut pas répondre ? | Score de confiance bas (sur une échelle de 0 à 100), signalement explicite de l'écart, recommandation de remédiation, jamais une invention assurée. |
| 5 | Où mes données sont-elles traitées, et sous quelle juridiction ? | Privé par client, option sur site ou cloud souverain, aucune mutualisation, suppression contractuelle. Voir la souveraineté en profondeur. |
| 6 | Qui valide les réponses avant leur envoi ? | Validateurs nommés, séparation des tâches, règles de routage : un workflow, pas une habitude. |
| 7 | Comment le corpus réglementaire est-il maintenu ? | Des référentiels versionnés avec des propriétaires, surveillés pour détecter les changements, mis en correspondance entre eux (par exemple ISO 27001 vers NIS2 vers DORA). |
| 8 | Comment la tarification se comporte-t-elle à grande échelle ? | Prévisible, sans facturation au token ni au crédit. Un compteur rationne l'usage ; un coût prévisible favorise l'adoption. |
| 9 | Qu'advient-il de ma base de connaissances si nous partons ? | Export en formats ouverts, suppression garantie et vérifiable. |
| 10 | Pouvez-vous reconstituer qui a approuvé cette réponse, un an plus tard ? | Journal complet : source, score, validateur, horodatage, rejouable à la demande. |
Comment lire un score de confiance de 0 à 100 ?
La question la plus révélatrice de la check-list est la quatrième : que fait le système quand il ne sait pas ? Un DSLM de production attache à chaque réponse un score de confiance de 0 à 100, calculé à partir des sources trouvées et de leur accord. Un score élevé signale une réponse sourcée et cohérente ; un score bas déclenche un signalement de l'écart et une recommandation, au lieu d'une réponse inventée. Le score transforme la relecture : elle devient ciblée sur les zones à faible confiance, plutôt que systématique sur 100 % des réponses.
Ce comportement repose sur une architecture de contrôle de 5 couches, dont 7 vérifications anti-hallucination réparties entre elles : ancrage sur le corpus gouverné, contrôle des sources citées, cohérence entre réponses, détection des exigences non couvertes et scoring final. Demandez au fournisseur de vous montrer, sur votre document, une réponse à faible score : c'est là que se voit la différence entre un système de preuve et un générateur de texte.
0 à 100Score de confiance attaché à chaque réponse
5 couchesDont 7 vérifications anti-hallucination
~95 %Seuil d'utilité sous lequel la relecture reste intégrale
70 à 80 %Précision plafond fréquente d'un projet interne
Pourquoi 95 % est-il le seuil d'utilité ?
La licence n'est pas le coût. Le coût, c'est que sans précision mesurée ni citation des sources, un expert doit relire et revérifier chaque réponse. Le temps gagné à la rédaction est dépensé en relecture : la charge s'est déplacée, elle n'a pas diminué. Sous environ 95 % de précision, le seuil d'utilité, la relecture intégrale reste obligatoire et le gain net s'effondre. C'est pourquoi la première question à poser à tout fournisseur, ou à votre propre équipe, doit être : « Quelle est votre précision mesurée, et sur quel benchmark ? »
C'est aussi la limite des développements internes : ils plafonnent souvent à 70 ou 80 % de précision, sous le seuil d'utilité, parce que le moteur d'IA ne pèse que 15 % de l'effort et que l'industrialisation, les 85 % restants, décide de la précision réelle. Voir la comparaison entre développer ou acheter.
70 à 80 %
Précision plafond souvent atteinte par un projet interne, sous le seuil d'utilité d'environ 95 %, ce qui maintient la relecture intégrale.
Source : analyses de marché.Faites le test comparatif
L'évaluation la plus juste est aussi la plus simple : même document, même jour, côte à côte. Prenez un appel d'offres ou un questionnaire réel auquel votre équipe a répondu récemment. Passez-le dans le DSLM candidat et dans ce que vous utilisez aujourd'hui, assistant généraliste, IA de suite bureautique ou agent interne. Comparez les trois chiffres : exigences extraites, réponses sourcées à la page près, écarts détectés avec recommandations. Puis faites noter un échantillon de réponses, pour leur exactitude, par l'expert qui connaît le document. L'outil qui gagne sur vos documents est le bon outil, quel qu'en soit l'auteur.
Nous menons ce test avec nos prospects, sur leurs propres documents, avec la plateforme Optivalue.ai. Apportez le vôtre.
Questions fréquentes
Comment tester un fournisseur d'IA spécialisée avant d'acheter ?
Faites passer le test des trois chiffres sur l'un de vos documents réels (par exemple un appel d'offres de 150 pages) : combien d'exigences ont été extraites, quelle part des réponses porte une citation de source à la page près, et combien d'écarts ont été détectés avec une recommandation de remédiation. Comparez n'importe quel outil sur ces trois chiffres, y compris votre prototype interne.
Quel niveau de précision un DSLM doit-il démontrer ?
Exigez un chiffre de précision mesuré sur un benchmark que vous pouvez inspecter. En règle générale, sous environ 95 % de précision (le seuil d'utilité), chaque réponse doit encore être intégralement relue par un expert et le gain net s'effondre. Un fournisseur sans chiffre mesuré et défendable vous montre une démonstration, pas un système de production.
Comment lire un score de confiance de 0 à 100 ?
Chaque réponse porte un score de confiance de 0 à 100, calculé à partir des sources trouvées et de leur accord. Un score élevé signale une réponse sourcée et cohérente ; un score bas déclenche un signalement explicite de l'écart et une recommandation de remédiation, jamais une invention assurée. Le score rend la relecture ciblée au lieu d'être systématique.
Que signifie « 5 couches, dont 7 vérifications anti-hallucination » ?
L'architecture de contrôle compte 5 couches, dont 7 vérifications anti-hallucination réparties entre elles : ancrage sur le corpus, contrôle des sources, cohérence entre réponses, détection des écarts et scoring. Ensemble, elles font que le système sait dire ce qu'il ne peut pas couvrir, au lieu de combler le vide par une réponse inventée.
Quel modèle tarifaire privilégier pour l'IA d'entreprise ?
Une tarification prévisible, sans facturation au token ni au crédit. Un compteur rationne l'usage : les équipes cessent d'utiliser l'outil pour protéger le budget. Un coût prévisible, sans compteur, favorise l'adoption. Votre directeur financier doit signer une ligne, pas une courbe.
Que fait un DSLM quand il ne peut pas répondre ?
Il baisse le score de confiance, signale explicitement l'écart et recommande une remédiation avant la soumission, plutôt que d'inventer. C'est la différence avec un LLM généraliste qui répond toujours et ne s'abstient jamais : l'abstention traçable est un critère d'évaluation, pas un défaut.