Ce que contient un dossier de preuve de déploiement d'agent

Un jour, quelqu'un autour de la table va poser la question à voix haute : « peux-tu défendre cette IA ? »

Ce n'est pas une question technique. C'est une question de dossier. Et le tableau de bord du fournisseur de l'agent n'y répond pas, pour une raison simple : personne d'extérieur ne peut le ré-examiner. Un fournisseur qui atteste lui-même que son système est sûr ne produit pas une preuve — il fait du marketing.

Le dossier de preuve existe pour transformer cette question en document. Voici ce qu'il y a dedans.

1. Le périmètre, écrit avant l'épreuve

Un agent n'est pas un modèle. C'est un modèle plus une intention, des outils, une mémoire, un corpus, et une politique écrite quelque part dans une invite système. Le dossier commence par fixer ce périmètre noir sur blanc :

• ce que l'agent est censé faire, et ce qu'il n'est pas censé faire ;
• les outils qu'il peut réellement appeler — c'est-à-dire ses effets de bord déclarés : écrire dans un système, envoyer un message, engager de l'argent ;
• les données auxquelles il accède, et à quel titre ;
• qui, dans l'organisation, répond de lui.

Cette étape paraît administrative. Elle ne l'est pas. Dans la majorité des cas, c'est là que le premier écart apparaît : l'agent peut appeler un outil que personne n'avait inscrit au périmètre.

2. Ce qu'on lui a fait subir

Vient ensuite la partie que le dossier documente le plus longuement : les scénarios adverses joués contre l'agent avant qu'il ne touche la production. Pas un test de performance — une tentative méthodique de le faire sortir de sa politique.

Pour chaque scénario, le dossier consigne l'entrée exacte, la réponse exacte, et le verbatim de l'évaluation. Le verbatim compte plus que le score : un responsable de risque de modèle veut lire la conversation, pas un chiffre.

3. Les verdicts, et pourquoi un seul suffit à tout bloquer

Les constats se rangent en trois états : passe, revue, blocage. La règle qui rend le dossier utile est celle-ci : un constat critique plafonne le résultat d'ensemble. Pas de moyenne, pas de compensation entre une excellente tenue sur neuf axes et une défaillance sur le dixième.

C'est contre-intuitif quand on vient du monde des tableaux de bord, où tout se compense. Mais un agent qui gère correctement 99 % des cas et divulgue des renseignements personnels dans le 1 % restant n'est pas « bon à 99 % ». Il est bloquant.

4. La mise en correspondance avec vos textes

Un constat brut ne sert à rien à un responsable de conformité. Chaque comportement observé est donc rattaché au référentiel qui vous vise : AMF, ligne directrice E-23 ou B-13 du BSIF, Loi 25, ISO/IEC 42001 et 42005, OWASP Agentic Top 10, profil agentique du NIST, règlement européen si vous exportez.

L'objectif est précis : que votre auditeur travaille dans son vocabulaire, pas dans le nôtre. C'est ce qui distingue un dossier d'un rapport d'outil.

5. Ce qui n'a pas pu être éprouvé

C'est la section que les fournisseurs omettent, et c'est probablement la plus importante.

Un dossier honnête dit ce qu'il n'a pas couvert : les surfaces hors périmètre, les intégrations non disponibles au moment de l'épreuve, les comportements qui dépendent de données de production auxquelles nous n'avons pas accès. Quand un axe requis manque de preuve, le verdict n'est pas « passe par défaut » — il est retenu.

L'absence de preuve n'est pas une preuve de préparation.

Ce que le dossier n'est pas

Trois choses, à dire à voix haute avant qu'un acheteur ne les découvre tout seul.

Ce n'est pas une certification de conformité légale. Aucun outil et aucune firme ne peut en produire une. Ce qui est livré est une mise en correspondance entre un comportement observé et l'état d'un contrôle. La conclusion juridique appartient à votre conseil.

Ce n'est pas une mission d'assurance ni un audit au sens réglementaire. Nous produisons la preuve ; l'indépendance appartient à votre auditeur, qui peut ré-examiner chaque pièce sans nous croire sur parole. C'est d'ailleurs le seul sens défendable du mot « indépendant » dans cette affaire : pas le fournisseur, pas nous — votre auditeur.

Ce n'est pas une garantie que l'agent ne se comportera jamais mal. Un dossier est daté. Il vaut pour une version de l'agent, un jeu d'outils et un modèle donnés. Changez le modèle, ajoutez un outil, élargissez le périmètre — et il faut re-éprouver. C'est précisément pour ça que la garde de preuve existe comme service distinct.

Pourquoi c'est un document et pas un tableau de bord

Parce qu'un tableau de bord ne se dépose pas. Il ne s'annexe pas à un procès-verbal de comité de risque, ne se transmet pas à un régulateur, ne se relit pas dans dix-huit mois quand plus personne ne se souvient de la décision.

Un dossier, oui. C'est toute la différence entre « on a testé » et « voici ce qu'on a testé, voici ce qu'on a trouvé, voici ce qu'on n'a pas pu couvrir, et voici qui l'a signé ».

Quand la question reviendra autour de la table, ce sera la seule réponse qui tienne.