AI / AI-05
Test et validation de la sécurité des systèmes d'IA
Évaluer une application d'IA complète : modèle, données, connecteurs, politiques, outils et utilisateurs. Les tests examinent la fuite d'informations, les instructions malveillantes reçues par le système et les limites des actions possibles.
QUAND C'EST UTILE
Une réponse ciblée
à un besoin défini.
Assistant prêt à être déployé, nouveau connecteur sensible, agent ou client capable d’agir et cherchant des preuves de sécurité au-delà d’un filtrage du contenu.
PORTÉE ET RÉSULTATS
Ce que couvre la mission.
Portée
- Scénarios d’abus autorisés
- ensembles de données synthétiques
- permissions
- injection immédiate
- Données récupérées
- actions de l’outil
- confidentialité
- robustesse
- coût
- Test de répétabilité et de régression
Livrables
- Plan de test
- scénarios
- Evidences sanitaires
- des résultats reproductibles lorsque possible
- Séroresponsabilité contextuelle
- remédiation
- limites statistiques et plan de rétest
Preuve de réception
Des scénarios et des versions sont documentés ; des tests sensibles évitent les données réelles inutiles ; les résultats permettent de distinguer les défauts confirmés de comportements non reproduits ; les corrections sont vérifiées en fonction de l’ensemble convenu.
LIVRAISON
Comment le travail est structuré.
Approche
Choisir un cas d'usage ; classifier les données et l'accès ; concevoir et piloter ; tester la confidentialité, les actions et le coût ; décider du déploiement et du suivi.
Prérequis et responsabilités
Client : sponsor métier, propriétaires des données, équipe d'identité, DPO/juridique si nécessaire et budget. Fournisseur : architecture et tests ; le client conserve l'approbation des utilisations sensibles.
Facteurs de portée
Usages, utilisateurs, modèles, données, connecteurs, autorisations, actions, volumes et hébergement. Projet séparé, licences, jetons, recherche, stockage et opérations ; pas d'économies revendiquées sans mesure.
Questions à clarifier
Quels types de données ou actions sont interdits ? Peut-on utiliser un environnement isolé pour tester ? Comment on mesure le succès et on répète le test après un changement de modèle ?
LIMITES IMPORTANTES
Le comportement peut varier selon les versions et les versions. Un score d’examen n’est pas une certification ; les tests doivent respecter les autorisations et exclure les systèmes de tiers non concernés.
Les autorisations, l'utilisation des données par le fournisseur, la conservation, la résidence et l'application des coûts sont évaluées séparément. Les fonctionnalités techniques et les obligations applicables sont vérifiées pour l'offre et le cas d'utilisation choisis.
EN PRATIQUE
Situations illustratives.
Ces exemples décrivent des engagements possibles et des résultats cibles. Il ne s'agit pas de références clients ni de résultats obtenus.
Scénario 01
Un assistant résume les documents de tiers. Projet : vérifier si le contenu peut contourner les limites ou révéler des informations. Résultats attendus : identification des défauts et vérification des contrôles sur des cas représentatifs, sans prétendre garantir une protection universelle.
Scénario 02
Un agent peut créer des tickets et envoyer des messages. Projet : vérifier les destinataires, le contenu et les validations humaines. Objectif : les actions interdites sont rejetées lors de la phase de test ; un comportement non contrôlé conduit à une réduction du périmètre.
Contexte technologique et de référence
Références : OWASP GenAI et NIST GenAI Profile ; outils d’évaluation adaptés au système, ensembles de tests versionnés et données synthétiques.
L'ensemble final des technologies est convenu lors du cadrage, sur la base de l'interopérabilité, des licences, des droits d'accès et des exigences opérationnelles.
SERVICES CONNECTÉS
Construisez l'étape suivante.
Ces services peuvent compléter la mission. Ils ne sont pas inclus automatiquement.
Commencer une conversation
Clarifiez la portée.
Nous clarifierons l'objectif, les dépendances et les responsabilités de ce service avant de proposer la livraison.