Ingénierie du test de l’Intelligence Artificielle
L’Intelligence Artificielle permet d’exploiter des volumes de données considérables afin de réaliser des tâches complexes, généralement de manière très efficace. Cependant, les modèles à base d’IA et plus précisément de Machine Learning, voire de Deep Learning, sont souvent comparés à des « boîtes noires » du fait de leur fonctionnement opaque.
Un règlement européen, dénommé AI Act, devrait être voté fin 2023 pour encadrer l’usage et la commercialisation des intelligences artificielles. Son objectif est d’aider à l’innovation tout en garantissant la sécurité et les droits des utilisateurs en matière de protection des données, de transparence et d’éthique.
Le test de l’IA devient incontournable, tout particulièrement pour les IA utilisées dans des systèmes critiques, comme les outils d’aide au diagnostic médical, la conduite autonome ou l’aviation.
Cependant, les techniques classiques de test logiciel ne sont généralement pas applicables à ces systèmes. Pour répondre à ce besoin, Kereval a développé de nouveaux processus de test pour l’IA.
L’identification du besoin
Nous vous proposons des prestations de :
- Conseil sur les bonnes pratiques de l’ingénierie du test et de la validation des systèmes IA
- Conseil en méthodologies de vérification et de validation de l’IA et d’outils de tests (explicabilité et robustesse)
Vous avez des besoins pour :
- Vérifier le comportement attendu de la part du modèle de l’algorithme développé avant son déploiement en production,
- Déployer un environnement de tests logiciels à moindre coût sans avoir besoin de collecter de nouvelles données spécifiques,
- Améliorer des algorithmes d’IA (data augmentation ciblée)
- ou encore pour convaincre vos clients de la robustesse de votre application via des métriques objectifs
Notre accompagnement
Pour vous amener à respecter le règlement européen AI Act, nos prestations d’audit vous permettront de disposer des indicateurs vous permettant de communiquer vers vos clients (robustesse, éthique, explicabilité, traçabilité…). Cette évaluation contribuera, par ailleurs, à améliorer vos systèmes d’IA.
Grille comprenant 50 points de vérification de la pipeline IA, dont :
- Obligations techniques
- Obligations de documentation
- Bonnes pratiques
Grille basée sur l’AI Act et des normes/référentiels :
- Commission européenne : AI Act, RGPD
- ISO/EIC 24029-1:2018
- AI HLEG : Ethics guidelines for trustworthy AI & ALTAI
- OECD
Rapport d’audit
- Points de non-respect de l’AI Act
- Aspects de la pipeline IA à améliorer (méthodes, qualité des données, etc.)
- Proposition d’outils pour compléter l’évaluation de la pipeline IA
Les enjeux de l’IA
Cette formation s’adresse à des chefs de projet, ingénieurs, développeurs et chercheurs qui développent des systèmes basés IA.
Objectifs de la formation :
- Comprendre les spécificités du test dans le domaine de l’IA
- Connaître les principales vulnérabilités d’une IA
- Identifier les méthodes de test et de vérification pertinentes pour localiser et caractériser les erreurs
- Identifier les régressions comportementales ou encore détecter les biais
