Ingénieure diplômée de la promotion 2021, Sarah Leroy a réalisé son stage de fin d’études chez Kereval, laboratoire indépendant d’ingénierie de tests et de qualité logicielle. Elle s’y est consacrée à l’explicabilité de l’IA. 

Pour Sarah, comme pour un grand nombre d’élève de l’ENSAI, le stage de fin d’études du cursus ingénieur est un premier pas vers une carrière en Data Science. Au terme de son stage, Sarah a intégré la team Kereval en tant qu’ingénieure de recherche.

Quelles ont été tes missions durant ces six mois de stage ?

S.L. : La première partie de mon stage a été consacrée à la réalisation d’un état de l’art de l’explicabilité de l’IA. Il a permis de mettre en évidence les différents besoins qui motivent le développement d’une IA explicable et la diversité des méthodes existantes ainsi que différents critères permettant de les catégoriser. Des points de difficultés ont également été identifiés, comme par exemple le manque de consensus concernant l’évaluation de ces méthodes.

Durant la seconde partie de mon stage, j’ai expérimenté différentes méthodes d’explicabilité afin de les comparer et d’étudier leur utilisation potentielle pour le test des systèmes IA. Cette expérimentation a été approfondie pour les modèles traitant des images (classification d’images, détection d’objets). En effet, ces modèles sont généralement complexes (réseaux de neurones) et utilisés dans des domaines critiques tels que la conduite autonome, ce qui justifie encore davantage le besoin d’explicabilité. Au-delà de l’application de ces méthodes à des cas d’utilisation, une réflexion a été menée sur leur exploitation dans le cadre du test des systèmes IA. Plusieurs pistes ont été étudiées comme l’analyse des erreurs des modèles ou encore la comparaison de différents modèles.

Quelles méthodes et quels outils as-tu utilisés ?

S.L. : Pour réaliser l’expérimentation des différentes méthodes d’explicabilité, j’ai travaillé avec Python et ses bibliothèques de Deep Learning (Scikit-Learn, Pytorch, TensorFlow …). Pour effectuer les traitements qui nécessitaient beaucoup de ressources et de temps, j’ai pu utiliser un ordinateur plus puissant que celui sur lequel je travaillais quotidiennement. Pour cela, j’ai appris à faire de l’exécution distante et à utiliser Docker, qui permet notamment de bien définir et isoler les différents environnements de travail. J’ai également beaucoup progressé en traitement d’images avec Python.

Dans quelle mesure Kereval a-t-elle exploitée tes résultats ?

S.L. : Le travail réalisé durant mon stage a permis à l’entreprise d’avoir une vue globale sur l’explicabilité de l’IA et les méthodes existantes. Grâce à la catégorisation réalisée, il est possible de savoir quelles méthodes sont utilisables pour un cas d’application particulier. La finalité est de pouvoir utiliser ces différentes techniques en complément des tests déjà utilisés pour tester des modèles d’IA, puisqu’elles permettent d’obtenir des informations supplémentaires sur le fonctionnement et les décisions des modèles.

Les réflexions menées et pistes expérimentées ont permis d’identifier les utilisations potentielles des méthodes d’explicabilité pour le test mais aussi leurs limites. En effet, certains points de difficulté, notamment concernant la subjectivité et la formalisation des analyses, doivent encore être approfondis afin de pouvoir exploiter pleinement les méthodes d’explicabilité. J’aurai d’ailleurs peut-être l’occasion de retravailler sur ces sujets puisque je continue l’aventure chez Kereval !

Quel bilan fais-tu de ce stage de fin d’études ?

S.L. : Ce stage a été très enrichissant car il m’a permis de traiter un sujet de bout en bout, de l’état de l’art à l’expérimentation. Cela a demandé de la méthodologie et de la rigueur afin de bien organiser les différentes parties de l’étude et ne pas se disperser. De plus, l’explicabilité de l’IA est un sujet très intéressant et en plein essor mais que nous n’abordons que peu à l’école. Cependant, les connaissances acquises en Machine Learning et Deep Learning m’ont apporté les prérequis nécessaires pour l’aborder sereinement et j’ai pu améliorer mes compétences dans ces domaines.

Au-delà du point de vue académique, ce stage a également été bénéfique sous l’angle des soft skills. En effet, j’ai eu l’occasion de rédiger un article pour le blog de l’entreprise et de présenter un petit-déjeuner technique aux collaborateurs sur mon sujet. Dans les deux cas, le public visé était assez large et pas forcément spécialiste en Intelligence Artificielle. J’ai donc dû adapter mon discours pour qu’il soit accessible tout en donnant assez d’informations pour les personnes ayant des connaissances sur le sujet, c’est un exercice très instructif !

Lire l’article complet

À lire également