formation-details

Cette UE s'adresse à un public ayant des connaissance en informatique (programmation, bases de données) et en mathématiques appliquées (niveau bac+5).

Ce cours constitue un cours "avancé", il est conseillé d'avoir suivi les UE NFP106, RCP208, RCP209 pour le suivre. Il convient notamment d'avoir des connaissances en apprentissage statistique et en apprentissage profond, et de maîtriser les librairies python pour ce type de méthodes (Scikit-learn, TensorFlow, PyTorch).

L'objectif est de transmettre les cadres méthodologiques et les outils logicielles utiles pour déployer et comprendre les fonctionnement des modèles d'IA modernes. Il s'adresse notamment aux cadres, ingénieurs, data scientists, chefs de projets et chercheurs dans des domaines applicatifs variés souhaitant acquérir des compétences techniques poussées dans le domaine de l'IA, et d'avoir une compréhension des enjeux afin de pouvoir adapter l'utilisation de ces modèles dans le contexte de leur activité professionnelle.

Apprentissage par renforcement. Les méthodes d'apprentissage par renforcement sont de toute première importance pour la prise de décision en contexte incertain, avec des applications pour la théorie des jeux (e.g. récents succès des IA au Go), la robotique, ou le domaine financier. D'un point de vue technique, le contenu des cours proposés est le suivant :

• Processus de décision Markoviens : définition, valeur d'un plan, algorithme value-iteration, algorithme policy-iteration, epsilon-greedy. TP MDP Gridworld avec q-values et epsilon greedy policy
• Approximation pour les MDP dont l'espace des state-actions est trop grand: besoin d'une fonction d'approximation, réseaux de neurones pour approximer la q-function (DQN). Implémentation DQN et comparaison avec les méthodes précédentes, améliorations récentes du DQN (Mnih et al 2015): Double DQN, Experience replay.
• Policy methods, Monte Carlo methods, Algo REINFORCE, Actor-Critic. TP Actor-Critic
• Méthodes avancées, gestion du parallélisme et des problèmes continus.

Modèles génératifs. Les méthodes génératives constituent actuellement une thématique très porteuse pour rendre les machines capables de produire artificiellement des données réalistes, comme les images ou l'audio. Ceci offre des applications très nombreuses dans les domaines de la synthèse d'images (films, animation, édition multi-média), la réalité augmentée (robotique, domotique, films, jeux vidéos), ou pour la création de jeux de grandes masses de données synthétiques nécessaires à l'entraînement des modèles de deep learning. Le contenu consiste en une présentation des modèles de l'état de l'art récents :

• Variational Auto-Encoders (VAE). Formulation mathématique variationnelle de l'apprentissage non supervisé, passage au VAE conditionnels. Applications pour générer des images ou des données audio.
• Modèles génératifs adversaires. Présentation de la formulation très différente des approches classiques en machine learning et basée sur la théorie des jeux. Description de l'entraînement avec un générateur et un discriminateur. Intérêt de l'approche de générer des données "sharp" (non floues). Présentation des toutes dernières variantes pour stabiliser l'apprentissage (gradient clipping, Wassersetin-Gans,  etc)

Robustesse et incertitude décisionnelle. Cette partie aborde des domaines de recherche  récents de l’intelligence artificielle qui visent à rendre les modèle d'IA fiables - une faiblesse connue des modèles état de l'art de deep learning par exemple. L'objectif est d'étudier comment améliorer la fiabilité de ce systèmes de prise de décision, ce qui est absolument primordial pour les faire pénétrer dans des domaines applicatifs hors de portée actuellement : ceci est en particulier crucial lorsque que la prise de décision revêt des enjeux de santé ou de sécurité publique (diagnostic médical, conduite et pilotage autonome, défense et sécurité, etc). Le contenu du cours est le suivant :

• Contexte et importance de la robustesse (incertitude, stabilité, attaques adversaires). Justification de l'absence de robustesse des modèles état de l'art actuel en IA, notamment les modèles de deep learning.
• Incertitude décisionnelle : réseaux de neurones Bayesian et travaux récents (eg dropout as Bayesian approximation)
• Stabilité décisionnelle : fonctions d'influences, scattering operators, capsule networks

Contrôle continu: Contrôle de connaissances et de savoirs qui se déroule tout le long du temps de l'enseignement

Projet(s): Projet(s) à réaliser amenant la livraison d'un livrable

Examen final: Examen final portant sur l'ensemble des connaissances et des savoirs de l'enseignement