Deep Learning for Computer Vision

I/ Méthodologie en Deep Learning et application

Rappel des notions importantes

• Framework TensorFlow.
• Datasets, Itérateurs et les générateurs sur TensorFlow.
• Personnaliser les modèles et les fonctions de pertes à votre problématique.
• Ajouter et personnaliser des callbacks pour contrôler méticuleusement l’entraînement d’un modèle.
• Utiliser TensorBoard pour visualiser l’évolution du modèle.

Méthodologie en Deep Learning autour de la détection de visage

• Introduction à la problématique de détection d’objets.
• Validation de la faisabilité avec le développement from scratch d’un modèle simple.
• Détection de points d’intérêts (nez, bouche…) sur un visage.
• Implémentation « from scratch » d’un algorithme Yolo simplifié.
• Étudier et corriger les biais des différentes versions de modèles.
• Interprétation des modèles: Grad-CAM…

II/ Auto Encodeur et représentation vectorielle

Auto encodeur et représentation vectorielle

• Introduction à la détection d’anomalies.
• Introduction au modèle de type auto encodeur.
• Analyser l’influence des paramètres d’entraînement sur les performances du modèle.
• Introduction à la représentation vectorielle.
• L’auto encodeur dans les tâches de débruitage.
• Image Embedding et représentation dans l’espace (IsoMap).
• Méthodes de réduction de dimension.
• Observer la structure des données au travers des méthodes de clustering (KMeans, LDA, T-SNE, PCA).
• Évaluation de la notion de similarité entre deux images (distance euclidienne, distance cosine).
• Introduction au sujet de la reconnaissance faciale, image embedding.

Image Embedding dans la reconnaissance faciale

• Approche de classification de visage et ses limites.
• Représentation vectorielle d’un visage à partir de l’auto encodeur.
• Méthode plus moderne pour la représentation vectorielle d’un visage.

III/ Transfer Learning

Transfer Learning avec TensorFlow

• Introduction au Transfert Learning: Concept, utilisation de modèles pré-entraînés (VGG, Inception…), Freezing, Defreezing.
• Modèles Resnet: residual blocks, fine tuning d’un modèle.
• TensorFlow Hub: Test et comparaison de modèles.

Interprétation des modèles de Deep Learning

• Introduction au Grad-CAM.
• Mise en application et interprétation.

IV/ Image Generation

Similitude de style et de contenu

• Interprétabilité des CNNs.
• Fonction de coût de contenu et de style.
• Modèle VGG19.
• Introduction au transfert de Style.
• Introduction à l’Interpolation.
• Implémentation d’un modèle de super résolution pour augmenter la résolution d’une image.
• Implémentation d’un modèle de colorisation d’une image.

Generative Adversal Network (GAN)

• Introduction au modèle GAN.
• Introduction au Deep convolutional GAN (DCGAN).
• Introduction au conditional GAN (cGAN).
• Introduction au PathGAN avec le modèle Pix2pix.
• Image Impainting
• Introduction à la problématique de flow completion : image impainting, video impainting…
• Implémentation d’un modèle d’image impainting.

V/ Segmentation et détection d’objet

Les fondamentaux de la segmentation avec TensorFlow

• Introduction à la segmentation non supervisée : filtres, seuillage pixels, méthode Otsu et Kmeans.
• Modèle Fully Convolutional Networks (FCN) sur la segmentation d’animaux.
• Modèle Unet sur la segmentation d’animaux. Modèle Pyramid Scène Parsing Network (PSPNet) sur la segmentation de scènes de rues urbaines.
• Fonctionnement du modèle DeepLab.
• Augmentation de données sur une problématique de segmentation.

Détection d’objet avec TensorFlow

• Introduction à la problématique de détection d’objets.
• Implémentation d’un modèle simple pour de la détection de visage.
• Implémentation from scratch d’un algorithme Yolo simplifié pour de la détection de visage.
• Rapprochement avec la première version du modèle Yolo.
• Amélioration apportée par la version YoloV2 et YoloV3.
• Fonctionnement et implémentation from scratch de l’algorithme RCNN.
• Amélioration apportée par la version Fast RCNN et Faster RCNN.
• Importer et entraîner un modèle préentraîné de détection d’objets.