Deep Learning for Natural Language Processing
Ce cursus a pour but d’appliquer les connaissances fondamentales du Deep Learning à la compréhension et à la génération du langage naturel par des machines. A l’issue de cette formation, vous aurez acquis une base solide sur le text mining, le word-embedding, les transformers et les réseaux de neurones récurrents.
2 700 € HT
Modalités de la formation Deep Learning for Natural Language Processing
E-LEARNING + DISTANCIEL
Durée
150 heures
Tarifs
2 700 € HT/pers
Tarif Intra sur demande
Public visé
Personnes ayant une appétence pour la Data souhaitant se reconvertir ou faire évoluer ses compétences.
Prérequis
- Avoir déjà suivi une formation Data Scientist ou le module « Fondamentaux du Deep Learning » ou occupé un poste de Data Scientist depuis 2 ans
- Maitriser les fondamentaux du Deep Learning.
Objectifs pédagogiques
Cette formation vous donnera toutes les clés pour réaliser en autonomie les activités suivantes :
- Analyser un large volume de texte et y appliquer des modèles de Machine Learning
- Savoir résoudre une problématique de POS Tagging
- Maîtriser la librairie Gensim pour charger ou entraîner un Word Embedding
- Ajouter les mécanismes d’attention dans les réseaux de neurones récurrents
- Construire et entraîner un modèle Transformer sur des données séquentielles (textes, séries temporelles…)
- Maîtriser la librairie Spacy pour prétraiter du texte en français.
Méthodes pédagogiques
- Pendant 20 % du temps, vous êtes accompagnés par votre professeur et votre cohorte pour des sessions de visioconférence. Vous aurez ainsi des points collectifs (masterclass live, cours de soutien) et des points plus individuels avec votre mentor projet.
- Pour les 85 % restants, vous travaillez sur notre plateforme prête-à-coder avec le soutien d’une cellule support disponible par messagerie instantanée et d’un forum disponible à tout moment.
Modalités d’évaluation
- Test d’entrée et de sortie pour valider les compétences acquises.
- L’évaluation est réalisée tout au long de la formation grâce à des use cases métiers permettant de vous mettre en situation.
Délais d’accès
10 jours ouvrés minimum entre la demande du bénéficiaire et le début de la formation.
Accessibilité
Formation accessible aux personnes en situation de handicap.
Programme de la formation Deep Learning for Natural Language Processing
I/ Text Mining
Les fondamentaux du Text Mining
- Techniques de manipulation et prétraitement de données textes.
- Règles d’expressions régulières.
- Extraire des indicateurs visuels sur des données de textes.
- Représentation BoW ou TF-IDF pour la représentation vectorielle d’un texte.
- Utiliser un modèle de Machine Learning sur des données de textes.
POS Tagging
- Introduction à la problématique de POS Tagging.
- Implémenter un algorithme Champs aléatoires conditionnels pour résoudre la problématique.
- Améliorer les modèles de Machine Learning en ajoutant la dimension grammaticale.
Text Summarization – Approche extractive
- Maîtriser une approche extractive pour le résumé de texte.
- Mesurer l’importance d’un mot ou d’une phrase avec une approche TF-IDF.
- Comparer les performances avec la métrique ROUGE.
II/ Word Embedding et application sur la Text Similarity
Les fondamentaux du Word Embedding
- Utiliser un réseau de neurones sur des données de textes.
- Obtenir un premier word embedding naïf à partir d’un problème supervisé.
- Fonctionnement et implémentation d’un word2vec sur Keras.
- Notion de distance dans l’espace vectoriel des mots.
- Charger ou entraîner un word embedding avec la librairie Gensim.
- Traduction du français vers l’anglais à partir du word embedding.
Text Similarity
- Qu’est-ce que la Text Similarity ?
- Introduction au package Spacy sur des corpus en français.
- L’indice de Jaccard.
- Approches à base de word embedding et clustering.
- Comparaison entre la similarité cosinus et la distance euclidienne.
- Smooth Inverse Frequency.
- Latent Dirichlet Allocation.
- Variational Auto Encoder (VAE).
- Siamese Manhattan LSTM.
III/ Les réseaux de neurones récurrents
Réseau de neurones récurrents avec TensorFlow
- Comment fonctionnent les réseaux de neurones récurrents : RNN simple, LSTM et GRU.
- Écrire comme Shakespeare à partir d’un réseau de neurones.
- Prédire le sentiment d’un message à partir d’un réseau de neurones récurrent.
- Traiter un problème de reconnaissance d’entité de nom.
- Prédire la légende d’une image en combinant un CNN et un RNN.
Mécanisme d’attention dans les réseaux de neurones récurrents
- Comment fonctionnent les modèles Seq2Seq.
- Implémentation d’un modèle Seq2seq pour traduire du français à l’anglais.
- Notion d’attention pour mieux comprendre la décision d’un modèle.
- Prédire la légende d’une image avec un Seq2seq et des vecteurs d’attention.
IV/ Transformers
Les fondamentaux des Transformers sur TensorFlow
- Notion d’attention dans les Transformers.
- Notion de tête d’attention dans les Transformers.
- Codage de position et embedding.
- Fonctionnement et implémentation de l’encodeur et du décodeur sur TensorFlow.
- Traduction de texte à partir d’un Transformer.
- Rapprochement avec le modèle de BERT.
Hugging Face
- Charger et utiliser des modèles déjà entraînés à partir de Hugging Face.
- Transfer Learning avec Hugging Face.
