Apprentissage profond pour la détection d’anomalies dans des séquences temporelles

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Mamadou Ben Hamidou CISSOKO Apprentissage profond pour la détection d’anomalies dans des séquences temporelles Học sâu để phát dị thường theo trình tự thời gian MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2020 UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Mamadou Ben Hamidou CISSOKO Apprentissage profond pour la détection d’anomalies dans des séquences temporelles Học sâu để phát dị thường theo trình tự thời gian Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : Pr.NICOLAS LACHICHE Responsable de l’ équipe SDC nicolas.lachiche@unistra.fr ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình khác Các thơng tin trích dẫn Luận văn rõ nguồn gốc Signature de l’étudiant Mamadou Ben H Cissoko Remerciements Ce travail de mémoire de Master recherche est le résultat de l’engagement de plusieurs personnes qui ont décidé de m’accompagner résolument dans cet exaltant parcours Je remercie Dieu le tout Puissant, très Miséricordieux, qui m’a donné la force, le courage et la persévérance durant ces deux années C’est avec une certaine émotion et une grande reconnaissance que je remercie l’Université Nationale du Vietnam travers l’Institut Francophone International et toute son équipe pédagogique Je remercie les professeurs pour les valeurs et méthodes inculquées durant le cursus : la curiosité, le goût du travail, de l’effort, le sens de la persévérance, etc Autant de trésors qui me seront, sans nul doute, utiles Je tiens adresser mes profonds remerciements mon encadrant, M Nicolas Lachiche pour les conseils, les explications, la relecture de mon mémoire, les différentes pistes de réflexion et son coaching qui m’ont permis de cibler et de m’orienter tout au long de ce stage, Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone International, Université National de Vietnam Hanoi Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation Un grand merci mes parents Hamidou CISSOKO et Hawa SOUMARE principalement ma tante Fatoumata Sidibé, mes frères et soeurs pour leur amour, leur conseil ainsi que pour leur soutien inconditionnel Je voudrais profiter de cet espace pour leur exprimer toute ma gratitude et ma reconnaissance Grâce vous, j’aborde une nouvelle étape de ma vie avec confiance et dynamisme Mamadou Ben Hamidou Cissoko Auteur: CISSOKO Mamadou Ben Hamidou Table des matières Table des figures v Introduction 1.1 Présentation générale du Laboratoire ICube 1.1.1 Organigramme du laboratoire 1.1.2 Présentation de l’équipe SDC 1.1.3 Ressources humaines 1.2 Motivation 1.3 Contexte et Problématiques 1.3.1 Contexte 1.3.2 Objectifs 1.3.3 Problématiques 1 3 4 4 Etat de l’art 2.1 Séries temporelles 2.1.1 Séries Temporelles (Time Series) 2.1.2 Différentes types des series chronologiques 2.2 Classification des séries temporelles 2.2.1 Travaux Connexes 2.2.2 Paramètres d’expérimentation et Résultats 15 2.2.3 Interprétabilité (Explicabilité) des décisions par les approches DNN 18 Théorie 3.1 Apprentissage supervisé et non supervisé 3.2 Réseaux de neurones artificiels (ANN) 3.2.1 Unité neurale de base 3.2.2 Un simple Réseau Feed-Forward 3.2.3 Formation d’un réseau de neurones 3.2.4 Fonction d’activation 3.2.5 Fonction de perte 3.2.6 Régularisation des réseaux de neurones i 22 22 23 23 24 25 28 31 32 TABLE DES MATIÈRES 3.3 Réseaux de neurones convolutifs (CNN) 3.3.1 Input Layer (Couche d’entrée) 3.3.2 L’opération de convolution 3.3.3 Couche de mise en commun (Pooling Layer) 3.3.4 Aplanissement (Flattening) 3.3.5 Couche entièrement connectée (Fully connected layer) 3.3.6 Architecture complète CNN pour les séquences temporelles 3.4 Réseaux de neurones récurrents (RNN) 3.4.1 Bidirectional Recurrent Networks (BiRNN) 3.4.2 La rétropropagation dans le temps (BPTT) 3.4.3 Vanishing and Exploding Gradient 3.4.4 Long Short-Term Memory Units (LSTMs) Solution Proposée 4.1 Données 4.1.1 Z-normalization des données 4.2 Architecture 4.3 Algorithme 4.3.1 Entrée réseau 4.3.2 Hyperparamètres et paramètres d’entrnement Résultats et Analyses 5.1 Mesures de performance 5.1.1 Matrice de confusion 5.2 Visualisation du vecteur de contexte 5.3 Validation du modèle 33 34 35 42 45 46 47 47 51 51 53 55 62 62 63 64 65 66 66 68 68 68 72 73 CONCLUSION & PERSPECTIVES 76 6.1 Conclusion générale 76 6.2 Perspectives 76 Bibliographie 78 A Algorithmes 83 A.1 Implémentation Attention cell 83 A.2 Implémentation Visualization context weight 83 A.3 Architectures 84 Auteur: CISSOKO Mamadou Ben Hamidou ii Table des figures 1.1 Organigramme 2.1 Différentes approches d’apprentissage en profondeur pour la classification des séries chronologiques 2.2 Calcul des poids 2.3 Calcul des poids 2.4 CAM 2.5 Exemples de CAM 2.6 formule shapelet extraction 2.7 Distance : Carte d’entités et Shapelet 3.1 Application Fonction d’activation sur une unité 3.2 Relu 3.3 Une illustration d’une unité neuronale unique, initialement proposée par [McCulloch and Pitts, 1943] Le neurone bleu de la figure a l’indice i, et la sortie du ième neurone est calculée en additionnant l’entrée pondérée w i j x j ensemble, en ajoutant le biais et en appliquant la fonction d’activation non linéaire f Le biais de biais est parfois appelé le seuil du neurone i 3.4 Un simple réseau réaction avec une seule couche cachée (MLP) 3.5 Algorithme d’optimisation 3.6 algorithme 3.7 algorithme 3.8 Exemple : Réseau neuronal profond 3.9 Fonction d’activation 3.10 Image d’illustration 3.11 Image d’illustration 3.12 MSE 3.13 Cross-Entropy Loss iii 11 19 19 19 20 21 21 23 24 24 25 26 27 28 29 29 30 31 32 32 TABLE DES FIGURES 3.14 Illustration d’un simple réseau de neurones convolutifs (CNN) traitant une seule image de l’ensemble de données MNIST d’images manuscrites [LeCun et al., 1998b] 3.15 Fonction de convolution 3.16 Formule de convolution 3.17 Formule de convolution 3.18 Formule de convolution 3.19 Formule de convolution 3.20 Carte d’entités (Feature map) 3.21 Application des filtres pour la génération des caractéristiques sur une image utilisant l’opération de convolution 3.22 Image et Filtre de convolution 3.23 Génération de la carte d’entités 3.24 Illustration de 1-D convolution pour une série univariée 3.25 Illustration de 1-D convolution pour une série multivariée 3.26 Les composants d’une couche de réseau neuronal convolutif 3.27 Regroupement maximal (max pooling) 3.28 Regroupement moyen (average pooling) 3.29 Aplanissement (Flattening) de la carte d’entités 3.30 Couche entièrement connectée (Fully connected layer) 3.31 Architecture complète d’un CNN pour les séquences temporelles 3.32 Un simple réseau neuronal récurrent (RNN) s’est déroulé dans le temps L’état actuel ht du réseau dépend la fois de l’entrée x t et de l’état au temps t − 1, h t −1 Pour pouvoir entrner le réseau récurrent l’aide de la rétropropagation, le réseau se déplie dans le temps 3.33 RNN standard 3.34 Un exemple simple de réseau récurrent bidirectionnel L’entrée x t est envoyée au neurone correspondant dans le RNN avant et arrière et affecte − et h← − L’état avant h→ − dépend également des informaainsi les états h→ t t t −→ et l’état arrière h← − dépend également des informations du passé h− t t −1 −− La sortie dépend donc de l’entrée du pas de temps tions futures h← t +1 courant, mais aussi des informations des états passés et futurs 3.35 La rétropropagation dans le temps(BPTT) 3.36 Architecture LSTMs 3.37 Cellule memory of lstm Cell 3.38 Symbole des opérations 3.39 La porte d’oubli 3.40 La porte d’entrée 3.41 La porte de sortie 3.42 Gated recurrent Unit GRU 34 35 35 36 36 36 37 38 38 39 40 41 42 44 45 45 46 47 49 50 51 52 56 57 57 58 59 60 61 4.1 ECG : Classe-1 63 4.2 ECG : Classe-2 63 Auteur: CISSOKO Mamadou Ben Hamidou iv TABLE DES FIGURES 4.3 4.4 4.5 4.6 Visualisations des observations de la base des données Formule de normalisation Z Architecture de la solution Implementation de l’attention mechanism 63 63 65 66 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 Matrice de confusion du modèle Visualisation de graphe : Précision - Perte Precision vs Rappel Courbe - ROC AUC Visualisation du vecteur de contexte Architecture de la solution Précision - Perte : Architecture Deuxième modèle : Matrice de confusion Courbe - ROC AUC 70 71 71 72 73 74 74 75 75 A.1 Architectures 84 Auteur: CISSOKO Mamadou Ben Hamidou v Liste des sigles et acronymes AD Anomaly Detection AE Autoencoder AI Artificial Intelligence ANN Artificial Neural Networks BPTT Backpropagation Through Time Bi-RNN Bi-Recurrent Neural Networks DBM Deep Boltzmann Machines DBN Deep Belief Networks DL Deep Learning DNN Deep Neural Networks DR Réduction de Dimensionnalité DTW Dynamic Time Warping GAN Generative Adversarial Network GMM Gaussian Mixture Model KPCA Kernel Principal Component Analysis LSTM Long Short Time Memory ML Machine Learning MLP Multi-Layer Perceptron NN Neural Networks RBM Restricted Boltzmann Machines RNN Recurrent Neural Networks ROC Receiver Operating Characteristic SAE Stacked Autoencoder Seq2Seq Sequence-to-Sequence ... temporelles (séquences temporelles) , la notion des anomalies dans les séquences temporelles , ainsi que la classification des séquences temporelles utilisant les techniques de l? ?apprentissage profond. .. détection d’anomalies issues du domaine de la santé L’un des principaux atouts de la détection d’anomalies dans le système de soins de santé est la disponibilité des données de surveillance des. .. sera utilisé pour la classification des séquences temporelles 1.3.3 Problématiques La détection des anomalies dans les données de séries chronologiques est une tâche importante dans des domaines