Analyse de données temporelles massives en science de l’environnement phân tích dữ liệu thời gian đại trà trong khoa học môi trường

UNIVERSIT NATIONALE DU VIETNAM HANOI (UNVH) INSTITUT FRANCOPHONE INTERNATIONAL (IFI) ZONGO SYLVAIN ANALYSE DE DONN ES TEMPORELLES MASSIVES EN SCIENCE DE L’ENVIRONNEMENT PH N T CH DÚ LI U TH˝I GIAN I TR TRONG KHOA H¯C M˘I TR×˝NG Sp†cialit† : Syst–mes Intelligents et Multim†dia Code : Programme Pilote M MOIRE DE FIN D’ TUDES DU MASTER INFORMATIQUE HANOI - 2019 UNIVERSIT NATIONALE DU VIETNAM HANOI (UNVH) INSTITUT FRANCOPHONE INTERNATIONAL (IFI) ZONGO SYLVAIN ANALYSE DE DONN ES TEMPORELLES MASSIVES EN SCIENCE DE L’ENVIRONNEMENT PH N T CH DÚ LI U TH˝I GIAN I TR TRONG KHOA H¯C M˘I TR×˝NG Sp†cialit† : Syst–mes Intelligents et Multim†dia Code : Programme Pilote M MOIRE DE FIN D’ TUDES DU MASTER INFORMATIQUE Sous la direction de : Pr Pierre Gancarski, Professeur d’Informatique, Directeur adjoint d’ICube gancarski@unistra.fr Dr Agn–s Braud, Ma tre de Conf†rences, dans l’†quipe SDC agnes.braud@unistra.fr HANOI - 2019 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce m†moire a †t† r†alis† par moi-m¶me et que les donn†es et les r†sultats qui y sont pr†sent†s sont exacts et n’ont jamais †t† publi†s ailleurs La source des informations cit†es dans ce m†moire a †t† bien pr†cis†e L˝I CAM OAN Tỉi cam oan ¥y l cỉng tr…nh nghi¶n cøu cıa ri¶ng tỉi C¡c sŁ li»u, k‚t qu£ nảu Lun vôn l trung thỹc v chữa tng ÷ỉc cỉng bŁ b§t ký cỉng tr…nh n o khĂc CĂc thổng tin trch dÔn Lun vôn  ữổc ch rê nguỗn gc ZONGO SYLVAIN Rsum La pr†servation et/ou la restauration du bon †tat des cours d’eau exig†e par la Di-rective Cadre Europ†enne sur l’eau met en exergue la n†cessit† de disposer d’outils op†-rationnels pour aider l’interpr†tation des informations complexes concernant les cours d’eau et leur fonctionnement En effet, ces outils permettront l’†valuation de l’effica-cit† des programmes d’actions engag†s, ce qui a conduit la naissance du projet ANR Fresqueau Le projet Fresqueau a conduit la cr†ation d’une base de donn†es partir de diverses sources pourtant sur la qualit† physico-chimique et biologique des cours d’eau Le projet ADQUEAU est un prolongement du projet ANR Fresqueau avec pour double objectifs s’†talant sur deux ann†es acad†miques Le premier objectif sur lequel nous avons travaill† consistait impl†menter des mod–les d’apprentissage pour la construction de clusters pour une analyse r†trospective sur les donn†es recueillies Le deuxi–me objec-tif sert, lors de la deuxi–me ann†e de mettre en oeuvre l’approche de clustering sous contrainte propos†e par l’†quipe SDC Cette analyse †tant sur des s†ries temporelles, il a †t† d†cid† de faire une analyse chronologique et non chronom†trique pour l’†valuation de la qualit† physico-chimique et biologique des cours d’eau Pour y parvenir lors de mon stage, nous avons proc†d† une †tude des travaux connexes sur l’apprentissage non supervis† des s†ries temporelles Une premi–re approche a †t† l’†tude des algorithmes tels que DBSCAN, TDBSCAN, CHA, SWAP, Kmeans Une seconde approche †tudi†e a †t† celle bas†e sur l’apprentissage non supervis† avec les r†seaux de neurones tels que Deep Belief Network (DBN), les r†seaux de neurones convo-lutionnels (RNC) et Deep Temporal Clustering (DTC) A l’issue de l’†tude r†alis†e sur les diff†rentes approches relatives au sujet, notre choix est port† sur Kmeans pour sa rapidit† et sa robustesse Comme de nombreux algorithmes d’apprentissage, une distance de similarit† est requise Ainsi la distance DTW (Dynamic Time Warping) a †t† approuv†e comme †tant la mesure de similarit† la mieux adapt†e Mais bien avant l’application de Kmeans, plusieurs m†thodes d’imputation des valeurs manquantes, de normalisation et de r†duction de dimension des donn†es ont †t† impl†ment†es pour avoir un jeu de donn†es coh†rent avec les objectifs du projet Nos travaux serviront de base la seconde phase du projet pour la prochaine ann†e acad†mique i Abstract The preservation and/or restoration of the good condition of watercourses required by the European Water Framework Directive highlights the need for operational tools to help interpret complex information about watercourses and their functioning These tools will allow the evaluation of the effectiveness of the action programs undertaken, which led to the birth of the ANRFresqueau project The Fresqueau project led to the creation of a da-tabase from various sources on the physico-chemical and biological quality of watercourses The ADQUEAU project is an extension of the ANR Fresqueau project with two objec-tives spread over two academic years The first objective we worked on was to implement learning models for the construction of clusters for retrospective analysis of the data col-lected The second objective is to implement the constrained clustering approach proposed by the SDC team in the second year This analysis being on time series, he has was decided to a chronological analysis for the evaluation of the physico-chemical and biological quality of watercourses To achieve this during my internship, we conducted a study of related work on unsupervised time series learning A first approach was to study algorithms such as DBSCAN, TDBSCAN, CHA, SWAP, Kmeans A second approach studied was the one based on unsupervised learning with neural networks such as Deep Belief Network (DBN), convolutional neural networks (RNC) and Deep Temporary Clustering (DTC) At the end of the study carried out on the different approaches relating to the subject, we chose Kmeans for its speed and robustness Like many learning algorithms, a similar distance is required Thus the DTW (DynamicTime Warping) distance was approved as the most appropriate similarity measure But before the application of Kmeans, several methods of missing values imputation, normalization and data reduction were implemented to have a data set consistent with the project objectives Our work will serve as the basis for the second phase of the project for the next academic year ii Remerciements La r†alisation de ce m†moire a †t† possible gr¥ce au concours de plusieurs personnes qui je voudrais adresser ma profonde gratitude Je voudrais par ces mots, remercier tout d’abord mes encadrants Pierre Gancarski le Directeur Adjoint d’ICube, et Agn–s Braud de l’†quipe SDC (Science des Donn†es et Connaissances), pour leurs disponibilit†s, leurs conseils judicieux qui m’ont †t† tr– s b†n†fiques dans la r†alisation de ce projet J’adresse †galement ma reconnaissance tous les membres des deux laboratoires : laboratoire ICube et laboratoire LIVE, qui lors de nos rencontres ont pu soulever des probl–mes qui m’ont permis de mieux comprendre et d’appronfondir mes connaissances sur le projet Je saisis cette occasion †galement pour remercier tout le corps enseignant de l’IFI (Institut Francophone International) pour la formation que nous avons recue durant ces deux ann†es acad†miques Je ne saurais terminer sans t†moigner ma reconnaissance tous ceux ou celles qui de pr–s ou de loin ont apport† leurs soutiens de diff†rentes natures pour la r†ussite de ce m†moire Je vais ici remercier toute la famille ZONGO, en particulier mes parents et la famille BOMBIRI Ce m†moire doit beaucoup son succ–s aux diff†rentes rencontres que nous avons tenues pour la clarification de chaque point du sujet, aux critiques mais surtout aux diff†rentes suggestions De toutes ces exp†riences j’ai pu tirer le plus grand profit des connaissances qui me permettrons d’entrer dans ma vie professionnelle avec s†r†nit† iii D†dicaces A mes grands-parents Vourma, Yamba, Kolibi† et Noaga pour votre amour inexprimable et toutes vos b†n†dictions qui continuent me fortifier et m’animer de force A mes parents Noaga et N’Gan† pour vos encouragements et vos soutiens qui sont tou-jours une bouff†e d’oxyg–ne qui me ressource dans les moments p†nibles, de solitude et de souffrance Merci d’¶tre toujours mes cỉt†s, par votre pr†sence, vous qui n’avez jamais cess† de me soutenir tout au long de mes †tudes, je ne saurai vous exprimer ma profonde gratitude et ma reconnaissance iv Table des mati–res Chapitre 1.1 1.2 1.3 1.4 Chapitre 2.1 2.2 2.3 2.4 2.5 Struc Pr†sentation g†n†rale du Laboratoire ICube Organigramme du laboratoire Pr†sentation de l’†quipe SDC Ressources Humaines et budgets Analy Contexte du projet ADQUEAU Objectif du projet ADQUEAU Dynamique dans la r†alisation du projet 2.3.1 cha 2.3.2 Or D†finitions 2.4.1 Le 2.4.2 Vis 2.4.3 An 2.4.4 Le Les donn†es Fresqueau 2.5.1 La 2.5.2 Le Chapitre tude 3.1 tude de l’existant 3.2 Travaux connexes 3.2.1 Ap 3.2.2 Ap Chapitre Tech 4.1 Apprentissage automatique 4.1.1 L’a v 4.1.2 L’app 4.1.3 L’app 4.1.4 L’app 4.2 Description de l’algorithme Kmeans 4.2.1 Fonc 4.2.2 Limite 4.3 Distances temporelles 4.3.1 Moye 4.3.2 Limite 4.4 Autres approches Chapitre Impl† 5.1 Impl†mentation 5.1.1 Probl 5.1.2 Prem 5.1.3 Solut 5.2 Pr†traitement des donn†es 5.2.1 Pourq 5.2.2 Netto 5.2.3 Impu 5.2.4 Visua 5.2.5 Norm 5.2.6 Fonc 5.3 Exp†rimentations avec quelques jeux de donn 5.3.1 Interf 5.3.2 tapes Chapitre Int†g lyse d 6.1Scikit-learn 6.2 Tslearn : Time series learning 6.2.1 Archi 6.3 Annexe vi Table des figures 1.1 Structure d’accueil 1.2 Organigramme 2.1 Flux de donn†es et les traitements 3.1 Structure de FoDoMuST 3.2 Structure fonctionnelle de TSFRESH 4.1 4.2 4.3 4.4 4.5 4.6 4.7 Apprentissage Fonction de coude Repr†sentation de calcul avec la distance euclidienne Formule de DTW Repr†sentation de calcul de distance avec DTW Repr†sentation du calcul de la moyenne avec DBA Architecture de DTC [11] 5.1 5.2 5.3 5.4 5.5 5.6 Donn†es au format arff Donn†es au format csv Processus du cheminement des traitements des donn†es Module preprocessing avec ses sous modules et leurs fonctionnali Module Exclude avec ses fonctionnalit†s Normalisation du jeu de donn†es FONG_prio_her_v2_4_5_10_15 avec la m†thode MinMax avec la phase d’imputation par interpola porelle lin†aire 5.7 Nombre de Cluster former : Comme marqu†es en rouge sur la fig valeurs approximatives et sont les mieux repr†sentatifs en ter nombre de clusters bien distingu† nombre pour l’exp†rimentation L’exp†rimentation a †t† effectu† la valeur k=9 ce qui pourrait ¶tre la valeur k=6 car travers la cour coude la valeur k=6 est aussi une valeur qui permet de bien distin clusters sur notre jeu de donn†es 5.8 Donn†es †tiquet†es (cluster_id) 5.9 vii Profil temporel de chaque cluster en fonction de l’attribut Cyprodin proches de celle-ci Exemple : En consid†rant X la valeur manquante la date Ti, celleci sera remplac†e par la valeur (Ti 1)+(Ti+1)) Cependant si la variable manque se trouve en d†but ou en fin du jeu de donn†es alors une interpolation inverse est mise en jeu, c’est dire une consid†ration d’un parcours dans le sens inverse est pris en compte pour l’estimation de cette valeur manque tape : Normalisation Apr–s la r†duction de la dimensionnalit† et l’imputation des donn†es manquantes, l’objectif n’†tant pas de perdre l’effet des valeurs extremums alors nous proc†dons la normalisation par la m†thode de MinMax La figure ci-dessous repr†sente les donn†es normalis†es Figure 5.6 Normalisation du jeu de donn†es FONG_prio_her_v2_4_5_10_15_18.csv avec la m†thode MinMax avec la phase d’imputation par interpolation temporelle lin†aire tape : Courbe de coude A partir des donn†es pr†trait†es, nous construisons le graphique de la fonction de de coude pour estimer au mieux le nombre de clusters former 37 Figure 5.7 Nombre de Cluster former : Comme marqu†es en rouge sur la figure les valeurs approximatives et sont les mieux repr†sentatifs en terme de nombre de clusters bien distingu† construire Ainsi nous choisissons le nombre pour l’exp†rimentation L’exp†rimentation a †t† effectu†e avec la valeur k=9 ce qui pourrait ¶tre la valeur k=6 car travers la courbe de coude la valeur k=6 est aussi une valeur qui permet de bien distinguer les clusters sur notre jeu de donn†es La figure ci-dessous repr†sente les donn†es avec leur groupe d’appartenance apr–s le clustering Figure 5.8 Donn†es †tiquet†es (cluster_id) la derni–re colonne partir des clusters obtenus ci-dessus nous construisons les profils temporels de chaque cluster en fonction du ou des attributs choisis 38 Figure 5.9 Profil temporel de chaque cluster en fonction de l’attribut Cyprodinil_microgramme par litre_avg sans seuil Cette repr†sentation permet la mise en †vi-dence de l’†volution de l’attribut Cyprodinil_microgramme par litre_avg dans chaque cluster Figure 5.10 Profil temporel de chaque cluster en fonction de l’attribut Captane_microgramme par litre_avg sans seuil 39 Figure 5.11 Profil temporel de chaque cluster en fonction de l’attribut Captane_microgramme par litre_avg et chlothalonil_microgramme par litre_avg avec seuil Figure 5.12 Profil temporel du cluster en fonction de attributs du jeu de donn†es avec seuil 40 Figure 5.13 Profil temporel du cluster en fonction de tous les attributs du jeu de donn†es sans seuil 41 Chapitre Int†gration FoDoMuST de fonctions externes pour l’analyse de s†ries Nous pr†sentons dans cette section une autre approche du traitement des s†ries tem-porelles autre que celle pr†senter pr†c†demment Cette solution est ind†pendante de la librairie JCL, qui est une librairie compos†e de classifieurs d†velopp†es par l’†quipe SDC Elle est bas†e sur des algorithmes d’extraction et d’apprentissage en python que nous d†-taillons dans les sections suivantes Cette solution a pour avantage principal, sa simplicit† et sa rapidit† et sa robustesse Elle permet l’aide de Scikit-learn, Tslearn de faire le clustering en utilisation KMeans Chacun de ces deux frameworks Scikit-learn, Tslearn ont †t† utilis†s pour plusieurs raisons 6.1 Scikit-learn En mati–re de frameworks de machine learning en python, Scikit-learn est devenu une r†f†rence mondiale, confirme Bouzid Ait Amir [14], team lead data science au sein du cabinet francais Keyrus Scikit-learn nous offre les avantages suivants Il dispose d’une excellente documentation fournissant de nombreux exemples Cette documentation riche de Scikit-learn permet ses utilisateurs de comprendre les diff†rents packages pour vite prendre la main pour leur utilisation Il dispose d’une API uniforme entre tous les algorithmes, ce qui fait qu’il est facile de basculer de l’un l’autre Il a une construction qui permet ses utilisateurs de passer facilement d’un algorithme un autre sans assez de difficult†s Il est tr–s bien int†gr†e avec les Librairies Pandas, Matplotlib et Seaborn pour la manipulation des donn†es et la visualisation 42 Scikit-learn dispose d’une grande communaut† et de plus de 800 contributeurs r†f†renc†s sur GitHub, cette riche communaut† permet traiter tout utilisateur de des probl–mes complexes en s’inspirant des exemples d†j abord†s par cette com- munaut† C’est un projet open source et toute personne peut contribuer son am†lioration Son code est rapide, certaines parties sont impl†ment†es en Cpython Il facilite la lecture et la compr†hension de votre flux de travail Il dispose des librairies plus optimis†es ou sp†cialis†es dans l’apprentissage automatique Cependant avant l’utilisation de Scikit-learn les donn†es sont lues par Pandas Le Da-taFrame obtenu est transf†r† Scikit-learn oò il subit un pr†traitement l’aide de sk-learn_preprocessing et ensuite il est transform† en un tableau de donn†es compr†hen-sible par Tslearn 6.2 Tslearn : Time series learning TSLEARN est un package python dont l’objectif est de permettre l’apprentissage automatique sur les s†ries temporelles [16] Ses principaux avantages sont : La rapidit†, en effet contrairement aux autres librairies Tslearn a une m†moire cache qui lui permet de charger les donn†es une et une seule fois La conservation des donn†es dans sa m†moire cache permet d’†viter les appels r†p†t†s chaque action n†cessitant l’utilisation des donn†es L’efficacit† de cette librairie est tir†e partir de cette rapidit† Le traitement des s†ries temporelles l’aide de tslearn.preprocessing Tslearn est construit pour les donn†es temporelles, ainsi il est bien sp†cifique pour le traitement de ce domaine Les donn†es recues sous forme de tableau par Tslearn sont transform†es conform†ment au fonctionnement de Tslearn gr¥ce to_time_series_dataset() et ensuite TimeSe-riesKMeans() est utili† pour le clustering Apr–s le clustering l’affichage des graphiques est fait par MatplotLib 6.2.1 Architecture globale La figure suivante illustre le cheminement du jeu de donn†es jusqu’ la sortie des r†sultats apr–s traitement Le jeu de donn†es est lu sous de dataframes par pandans Ensuite ces donn†es sont envoy†es scikit-learn oò elles peuvent subir des op†rations de pr†traitement si n†cessaire avant d’¶tre transform†es sous formes de matrices pour 43 ¶tre compr†hensible par les algorithmes Apr–s cette †tape les donn†es sont transf†r†es tslearn pour le clustering avec une distance choisie A la fin du clustering la visualisation des r†sultats est faite par matplotlib ou seaborn Figure 6.1 Architecture de la solution 44 Conclusions et perspectives Dans le cadre de notre stage, nous avons †tudi† des techniques et des approches qui convergent autour de l’analyse des s†ries temporelles massives Nous avons suivi trois grandes †tapes dans la r†alisation de ce projet : l’†tude et l’analyse du projet, l’†tude des techniques et des approches en relation avec l’analyse des s†ries temporelles et enfin l’impl†mentation des techniques les plus adapt†es et exp†rimentations Tout d’abord nous avons fait l’†tude et l’analyse du projet et une exploration de l’ou-til d’analyse FoDoMuST d†velopp†e par l’†quipe SDC Cette exploration de l’existant, l’†tude des travaux connexes et les diff†rentes rencontres avec les membres des deux la-boratoires m’ont permis de mieux comprendre les objectifs du projet Les solutions propos†es et accept†es par les deux laboratoires ont †t† impl†ment†es et int†gr†es au sein de FoDoMuST L’impl†mentation de ces solutions nous a permis de fournir des r†sultats (g†n†ration automatique de jeux de donn†es †tiquet†es, g†n†ration de profil temporel avec et sans seuil, visualisation de la r†partition des clusters ) , qui ont fait l’objet d’une †tude d’analyse et d’interpr†tation par les experts Les r†sultats obtenus seront exploit†s pour la deuxi–me phase du projet qui sera une pr†diction de la qualit† de l’eau en fonction des caract†ristiques physico-biologiques Les donn†es †tant en perp†tuelles augmentation, nous proposons une †tude avec les m†thodes de clustering sous contraintes interactives tant donn† que les techniques de deep learning sont mieux adapt†es aux grands volumes de donn†es, nous pensons †galement qu’il est n†cessaire de stocker les s†ries temporelles sur des Time series Data Bases (In-fluxDB, Kdb+, Graphite, Prometheus, RRDTool, OpenTSDB, TimescaleDB, KairosDB, eXtremeDB) qui permettent une meilleure gestion de ce type de donn†es que les gestion-naires de bases de donn†es classiques comme MySQL, Postgres etc 45 Bibliographie [1] Eva Carmina Serrano Balderas Preprocessing and analysis of environmental data : Application to the water quality assessment of Mexican rivers PhD thesis, Universit† de Montpellier, 31 Janvier 2017 [2] Filippo Maria Bianchi, Simone Scardapane, Sigurd L kse, and Robert Jenssen Re-servoir computing approaches for representation and classification of multivariate time series arXiv preprint arXiv :1803.07870, 2018 [3] Franck Boizard M†thodes d’analyse de sensibilit† de mod–les pour entr†es clima-tiques M†moire de stage d’Agrocampus Ouest, INRA : Toulouse, 2015 [4] Gustavo Camps-Valls, Devis Tuia, Lorenzo Bruzzone, and Jon Atli Benediktsson Advances in hyperspectral image classification : Earth monitoring with statistical learning methods IEEE signal processing magazine, 31(1) :45 54, 2013 [5] Maximilian Christ, Andreas W Kempa-Liehr, and Michael Feindt Distributed and parallel time series feature extraction for industrial big data applications CoRR, abs/1610.07717, 2016 [6] Michael Hahsler, Matthew Piekenbrock, Derek Doran, Michael Hahsler, Michael Hahsler, Kurt Hornik, Michael Hahsler, Kurt Hornik, Michael Hahsler, Kurt Hornik, et al dbscan : Fast density-based clustering with r Journal of Statistical Software, 25 :409 416 [7] Geoffrey E Hinton, Simon Osindero, and Yee-Whye Teh A fast learning algorithm for deep belief nets Neural computation, 18(7) :1527 1554, 2006 [8] Seibi Chiba Hiroaki Sakoe Dynamic programming algorithm optimization for spoken word recognition in : Ieee trans on acoustics, speech, and sig proc, 1978 [9] Mathieu Blondel Marco Cuturi oft-dtw : a differentiable loss function for time-series in : Proc of icml 2017 [10] Marion Morel, Catherine Achard, Richard Kulpa, and S†verine Dubuisson Time- series averaging using constrained dynamic time warping with tolerance Pattern Recognition, 74, 08 2017 46 [11] Dimitry Fisher Homa Karimabad Naveen Sai Madiraju, Seid M Sadat Deeptem- poralclustering :fully unsuper-vised learning of time-domain features Feb 2018 [12] Francois Petitjean Description des alignements form†s par dtw 2011 [13] SDC_ICube Fodomust http ://icube-sdc.unistra.fr/en/index.php/FODOMUST [14] SKLEARN Sklearn https://blog.floydhub.com/ introduction-to-k-means- clustering-in-python-with-scikit-learn/ Accessed : 20 avril 2019 [15] TSFRESH Tsfresh https://tsfresh.readthedocs.io/en/latest/ Accessed : 15 juin 2019 [16] TSLEARN Tslearn https://tslearn.readthedocs.io/en/latest/index html# Accessed : 15 juin 2019 47 6.3 Annexe Les jeux de donn†es trait†s Figure 6.2 Jeux de donn†es Diff†rents affichages des donn†es Figure 6.3 Affichage des donn†es 48 Figure 6.4 Figure 6.5 Affichage des statistiques des donn†es Affichage des statistiques des donn†es par station 49 [a] [b] Figure 6.6 Nombre de valeurs manquantes par colonne en [a] et Pourcentage des valeurs manquantes par ligne en [b] Figure 6.7 Test du fichier FONG_prio_her_v2_4_5_10_15_18.csv Les valeurs manquantes sont remplac†es par et apr–s ce remplacement, une normalisation de type MinMax est faite sur toutes les variables hormis l’identifiant (Id) du fichier FONG_prio_her_v2_4_5_10_15_18.csv Visualisation des profils temporels complets 50 Figure 6.8 Profil temporel de tous les attributs sans seuils 51 ... SYLVAIN ANALYSE DE DONN ES TEMPORELLES MASSIVES EN SCIENCE DE L’ENVIRONNEMENT PH N T CH DÚ LI U TH˝I GIAN I TR TRONG KHOA H¯C M˘I TR×˝NG Sp†cialit† : Syst–mes Intelligents et Multim†dia Code : Programme... collect†es, de r†pondre deux enjeux scientifiques : Mettre en †vidence des liens entre diff†rentes m†triques permettant de caract†riser la qualit† des cours d’eau Relier les sources de pressions... valeurs de k Noter le coefficient de silhouette moyen chaque entra nement Repr†sentation de la silhouette en fonction du nombre de clusters (k) La figure ci-dessous repr†sente une fonction de coude