Diagnostic de pannes de robots mobiles par deep learnig mô hình học sâu cho chuẩn đoán lỗi của robot di động

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL APEDO KODZO SITSOFE DEGNON DIAGNOSTIC DE PANNES DE ROBOTS MOBILES PAR "DEEP LEARNIG" MƠ HÌNH HỌC SÂU CHO CHUẨN ĐỐN LỖI CỦA ROBOT DI ĐỘNG MÉMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI - 2018 UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL APEDO KODZO SITSOFE DEGNON DIAGNOSTIC DE PANNES DE ROBOTS MOBILES PAR "DEEP LEARNIG" MƠ HÌNH HỌC SÂU CHO CHUẨN ĐOÁN LỖI CỦA ROBOT DI ĐỘNG Specialite : SYSTEMES INTELLIGENTS ET MULTIMEDIA Code : Programme pilote MÉMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de : Le chargé de recherche, PhD Nicolas TRICOT IRSTEA Clermont-Ferrand HANOI - 2018 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình khác Các thơng tin trích dẫn Luận văn rõ nguồn gốc APEDO Kodzo Sitsofe Degnon Remerciements Le travail présenté dans ce mémoire a été réalisé au sein du Laboratoire Institut National de Recherche en Sciences et Technologies pour l’Environnement et l’Agriculture (IRSTEA), sur le Campus des Cézeaux d’Aubière Je remercie mes Encadrants de stage, Mr Nicolas TRICOT Chargé de recherche et encadrant principal, Mr Roland LENAIN chef d’équipe de ROMEA, ainsi que le Thésard Mr Mahmoud ALMASRI, qui m’ont permis de faire ce stage dans une coopération plus que parfaite Leur soutien, leur suivi, leur orientation, leur disponibilité et leur confiance m’ont permis d’apprendre dans un cadre convivial et ayant permis mon épanouissement tout au long de ce stage J’adresse également mes remerciements mes parents, ma famille et mes amis qui m’ont soutenu et encouragé régulièrement tout au long de ce stage TABLE DES MATIÈRES Introduction générale Présentation du Laboratoire de recherche IRSTEA, lieu du stage 2.1 Présentation générale d’IRSTEA 2.2 Structure interne 2.3 Présentation du secteur d’accueil 2.3.1 L’unité de recherche TSCF 2.3.2 L’équipe ROMEA I CHAPITRE : PRÉSENTATION DU PROBLÈME 10 10 11 13 13 13 14 Introduction 14 Problématique 16 Diagnostic de pannes de robots mobiles par "Deep Learning" 17 5.1 Sujet du stage 17 5.2 Travail demandé par le projet 17 II CHAPITRE : ÉTAT DE L’ART 19 Introduction l’existant 19 Etude des articles 7.1 Les travaux réalisés sur les 71 articles 7.2 Les 16 articles retenus 7.3 Les points de sélection et de classification des articles 7.4 Les sept articles classés 7.5 Le tableau de classement des sept articles 22 22 22 22 23 23 Les modèles réalisés dans les articles retenus 8.1 Les Autoencodeurs 8.1.1 Le fonctionnement d’un autoencodeur 8.1.2 Un encodeur 8.2 Les réseaux de croyances profondes 8.2.1 La composition d’un réseau de croyance profonde(DBN) 8.2.2 Le fonctionnement d’un DBN 27 27 27 28 28 28 29 Les fonctions d’activations 30 9.1 La fonction 30 9.2 La fonction Relu (Rectified Linear Unit) 31 9.3 La fonction Sigmoïde 32 9.4 Les fonctions présentées 33 10Les points importants entre l’état de l’art et les modèles réalisés III 33 CHAPITRE : LA CONSTRUCTION DES MODÈLES 35 11Les données utilisées 35 11.1Les types de données utilisées dans notre travail 35 11.2Descriptifs de nos variables 35 11.3Description de nos classes 37 12Les modèles de bases 12.1Le modèle basé sur l’encodeur 12.2La construction de l’encodeur 12.3Le modèle classifieur 12.4La construction du classifieur 38 38 39 39 40 13Les modèles découlant de l’encodeur et du classifieur 40 13.1Le modèle encodeur-classifieur 40 13.2Le modèle classifieur 40 14La compilation des modèles 41 15Ajustement de modèle 41 IV CHAPITRE : EXPÉRIMENTATIONS ET ANALYSES 42 16Études de la qualité des données 42 16.1La quantité des données 42 16.2La validation croisée de nos bases 42 17La création et les tests sur des modèles 17.1La création des modèles 17.1.1Le modèle Encodeur-Classifieur 17.1.2Le réseau DBN 17.1.3Le réseau classifieur 17.2Les tests des réseaux 17.2.1Le test avec le reste des bases non utilisées 17.2.2Le test sur Gazebo 43 43 43 43 43 44 44 44 18Le diagnostic de la provenance des mauvais résultats 45 18.1Études menées sur les données 45 18.2Les douze modèles 18.2.1Le modèle Classifieur 18.2.2Le modèle Encodeur_Classifieur 18.3Explication et comparaison des résultats 18.3.1La base 18.3.2La base 18.3.3La base 18.3.4La base 18.3.5La base 18.3.6La base 18.3.7Conclusion tirée de la comparaison et des tests 19La nouvelle base et les nouveaux modèles 19.1Les classes perturbatrices 19.1.1Le modèle DBN 19.1.2Le modèle Encodeur_Classifieur 19.1.3Classifieur 19.2Conclusion sur les résultats des trois modèles 20Les modốles conỗus avec la nouvelle base et les résultats 20.1Le modèle DBN 20.2Le modèle Encodeur_Classifieur 20.3Classifieur 20.4Conclusion sur les nouveaux modèles créés V CHAPITRE : CONCLUSIONS ET PERSPECTIVES 46 46 46 46 46 47 47 47 48 48 48 49 49 49 50 51 52 52 52 54 55 56 58 21Conclusion et perspectives 58 21.1Conclusion 58 21.2Les perspectives 59 LISTE DES FIGURES 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 Implantation géographique des diverses centres d’IRSTEA Organigramme de IRSTEA Clermont Les embranchements du Machine Learning Première partie des 71 articles de l’état de l’art Deuxième partie des 71 articles de l’état de l’art Troisième partie des 71 articles de l’état de l’art Quatrième partie des 71 articles de l’état de l’art Première partie des articles retenus Deuxième partie des articles retenus Troisième partie des articles retenus Représentation d’un autoencodeur Représentation d’une unité du DBN Représentation simple de la machine de Boltzmann Equation de la fonction TanH Représentation de la fonction Tangente hyperbolique Equation de la dérivée de la fonction Tangente La représentation de la courbe Relu Représentation de la fonction Sigmoïde Architecture du classifieur Architecture de l’encodeur Architecture du classifieur associé a l’encodeur Courbe de la fonction de perte du DBN pour classes Courbe de la précision du DBN pour classes Matrice de confusion du modèle DBN pour classes Courbe de la fonction de perte de l’E_C pour classes Courbe de la fonction de précision de l’E_C pour classes Matrice de confusion du modèle E_C pour classes Courbe de la fonction de perte du classifieur pour classes Courbe de la précision du modèle classifieur pour classes Matrice de confusion du modèle classifieur pour classes Courbe de la fonction de perte du DBN pour 20 classes Courbe de la précision du modèle DBN pour 20 classes Matrice de confusion du modèle DBN pour 20 classes Courbe de la fonction de perte de l’E_C pour 20 classes Courbe de la fonction de précision de l’E_C pour 20 classes Matrice de confusion du modèle E_C pour 20 classes Courbe de la fonction de perte du classifieur pour 20 classes Courbe de la précision du modèle classifieur pour 20 classes Matrice de confusion du modèle du classifieur pour 20 classes 10 12 15 19 20 21 21 24 25 26 27 28 29 30 30 31 31 33 46 46 46 49 50 50 50 50 51 51 51 51 52 53 53 54 54 55 55 56 56 Résumé Le bon fonctionnement de tout appareil électronique ou mécanique repose sur une durée plus ou moins longue suivant l’utilité et l’utilisation Au cours de leur utilisation surviennent des pannes ou des dysfonctionnements qui peuvent dépendre d’un ou plusieurs éléments simultanément Ces pannes sont souvent constatées ou pas après dysfonctionnement ; et la détection de la cause exacte est souvent difficile Dans ce mémoire, nous décrivons comment nous avons mené nos recherches pour le diagnostic de pannes de robots mobiles grâce aux réseaux de neurones A l’aide des capteurs qui sont sur le robot, dans une simulation sur Gazebo, nous générons 34 variables jugées nécessaires qui, ensemble définissent un état de fonctionnement du robot Nous avons au total 20 cas de fonctionnements, dont un cas d’état normal sans panne L’algorithme (encodeur), apprend les caractéristiques dans un premier temps et sa sortie est mise en entrée d’un Classifieur pour avoir les classes en sortie Ce rộsultat dộcrit lộtat du robot suite aux donnộes reỗues La détection se fait en temps réel avec une très bonne prộcision, montrant la performance du modốle conỗu Mots clộs : Diagnostics, défauts, robots mobiles, résidus, réseaux de neurones(Deep Learning), Autoencodeur(encodeur, decodeur), classification multi-classes et multi-label Summary The proper functioning of any electronic or mechanical device is based on a longer or shorter duration depending on the utility and use During their use there are failures or malfunctions that may depend on one or more elements simultaneously These failures are often noted or not after malfunction ; and the detection of the exact cause is often difficult In this thesis, we describe how we conducted our research for the diagnosis of mobile robot failures through neural networks Using the sensors that are on the robot, in a simulation on Gazebo, we generate 34 variables deemed necessary which together define a running state of the robot We have a total of 20 cases of operation, including a normal case without failure The algorithm (encoder), learns the characteristics in a first time and its output is put in input of a Classifier to have the classes in exit This result describes the state of the robot following the received data The detection is done in real time with a very good precision, showing the performance of the model created Keywords : Diagnostics, defects, mobile robots, residues, neural networks (Deep Learning), Autoencoder (encoder, decoder), multi-class and multilabel classification Evaluation du stagiaire remplir par le responsable du stagiaire Phiếu đánh giá thực tập sinh người hướng dẫn Nom du stagiaire/ Tên thực tập sinh : APEDO Kodzo Sitsofe Degnon Période du stage/ Thời gian thực tập : 01 juin au 30 Novembre 2018 Nom de l’organisme/ Tên đơn vị : IRSTEA Adresse / Địa chỉ: Avenue Blaise Pascal, 63170 Aubière… Ville/ Thành phố : Clermont-Ferrand Pays/ Nước : France Nom du responsable/ Người phụ trách : Nicolas TRICOT ………………… Téléphone/ Điện thoại : 04 73 44 06 27 Courrier électronique/ Thư điện tử : nicolas.tricot@irstea.fr Télécopie/ Fax:………………… Cette évaluation ainsi que le mémoire de fin d’études seront utilisés par la direction des études de l’Institut Francophone International pour évaluer le stage de l’étudiant Il est suggéré que le ou la stagiaire prenne connaissance de la teneur de cette évaluation lors d ’une entrevue avec le responsable de stage de l’organisme Phiếu đánh giá luận văn tốt nghiệp phận đào tạo Viện Quốc tế Pháp ngữ sử dụng để đánh giá kết thực tập học viên Học viên thông tin nội dung đánh giá trao đổi với người phụ trách thực tập Motivation, intérêt au travail Động lực, mức độ quan tâm công việc Très bon Rất tốt X Bon Tốt O Moyen Faible Trung bình Kém O O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Sens des responsabilités dans l’exécution des tâches confiées Ý thức trách nhiệm thực nhiệm vụ giao Très bon Rất tốt X Bon Tốt O Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… Initiative dans le cadre des instructions reỗues Sáng kiến công việc hướng dẫn Très bon Rất tốt O Bon Tốt X Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Facilité d’assimilation de la technologie de l’organisme Khả tiếp thu công nghệ đơn vị Très bon Rất tốt X Bon Tốt O Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Qualité du travail Chất lượng công việc Très bon Rất tốt O Bon Tốt X Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Efficacité dans les communications orales et écrites Hiệu giao tiếp nói viết Très bon Rất tốt Bon Tốt Moyen Trung bình Faible Kém O X O O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Qualité du jugement dans l’énoncé d’une opinion sur un problème Khả lập luận đưa quan điểm vấn đề Très bon Bon Rất tốt Tốt O X Moyen Faible Trung bình Kém O O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Capacité de proposer une solution valable un problème Khả đề xuất giải pháp khả thi cho vấn đề Très bon Rất tốt Bon Tốt X O Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Capacité de réaliser un travail correct dans un temps donné Khả nămg thực tốt công việc thời hạn Très bon Rất tốt O Bon Tốt X Moyen Trung bình O Faible Kém O Commentaires/ Bình luận : …………………………………………………………………………………………… ……………………………………………………………………………………………………………… Esprit de collaboration Tinh thần hợp tác Très bon Rất tốt X Bon Tốt O Moyen Faible Trung bình Kém O O Commentaires/ Bình luận : ……………………………………………………………………………………………… ……………………………………………………………………………………………………………… Appréciation globale du stagiaire/ Đánh giá chung thưc tập sinh: Exceptionnel Xuất sắc O Supérieur Tốt X Satisfaisant Trung bình O Faible Kém O Points forts/ Ưu điểm: Autonome, curieux, respectueux, sociable… Points faibles/ Nhược điểm: ?……………………………… En me basant sur les résultats obtenus, je donne un avis favorable la soutenance du mémoire de fin d’études APEDO Kodzo Sitsofe Degnon (nom du stagiaire) Căn vào kết đạt được, đồng ý cho APEDO Kodzo Sitsofe Degnon bảo vệ luận văn tốt nghiệp Date: le 23 novembre 2018… Signature : CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc BẢN NHẬN XÉT LUẬN VĂN THẠC SĨ RAPPORT DU MEMOIRE DE FIN D'ETUDES DE MASTER Về đề tài/ Sujet: Mơ hình học sâu cho chuẩn đốn lỗi robot di động./ Diagnostic de pannes de robots mobiles par "deep learnig" Ngành/Secteur: Công nghệ thông tin/Informatique Chuyên ngành/Spécialité: Hệ thống thông minh đa phương tiện/ Systèmes Intelligents et Multimédia Mã số chuyên ngành/Code de la spécialité: Chuyên ngành thí điểm / Programme pilote Của học viên/Nom de l'étudiant: APEDO Kodzo Sitsofe Degnon Họ tên cán phản biện/Nom du rapporteur: Cariou Christophe Cơ quan công tác/Etablissement du rapporteur: Irstea (FRANCE) Tính cấp thiết, ý nghĩa lý luận thực tiễn đề tài luận văn / Nécessité, sens théorique et pratique du sujet de mémoire Le diagnostic de pannes de robot mobile est un sujet prégnant Effectivement, le niveau d’autonomie des robots dans le milieu agricole est soumis de fortes contraintes extérieures liées l’environnement dans lequel le robot évolue De réelles avancées théoriques et applicatives sont possibles dans ce domaine Cette thématique est novatrice dans le domaine de la robotique agricole Phương pháp nghiên cứu / Méthodologie de recherche Le manuscrit détaille les travaux réalisés et structurés en parties : La première partie présente le sujet de stage et la problématique liée La seconde est un état de l’art portant sur le diagnostic de pannes, la détection de défauts et l’intelligence artificielle appliquée dans ces domaines La troisième partie résume les données robot sur lesquelles le diagnostic doit être fait et les modèles construits et ajustés La quatrième partie porte sur l’évaluation et l’amélioration de la méthode proposée Enfin la dernière partie comporte la conclusion sur les travaux et les perspectives envisageables La structuration est claire Le rapport est lisible et plutôt bien écrit Cơ sở lý luận tổng quan đề tài nghiên cứu / Fondement théorique et littérature du sujet de recherche Les méthodes de Deep-learning sont utilisées dans de nombreux domaines et permettent souvent d’obtenir des résultats intéressants Le diagnostic de pannes est une thématique utilisant assez peu le deep-learning Son principal inconvénient est que le cheminement depuis la donnée jusqu’au résultat n’est pas transparent pour l’utilisateur Malgré ce défaut, une méthode de détection de défaut basé sur un historique de fonctionnement supervisé est susceptible d’obtenir des résultats intéressants Những đóng góp luận văn / Apports du mémoire Les travaux présentés dans ce mémoire ont un vrai apport scientifique Effectivement, plusieurs méthodes de deep-learning ont été mises en oeuvre et évaluées partir de données simulées et ont permis d’obtenir des taux de détection de pannes satisfaisants La démarche détaillée dans ce rapport pour y parvenir est claire et scientifiquement étaillée Kết cấu, hình thức trình bày văn phong / Structure, présentation et style La structure du rapport est bonne Plus généralement, la forme du document est convenable Những thiếu sót hạn chế nội dung hình thức luận văn (nếu có) / Lacunes et limites du mémoire (s'il y en a) - Về hình thức / Sur la forme: Pas de remarque - Về nội dung / Sur le contenu: On aurait aimé une mise en oeuvre des méthodes proposées sur un cas réel ainsi qu’une discussion plus poussée sur la vitesse de détection d’un défaut et de la disparition de celui-ci Enfin, la vérification de l’applicabilité de la méthode en temps réel aurait été un point traiter Mức độ đạt cơng trình nghiên cứu so với u cầu luận văn thạc sĩ / Conclusion générale par rapport aux exigences du mémoire de fin d'études du niveau Master Le document proposé montre un travail conséquent et bien présenté Il est digne des exigences d’un mémoire de fin d’études de niveau Mester 2 Căn vào yêu cầu luận văn Thạc sĩ kết cơng trình nghiên cứu trình bày luận văn, tơi đồng ý cho học viên APEDO Kodzo Sitsofe Degnon bảo vệ luận văn trước Hội đồng En me basant sur les exigences d’un mémoire de fin d’études, je donne un avis favorable la soutenance du mémoire de fin d’études APEDO Kodzo Sitsofe Degnon devant le jury Hà Nội, le 19/12/2018 CÁN BỘ PHẢN BIỆN RAPPORTEUR ... KODZO SITSOFE DEGNON DIAGNOSTIC DE PANNES DE ROBOTS MOBILES PAR "DEEP LEARNIG" MƠ HÌNH HỌC SÂU CHO CHUẨN ĐỐN LỖI CỦA ROBOT DI ĐỘNG Specialite : SYSTEMES INTELLIGENTS ET MULTIMEDIA Code : Programme... majeur de l’automatique et du traitement du signal 5.1 Diagnostic de pannes de robots mobiles par "Deep Learning" Sujet du stage Le développement des robots mobiles permettant de réaliser des tâches... Première partie des 71 articles de l’état de l’art Deuxième partie des 71 articles de l’état de l’art Troisième partie des 71 articles de l’état de l’art Quatrième partie des