Utilisation des solutions logiciels libre pour automatiser une chaîne de traitement d’images acquises par drone sur des couverts végétaux

UNIVERSITÉ NATIONALE DU VIETNAM À HANOI INSTITUT FRANCOPHONE INTERNATIONAL OUMAROU ALTINE Mohamadou Aminou Utilisation des solutions logiciels libre pour automatiser une chaˆıne de traitement d’image acquise par drone sur des couverts végétaux Sử dụng giải pháp phần mềm nguồn mở để tự động hóa quy trình xử lý hình ảnh thảm thực vật chụp máy bay khơng người lái Spécialité : Systèmes Intelligents et Multimédia MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : DELALANDE Magalie, Ingénieur INRA, BEURIER Grégory, Chercheur CIRAD, HANOI - 2020 UNIVERSITÉ NATIONALE DU VIETNAM À HANOI INSTITUT FRANCOPHONE INTERNATIONAL OUMAROU ALTINE Mohamadou Aminou Utilisation des solutions logiciels libre pour automatiser une chaine de traitement d’image acquise par drone sur des couverts vegetaux Sử dụng giải pháp phần mềm nguồn mở để tự động hóa quy trình xử lý hình ảnh thảm thực vật chụp máy bay không người lái Spécialité : Systèmes Intelligents et Multimédia Code : Programme Pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : DELALANDE Magalie, Ingénieur INRA, BEURIER Grégory, Chercheur CIRAD, HANOI - 2020 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée LỜI CAM ĐOAN Tôi cam đoan công trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa cơng bố cơng trình khác Các thơng tin trích dẫn Luận văn rõ nguồn gốc OUMAROU ALTINE Mohamadou Aminou Résumé Ce projet de master vise a l’utilisation des solutions logiciels libre afin de permettre d’automatiser une chaˆıne alternative de traitement d’images acquises par drone équipé de caméras sur des vergers dans lesquels ont été simulés des pannes du système d’irrigation (colmatages et fuites).Pour répondre au problème de détection et classification des pommiers présentant des caractéristiques spectrales et thermiques liées leur état hydrique, nous avons développé deux modèles de réseau de neurone convolution afin de bien classer et d’identifier les pommiers qui sont soit en restriction hydrique soit en excès d’eau.Ces modèles sont utilisés sur deux catégories d’images : tout d’abord les images natives, de 640 x 512 pixels A l’issue des différents tests on a obtenu un pourcentage de 96% de précision avec un rappel et une F-mesure de 62% et 75% respectivement Dans un deuxième temps, on a subdivisé les images natives en images de 320x256 pixels Nous obtenons des résultats differents du premiers test avec une précision de 73% et un Rappel de 89% et une F-mesure de 80% pour le modèle water deficit Pour le deuxieme modele nous avions obtenu une precision de 66%, un rappel de 85% et une F-mesure de 75% Cette solution est un premier pas vers une surveillance de l’état de fonctionnement des systèmes d’irrigation assisté par drone 0.0.0.0.1 Mots clés :Apprentissage profond,IR thermique, irrigation,pommier,Réseau de neurone convolutionel(CNN),VGG-16 i Abstract This master project aims at the use of open-source software solutions in order to automate an alternative image processing chain acquired by drone equipped with cameras on orchards where irrigation system breakdowns (clogging and leaks) have been simulated To address the problem of detection and classification of apple trees with spectral and thermal characteristics related to their water status, we have developed two convolution neural network models to classify and identify apple trees that are either in water restriction or in excess of water These models are used on two categories of images : firstly, native images, 640 x 512 pixels, and secondly the native images, 640 x 512 pixels, with a 96% accuracy with a recall and an F-measurement of 62% and 75% respectively In a second step, the native images were subdivided into images of 320x256 pixels We obtain different results from the first test with an accuracy of 73% and a Recall of 89% and an F-measurement of 80% for the water deficit model For the second model we obtained an accuracy of 66%, a recall of 85% and an F-measurement of 75% This solution is a first step towards monitoring the operational status of UAV-assisted irrigation systems 0.0.0.0.2 Keywords : Deep Learning,Thermal IR, Irrigation,Apple,Convolutional Neuron Network(CNN),VGG-16 ii Remerciements Ce travail de mémoire de Master recherche est le résultat de l’engagement de plusieurs personnes qui ont décidé de m’accompagner résolument dans cet exaltant parcours.Je remercie Dieu le tout Puissant, très Miséricordieux, qui m’a donné la force, le courage et la persévérance durant ces deux années C’est avec une certaine émotion et une grande reconnaissance que je remercie l’Université Nationale du Vietnam travers l’Institut Francophone International et toute son équipe pédagogique Je remercie les professeurs pour les valeurs et méthodes inculquées durant le cursus : la curiosité, le goˆ ut du travail, de l’effort, le sens de la persévérance,etc Autant de trésors qui me seront, sans nul doute, utiles Je tiens adresser mes profonds remerciements aux encadrants, Mme Magalie DELALANDE pour les conseils, les explications, la relecture de mon mémoire, les différentes pistes de réflexion et son coaching qui m’ont permis de cibler et de m’orienter tout au long de ce stage, Mr Gregory BEURIER pour l’encadrement, les explications et les différentes orientations lors de l’implémentation des modèles de réseau de neurones a convolution pour la classification des pommiers sous stress hydrique Un merci également Mr Jean Luc REGNARD pour l’aide lors de mes début pour compréhension du sujet et les articles qui m’ont permis de mieux cerner la rédaction de ce mémoire A toute l’équipe AFEF de l’UMR AGAP, basée au CIRAD Montpellier France,je vous remercie de m’avoir accepté au sein de votre équipe Un grand merci mes parents, mes frères et soeurs pour leur amour, leurs conseils ainsi que pour leur soutien inconditionnel Je voudrais profiter de cet espace pour leur exprimer toute ma gratitude et ma reconnaissance Grâce vous, j’aborde une nouvelle étape de ma vie avec confiance et dynamisme iii Table des matières Table des figures vi Liste des tableaux viii Nomenclature ix Chapitre Analyse du sujet 1.1 Introduction Générale 1.2 Présentations des organismes d’accueil 1.2.1 INRA 1.2.2 CIRAD 1.2.3 SUPAGRO 1.3 Contexte de l’étude 1.4 Objectif 1.5 Travail réaliser 1.5.1 Sur le plan théorique : 1.5.2 Sur le plan pratique : Chapitre État de l’art 2.1 Introduction 2.2 Réseau de neurone 2.2.1 Réseau de neurones artificiel 2.3 Approches de classification d’images via le deeplearning 2.3.1 Cas du réseau de neurone convolution 2.4 Approches de classification d’images via le transfert learning Chapitre Méthodologie 3.1 Description générale 3.1.1 Extraction des metadonnée exif d’une 3.2 Phases de réalisation 3.2.1 Pré-traitement des données iv image thermique 5 6 8 8 10 11 11 11 12 12 14 15 16 18 19 19 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 Le réseau de neurone Réseaux de neurones convolutifs (CNN) Le transfert learning Méthode d’entraˆınement du réseau Méthode de validation du réseau Chapitre Acquisition des données 4.1 Matériels d’acquisition des données 4.1.1 Drone 4.1.2 Les caméras 4.2 Expérimentations 4.2.1 Analyse des orthomosaˆıques Chapitre Implementations et résultats obtenus 5.1 Implementation 5.1.1 Environnement de travail 5.1.2 Architecture et fonctionnement du model utilisé 5.2 Expérimentations et résultats obtenus 5.2.1 Expérimentations sur les grandes images 5.2.2 Expérimentations sur les images après découpage 25 26 28 30 31 33 34 34 36 36 39 41 41 41 42 45 45 47 Chapitre Conclusion et Perspectives 50 6.1 Conclusion 50 6.2 Perspectives 51 Chapitre Annexe 55 7.1 Algorithme de découpage des images 55 7.2 Algorithme d’extraction des metadonnée 56 v Table des figures 2.1 2.2 Structure d’un neurone artificiel(Wikipedia) 11 Structure d’un neurone biologique 12 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 metadonnées image au format tiff Métadonnées de l’image Sphère footprint Représentation des zones cibles dans la parcelle zones cibles Schéma d’annotation des images Schéma d’annotation des images avec 320*256 pixels Architecture d’un réseau de neurone représentation d’image abstraite RVB * exemple d’image Architecture VGG-16 Illustration du concept d’apprentissage par transfert Comparaison entre différente architecture de transfert Matrice de confusion Exemple de courbe ROC 17 18 18 21 22 24 24 24 25 26 27 27 29 29 30 31 32 4.1 4.2 4.3 4.4 4.5 Image de drone Decollage drone Tablette de contrôle Localisation de l’expérimentation déroulé temporel de l’acquisition des données et potentiels de tige relevés sur les modalités aux différentes dates de vol : les modalités de traitement sont statistiquement différentes (ANOVA, et test de Tukey, p