Implémentation et test de méthodes de deep learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)

UNIVERSIT VIETNAM NATIONALE DU HANOI INSTITUT FRANCOPHONE INTERNATIONAL M†moire de stage de Master Option : Syst–mes Intelligents et Multim†dia (SIM) Promotion : XXII Impl†mentation et test de m†thodes de Deep Learning en t†l†d†tection pour d†tecter des palmiers rafias en milieu naturel et sur diff†rents types d’images (satellites, a†riennes, drones) KINDA Zakaria Encadrant : M BORNE Fr†d†ric Ph.D, Ing†nieur de recherche CIRAD Ann†e acad†mique 2018-2019 R†sum† Les Rafias sont des plantes situ†es dans des for¶ts denses, notamment dans les zones mar†cageuses oò les couronnes sont imbriqu†es les unes dans les autres On les trouve principalement dans les pays de l’Afrique Centrale et de l’Ouest avec des rendements †conomiques tr–s importants Compte tenu de cette importance †conomique, il est n†cessaire de conna tre le nombre de Rafias se trouvant dans ces for¶ts denses R†cemment plusieurs travaux ont †t† r†alis†s en t†l†d†tection pour la d†tection des objets en utilisant des images r†elle et de synth–se La t†l†d†tection serait donc un outil pouvant intervenir dans la d†tection des palmiers Rafias Les m†thodes actuelles de d†tection d’objets dans des images r†elles et de synth–se sont bas†es principalement sur l’apprentissage profond utilisant les fen¶tres glissantes cet effet plusieurs r†seaux tels-que le r†seau de neurones convolutionnels (CNN), le Fast-RCNN, le Faster R-CNN, le Mask R-CNN, etc ont at-teint des performances de pointe sur le traitement des donn†es spatiales, notamment des images Ainsi, le Faster-RCNN est un r†seau largement utilis† pour la d†tection des ob-jets dans une image Il est utilis† sur des images r†elles, mais †galement sur les images de synth–se pour la d†tection des fruits, de fleurs, des plantes, etc avec des F-Mesures allant jusqu’ 93% Dans cette †tude, il †tait question d’†valuer l’int†r¶t des images de synth–se pour entrainer un r†seau destin† traiter des images r†elles Les exp†rimentations ont †t† effectu†es sur des images pr†sentant des caract†ristiques contræl†es (r†solution de l’image, r†solution m†trique, ombrage, direction de la lumi–re, etc) Pour ce faire, nous avons uti-lis† le mod–le VGG16 d†j pr†-entra n†s avec le jeu de donn†es PASCALVOC 2007 Les r†sultats exp†rimentaux montrent que l’apprentissage profond peut faire un grand bond en avant sur la d†tection des plantes en for¶t dense en utilisant des images de synth–se Mots cl†s : Rafia, Apprentissage profond, t†l†d†tection, image de synth–se, r†seau de neurone convolutionnel (CNN), Faster R-CNN i Abstract Rafias are plants located in dense forests, especially in swampy areas where the crowns are intertwined They are mainly found in Central and West African countries with very high economic returns Given this economic importance, it is necessary to know the number of raffia trees in these dense forests Recently, several works have been carried out in re-mote sensing for the detection of objects using real and synthetic images Remote sensing would therefore be a tool that could be used to detect raffia palm trees Current methods of detecting objects in real and synthetic images are based mainly on deep learning using sliding windows To this end, several networks such as the Convolutional Neural Network (CNN), Fast-RCNNN, Faster R-CNN, Mask R-CNN, etc have achieved advanced performance in spatial data processing, particularly images Thus, the Faster-RCNNN is a widely used network for detecting objects in an image It is used on real images, but also on computer-generated images for the detection of fruits, flowers, plants, etc with F-Score up to 93% In this study, it was a question of evaluating the interest of synthetic images to train a network designed to process real images The experiments were carried out on images with controlled characteristics (image resolution, metric resolution, shading, light direction, etc.) To this, we used the VGG16 model already pre-trained with the PASCALVOC 2007 dataset Experimental results show that deep learning can take a big leap forward in plant detection in dense forests using synthetic images Keywords :Rafia, Deep Learning, remote sensing, Synthetic image, convolutional neural network (CNN), Faster R-CNN ii Avant-propos Ce travail a b†n†fici† d’une aide de l’ tat g†r†e par l’Agence Nationale de la Recherche au titre du programme d’Investissements d’Avenir portant la r†f†rence ANR-16-CONV-0004 Cette †tude s’inscrit dans le cadre des stages financ†s par l’Institut de Convergence de l’agriculture num†rique DigitAg bas† Montpellier et avec des antennes satellites Rennes et Toulouse L’objectif est de construire un socle de connaissances qui favorise le d†veloppement de l’agriculture num†rique en France et au Sud L’Institut de Convergence DigitAg structure ses actions autour de six axes de recherche et huit challenges iii Remerciements N’a pas remerci† Allah celui qui ne remercie pas les gens (Had th) Pour cela, je voudrais tr–s sinc–rement adresser toute ma gratitude et ma reconnaissance mes encadrants, M Fr†d†ric Borne et Mme Gaelle Viennois, pour leur patience, pour leur disponibilit† et surtout pour la confiance qu’ils ont port†e mon †gard Leurs ju-dicieux conseils et encouragements ont contribu† au bon d†roulement de mon stage et l’aboutissement de ces r†sultats Je tiens †galement remercier M Philippe Borianne pour ses remarques pertinentes, sa disponibilit†, ses encouragements et toutes les discussions que nous avons pu avoir sur le sujet Mes remerciements vont l’endroit de M Marc Jaeger pour l’acquisition des donn†es et pour ses diff†rents conseils et remarques Je voudrais remercier l’Agence Nationale de la Recherche (ANR) pour le financement de ce projet Je d†sire †galement remercier le corps enseignant de l’Institut Francophone International (IFI), qui m’a fourni les outils n†cessaires la r†ussite de mes †tudes universitaires Mes remerciements vont l’endroit de tout le personnel et les †tudiants de l’UMR AMAP pour les †changes enrichissants, tant humainement que scientifiquement Enfin, je tiens exprimer ma profonde gratitude mes parents, toute ma famille et aussi tous ceux et celles qui m’ont apport† leur soutien et leurs encouragements ind†fectibles tout au long de mes ann†es de Master iv Table des mati–res Table des figures Liste des tableaux INTRODUCTION Chapitre Analy 1.1 Contexte de l’†tude 1.2 Probl†matique 1.3 Objectif Chapitre tat de 2.1 Approche du Machine Learning ou approche c 2.2 Approche du Deep Learning Chapitre Donn†es et M†thodes 3.1 Donn†es 3.1.1 M† 3.1.2 Pr† 3.1.3 Pr† 3.2 M†thodes 3.2.1 Fa 3.2.2 Arc 3.2.3 Fo 3.2.4 Tra 3.2.5 M† 3.2.6 M† Chapitre Exp† 4.1 Exp†rimentations 4.1.1 En v 4.1.2 Cr†a 4.1.3 Entra 4.1.4 Valida 4.2 R†sultats 4.2.1 v†rific 4.2.2 value exp† 4.2.3 Trans Chapitre Discu 5.1 Discussion 5.1.1 Entra 5.1.2 Aspe 5.1.3 Choix 5.1.4 Matri 5.1.5 Les a 5.2 Bilan Chapitre Conc 6.1Conclusion 6.2 Perspectives ANNEXE vi Table des figures 1.1 1.2 Photographie d’un Rafia hookeri Image a†rienne Rafia 2.1 Popularit† des m†thodes en % 3.1 3.2 3.3 3.4 3.5 3.6 Image de synth–se de Rafias prenant en compte une forte r†flexio Image de synth–se avec des Rafias pr†sentant une r†flectance Image drone de Rafias Image de synth–se et son masque Masque d’image annot†e Architecture Faster R-CNN [26] 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 4.10 4.11 4.12 4.13 Test d’annotations sur l’image du masque Fonction de perte globale Fonctions de perte RPN et CLS Courbe de F-Mesure exp†rimentation Matrice de confusion une classe R†sultats de validation avec des Rafias en blanc Matrice de confusion Rafias en couleur r†sultats de validation avec des Rafias en vert Courbe de F-Mesure pour la classe Rafia Matrice de confusion pour la classe Rafia Courbe de F-Mesure de Rafia et du cocotier Confusion classes plus Background R†sultat de validation sur une image r†elle 5.1 R†sultats en sortie de validation vii Liste des tableaux 4.1 Liste des images d’entra nement 4.2 Liste des images de validation 5.1 Bilan de r†sultats de exp†rimentations viii Chapitre Discussion et bilan 37 5.1 Discussion Ce travail se concentre sur la d†tection des palmiers Rafias en milieu naturel en utilisant des images de synth–se cr††es en 2019 Afin d’†valuer la m†thode de d†tection des pal-miers Rafias que nous proposons, nous avons effectu† plusieurs tests en tenant compte de plusieurs param–tres 5.1.1 Entra nement du r†seau La courbe de la fonction de perte est un indicateur global nous permettant de caract†riser le comportement d’apprentissage du r†seau Faster R-CNN L’entra nement de notre r†seau permet d’†tablir la courbe de perte globale (figure 4.2), ainsi que celle pour la d†tection et la classification des boites englobantes (figure 4.3) Sur la figure 4.3 nous observons une diff†rence d’oscillations entre la courbe permettant de classifier les boites englobantes (loss_cls) et celle permettant de d†tecter les boites englobantes (RPN_loss_bbox) Les fortes amplitudes de la courbe loss_cls montrent que le r†seau ne parvient pas bien classifier les boites englobantes pr†dites La courbe RPN_loss_bbox, avec des basses am-plitudes (courbe quasiment lin†aire), montre que le r†seau parvient d†tecter les boites englobantes sur chaque objet annot† Cette diff†rence entre les deux courbes peut s’expli-quer par la taille de certaines boites englobantes tr–s petites, ce qui favorise leur mauvaise classification par le r†seau Les erreurs d’annotations peuvent †galement ¶tre la cause de ces fortes variations d’amplitude de la courbe Loss_cls Une annotation de tous les ob-jets pourrait diminuer l’amplitude de cette courbe De plus, la fonction de perte globale (figure 4.2), bien qu’elle soit un indicateur caract†risant le comportement d’apprentissage du r†seau, pourrait ¶tre utilis†e pour le choix du fichier de poids En observant la courbe, l’amplitude la plus basse est localis†e 70000 it†rations, ce qui peut ¶tre utilis† comme fichier de poids Mais le choix du fichier de poids se fera en utilisant la courbe de F-Mesure 5.1.2 Aspect sp†culaire Dans le r†seau de neurones convolutionnel, la d†tection des objets est bas†e sur diff†rents aspects Le r†seau peut donc apprendre reconna tre un objet en se basant sur l’aspect couleur, forme, etc Afin de v†rifier si l’aspect sp†culaire influe sur sur la d†tection du Rafia, nous avons utilis† deux exp†rimentations avec des sc–nes diff†rentes Il s’agit d’une image (exp†rimentation 1) avec des Rafias en blanc et une autre image avec des Rafias en verts (exp†rimentation 2) Le r†sultat de validation de ces deux exp†rimentations donnent une FMesure identique de 90% Pour v†rifier cette hypoth–se, nous avons effectu† un test avec une image associ†e d’annotations cocotier sur les deux exp†rimentations Nous 38 obtenons alors un taux de 0% de d†tection Ainsi donc ces exp†rimentations permettent de montrer que notre r†seau (Faster-RCNN) n’apprend pas reconna tre les palmiers Rafias sur les couleurs 5.1.3 Choix du fichier de poids Pour choisir le meilleur fichier de poids du r†seau, nous utilisons la courbe de F-Mesure †tablie en fonction des it†rations De plus, cette courbe permet de mettre en †vidence, le cas †ch†ant, le probl–me de sur-apprentissage du r†seau Ainsi en observant les courbes de nos exp†rimentations, nous remarquons que toutes les courbes deviennent lin†aires partir d’un certain nombre d’it†rations et ne rechutent plus jusqu’ la fin de l’entra nement du r†seau Cela permet de dire qu’il n’y a pas de sur-apprentissage du r†seau Cependant, comment peut-on choisir le meilleur fichier de poids ? Pour ce faire, nous utilisons la courbe de FMesure Dans les deux premi–res exp†rimentations, nous observons que le r†seau se stabilise partir de 10000 it†rations Ce palier atteint par le syst–me permet de dire que le r†seau apprend reconna tre les Rafias partir de 10000 it†rations Ainsi donc, tout fichier de poids obtenu partir de 10000 it†rations convient dans ces exp†rimentations La courbe de la troisi–me exp†rimentation (figure 4.11 ci-dessus) est une courbe repr†sentant les deux classes (Rafia et Cocotier) Les deux courbes sont confondues Cependant, nous remarquons une l†g–re diff†rence de leur †volution La courbe de la classe Rafia se stabilise partir de 10000 it†rations, par contre celle du cocotier atteint un pic 10000 it†rations et se stabilise partir de 20000 it†rations Nous pouvons donc en d†duire que le r†seau apprend plus rapidement reconna tre les Rafias que les cocotiers Les fichiers de poids pouvant ¶tre utilis†s sont donc ceux obtenus partir de 20000 it†rations 5.1.4 Matrice de confusion Les diff†rentes exp†rimentations permettent d’†tablir des matrices de confusion une classe plus le fond et des matrices de confusion multi-classes Ces matrices de confusion permettent d’observer les erreurs de d†tection et d’identification du r†seau La matrice de confusion multi-classes permet d’avoir plus d’informations sur ces erreurs que la matrice une classe Sur la figure 4.12, nous remarquons que le r†seau fait plus d’erreurs de d†tection que d’identification En effet, on voit que sur la verticale, sur les 512 faux n†gatifs de Rafias, le r†seau en identifie 94 comme cocotiers et 418 comme le background, et sur les 362 faux n†gatifs de cocotiers il en d†tecte 92 comme Rafias et 270 comme background Ces r†sultats montrent que le r†seau a plus de mal la d†tection qu’ l’identification des objets A cet effet, le r†sultat qualitatif de l’exp†rimentation (voir figure 5.1 ci-dessous) montre la difficult† pour le r†seau de d†tecter les objets dans certains endroits de l’image 39 Ces objets bien qu’ils soient annot†s, sont tr–s regroup†s et le r†seau ne parvient pas en d†tecter certains et les consid–re comme le fond (background) En plus de cela, il existe des objets de petite taille avec une forte densit† qui ne sont pas d†tect†s par le r†seau car ils sont recouverts par d’autres plantes, donc ils sont consid†r†s aussi comme le fond par le r†seau Sur la figure 5.1 l’ellipse blanche est un faux n†gatif de cocotier et en bleu figure un faux n†gatif du Rafia Figure 5.1 5.1.5 R†sultats en sortie de validation Les annotations Annotations d’images de synth–se Au cours de nos exp†rimentations, nous avons v†rifi† l’impact de l’introduction de la classe cocotier sur la capacit† du r†seau d†tecter le Rafia Les r†sultats des exp†riences montrent que l’introduction d’une deuxi–me classe perturbe le r†sultat de la classe Rafia En effet le r†seau passe de 72% 68% pour la classe Rafia apr–s introduction de la classe cocotier dans le fichier d’annotations Cela s’explique par le fait que le r†seau, en cher-chant minimiser l’erreur, consid–re certaines annotations du Rafia comme des cocotiers, ce qui baisse consid†rablement le taux de Rafia Aussi,compte tenu de la taille de certaines boites englobantes, l’ajout d’une deuxi–me classe peut impacter sur ces objets de petites taille et ce qui pourrait entra ner une baisse du taux de reconnaissance de Rafia.Nous pouvons donc d†duire qu’il est possible que la taille des boites englobantes contribue la baisse de la performance du r†seau 40 Annotations d’images r†elles Les tests sur les images r†elles donnent de faibles taux de d†tection du Rafia par rapport aux images de synth–ses Le premier r†sultat oò nous avons utilis† le fichier de poids de l’exp†rimentation donne 37% de F-Mesure Par contre, le r†sultat donne un taux de F-Mesure de 1% en utilisant le fichier de poids de l’exp†rimentation (une classe) Ceci s’explique par le fait que l’image utilis†e dans l’exp†rimentation est moins dense, que celle de la troisi–me exp†rimentation Ces r†sultats montrent la difficult† d’annoter les images r†elles du palmier Rafia 5.2 Bilan Les diff†rents r†sultats des exp†rimentations sont pr†sent†s dans le tableau 5.1 cidessous Ce tableau est compos† des images d’entra nements et de validations, ainsi que les valeurs de PR CISION, de RAPPEL et de F-Mesure Table 5.1 Bilan de r†sultats de exp†rimentations Images d’entra nements Scene_1 Scene_1 Scene_1bis Scene_3bis Scene_12 Scene_6 Scene_12 Scene_12bis Scene_12bis Scene_8 41 Chapitre Conclusion et perspectives 42 6.1 Conclusion Dans le cadre de notre stage, nous avons men† une †tude sur la d†tection du palmier Rafia en milieu naturel en utilisant l’approche Deep Learning Pour ce faire, nous avons utilis† des images de synth–ses pour les diff†rents tests et par la suite nous avons †valu† la m†-thode sur les images r†elles (image drone) Bien avant la mise en place de notre m†thode, nous avons effectu† des †tudes th†oriques bas†es sur les images a†riennes, notamment sur la d†tection des plantes et aussi sur des images de synth–se Une †tude comparative entre l’approche Deep Learning et le Machine Learning, nous a permis de choisir le Deep Learning qui est plus efficace sur les for¶ts denses Selon la litt†rature, le Faster R-CNN a †t† appliqu† sur la d†tection des arbres en milieux naturels[27], sur la d†tection des fruits, mais aussi sur les images de synth–se [23, 25], ce qui nous a amen†s †galement utiliser ce r†seau Nous avons donc utilis† le Faster R-CNN sous l’environnement Caffe pour la d†tection du palmier Rafia en milieu naturel Pour ce faire, des images de synth–ses et r†elles avec diff†rentes caract†ristiques ont †t† utilis†es Les exp†rimentations ont donn† des r†sultats variables selon le type de donn†es utilis†es Ces exp†rimentations ont permis de v†rifier plusieurs crit–res du r†seau pour la d†tection du Rafia, notamment le crit–re de la luminance, de la densit† des objets dans l’image et aussi de l’impact de l’ajout d’une deuxi– me classe sur la d†tection du Rafia Les r†sultats des exp†rimentations et ont montr† que la couleur n’avait pas d’impact sur la d†tection du Rafia La validation sur une image avec moins de densit† donne un F-Mesure de 90%, par contre, les images avec une forte densit† (plus d’arbres) nous obtenons un r†sultat de 72% En ajoutant une classe suppl†mentaire notre r†seau, les r†sultats F-Mesure du Rafia passe de 72% 68%, ce qui montre que l’ajout une deuxi–me classe perturbe la reconnaissance du Rafia par le r†seau Ainsi, l’utilisation de la matrice de confusion multi-classes a permis de com-prendre que notre r†seau d†tecte difficilement certains objets contenus dans l’image, en les consid†rant comme le fond La transpositionn avec une image r†elle donne respectivement un F-Mesure de 37% et de 1%, ce qui permet de dire qu’il est difficile d’†valuer sur les images r†elles En somme, nous pouvons dire que notre r†seau Faster R-CNN parvient d†tecter les Rafias sur les images de synth–se bien qu’il y ait des difficult†s dues aux annotations Cependant, il reste mauvais sur les images r†elles 6.2 Perspectives Le r†seau Faster R-CNN mis en place au cours de notre stage, a †t† test† sur plusieurs param–tres, notamment les param–tres de couleur, de densit†, etc Les r†sultats obtenus nous permettent de d†gager des perspectives pouvant contribuer l’am†lioration de ces 43 r†sultats Ces perspectives peuvent ¶tre orient†es sur les images r†elles, les images de syn-th–ses, ou sur l’utilisation d’un autre r†seau Dans le cadre des images r†elles, il serait int†ressant, d’observer l’impact de la luminosit† sur la d†tection de Rafia Il s’agit donc d’acqu†rir des images r†elles dans diff†rentes conditions de luminosit† et d’effectuer plu-sieurs annotations sur les objets IL est important de trouver des m†thodes pour quantifier les images r†alistes par rapport aux images r†elles C’est dire qu’il faut la distance entre les arbres des images de synth–se par rapport aux arbres sur les images r†elles Il est aussi envisageable d’ajouter une troisi–me classe dans les fichiers d’annotation, afin d’observer l’impact de deux classes sur le r†sultat du Rafia Par la suite, il sera important d’effectuer des tests sur la taille des objets, en cr†ant diff†rents fichiers d’annotation selon la taille des objets Ceci permettra de comprendre l’influence de la taille de la boite englobante sur le r†seau 44 ANNEXE 45 Algorithme du Fichier d’annotation c=couleur de l’objet width= largeur de limage height= hauteur de limage listeObjet=liste des objets dans le fichier d’annotation image= image d’entrainement xmin = abscisse minimum de la boite englobante xmax = abscisse maximale de la boite englobante ymin = ordonnée minimale de la boite englobante ymax = ordonnée maximale de la boite englobante h= hauteur de la boite englobante l=largeur de la boite s=la densité des pixels permet d’éliminer les boites englobantes qui ne contiennent pas beaucoup d’information nbObjet = nombre d’objets trouvés Pour objet danslisteObjet(){ Pour i dans range(width){ Pour j dans range(heigth){ si image[i][j]==c{ nbObjet++ ; si i>ymax: ymax=i si i