Sử dụng các giải pháp phần mềm nguồn mở để tự động hóa một quy trình xử lý hình ảnh thảm thực vật chụp bằng máy bay không người lái

UNIVERSIT NATIONALE DU VIETNAM HANOI INSTITUT FRANCOPHONE INTERNATIONAL OUMAROU ALTINE Mohamadou Aminou Utilisation des solutions logiciels libre pour automatiser une cha ne de traitement d’image acquise par drone sur des couverts vgtaux Sò dửng cĂc giÊi phĂp phn mãm nguỗn m tỹ ng hõa mt quy trnh xò lỵ h…nh £nh th£m thüc v“t chưp b‹ng m¡y bay khỉng ng÷íi l¡i Sp†cialit† : Syst–mes Intelligents et Multim†dia M MOIRE DE FIN D’ TUDES DU MASTER INFORMATIQUE Sous la direction de : DELALANDE Magalie, Ing†nieur INRA, BEURIER Gr†gory, Chercheur CIRAD, HANOI - 2020 UNIVERSIT NATIONALE DU VIETNAM HANOI INSTITUT FRANCOPHONE INTERNATIONAL OUMAROU ALTINE Mohamadou Aminou Utilisation des solutions logiciels libre pour automatiser une chaine de traitement d’image acquise par drone sur des couverts vegetaux Sß dưng c¡c gi£i ph¡p phƒn mãm nguỗn m tỹ ng hõa mt quy trnh xò lỵ hnh Ênh thÊm thỹc vt chửp bng mĂy bay khỉng ng÷íi l¡i Sp†cialit† : Syst–mes Intelligents et Multim†dia Code : Programme Pilote M MOIRE DE FIN D’ TUDES DU MASTER INFORMATIQUE Sous la direction de : DELALANDE Magalie, Ing†nieur INRA, BEURIER Gr†gory, Chercheur CIRAD, HANOI - 2020 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce m†moire a †t† r†alis† par moi-m¶me et que les donn†es et les r†sultats qui y sont pr†sent†s sont exacts et n’ont jamais †t† publi†s ailleurs La source des informations cit†es dans ce m†moire a †t† bien pr†cis†e L˝I CAM OAN Tæi cam oan ¥y l cỉng tr…nh nghi¶n cøu cıa ri¶ng tỉi C¡c s liằu, kt quÊ nảu Lun vôn l trung thỹc v chữa tng ữổc cổng b bĐt ký cæng tr…nh n o kh¡c C¡c thæng tin tr‰ch dÔn Lun vôn  ữổc ch rê nguỗn gc OUMAROU ALTINE Mohamadou Aminou R†sum† Ce projet de master vise a l’utilisation des solutions logiciels libre afin de permettre d’automatiser une cha ne alternative de traitement d’images acquises par drone †quip† de cam†ras sur des vergers dans lesquels ont †t† simul†s des pannes du syst–me d’irrigation (colmatages et fuites).Pour r†pondre au probl–me de d†tection et classification des pommiers pr†sentant des caract†ristiques spectrales et thermiques li†es leur †tat hydrique, nous avons d†velopp† deux mod–les de r†seau de neurone convolution afin de bien classer et d’identifier les pommiers qui sont soit en restriction hydrique soit en exc–s d’eau.Ces mod– les sont utilis†s sur deux cat†gories d’images : tout d’abord les images natives, de 640 x 512 pixels A l’issue des diff†rents tests on a obtenu un pourcentage de 96% de pr†-cision avec un rappel et une F-mesure de 62% et 75% respectivement Dans un deuxi–me temps, on a subdivis† les images natives en images de 320x256 pixels Nous obtenons des r†sultats differents du premiers test avec une pr†cision de 73% et un Rappel de 89% et une F-mesure de 80% pour le mod–le water deficit Pour le deuxieme modele nous avions obtenu une precision de 66%, un rappel de 85% et une F-mesure de 75% Cette solution est un premier pas vers une surveillance de l’†tat de fonctionnement des syst–mes d’irrigation assist† par drone 0.0.0.0.1 Mots cl†s :Apprentissage profond,IR thermique, irrigation,pommier,R†seau de neurone convolutionel(CNN),VGG-16 i Abstract This master project aims at the use of open-source software solutions in order to automate an alternative image processing chain acquired by drone equipped with cameras on orchards where irrigation system breakdowns (clogging and leaks) have been simulated To address the problem of detection and classification of apple trees with spectral and thermal characteristics related to their water status, we have developed two convolution neural network models to classify and identify apple trees that are either in water res-triction or in excess of water These models are used on two categories of images : firstly, native images, 640 x 512 pixels, and secondly the native images, 640 x 512 pixels, with a 96% accuracy with a recall and an F-measurement of 62% and 75% respectively In a second step, the native images were subdivided into images of 320x256 pixels We obtain different results from the first test with an accuracy of 73% and a Recall of 89% and an F-measurement of 80% for the water deficit model For the second model we obtained an accuracy of 66%, a recall of 85% and an F-measurement of 75% This solution is a first step towards monitoring the operational status of UAV-assisted irrigation systems 0.0.0.0.2 Keywords : Deep Learning,Thermal IR, Irrigation,Apple,Convolutional Neuron Network(CNN),VGG-16 ii Remerciements Ce travail de m†moire de Master recherche est le r†sultat de l’engagement de plusieurs personnes qui ont d†cid† de m’accompagner r†solument dans cet exaltant parcours.Je remercie Dieu le tout Puissant, tr–s Mis†ricordieux, qui m’a donn† la force, le courage et la pers†v†rance durant ces deux ann†es C’est avec une certaine †motion et une grande reconnaissance que je remercie l’Universit† Nationale du Vietnam travers l’Institut Francophone International et toute son †quipe p†dagogique Je remercie les professeurs pour les valeurs et m†thodes inculqu†es durant le cursus : la curiosit†, le gout du travail, de l’effort, le sens de la pers†v†rance,etc Autant de tr†sors qui me seront, sans nul doute, utiles Je tiens adresser mes profonds remerciements aux encadrants, Mme Magalie DELALANDE pour les conseils, les explications, la relecture de mon m†moire, les diff†-rentes pistes de r†flexion et son coaching qui m’ont permis de cibler et de m’orienter tout au long de ce stage, Mr Gregory BEURIER pour l’encadrement, les explications et les diff†rentes orientations lors de l’impl†mentation des mod–les de r†seau de neurones a convolution pour la classification des pommiers sous stress hydrique Un merci †galement Mr Jean Luc REGNARD pour l’aide lors de mes d†but pour compr†hension du sujet et les articles qui m’ont permis de mieux cerner la r†daction de ce m†moire A toute l’†quipe AFEF de l’UMR AGAP, bas†e au CIRAD Montpellier France,je vous remercie de m’avoir accept† au sein de votre †quipe Un grand merci mes parents, mes fr–res et soeurs pour leur amour, leurs conseils ainsi que pour leur soutien inconditionnel Je voudrais profiter de cet espace pour leur exprimer toute ma gratitude et ma reconnaissance Gr¥ce vous, j’aborde une nouvelle †tape de ma vie avec confiance et dynamisme iii Table des mati–res Table des figures Liste des tableaux Nomenclature Chapitre Analy 1.1 Introduction G†n†rale 1.2 Pr†sentations des organismes d’accueil 1.2.1 INR 1.2.2 CIR 1.2.3 SU 1.3 Contexte de l’†tude 1.4 Objectif 1.5 Travail r†aliser 1.5.1 Su 1.5.2 Su Chapitre 2.1 2.2 2.3 2.4 tat de Introduction R†seau de neurone 2.2.1 R† Approches de classification d’images via le de 2.3.1 Ca Approches de classification d’images via le tra Chapitre M†thodologie 3.1 Description g†n†rale 3.1.1 Ex 3.2 Phases de r†alisation 3.2.1 Pr† iv 3.2.2 3.2.3 3.2.4 3.2.5 3.2.6 Le R† Le M† M† Chapitre Acqu 4.1 Mat†riels d’acquisition des donn†es 4.1.1 Dro 4.1.2 Le 4.2 Exp†rimentations 4.2.1 An Chapitre Imple 5.1 Implementation 5.1.1 En 5.1.2 Arc 5.2 Exp†rimentations et r†sultats obtenus 5.2.1 Ex 5.2.2 Ex Chapitre Conc 6.1 Conclusion 6.2 Perspectives Chapitre Annexe 7.1 Algorithme de d†coupage des images 7.2 Algorithme d’extraction des metadonn†e v Table des figures 2.1 2.2 Structure d’un neurone artificiel(Wikipedia) Structure d’un neurone biologique 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 metadonn†es image au format tiff M†tadonn†es de l’image Sph–re footprint Repr†sentation des zones cibles dans la parcelle zones cibles Sch†ma d’annotation des images Sch†ma d’annotation des images avec 320*256 pixels Architecture d’un r†seau de neurone repr†sentation d’image abstraite RVB * exemple d’image Architecture VGG-16 Illustration du concept d’apprentissage par transfert Comparaison entre diff†rente architecture de transfert Matrice de confusion Exemple de courbe ROC 4.1 4.2 4.3 4.4 4.5 Image de drone Decollage drone Tablette de contræle Localisation de l’exp†rimentation d†roul† temporel de l’acquisition des donn†es et potentiels de sur les modalit†s aux diff†rentes dates de vol : les modalit ment sont statistiquement diff†rentes (ANOVA, et test de Tuke de D1 D4 38 temp†ratures de surface calcul†es partir des images collect†es thermique (altitude de vol : 40m) 4.6 vi 4.7 NDVI et GNDVI calcul†s partir des images collect†es par la c tispectrale (altitude de vol 40m) 5.1 5.2 5.3 5.4 5.5 5.6 5.7 5.8 5.9 5.10 5.11 logo ubuntu logo python Anaconda-navigator Architecture VGG-16 Historique du mod–le graphe des valeurs de la matrice de confusion graphe de variation sur les donn†es de pr†diction Matrice de confusion du mod–le wd- !wd lors du 1er entra nem Matrice de confusion du mod–le ow- !ow lors du 1er entra nem Matrice de confusion du mod–le wd- !wd lors du 2–me entra ne Matrice de confusion du mod–le ow- !ow lors du 2–me entra ne vii Total exemple Total vrai Total faux Total erreurs Pr†cision Table 5.3 Tableau des valeurs de pr†diction sur les petites images pour ow- !ow Figure 5.9 Matrice de confusion du mod–le ow- !ow lors du 1er entra nement Ci-dessous un tableau r†capitulatif des diff†rents r†sultats lors de l’entra nement du r†seau Image 640x512 320x256 Table 5.4 Tableau comparative des indicateur de performance des deux mod–le pour le premier entra nement B DEUXI ME ENTRAINEMENT DU R SEAU Lors du deuxi–me entra nement du r†seau nous avons obtenue des r†sultats plus ou moins vari† par rapport au premiers Ainsi nous obtenons les r†sultats suivant : R†sultat pour le mod–le watered deficit et other Total exemple Total vrai Total faux Total erreurs Pr†cision Table 5.5 Tableau des valeurs de pr†diction des petites images lors du deuxi–me entra nement du model WD- !WD Pour ce mod–le nous obtenons un RAPPEL de 88% avec une F-MESURE de 83,25% Pour ce mod–le nous remarquons pour la matrice de confusion on constate qu’on a autant de vrai positif que lors du premier entra nement Cela s’explique par le 48 Figure 5.10 Matrice de confusion du mod–le wd- !wd lors du 2–me entra nement faible nombre du total des erreur de pr†diction ainsi que fait qu’apr–s un certain nombre de temps d’apprentissage le r†seau arrive a bien pr†dire sur la classe wate-red decifit Le nombre de faux positif diminue consid†rablement que lors de la premi–re exp†rimentation comme montr† sur la figure 5.11 R†sultat pour le mod–le ower watered et other Total exemple Total vrai Total faux Total erreurs Pr†cision Table 5.6 Tableau des valeurs de pr†diction des petites images lors du deuxi–me entra nement du model OW- !OW Pour ce mod–le par contre il y a moins d’am†lioration sur la pr†diction de la classe over watered pour cause seulement 98 vrai positif sont bien class† et on remarque autant de faux positif Avec ce mod–le le rappel est de 89% aussi avec une FMESURE de 76,44% avec un taux d’erreur du nombre de 58 sur l’ensemble des exemples Ci-dessous la matrice de confusion Figure 5.11 Matrice de confusion du mod–le ow- !ow lors du 2–me entra nement 49 Chapitre Conclusion et Perspectives 6.1 Conclusion Dans le cadre notre stage, nous avons eu †tudier les techniques et approches utilis†es pour l’utilisation des solutions logiciel libre afin d’automatiser une cha ne alternative de traitement d’image acquise par drone †quip† de cam†ras avec diff†rents capteurs spectraux et thermiques sur des couverts v†g†taux Nous avons explor† principalement deux phases : l’†tude bibliographique et l’impl†mentation de la m†thode Tout d’abord, l’†tude th†orique nous a permis de comprendre, d’approfondir les objec-tifs du travail demand†, et de mener une †tude exploratoire sur les recherches qui ont d†j abord† le probl–me pos† l’issue de cette †tude, nous avons propos† la m†thodologie adopter qui s’appuie sur celle qui a †t† mise en place dans l’†tude bibliographique Et pour terminer nous avons mis en place la solution propos†e en passant par son impl†mentation, l’exp†rimentation et l’analyse des r†sultats dans le chapitre Dans la partie implementation de la m†thodologie, nous avons d†velopp† deux mod–les de r†seau de neurone a convolution pour classifier les images des pommiers sous stress hydrique Un premier mod–le qui permet de classifier la classe des pommiers en water deficit et un second mod–le qui lui permettait de classifier en over water Cette m†-thode qui est bas† sur l’architecture vgg-16 a donn† des r†sultats meilleurs que vari† Tout d’abord nous avons test† le mod–le de classification en water deficit sur les images de r†solution initiale de 640x512 pixels sur des images thermiques A l’issue de ce test nous avons eu un pourcentage de pr†cision allant jusqu’ 96% Nous avons constat† que ce mod–le sur les grandes images mettait du temps a apprendre sur la classe pour bien pr†dire Ainsi nous obtenons un total d’erreur de pr†diction de 51 exemples avec une FMESURE de 75% et d’un rappel de 62% Au vu de ces r†sultats nous avons d†cider de subdiviser chaque image en quatre petites images de r†solution 320x256 pixels et de lancer un nouvel entra nement du r†seau pour les deux mod–les Nous avons obtenu de 50 plus en plus d’am†lioration avec des pr†cisions beaucoup plus importantes que sur les grandes images Nous avons †galement constat† travers les deux mod–les le nombre de vrai positifs est plus important N†anmoins la pr†sence des faux positifs laisse comprendre bien qu’on a des pourcentage de pr†cision acceptables ,il reste a croire un sur-apprentissage du r†seau qui peut ¶tre du l’in†gale r†partition entre les classes 6.2 Perspectives En perspective, nous avons propos† des am†liorations qui pourront ¶tre int†gr†es pour am†liorer les r†sultats L’une des voies d’am†lioration serait t’utiliser les six autres bandes d’image en les combinant pour former une image par bandes Il serait int†ressant dans l’am†lioration des r†sultats de passer d’abord par une segmentation et la localisation des feuillages des pommiers de chaque arbres de la parcelle Le passage par une ortho-mosa que combinant mutltispectral et thermique de la parcelle permet d’avoir une bonne annotation des images et permettre †ventuellement d’avoir des bon r†sultats Aussi et on peut s’attendre de meilleurs r†sultats Mais pour le moment le passage par l’ortho-mosaique n†cessite le recours un logiciel payant (par exemple Agisoft photoscan) et prends du temps de calcul Une †tudes pr†alables sur les temp†ratures du feuillages en date pourrait †galement am†liorer plus les r†sultats Il pourrait ¶tre int†ressant de comparer les pr†cisions obtenues par un travail sur des images "brutes", sur des images "calibr†es thermiquement" et sur les orthomosaiques, afin de quantifier les gains/pertes en terme de pr†cision et de temps de calcul 51 Bibliographie [1] Alex krizhevsky, ilya sutskever, and geoffrey e hinton imagenet classification with deep convolutional neural networks in advances in neural information processing systems, pages 1097 1105, 2012 [2] Delalande, m gâmez-candân, d coupel-ledru, a labb†, s and regnard, j.l., 2018 multispectral and thermal ir high-resolution uas-borne imagery help in phenotyping the tree response to water stress at field ? case studies in apple diversity population and varietal assays international horticultural congress ihc2018, istanbul, tur (2018-08-12 - 2018-08-16) ) [3] Gâmez-candân, d., virlet, n., labb†, s., jolivot, a., and regnard j.l (2016) field phenotyping of water stress at tree scale by uav-sensed imagery : new insights for thermal acquisition and calibration precision agric 17, 786-800 http ://dx.doi.org/10.1007/s11119-016-9449-6 [4] http ://agreste.agriculture.gouv.fr/img/pdf/primeur292-2.pdf [5] https ://www.gouvernement.fr/risques/s†cheresse [6] Nvidia nvidia digits interactive deep learning gpu training system https ://gi-thub.com/nvidia/digits, 2015 accessed : 2016-02-02 [7] O russakovsky, j deng, h su, j krause, s satheesh, s ma,z huang, a karpathy, a khosla, m bernstein, a c berg, and f.-f.li, imagenet large scale visual recognition challenge, int j of comput.vision, vol 115, pp 211 252, dec 2015 [8] Rm valdebenito-sanhueza, gr nachtigall, a kovaleski, rs dos santos, and p spolti manual de identificac ao e ~ controle de doenc as, pragas e desequil brios nutricionais da macieira embrapa uva e vinho, bento gonc alves, 2008 [9] Virlet, n., costes, e., martinez, s., kelner, j.j., and regnard, j.l (2015) multispec-tral airborne imagery in the field reveals genetic determinisms of morphological and transpiration traits of an apple tree hybrid population in response to water deficit j exp bot., 66, 5453 5465 http ://dx.doi.org/10.1093/jxb/erv355 [10] Virlet, n., lebourgeois, v., martinez, s., costes, e., labb†, s., and regnard, j.l (2014) stress indicators based on airborne thermal imagery for field phenotyping a hetero- 52 geneous tree population for response to water constraints j exp bot., 65, 54295442 http ://dx.doi.org/10.1093/jxb/eru309 [11] Y yang and s newsam, bag-of-visual-words and spatial extensions for land-use clas-sification, in proc of the 18th sigspatial int conf.on advances in geographic inform syst., san jose, ca, nov., 2010,pp 270 279 [12] Yangqing jia, evan shelhamer, jeff donahue, sergey karayev, jonathan long, ross gir-shick, sergio guadarrama, and trevor darrell caffe : Convolutional architecture for fast feature embedding arxiv preprint arxiv :1408.5093, 2014 [13] Jacopo Acquarelli, Twan van Laarhoven, Jan Gerretzen, Thanh N Tran, Lutgarde MC Buydens, and Elena Marchiori Convolutional neural networks for vibrational spec-troscopic data analysis Analytica chimica acta, 954 :22 31, 2017 [14] MV Berry Quantum backflow, negative kinetic energy, and optical retro- propagation Journal of Physics A : Mathematical and Theoretical, 43(41) :415302, 2010 [15] Charles F Cadieu, Ha Hong, Daniel LK Yamins, Nicolas Pinto, Diego Ardila, Ethan A Solomon, Najib J Majaj, and James J DiCarlo Deep neural networks rival the representation of primate it cortex for core visual object recognition PLoS Comput Biol, 10(12) :e1003963, 2014 [16] Mark Cicero, Alexander Bilbily, Errol Colak, Tim Dowdell, Bruce Gray, Kuhan Per-ampaladas, and Joseph Barfett Training and validating a deep convolutional neural network for computer-aided detection and classification of abnormalities on frontal chest radiographs Investigative radiology, 52(5) :281 287, 2017 [17] Ottmar Edenhofer, Ramon Pichs-Madruga, Youba Sokona, Susanne Kadner, Jan Minx, and Steffen Brunner Intergovernmental planel on climate change summary for policymaker in : Climate change 2014, mitigation of climate change contribution to working group iii to the fifth assessment report of the intergovernmental planel on climate change, cambridge, uk newy york, ny, usa, 2014 [18] Tolga Eren, Walter Whiteley, A Stephen Morse, Peter N Belhumeur, and Brian DO Anderson Sensor and network topologies of formations with direction, bearing, and angle information between agents In 42nd IEEE International Conference on Deci-sion and Control (IEEE Cat No 03CH37475), volume 3, pages 3064 3069 IEEE, 2003 [19] Plenary Julia First Global warming of 1.5 c an ipcc special report on the impacts of global warming of 1.5 c above pre-industrial levels and related global greenhouse gas emission pathways, in the context of strengthening the global response to the threat of climate change Sustainable Development, and Efforts to Eradicate Poverty https ://www ipcc ch/sr15/ Accessed, 1, 2019 53 [20] Lucas Garcia Nachtigall, Ricardo Araujo, and Gilmar Nachtigall Classification of apple tree disorders using convolutional neural networks pages 472 476, 11 2016 [21] Jarrod C Hodgson, Rowan Mott, Shane M Baylis, Trung T Pham, Simon Wothers-poon, Adam D Kilpatrick, Ramesh Raja Segaran, Ian Reid, Aleks Terauds, and Lian Pin Koh Drones count wildlife more accurately and precisely than humans Methods in Ecology and Evolution, 9(5) :1160 1167, 2018 [22] https ://fr.wikipedia.org/wiki/Institutnationald%27volume : F rance; 2007: [23] Thijs Kooi, Bram van Ginneken, Nico Karssemeijer, and Ard den Heeten Discriminating solitary cysts from soft tissue lesions in mammography using a pretrained deep convolu-tional neural network Medical physics, 44(3) :1017 1027, 2017 [24] Yann LeCun, Yoshua Bengio, and Geoffrey Hinton Deep learning nature, 521(7553) :436 444, 2015 [25] Siqi Li, Huiyan Jiang, and Wenbo Pang Joint multiple fully connected convolutional neu-ral network with extreme learning machine for hepatocellular carcinoma nuclei grading Computers in biology and medicine, 84 :156 167, 2017 [26] Yilong Liang, Sildomar T Monteiro, and Eli S Saber Transfer learning for high resolution aerial image classification In 2016 IEEE Applied Imagery Pattern Recognition Workshop (AIPR), pages IEEE, 2016 [27] Sharada Prasanna Mohanty, David Hughes, and Marcel Salathe Inference of plant di-seases from leaf images through deep learning Front Plant Sci, :1419, 2016 [28] Evgeny A Smirnov, Denis M Timoshenko, and Serge N Andrianov Comparison of regu-larization methods for imagenet classification with deep convolutional neural networks Aasri Procedia, :89 94, 2014 [29] Basel Solaiman and Lepage Richard Les r†seaux de neurones artificiels et leurs applica-tions en imagerie et en vision par ordinateur Presse Universitaire du Qu†bec, 2003 [30] Xiaodan Sui, Yuanjie Zheng, Benzheng Wei, Hongsheng Bi, Jianfeng Wu, Xuemei Pan, Yi-long Yin, and Shaoting Zhang Choroid segmentation from optical coherence tomography with graph-edge weights learned from deep convolutional neural networks Neurocompu-ting, 237 :332 341, 2017 54 Chapitre Annexe 7.1 Algorithme de d†coupage des images 55 7.2 Algorithme d’extraction des metadonn†e 56 57 58 ... couverts vegetaux Sò dửng cĂc giÊi phĂp phn mãm nguỗn m tỹ ng hõa mt quy trnh xò lỵ hnh £nh th£m thüc v“t chưp b‹ng m¡y bay khỉng ng÷íi l¡i Sp†cialit† : Syst–mes Intelligents et Multim†dia Code