Tiền xử lý dữ liệu ảnh bằng ten xơ và deep learning cho nông nghiệp chính xác

INSTITUT FRANCOPHONE INTERNATIONAL,VNU-IFI Stage Master Informatique, Université d’Orleans et Laboratoire Prisme Master : Systèmes Intelligents Multimédia - Promo 22 Prétraitement des données image par tenseur & Deep Learning pour l’agriculture de précision Présenté par : Azaria SAIDI ALLY Encadrants : Dr Raphael Canals Novembre 2019 Table des matières Introduction 1 État de l’art Tenseurs 2.1 Définition 2.2 Types de Tenseurs 2.3 Présentation de la base d’images Tenseurs 10 2.4 Décomposition Tensorielle 11 2.4.1 12 Décomposition PARAFAC 2.4.2 Décomposition de TUCKER 14 2.4.3 Pré-traitement sur le jeu de données (Tenseurs) 17 Réseaux de neurones convolutifs 22 3.1 Introduction 22 3.2 Définition 22 3.3 SegNet 23 3.3.1 24 Architecture de SegNet Expérimentations et Résultats 28 4.1 Introduction 28 4.2 Présentation de la base d’images Tenseurs 28 4.3 Apport en image 31 4.4 Résultats 34 i ii Table des matières 4.4.1 Environnement de Travail 34 4.5 Tableau comparatif des résultats 42 4.6 Perspectives 43 Conclusion 44 Table des figures 1.1 Un exemple des cartes orthomosaïques [2] 1.2 Architecture du système proposé dans [1] 1.3 Architecture du système de reconnaissance des panneaux de signalisation routière proposé dans [3] 1.4 Architecture du système proposé 2.1 Type de tenseurs 2.2 Représentation des types de Tenseurs 2.3 Les dossiers de différentes bandes spectrales comme montré dans [2] 10 2.4 Données d’entrnement,test et validation 10 2.5 Image Tenseur de profondeur 11 2.6 Décomposition PARAFAC 12 2.7 Décomposition et reconstruction PARAFAC 13 2.8 Erreurs relatives sur les tenseurs de profondeur , , et après reconstruction[PARAFAC] 13 Courbe d’erreurs relatives moyennes sur les tenseurs de profondeur , , et 14 2.10 Diagramme tensoriel de Tucker [5, 6] 15 2.11 Décomposition tensorielle de Tucker 15 2.12 Décomposition et reconstruction de TUCKER 16 2.13 Erreurs relatives sur les tenseurs de profondeur , , et après reconstruction[TUCKER] 17 2.14 Courbe dérreurs relatives moyennes sur les tenseurs de profondeur , , et 17 2.15 Jeu de données après avoir éliminé les images sans intérêt 18 2.9 iii iv Table des figures 2.16 Jeu de données après avoir changé les pixels noir en pixels blancs 19 2.17 Jeu de données après avoir changé les pixels blanc en pixels noirs 19 20 3.1 Architecture standard d’un réseau convolutions [8] 23 3.2 Architecture de SegNet 24 3.3 Architecture du CNN :VGG 16 [8] 25 3.4 La fonction Relu 25 3.5 La fonction de Max pooling 26 3.6 Différence entre MaxPooling et UpSampling 27 4.1 images de la base Tenseurs de profondeur 29 4.2 Images de la base Tenseurs de profondeur 30 4.3 Images de la base Tenseurs de profondeur 31 4.4 Images de la base Tenseurs de profondeur 12 32 4.5 Image en tenseur de bandes spectrales (NDVI, NIR et RE) 32 4.6 Image en RGB 33 4.7 Image en CIR 33 4.8 Bout de code la fonction principale 35 4.9 L’appelle en ligne de commande 35 4.10 Apprentissage 36 4.11 Résultat pour les images Tenseurs 37 4.12 Résultat pour les images RGB 37 4.13 Résultat pour les images en CIR 38 4.14 La courbe de train pour les Tenseurs 39 4.15 La courbe de validation pour les Tenseurs 39 4.16 La courbe de perte pour les Tenseurs 39 4.17 La courbe de perte pour les Tenseurs 40 4.18 La courbe de train pour les RGB 40 4.19 La courbe de lost de train pour les RGB 41 4.20 La courbe de train pour les CIR 41 4.21 La courbe de lost de train pour les CIR 41 2.18 Jeu de données après Data augmentation Liste des sigles et acronymes NIR Near-Infrared NDVI Normalized Difference Vegetation Index UAV Unmanned Aerial Vehicle RNN Recurrent neural network LSTM Long Short-Term Memory BiLSTM Bidirectional Long Short-Term Memor CIR Color-Infrared RGB red, green, and blue DNN Deep Neural Network GSD Ground Sample Distance STL Supervised Tensor Learning SVM Support Vector Machine DR Dimension Reduction v Introduction Ces dernières années, les mauvaises herbes ont été responsables de la plupart des pertes de rendement agricole Pour faire face cette menace, les agriculteurs ont eu recours une pulvérisation uniforme d’herbicides sur des grandes étendues des champs Cette méthode a nécessité non seulement d’énormes quantités d’herbicides, mais a eu également un impact significatif sur l’environnement et la santé humaine L’un des moyens pour réduire les coûts et l’impact qu’ils peuvent provoquer, consiste allouer les bonnes doses d’herbicides au bon endroit et au bon moment (agriculture de précision) [1] L’objectif principal de l’agriculture de précision est d’optimiser la productivité des cultures tout en tenant compte de la protection environnementale, ceci dans une logique de développement durable [2], et pour cela elle utilise une technologie de pointe telles ques les véhicules aériens sans pilote (Drones), qui deviennent un système d’acquisition intéressant pour la localisation et la gestion des adventices en raison de leur capacité obtenir des images multi-spectrales, généralement 12 bandes (RGB, CIR, NDVI, NIR, etc), sur l’ensemble du champ agricole avec une résolution spatiale très élevée et faible coût Pour répondre aux besoins et aux exigences d’applications comme la mesure colorimétrique ou la recherche de signatures spectrales par exemple, des systèmes d’acquisition avec plus de trois canaux ont été proposés [9, 10, 11] De tels systèmes fournissent des données plus riches que ne le font les traditionnelles caméras RVB, données généralement connues sous le nom d’images multispectrales Les systèmes d’acquisition multispectraux permettent de repousser les limites contraignantes des dispositifs classiques reposant sur trois canaux [13, 12] Un plus grand nombre de bandes spectrales augmente la précision des mesures et conduit un plus fort pouvoir discriminant Ainsi l’acquisition des ces images en plusieures bandes spectrales nous permet de constituer des tenseurs de grande dimension dans le but d’avoir un plus fort pouvoir discriminant afin d’entrner un réseau de neurone (SegNet) pour la détection des adventices et des cultures L’application de tenseurs a ouvert de nouvelles possibilités pour une analyse plus précise de données complexes qui dépendent de nombreux facteurs différents Chacun de ces facteurs est représenté par une nouvelle dimension de l’espace tenseur (un mode d’un ten1 Introduction seur) [3] En traitement d’image, ces facteurs correspondent différents points de vue de l’image, conditions d’éclairage ou déformations géométriques d’objets représentés Ceci constitue une différence qualitative par rapport l’approche matricielle Le présent travail porte sur le prétraitement des tenseurs issus des images multispectrales acquisent par des drones survolant des champs de cultures afin de détecter des adventices Le problème qui se pose dans ce travail est de savoir quel prétraitement appliquer aux tenseurs formés afin d’opérer une segmentation sémantique distinguant les cultures et les adventices l’aide d’un réseau de neurones profonds (DNN) tout en se basant sur les travaux déjà effectués dans [1] et [2], ce qui nous permettra de savoir s’il est nécessaire d’effectuer un prétraitement sur les tenseurs dans un tel type d’application Ce présent travail est subdivisé en quatre chapitres dont le premier portera sur un rapide survole des travaux effectués sur le sujet, ainsi qu’une brève comparaison de ceux-ci Dans le second chapitre nous parlerons des tenseurs, de leurs représentations en informatique, ainsi que des différentes opérations et traitements sur ces derniers, plus particulièrement sur la décomposition de Tucker Dans le troisième chapitre nous parlerons des réseaux de neurones convolutifs et en particulier de SegNet [7], qui est un réseau de neurone convolutif utilisé pour la segmentation sémantique Dans le quatrième chapitre nous présenterons différentes expérimentations effectuées, ainsi qu’un certains nombres des résultats que nous comparerons ceux de la littérature et nous finirons par une conclusion et parlerons des perspectives d’avenir sur le présent travail 32 Chapitre Expérimentations et Résultats Figure 4.4 – Images de la base Tenseurs de profondeur 12 Figure 4.5 – Image en tenseur de bandes spectrales (NDVI, NIR et RE) 4.3 Apport en image 33 Figure 4.6 – Image en RGB Figure 4.7 – Image en CIR Des figure 4.5, figure 4.6, figure 4.7 ,nous pouvons clairement voir que les images en RVB ne révèlent pas une très grande différence entre les cultures et les herbes tandis que les images en Tenseurs et CIR révèlent des différences significatives entre les trois classe(background,weeds et crops).celles en Tenseur mettent plus en évidence la luminance des cultures par rapport celles en CIR, d’où on peut voir une nette distinction entre les cultures et les herbes 34 Chapitre 4.4 Expérimentations et Résultats Résultats Après avoir effectué un prétraitement sur la base d’images Tenseur , nous le passons dans un réseau de neurone convolution appelé SegNet afin de labelliser les images 4.4.1 Environnement de Travail Dans ce travail nous avons utilisé les outils suivant : Outils matériel Environnement matériel Afin de mener notre expérimentation et évaluation, nous avons utilisé un PC marque lenovo ThinkPad X240 Touch UltrabookTM , équipé d’un processeur multi-core I5, cadencé par une horloge d’une fréquence de Intel R CoreTM i5-4300U (Up to 3.00 GHz, 3MB L3, 1600 MHz FSB), avec GO Octets de RAM, un disque dur d’une capacité de 500 Giga Octets Outils logiciels • Python comme langage de programmation • Ppyder, visual studio code comme plateforme d’édition de code • framework Tensor Flow • Package numpy : numpy (NUMeric Python) est une bibliothèque numérique apportant le support efficace de larges tableaux multidimensionnels, et de routines mathématiques de haut niveau (algèbre linéaire, statistiques, etc.) • Package TensorLy :est une bibliothèque python pour la manipulation des tenseurs • OS :Linux distrubtion Ubuntu 18.04 LTS Les données de la base de d’images Tenseur,RGB et CIR seront entraợnộs avec les paramốtres suivant : ã nombre d’epoch :50 par ricochet le nombre d’itération sera 5000 • largeur des images :480 • la hauteur des images :360 • nombre de classe :3(background, les cultures et les herbes) • taille du lot(batch size) :5 • taille du jeu de données d’apprentissage :948 • taille du jeu de données pour le test :248 4.4 Résultats 35 • taux d’apprentissage :0.1(sgd optimiseur) Voici un bout du code de Segnet : Figure 4.8 – Bout de code la fonction principale Dans la Fig 4.8 nous pouvons remarquer le nombre d’itération vaut 5000 Figure 4.9 – L’appelle en ligne de commande Après l’appelle du programme voici le résultats qui en découle : 36 Chapitre Expérimentations et Résultats Figure 4.10 – Apprentissage Dans la Fig 4.10, chaque epoch a 100 itérations, la 500 ème itération représente la 5ème epoch qui affiche l’accuracy et mean UI(qui est la moyenne) ,elles sont respectivement 0.836 et 0.055188 tandis que class ,class et class représentent les classes des pixels Pour chaque classe on donne la probabilité que celle ci se retrouve dans l’image et par cela nous remarquons aussi la fonction de perte qui ne fait que diminuer (loss), iteration 518 le loss est 0.037 tandis qu’à l’itération 526 le loss est 0.029 Les commentaires relatives cette image seront fait dans la section perspective et nous donnerons quelques suggestion pour améliorer le résultat de l’apprentissage.Voyons du côté visuel et des courbes de l’accuracy et loss pour en déduire quelque chose : 4.4 Résultats 37 Figure 4.11 – Résultat pour les images Tenseurs Figure 4.12 – Résultat pour les images RGB 38 Chapitre Expérimentations et Résultats Figure 4.13 – Résultat pour les images en CIR Dans les figures 4.11, 4.12, 4.13 la première colonne représente les images prisent sur terrain, la deuxième colonne la vérité terrain montrant le background,les herbes et les cultures et la troisième colonne montrent le résultat d’apprentissage par Segnet Basic De ce qui précède nous remarquons que dans les figures 4.11, 4.12, 4.13, le background et les cultures sont bien détectés tandis que les herbes pas vraiment,toutefois dans la figure 4.12 les herbes sont détectés avec un pourcentage assez élevé de 55% d’accuracy, nous pensons que cela est dû au fait qu’on a procédé un faible nombre d’itérations car en observant de près les images précédentes on remarque certains pixel en rouge (le rouge désigne le pixel des herbes), cela montre un début d’apprentissage inachevé, d’où nous pensons que cela sera l’un des points dans les perspectives 4.4 Résultats 39 Figure 4.14 – La courbe de train pour les Tenseurs Figure 4.15 – La courbe de validation pour les Tenseurs Sur la figure 4.14 nous remarquons que l’accuracy de données d’entrnement atteint un valeur très élevé de 0.937 et celle de validation atteint 0.9155 , tandis que la courbe de la fonction de perte décrt jusqu’à atteindre une limite de 0.02601 comme nous le montre la Figure 4.17 : Figure 4.16 – La courbe de perte pour les Tenseurs 40 Chapitre Expérimentations et Résultats Figure 4.17 – La courbe de perte pour les Tenseurs Figure 4.18 – La courbe de train pour les RGB Dans les lignes suivantes nous présenterons une comparaison des résultats obtenus entre les base Tenseurs et RGB et CIR 4.4 Résultats 41 Figure 4.19 – La courbe de lost de train pour les RGB Figure 4.20 – La courbe de train pour les CIR Figure 4.21 – La courbe de lost de train pour les CIR 42 Chapitre 4.5 Expérimentations et Résultats Tableau comparatif des résultats Le tableau suivant découle de l’expérimentation faite avec datasets(RGB, TENSEUR et CIR) avec une profondeur de chacun Dataset Taille training Taille Test Classifier Tenseur 948 248 SegNet RGB 948 248 SegNet CIR 948 248 SegNet mean IU 0.565 0000 0.55 5152 0.45 5152 Accuracy Loss batches 0.937 0.02601 0.917 0.02792 0.900 0.02709 Temps 14h 49m 30 14h 51m 5s 14h 52m 12s Table 4.1 – Tableau Comparatif des résultats issus de Datasets La sixième colonne du tableau 4.1 nous montre l’Accuracy qui est tout l’un des critốres permettant dộvaluer les modốles de classification De faỗon non formelle, l’Accuracy désigne la proportion des prédictions correctes effectuées par le modèle Formellement, elle est définie ainsi : Accuracy = N ombre de prdictions correctes N ombre T otal de prdictions Pour une classification binaire, elle peut aussi être calculée en termes de positifs et de négatifs comme suit : Accuracy = T P +T N T P +T N +F P +F N Où VP = Vrais positifs, VN = Vrais négatifs, FP = Faux positifs, et FN = Faux négatifs les accuracy pour les classes background,crops and weeds sont respectivement : 0.976,0.803 et 0.038 dans le cas du jeu de données Tenseur.Partant du tableau 4.1, nous constatons que l’apprentissage du jeu de données Tenseur présente un meilleur résultat par rapport au jeu de données RGB et CIR avec un temps de plus de 14 heures du temps.néanmoins les résultats sont de plus excellent cela est dû au fait que les trois jeu de données ont été nettoyés et ont subi une data augmentation, par des rotation,effet miroir et un effet miroir de la rotation Dans les ligne suivantes nous présenterons un tableau comparatif avec les tenseurs 3,4 ,9 et 12 ainsi que RGB et CIR Dans le tableau 4.2 les colonnes bacground, cltures et herbes donnent l’accuracy de chaque qui se trouvent dans les images et on remarque que le meilleur résultat est celui 4.6 Perspectives Dataset Tenseur RGB CIR Tenseur Tenseur Tenseur Taille training 948 948 948 948 948 948 43 Taille Test 248 248 248 248 248 248 Back ground 0.976 0.926 0.939 0.976 0.971 0.929 cultures herbes Accuracy batches 0.803 0.753 0.820 0.752 0.685 0.621 0.038 0.553 0.168 0.038 0.054 0.212 0.937 0.917 0.900 0.913 0.916 0.885 5 5 3 Channels 3 12 Table 4.2 – Tableau Comparatif de résultats issus de Datasets avec le tenseur de profondeur 3,meilleur que celui des tenseurs de profondeur 4,9 et 12 toutefois nous pensons que cela est dû au faible nombre d’itération car avec ces derniers on a beaucoup plus de pixels d’où nous devrions augmenter ce nombre a 40 000, voilà pourquoi dans [1] le résultat sont de meilleur qualité 4.6 Perspectives Comme nous avons pu le constater sur le tableau 4.2, le jeu des données Tenseurs a le meilleur score , rappelons que les images de cette base son constitue de la bande B, CIR, G, NDVI, NIR, R, RE et RGB ainsi formant un tenseur de profondeur 3, 4, et 12 Dans les expériences que nous fait les tenseurs de profondeur 4, et 12 présentent des résultats moin bon que le tenseur de profondeur 3, toutefois comme nous l’avons dit plus haut cela est dû un faible nombre d’itération Afin d’améliorer ces résultats il faudrait augmenter le nombre d’itération a 40000 comme il est présenté dans [1] Conclusion et perspectives A la lumière de ce qui precède, notre étude s’est portée sur le problème d’un prétraitement appliqué aux tenseurs formés par les images multi-spectrales afin d’opérer une segmentation sémantique distinguant les cultures et les herbes l’aide d’un réseau de neurones profonds (DNN) tout en se basant sur les travaux déjà effectués dans [1] et [2], cela nous a conduit une brève étude sur les tenseur entre autre sur la décomposition tensorielle, afin de bien appréhender le sujet Toutefois les résultats issus de cette étude sont prometteuses et peuvent être pris comme une certaine réussite car avec un nombre d’itération faible nous avons pu obtenir des résultats convaincant et favorable Ainsi , le chapitre quatre de notre travail nous demontre les objectifs atteints et notre expérimentation d’apprentissage sur les jeux de données Tenseur de profondeur , , et 12 ainsi que sur RGB et CIR, en effectuant une décomposition de Tucker, un nettoyage et un Data Augmentation (DA) entrnant ainsi les résultats qui ont été présentés malgré cela ,nous remarquons grâce aux tableaux 4.1 et 4.2 que les résultats obtenus sur le jeu données Tenseurs sont mieux que ceux obtenus sur les jeux de données RGB et CIR et dans l’optique de perspective et d’amélioration de ces résultats , nous pensons que le nombre d’itération devra être 40000 comme dans l’article d’apprentissage en profondeur avec étiquetage de données non supervisé pour la détection des adventices dans les cultures en ligne dans les images de drones 44 Bibliographie M.Dian Bah, Adel Hafiane ,et Raphael Canals : Apprentissage en profondeur avec étiquetage de données non supervisé pour la détection des mauvaises herbes dans les cultures en ligne dans les images d’UAV, le 26 octobre 2018 weedMap-2018,I Sa, M Popovic, R Khanna, Z Chen, P Lottes, F Liebisch, J Nieto, C Stachniss, A Walter, and R Siegwart J Blanc-Talon et al (Eds.) : An Analysis of the Road Signs Classification Based on the Higher-Order Singular Value Decomposition of the Deformable Pattern Tensors, ACIVS 2010 Liangpei Zhang, Senior Member, IEEE, Lefei Zhang, Student Member, IEEE,Dacheng Tao, Senior Member, IEEE, and Xin Huang : Tensor Discriminative Locality Alignment for Hyperspectral Image Spectral–Spatial Feature Extraction,1, JANUARY 2013 Pierre Comon, Xavier Luciani, André de Almeida : Tensor Decompositions, Alternating Least Squares and other Tales,16 Aug 2009 Dacheng Tao,Xuelong Li1, Weiming Hu,Stephen Maybank and Xindong Wu Supervised Tensor Learning,2005 Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, Senior Member, IEEE,SegNet : A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation, December 2017 http ://cs231n.github.io/convolutional-networks/, Octomber 2019 9.Pascal Cotte et Marcel Dupouy CRISATEL high resolution multispectral system Proceedings of IST’s PICS Conference, pages 161-165, Rochester, 2003 10.Markku Hauta-Kasari, Kanae Miyazawa, Satoru Toyooka et Jussi Parkkinen Spectral vision system for measuring color images Journal of the Optical Society of America A, 16(10) : 2352-2362, 1999 45 46 Bibliographie 11.Hiroaki Suguria, Tetsuya Kuno, Norihiro Watanabe,Narihiro Matoba, Junichiro Hayachi et Yoichi Miyake Development of a multispectral camera system SPIE Proceedings, volume 3965, pages 331- 339, 2000 12.Haida Liang, David Saunders, John Cupitt et Mohamed Benchouika A new multi-spectral imaging system for examining paintings Proceedings of IST’s 2nd Conference on Colour in Graphics, Imaging and Vision, pages 229-234, Aachen, 2004 13.Roy Berns et Francisco Imai Pigment identification of artist materials via multi-spectral imaging.Proceedings of IST/SID’s 9th Color Imaging Conference, pages 85-90, Scottsdale, 2001 14.Ronneberger Olaf, Fischer Philipp et Brox Thomas “U-net : Convolutional networks for biomedical image segmentation” In : International Conference on Medical image computing and computer-assisted intervention Springer 2015, p 234–241 ... des tenseurs L’approche proposée est une extension tensorielle du DR conventionnel supervisé basé sur l’apprentissage multiple En particulier, ils définissent un schéma d’organisation du tenseur... perdre l’information [3] 2.2 Types de Tenseurs 2.2 Types de Tenseurs Il existe types de tenseurs qui sont : les scalaires, les vecteurs, les matrices et les tenseurs Les scalaires sont de dimension... mathématiques des tenseurs d’ordre supérieur La notion de rang de matrice peut être généralisée aux tenseurs d’ordre supérieur Figure 2.1 – Type de tenseurs Etant donné que nous considérons un tenseur