1. Trang chủ
  2. » Giáo Dục - Đào Tạo

Luận văn thạc sĩ VNU implémentation et test de méthodes de deep learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)

61 8 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Implémentation et test de méthodes de Deep Learning en télédétection pour détecter des palmiers rafias en milieu naturel et sur différents types d’images (satellites, aériennes, drones)
Tác giả Kinda Zakaria
Người hướng dẫn M. BORNE Frédéric Ph.D, Ingénieur de recherche CIRAD
Trường học UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ
Chuyên ngành Systèmes Intelligents et Multimédia (SIM)
Thể loại Mémoire de stage de Master 2
Năm xuất bản 2018-2019
Thành phố Hanoi
Định dạng
Số trang 61
Dung lượng 14,4 MB

Cấu trúc

  • 1.1 Contexte de l’étude (14)
  • 1.2 Problématique (15)
  • 1.3 Objectif (16)
  • Chapitre 2 État de l’art 7 (13)
    • 2.1 Approche du Machine Learning ou approche classique (19)
    • 2.2 Approche du Deep Learning (20)
  • Chapitre 3 Données et Méthodes 12 (18)
    • 3.1 Données (24)
      • 3.1.1 Méthode d’acquisition des données (24)
      • 3.1.2 Présentation des images du masque (29)
      • 3.1.3 Pré-traitement de données (30)
    • 3.2 Méthodes (31)
      • 3.2.1 Faster R-CNN (31)
      • 3.2.2 Architecture du Faster R-CNN (31)
      • 3.2.3 Fonctionnement du Faster R-CNN (32)
      • 3.2.4 Transfer learning (32)
      • 3.2.5 Méthode d’entraˆınement du réseau (33)
      • 3.2.6 Méthode de validation du réseau (33)
  • Chapitre 4 Expérimentations et résultats 24 (23)
    • 4.1 Expérimentations (36)
      • 4.1.1 Environnement de travail (36)
      • 4.1.2 Création des fichiers d’annotations (36)
      • 4.1.3 Entraˆınement du réseau (37)
      • 4.1.4 Validation du réseau (38)
    • 4.2 Résultats (38)
      • 4.2.1 vérification de l’indice spéculaire (38)
      • 4.2.2 Évaluer l’influence d’une deuxième classe sur la première (troisième expérimentation) (44)
      • 4.2.3 Transposition à l’image réelle (Quatrième expérimentation) (47)
  • Chapitre 5 Discussion et bilan 37 (35)
    • 5.1 Discussion (49)
      • 5.1.1 Entraˆınement du réseau (49)
      • 5.1.2 Aspect spéculaire (49)
      • 5.1.3 Choix du fichier de poids (50)
      • 5.1.4 Matrice de confusion (50)
      • 5.1.5 Les annotations (51)
    • 5.2 Bilan (52)
  • Chapitre 6 Conclusion et perspectives 42 (48)
    • 6.1 Conclusion (54)
    • 6.2 Perspectives (54)
    • 1.1 Photographie d’un Rafia hookeri (0)
    • 1.2 Image aérienne Rafia (0)
    • 2.1 Popularité des méthodes en % (0)
    • 3.1 Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire 14 (0)
    • 3.2 Image de synthèse avec des Rafias présentant une réflectance plus faible (0)
    • 3.3 Image drone de Rafias (0)
    • 3.4 Image de synthèse et son masque (0)
    • 3.5 Masque d’image annotée (0)
    • 3.6 Architecture Faster R-CNN [26] (0)
    • 4.1 Test d’annotations sur l’image du masque (0)
    • 4.2 Fonction de perte globale (0)
    • 4.3 Fonctions de perte RPN et CLS (0)
    • 4.4 Courbe de F-Mesure expérimentation 1 (0)
    • 4.5 Matrice de confusion à une classe (0)
    • 4.6 Résultats de validation avec des Rafias en blanc (0)
    • 4.7 Matrice de confusion Rafias en couleur (0)
    • 4.8 résultats de validation avec des Rafias en vert (0)
    • 4.9 Courbe de F-Mesure pour la classe Rafia (0)
    • 4.10 Matrice de confusion pour la classe Rafia (0)
    • 4.11 Courbe de F-Mesure de Rafia et du cocotier (0)
    • 4.12 Confusion à 2 classes plus Background (0)
    • 4.13 Résultat de validation sur une image réelle (0)
    • 5.1 Résultats en sortie de validation (0)

Nội dung

Contexte de l’étude

Les produits naturels de la forêt ont une importance capitale pour la population mondiale, notamment celle de l’Afrique Ces produits contribuent fortement à réduire la pauvreté et à accroˆıtre la production alimentaire Parmi ces produits naturels de la forêt, nous avons les palmiers, particulièrement, le Rafia hookeri qui est l’un des palmiers les plus utiles économiquement Au cours de la dernière décennie, le Rafia a donc suscité beaucoup d’intérêt à travers son apport économique Le Rafia possède des fibres très solides appelées piassavas utilisées pour la fabrication de, cordes grossières, de ceintures,de brosses [32].

La fibre est également exportée pour la production des balais, des tapis des chapeaux, des sacs et des costumes Les feuilles de Rafia sont parmi les plus grandes des palmiers d’Afrique En plus des fibres, ces feuilles produisent de la sève (vin de palme) qui constitue une boisson très populaire en Afrique et qui est également exportée hors du continent La sève produit des nutriments utiles qui pourraient jouer un rôle actif dans la physiologie et la santé humaines [22].

Les Rafias sont localisés dans les forêts marécageuses notamment dans les pays de l’Afrique de l’ouest (Guinée, Nigeria), de l’Afrique centrale (Congo, Cameroun, Gabon, etc.) Ces Rafias se regroupent dans les marais d’eau douce et au bord des rivières, donc dans les zones marécageuses avec des couronnes imbriquées les unes dans les autres, donc difficilement dénombrables À cet effet, les satellites d’observation de la Terre, les avions et les drones (images aériennes) s’avèrent un outil tout à fait approprié pour l’étude de la biosphère terrestre, à toutes les échelles de temps et d’espace, même s’ils ne permettent pas d’observer directement tous les paramètres relatifs à la végétation, comme la hauteur des arbres, leur volume, la structure verticale des couverts ou encore la végétation qui pousse sous les arbres d’une forêt Ainsi la télédétection est un outil pouvant être utilisé pour la détection du Rafia en milieu naturel Dans le cadre de ce travail, l’enjeux principal est de compter les Rafias à l’échelle d’un paysage La figure 1.1 présente une photographie deRafia hookeri en milieu naturel.

Figure 1.1 – Photographie d’un Rafia hookeri

Problématique

Grâce aux nouvelles techniques de recherche d’informations notamment le Machine Lear- ning et le Deep Learning sur les images aériennes, il est possible d’extraire des informa- tions sur des grandes masses de données Ces techniques sont utilisées sur des grandes bases de données issues des séries temporelles d’images, et plus encore pour l’extraction d’informations (extraction des objets) à l’intérieur des images Sur des images de forêt naturelle tropicale il est cependant souvent difficile d’extraire des informations en utilisant ces nouvelles techniques Les études menées par des chercheurs d’AMAP depuis 2015 sur le dénombrement des Rafias l’illustrent Les travaux de 2015 [19] ont utilisé les méthodes d’apprentissage classiques (machine learning) pour la classification des Rafias en milieu naturel avec des résultats variant entre 44% et 70% En 2018 des nouvelles études sont menées utilisant un réseau de neurone convolutionnel (deep learning) [31] sur des images de télédétection pour le dénombrement des Rafias Les résultats obtenus donnent un taux de bonne prédiction de 63%, meilleur qu’avec les méthodes de Machine Learning mais un taux largement en dessous de ceux obtenus dans les usages classiques du Deep Learning, ce qui montre que la méthode est pour l’instant moins efficace sur les données utilisées.

Dans ces études, les données utilisées pour le dénombrement sont des ortho-images RVB issues de l’acquisition par drone associées à des annotations expertes Les chercheurs ont établi que les résultats faibles du réseau sont dus au fait que l’annotation des Rafias est très difficile à cause des couronnes imbriquées les unes dans les autres Aussi, en observant la figure 1.2 (image aérienne) nous constatons qu’il est presque impossible pour l’humain de compter le nombre de Rafias sur cette image Face à cette situation il est donc impératif de mettre en place de nouvelles méthodes permettant de dénombrer les Rafias en milieu naturel.

État de l’art 7

Approche du Machine Learning ou approche classique

Les recherches antérieures sur la détection de palmiers ou de couronnes d’arbres imbri- quées ont généralement été basées sur les méthodes traditionnelles dans le domaine de la vision par ordinateur En plus des palmiers, ces méthodes sont utilisées en général pour la détection d’objets dans une image Les auteurs Mandjo BORE et al.[19] ont mené une étude sur la cartographie par télédétection des peuplements de Rafias en forêt dense à partir des données satellitaires, en utilisant les algorithmes du plus proche voisin (KNN) combinés à l’analyse en composante principale (ACP) Le problème soulevé par cette étude est la difficulté à détecter ces types de palmier en forêt dense Les résultats de leur approche sont compris entre 44% et 68% Malek et al [17] ont utilisé une transfor- mation des caractéristiques invariante à l’échelle (SIFT) et un classificateur supervisé de machines d’apprentissage extrême pour détecter les palmiers à partir partir d’images de drones (véhicules aériens sans pilote (UAV)) Srestasathiern et al [30] utilisent le calcul de semi-variogrammes et la suppression non-maximale pour la détection de palmiers à partir d’images satellites multispectrales à haute résolution Ils obtiennent des résultats variant entre 89% et 96% Malgré ces résultats, ce travail n’intervient pas dans le carde de notre étude, car elle a été appliqué sur des plantations de palmiers ó les couronnes ne sont pas imbriquées Yiran Wang et al.[33] ont réalisé des travaux sur la détection et le dénombre- ment des palmiers à huile dans des plantations de Malaisie sur des images de drone en utilisant les fonctions d’histogramme de gradient orienté (HOG) [12] et du classificateur machine à vecteur de support (SVM) L’analyse de composantes principale (ACP) a été utilisée par les auteurs KOMBA Prune et al[2] pour la classification des cocotiers sur des images satellitaires, avec un résultats de 56% Manandhar et al[18] ont mené des études sur une plantation de palmiers en utilisant un algorithme local de détection maximale sur des images drone normalisés pour détecter les palmiers et un Support Vector Machine (SVM) pour la classification R Saini et al.[28] ont étudié la classification des cultures à l’aide d’imagerie sentinel-2 à date unique en utilisant les méthodes Random Forest (RF) et Support Vector Machine (SVM) Ils ont montré dans leur étude la meilleure efficacité de

RF (84%) par rapport au SVM (81%) pour classifier les cultures sur les images satellites Ces études antérieures sur la détection des arbres notamment des palmiers [33, 18, 17] ont donné de bons résultats (96%)[17], car ces arbres sont localisés dans des zones d’é- tudes moins denses ó les couronnes ne se chevauchent pas Toutefois, la performance de certaines de ces méthodes se détériorent fortement lors de la détection des palmiers et autres plantes dans certaines régions de notre zone d’étude, surtout dans les milieux naturels ó les couronnes sont imbriquées les unes dans les autres [2, 19] Aussi, notre étude étant dans une zone naturelle ó la forêt est dense, nous allons mener une étude utilisant l’approche du Deep Learning.

Données et Méthodes 12

Données

Les données représentent le facteur le plus important pour l’apprentissage automatique.

Dans le cas de notre étude, nous avons deux types de données Il s’agit des images de syn- thèse (images virtuelle) et des images réelles (images drone) L’acquisition de ces images s’est donc faite de manière différente.

— Images virtuelles Dans l’objectif de reconnaissance du Rafia en milieu naturel, des images de synthèses ont été générées en utilisant plusieurs outils de simulation générant des maquettes 3D de plantes, assemblées dans des scènes virtuelles La génération des images nécessite donc plusieurs étapes Les composants des scènes végétales sont les maquettes 3D de palmiers Rafia, auxquelles viennent s’ajouter les maquettes d’autres végétaux 3D, et enfin le modèle de terrain sur lequel les végétaux seront plantés La réalisation des scènes s’est faite en utilisant plusieurs outils notamment SIMEO [13], PRINCIPES [3] qui a été utilisé pour générer la morphologie du Rafia hookeri et d’autres palmiers et d’autres simulateurs (AMAPSIM en particulier) qui ont permis la création de maquettes d’arbustes et d’arbres feuillus tropicaux L’outil propriétaire du CIRAD CalRgb est utilisé pour effectuer le rendu des images Les scènes sont réalisées en tenant compte de plusieurs paramètres comme le nombre d’objets dans chaque image (Rafia, Cocotier, Autre), de la distance entre les arbres Le calcul d’image (rendu réaliste) est effectué sur des images de haute résolution simulant une vue aérienne dont on paramètre la résolution de l’image, les données caméras(qui fixent ainsi la résolution métrique), la direction de la lumière, les options d’ombrage,etc Les figures 3.1 et 3.2 présentent des images de synthèse contenant des Rafias (avec différentes propriétés de réflectance) et d’autres types de plantes.

Figure3.1 – Image de synthèse de Rafias prenant en compte une forte réflexion spéculaire

Figure 3.2 – Image de synthèse avec des Rafias présentant une réflectance plus faible

Tableau 1 : Caractéristiques des images de synthèse

NOMS Raphias Cocotiers Autres Résolution

Image Résolution métrique Distance moyenne entre arbres

Ombrage Direction de la lumière Largeur de la scène

Scene_1bis 1063 5760*5300 0,0872 de 3 à 10 m Non Oblique

Scene_3bis 1063 572 823 7680*7420 0,0682 de 3 à 10 m Oui Oblique

Scene_4bis 958 570 684 15360*14840 0,0297 de 3 à 10 m Oui Oblique

Scene_12bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Rasant Face 630

Scene_14bis 1593 1699 3072 14000*11550 0,0428 6 à 8 m Oui Rasant Latéral 630

— Les images réelles Les images réelles seront utilisées pour tester la performance de notre réseau qui aura été entraˆıné avec des annotations issues des images virtuelles Ces images réelles sont des images acquises par drone (DJI Mavic Pro) dans la région du Bas Ogooué au Gabon [31].

Les vues ont été acquises entre 100 et 200 mètres d’altitude via une caméra RVB (CMOS 1/23” 12.35 mégapixels).

Figure 3.3 – Image drone de Rafias

3.1.2 Présentation des images du masque

Les images du masque sont des images de classification qui vont nous permettre de créer automatiquement des fichiers d’annotations Chaque couleur constitue un objet, ce qui nous permettra de déterminer la position des boˆıtes englobantes (coordonnées X, Y du coin de référence, largeur et hauteur) Les images de masque sont donc des images de classification générées conjointement avec les images de synthèses A chaque image de synthèse correspond une image de masque dont le contenu et les propriétés sont iden- tiques à l’exception des couleurs Dans les masques, le rendu n’est pas réaliste, mais dédié à l’identification Chaque arbre dans la scène est dessiné dans une couleur unique Une table synthétise le contenu de l’image masque, liant chaque arbre à sa couleur et récipro- quement Ces données masque (image masque et liste) peuvent alimenter des réseaux de segmentation ou permettre la génération des boites englobantes (voir plus loin) La figure3.4 présente une image du masque et son image réaliste.

Figure 3.4 – Image de synthèse et son masque

Le Faster R-CNN utilise des images associées aux fichiers d’annotations Ces fichiers d’an- notations contiennent les boites englobantes des objets, boites traditionnellement tracées par un expert Dans notre cas nous utilisons les images de masque pour calculer les boites englobantes des objets (voir plus loin) La figure 3.5 présente une image du masque associé à son image de synthèse avec les boites englobantes obtenues par calcul (voir plus loin).

Expérimentations et résultats 24

Expérimentations

Pour la réalisation de notre travail, nous avons un ordinateur bureau de marque HP avec les caractéristiques suivantes :

— Processeur :Intel(R) Xeon (R) CPU E5520 @ 2.27GHZ 2.26GHZ 64 bits

— Carte graphique : NVIDIA (390.116) P2000 GeForce de 1024 cœur

— OS :Ubuntu 18.04 LTS Pour augmenter la vitesse de calcul des différentes expérimentations, nous avons utilisé des accélérateurs de calcul CUDA 9.0 et CUDNN 7 Nous avons utilisé l’outil Singularity version 2.6 [5] pour la mise en place des conteneurs Il s’agit d’un outil permettant de créer des machines virtuelles Il permet d’utiliser plusieurs réseaux sur l’ordinateur sans toucher au système d’exploitation de la machine hôte.

Pour tracer les boˆıtes englobantes, pour chaque image, nous recherchons le fichier d’an- notations correspondant dans le répertoire des fichiers d’annotations Chaque ligne du fichier correspond à la couleur d’un objet contenu dans l’image Pour chaque objet (ligne du fichier) nous parcourons l‘image à la recherche des pixels qui constituent l’objet en cours Pour ce faire, nous parcourons l’image afin de déterminer les pixels de la même couleur que l’objet Ce parcours nous permet de connaˆıtre le nombre de pixels de l’objet et aussi de déterminer la boite qui englobera l’objet La boite englobante est déterminée en prenant les coordonnées maximale et minimale dans l’objet Ainsi nous déterminons xmin xmax, ymin et ymax de la boˆıte englobante La largeur et la hauteur de la boite sont calculées par les formules : width=xmax-xmin height=ymax-yminNous définissons un seuil afin d’éliminer les boites englobantes qui ne contiennent pas assez d’information Pour ce faire nous faisons le rapport entre le nombre de pixels objets contenus dans la boite englobante et le nombre total de pixels dans la boite Si ce rapport est supérieur à un seuil, nous prenons en compte l’objet , sinon l’objet n’est pas considéré par manque d’informations (voir l’algorithme en annexe).

Figure 4.1 – Test d’annotations sur l’image du masque

Ces annotations créées et associées à l’image de synthèse équivalente permettront au réseau de déterminer l’emplacement de chaque objet dans l’image.

Les images en entrée dans le réseau ont des résolutions différentes (exemple : 5760*5300 pixels) Etant donné que le Faster R-CNN utilise des images de 500 x 500 pixels, les images initiales ont donc été préalablement découpées en tuiles de 500 x 500 pixels Afin de détecter le Rafia, nous avons utilisé plusieurs images de caractéristiques (résolution image, résolution métrique, ombrage, etc.) différentes Les données d’entraˆınement sont présentées dans le tableau 4.1 ci-dessous Nous avons effectué des entraˆınements en utili- sant plusieurs itérations sur une classe (Rafia) puis sur deux classes (Rafia, Cocotier) La classe Cocotier a été ajoutée afin d’observer son impact sur la reconnaissance du Rafia par le réseau.

Table 4.1 – Liste des images d’entraˆınement

Noms Rafias Cocotiers Résolution Ombrage Direction de la lumière

Scene_12bis 1530 1780 14000*11550 Oui Rasant Face

La validation de notre réseau consiste à utiliser des images ayant servi à l’entraˆınement ou de nouvelles images (validation croisée) avec les fichiers de poids générés lors de l’en- traˆınement Les images utilisées pour la validation du réseau sont illustrées dans le tableau 4.2 ci-dessous.

Table 4.2 – Liste des images de validation

Noms Rafias Cocotiers Résolution Ombrage Direction de la lumière

Scene_12bis 1530 1780 14000*11550 Oui Rasant Face

Discussion et bilan 37

Discussion

Ce travail se concentre sur la détection des palmiers Rafias en milieu naturel en utilisant des images de synthèse créées en 2019 Afin d’évaluer la méthode de détection des pal- miers Rafias que nous proposons, nous avons effectué plusieurs tests en tenant compte de plusieurs paramètres.

La courbe de la fonction de perte est un indicateur global nous permettant de caractériser le comportement d’apprentissage du réseau Faster R-CNN L’entraˆınement de notre réseau permet d’établir la courbe de perte globale (figure 4.2), ainsi que celle pour la détection et la classification des boites englobantes (figure 4.3) Sur la figure 4.3 nous observons une différence d’oscillations entre la courbe permettant de classifier les boites englobantes (loss_cls) et celle permettant de détecter les boites englobantes (RPN_loss_bbox) Les fortes amplitudes de la courbe loss_cls montrent que le réseau ne parvient pas à bien classifier les boites englobantes prédites La courbe RPN_loss_bbox, avec des basses am- plitudes (courbe quasiment linéaire), montre que le réseau parvient à détecter les boites englobantes sur chaque objet annoté Cette différence entre les deux courbes peut s’expli- quer par la taille de certaines boites englobantes très petites, ce qui favorise leur mauvaise classification par le réseau Les erreurs d’annotations peuvent également être la cause de ces fortes variations d’amplitude de la courbe Loss_cls Une annotation de tous les ob- jets pourrait diminuer l’amplitude de cette courbe De plus, la fonction de perte globale (figure 4.2), bien qu’elle soit un indicateur caractérisant le comportement d’apprentissage du réseau, pourrait être utilisée pour le choix du fichier de poids En observant la courbe, l’amplitude la plus basse est localisée à 70000 itérations, ce qui peut être utilisé comme fichier de poids Mais le choix du fichier de poids se fera en utilisant la courbe de F-Mesure.

Dans le réseau de neurones convolutionnel, la détection des objets est basée sur différents aspects Le réseau peut donc apprendre à reconnaˆıtre un objet en se basant sur l’aspect couleur, forme, etc Afin de vérifier si l’aspect spéculaire influe sur sur la détection duRafia, nous avons utilisé deux expérimentations avec des scènes différentes Il s’agit d’une image (expérimentation 1) avec des Rafias en blanc et une autre image avec des Rafias en verts (expérimentation 2) Le résultat de validation de ces deux expérimentations donnent une F-Mesure identique de 90% Pour vérifier cette hypothèse, nous avons effectué un test avec une image associée d’annotations cocotier sur les deux expérimentations Nous obtenons alors un taux de 0% de détection Ainsi donc ces expérimentations permettent de montrer que notre réseau (Faster-RCNN) n’apprend pas à reconnaˆıtre les palmiers Rafias sur les couleurs.

5.1.3 Choix du fichier de poids

Pour choisir le meilleur fichier de poids du réseau, nous utilisons la courbe de F-Mesure établie en fonction des itérations De plus, cette courbe permet de mettre en évidence, le cas échéant, le problème de sur-apprentissage du réseau Ainsi en observant les courbes de nos expérimentations, nous remarquons que toutes les courbes deviennent linéaires à partir d’un certain nombre d’itérations et ne rechutent plus jusqu’à la fin de l’entraˆınement du réseau Cela permet de dire qu’il n’y a pas de sur-apprentissage du réseau Cependant, comment peut-on choisir le meilleur fichier de poids ? Pour ce faire, nous utilisons la courbe de F-Mesure Dans les deux premières expérimentations, nous observons que le réseau se stabilise à partir de 10000 itérations Ce palier atteint par le système permet de dire que le réseau apprend à reconnaˆıtre les Rafias à partir de 10000 itérations Ainsi donc, tout fichier de poids obtenu à partir de 10000 itérations convient dans ces expérimentations La courbe de la troisième expérimentation (figure 4.11 ci-dessus) est une courbe représentant les deux classes (Rafia et Cocotier) Les deux courbes sont confondues Cependant, nous remarquons une légère différence de leur évolution La courbe de la classe Rafia se stabilise à partir de 10000 itérations, par contre celle du cocotier atteint un pic à 10000 itérations et se stabilise à partir de 20000 itérations Nous pouvons donc en déduire que le réseau apprend plus rapidement à reconnaˆıtre les Rafias que les cocotiers Les fichiers de poids pouvant être utilisés sont donc ceux obtenus à partir de 20000 itérations.

Les différentes expérimentations permettent d’établir des matrices de confusion à une classe plus le fond et des matrices de confusion multi-classes Ces matrices de confusion permettent d’observer les erreurs de détection et d’identification du réseau La matrice de confusion multi-classes permet d’avoir plus d’informations sur ces erreurs que la matrice à une classe Sur la figure 4.12, nous remarquons que le réseau fait plus d’erreurs de détection que d’identification En effet, on voit que sur la verticale, sur les 512 faux négatifs de Rafias, le réseau en identifie 94 comme cocotiers et 418 comme le background, et sur les

362 faux négatifs de cocotiers il en détecte 92 comme Rafias et 270 comme background.

Ces résultats montrent que le réseau a plus de mal à la détection qu’à l’identification des objets A cet effet, le résultat qualitatif de l’expérimentation 3 (voir figure 5.1 ci-dessous) montre la difficulté pour le réseau de détecter les objets dans certains endroits de l’image.

Ces objets bien qu’ils soient annotés, sont très regroupés et le réseau ne parvient pas à en détecter certains et les considère comme le fond (background) En plus de cela, il existe des objets de petite taille avec une forte densité qui ne sont pas détectés par le réseau car ils sont recouverts par d’autres plantes, donc ils sont considérés aussi comme le fond par le réseau Sur la figure 5.1 l’ellipse blanche est un faux négatif de cocotier et en bleu figure un faux négatif du Rafia.

Figure 5.1 – Résultats en sortie de validation

Au cours de nos expérimentations, nous avons vérifié l’impact de l’introduction de la classe cocotier sur la capacité du réseau à détecter le Rafia Les résultats des expériences montrent que l’introduction d’une deuxième classe perturbe le résultat de la classe Rafia.

En effet le réseau passe de 72% à 68% pour la classe Rafia après introduction de la classe cocotier dans le fichier d’annotations Cela s’explique par le fait que le réseau, en cher- chant à minimiser l’erreur, considère certaines annotations du Rafia comme des cocotiers, ce qui baisse considérablement le taux de Rafia Aussi,compte tenu de la taille de certaines boites englobantes, l’ajout d’une deuxième classe peut impacter sur ces objets de petites taille et ce qui pourrait entraˆıner une baisse du taux de reconnaissance de Rafia.Nous pouvons donc déduire qu’il est possible que la taille des boites englobantes contribue à la baisse de la performance du réseau.

— Annotations d’images réellesLes tests sur les images réelles donnent de faibles taux de détection du Rafia par rapport aux images de synthèses Le premier résultat ó nous avons utilisé le fichier de poids de l’expérimentation 1 donne 37% de F-Mesure Par contre, le résultat 2 donne un taux deF-Mesure de 1% en utilisant le fichier de poids de l’expérimentation 3 (une classe) Ceci s’explique par le fait que l’image utilisée dans l’expérimentation 1 est moins dense, que celle de la troisième expérimentation Ces résultats montrent la difficulté d’annoter les images réelles du palmier Rafia.

Conclusion et perspectives 42

Conclusion

Dans le cadre de notre stage, nous avons mené une étude sur la détection du palmier Rafia en milieu naturel en utilisant l’approche Deep Learning Pour ce faire, nous avons utilisé des images de synthèses pour les différents tests et par la suite nous avons évalué la mé- thode sur les images réelles (image drone) Bien avant la mise en place de notre méthode, nous avons effectué des études théoriques basées sur les images aériennes, notamment sur la détection des plantes et aussi sur des images de synthèse Une étude comparative entre l’approche Deep Learning et le Machine Learning, nous a permis de choisir le Deep Learning qui est plus efficace sur les forêts denses Selon la littérature, le Faster R-CNN a été appliqué sur la détection des arbres en milieux naturels[27], sur la détection des fruits, mais aussi sur les images de synthèse [23, 25], ce qui nous a amenés également à utiliser ce réseau Nous avons donc utilisé le Faster R-CNN sous l’environnement Caffe pour la détection du palmier Rafia en milieu naturel Pour ce faire, des images de synthèses et réelles avec différentes caractéristiques ont été utilisées Les expérimentations ont donné des résultats variables selon le type de données utilisées Ces expérimentations ont permis de vérifier plusieurs critères du réseau pour la détection du Rafia, notamment le critère de la luminance, de la densité des objets dans l’image et aussi de l’impact de l’ajout d’une deuxième classe sur la détection du Rafia Les résultats des expérimentations 1 et

2 ont montré que la couleur n’avait pas d’impact sur la détection du Rafia La validation sur une image avec moins de densité donne un F-Mesure de 90%, par contre, les images avec une forte densité (plus d’arbres) nous obtenons un résultat de 72% En ajoutant une classe supplémentaire à notre réseau, les résultats F-Mesure du Rafia passe de 72% à 68%, ce qui montre que l’ajout une deuxième classe perturbe la reconnaissance du Rafia par le réseau Ainsi, l’utilisation de la matrice de confusion multi-classes a permis de com- prendre que notre réseau détecte difficilement certains objets contenus dans l’image, en les considérant comme le fond La transpositionn avec une image réelle donne respectivement un F-Mesure de 37% et de 1%, ce qui permet de dire qu’il est difficile d’évaluer sur les images réelles En somme, nous pouvons dire que notre réseau Faster R-CNN parvient à détecter les Rafias sur les images de synthèse bien qu’il y ait des difficultés dues aux annotations Cependant, il reste mauvais sur les images réelles.

Perspectives

Le réseau Faster R-CNN mis en place au cours de notre stage, a été testé sur plusieurs paramètres, notamment les paramètres de couleur, de densité, etc Les résultats obtenus nous permettent de dégager des perspectives pouvant contribuer à l’amélioration de ces résultats Ces perspectives peuvent être orientées sur les images réelles, les images de syn- thèses, ou sur l’utilisation d’un autre réseau Dans le cadre des images réelles, il serait intéressant, d’observer l’impact de la luminosité sur la détection de Rafia Il s’agit donc d’acquérir des images réelles dans différentes conditions de luminosité et d’effectuer plu- sieurs annotations sur les objets IL est important de trouver des méthodes pour quantifier les images réalistes par rapport aux images réelles C’est à dire qu’il faut la distance entre les arbres des images de synthèse par rapport aux arbres sur les images réelles Il est aussi envisageable d’ajouter une troisième classe dans les fichiers d’annotation, afin d’observer l’impact de deux classes sur le résultat du Rafia Par la suite, il sera important d’effectuer des tests sur la taille des objets, en créant différents fichiers d’annotation selon la taille des objets Ceci permettra de comprendre l’influence de la taille de la boite englobante sur le réseau.

Algorithme du Fichier d’annotation c=couleur de l’objet. width= largeur de limage height= hauteur de limage listeObjet=liste des objets dans le fichier d’annotation image= image d’entrainement xmin = abscisse minimum de la boite englobante xmax = abscisse maximale de la boite englobante ymin = ordonnée minimale de la boite englobante ymax = ordonnée maximale de la boite englobante h= hauteur de la boite englobante l=largeur de la boite s=la densité des pixels permet d’éliminer les boites englobantes qui ne contiennent pas beaucoup d’information nbObjet = nombre d’objets trouvés

Pour j dans range(heigth){ si image[i][j]==c{ nbObjet++ ; si i>ymax: ymax=i si ixmax: xmax=j

} l=xmax-xmin h=ymax-ymin si (nbObjet/(l*h)) ≥ s alors {

//Nous prenons la boite en considération et nous annotons

[1] Liang-Chieh Chen, Yukun Zhu, George Papandreou, Florian Schroff, and Hartwig Adam Encoder-decoder with atrous separable convolution for semantic image seg- mentation In Proceedings of the European conference on computer vision (ECCV), pages 801–818, 2018.

[2] Navneet Dalal and Bill Triggs Développement d’une méthode de traitement d’images satellites pour la cartographie d’agrosystèmes à base de cocotiers 2014.

[3] Sộbastien GRIFFON Franácois de COLIGNY Amapstudio a software studio for plants architecture modeling http ://amapstudio.cirad.fr/soft/principes/start, 25 octobre 2016, consultée le 11 octobre 2019.

[4] Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei Imagenet : A large-scale hierarchical image database In 2009 IEEE conference on computer vision and pattern recognition, pages 248–255 Ieee, 2009.

[5] Rémy Dernat Créer un conteneur avec singularity https ://mbb.univ- montp2.fr/ust4hpc/tpSingu.html, 17 mai 2018, consultée le 07 octobre 2019.

[6] Mark Everingham, Luc Van Gool, Christopher KI Williams, John Winn, and Andrew Zisserman The pascal visual object classes (voc) challenge International journal of computer vision, 88(2) :303–338, 2010.

[7] Ross Girshick Fast r-cnn In Proceedings of the IEEE international conference on computer vision, pages 1440–1448, 2015.

[8] Hervé Go¨eau Identification d’espèces avec réseaux de neu- rones profonds http ://amap-collaboratif.cirad.fr/ecipp/wp- content/uploads/deepamap 2G OEAU p lantnet.pdf,20octobre2017, consultele14octobre2019.

[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun Deep residual learning for image recognition InProceedings of the IEEE conference on computer vision and pattern recognition, pages 770–778, 2016.

[10] Forrest Iandola, Matt Moskewicz, Sergey Karayev, Ross Girshick, Trevor Darrell, and

Kurt Keutzer Densenet : Implementing efficient convnet descriptor pyramids arXiv preprint arXiv :1404.1869, 2014.

[11] Yinghai Ke and Lindi J Quackenbush A review of methods for automatic individual tree-crown detection and delineation from passive remote sensing International Journal of Remote Sensing, 32(17) :4725–4747, 2011.

[12] Ga¨elle VIENNOIS et Johan OSZWALD KOMBA Prune Histograms of oriented gradients for human detection 2005.

[13] Jean-Philippe Lang Identification d’espèces avec réseaux de neurones profonds. http ://amap-dev.cirad.fr/projects/simeo/wiki/A p roject o f c harter,10octobre2010, consultele06octobre2019.

[14] Yann LeCun, Yoshua Bengio, and Geoffrey Hinton Deep learning nature, 521(7553) :436–

[15] Weijia Li, Haohuan Fu, Le Yu, and Arthur Cracknell Deep learning based oil palm tree detection and counting for high-resolution remote sensing images Remote Sensing, 9(1) :22, 2017.

[16] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan,

Piotr Dollár, and C Lawrence Zitnick Microsoft coco : Common objects in context In European conference on computer vision, pages 740–755 Springer, 2014.

[17] Salim Malek, Yakoub Bazi, Naif Alajlan, Haikel AlHichri, and Farid Melgani Efficient framework for palm tree detection in uav images IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 7(12) :4692–4703, 2014.

[18] Abhishek Manandhar, Ludwig Hoegner, and Uwe Stilla Palm tree detection using circular autocorrelation of polar shape matrix.ISPRS Annals of Photogrammetry, Remote Sensing and Spatial Information Sciences, 3 :465–472, 2016.

[19] Nicolas BARBIER Ga¨elle VIENNOIS Mandjo BORE, Jean-Pierre CHERY Cartographie par télédétection des peuplements de palmiers raphias CIRAD, septembre 2015.

[20] Giorgio Morales, Guillermo Kemper, Grace Sevillano, Daniel Arteaga, Ivan Ortega, and

Joel Telles Automatic segmentation of mauritia flexuosa in unmanned aerial vehicle (uav) imagery using deep learning Forests, 9(12) :736, 2018.

[21] Mark Nixon and Alberto S Aguado Feature extraction and image processing for computer vision Academic Press, 2012.

[22] FI Obahiagbon A review of the origin, morphology, cultivation, economic products, health and physiological implications of raphia palm African journal of food science, 3(13) :447–453, 2009.

[23] Xingchao Peng, Baochen Sun, Karim Ali, and Kate Saenko Exploring invariances in deep convolutional neural networks using synthetic images CoRR, abs/1412.7122, 2(4), 2014.

[24] DA Pouliot, DJ King, FW Bell, and DG Pitt Automated tree crown detection and delineation in high-resolution digital camera imagery of coniferous forest regeneration.

Ngày đăng: 06/12/2022, 15:42

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN