Extraction de zones dintérêts dans une image de textures

Extraction de zones d’inter^ets dans une image de textures Rapport de stage Giap Nguyen (giap.nguyen@univ-lr.fr) Encadrant : Mickael Coustaty (mickael.coustaty@univ-lr.fr) Jean-Marc Ogier (jean-marc.ogier@univ-lr.fr) Laboratoire : Laboratoire Informatique, Image et Interaction (L3I) Universit de La Rochelle 30 ao^ut 2009 Remerciements Je tiens tout d’abord a remercier les professeurs d’informatiques et de francais de l’Institut de la Francophonie pour l’Informatique (IFI) qui nous ont dispenses les cours pendant mes annees de Master Je souhaite egalement remercier mes encadrants de stage, M Jean-Marc Ogier et M Mickael Coustaty, pour leur aide precieuse et leurs encouragements En n, je voudrais remercier les personnes du L3i pour leur sympathie et leur accueil i Resum Ce travail se concentre sur l’extraction de zones d’inter^ets dans les lettrines (images de lettre decorees), qui se trouvent dans les documents anciens conserves dans des bibliotheques, des musees et des archives publiques Notre objectif principal est de developper une methode de segmentation de textures dans les lettrines Les images que nous traitons sont obtenues par pression d’un tampon sur une feuille, et sont donc composees de traits Pour cette raison, nous proposons une methode reposant sur l’extraction et l’analyse de traits Pour cela, nous extrayons d’abord des traits et les caracterisons Les caracteristiques utilisees sont l’orientation, l’epaisseur et la courbure Ensuite, une distance propre est precisee pour mesurer la similarite entre des traits En n, nous utilisons une classi cation hierarchique pour classer ces traites Les traits voisins similaires sont groupes dans un segment Mots-cles: Reconnaissance des formes, indexation d’images, segmentation, signa-tures texturelles, signatures structurelles et topologiques Abstract This work focuses on the extraction of interesting zones in drop caps (images of decorated letter), which can be found in historical documents These documents are conserved by the libraries, the museums and the public archives Our principal objective is to develop a texture segmentation method for drop caps Drop caps were obtained by pressure of a stamp on paper, and therefore, contains strokes Because of that, we suggest a stroke base method for drop caps segmentation Firstly, we extract each stroke and get its features The features used in our method are orientation, thickness and curvature After that, a distance is de ned to measure the similarity between the strokes extracted Finally, we use the hierarchic classi cation to classify the strokes In our results, the neighbor similar strokes will be grouped in a segment Keywords: Pattern recognition, image indexing, segmentation, textural features, structural and topological features ii Table des matieres Remerciements Resum Abstract Table des gures Liste des tableaux Introduction 1.1 Problematique 1.2 Motivation 1.3 Objective 1.4 Contribution 1.5 Environnement de stage Etat de l’art 2.1 Texture 2.2 Extraction de caracteristiques de text 2.2.1 2.2.2 2.2.3 2.2.4 2.2.5 2.3 Segmentation et classi cation de text 2.3.1 2.3.2 Segmentation de textures de lettrines 3.1 Caracteristiques de lettrines iii 3.2 Procedure de la segmentation de tex 3.3 Pre-traitement 3.3.1 3.3.2 3.4 Extraction des traits 3.4.1 3.4.2 3.4.3 3.5 Caracterisation des traits 3.5.1 3.5.2 3.5.3 3.6 Classi cation des traits 3.6.1 3.6.2 3.6.3 3.7 Segmentation des traits 3.7.1 3.7.2 Experimentation 4.1 L’environnement d’implementation 4.2 Implementation 4.3 Resultat Conclusion 5.1 Conclusion 5.2 Perspective Bibliographie iv Table des gures 1.1 Lettrine 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 Matrice de co-occurrence Fractal La dimension fractale Filtre de Gabor Le diagramme de Voronoi La triangulation de Delaunay Divise and conquer Balayage 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 3.10 3.11 3.12 3.13 3.14 3.15 3.16 3.17 3.18 3.19 3.20 3.21 Otsu Binarisation Bruits La couleur de traits La couleur de traits Squelettisation La transformation en distance Les pixels de candidat La longueur L’epaisseur L’epaisseur approximative Transformee de Radon Projection d’un angle dans la transforme de Radon Exemple d’orientation des traits La courbure de traits La vision humaine sur la longueur La longueur relative du trait La construction d’arbre Les distances de groupage La territoire de traits Une categorie de texture dans une image 4.1 4.2 4.3 4.4 Decoupage de la lettre H Erreur de fusion des traits Des points Des bruits v 5.1 La repetition des primitives 5.2 La repetition des graviers vi Liste des tableaux 2.1 Indices de matrice de co-occurrence 3.1 Procedure de segmentation de textures de lettrines 3.2 La structure de donnees de texture d’images 3.3 L’exemple de la description de texture vii Chapitre Introduction 1.1 Problematique Aujourd’hui, nous pouvons trouver facilement des applications de l’informatique dans la plupart des domaines de la vie Dans les domaines qui re-exploitent des documents, en particulier, avec des grosses masses de document, l’informatique s’ex-prime comme un outil tres utilise Dans ce contexte, le traitement d’image fait une grande contribution Il realise automatiquement des traitements sur les images : analyse, caracterisation, detection des informations interessantes, segmentation des zones homogenes, Ces resultats nous permettent de developper des applications d’indexation ou celles de recherche basees sur le contenu d’image Ce stage s’integre dans le projet NAVIDOMASS Le but de celui-ci est de creer un outil qui permette d’indexer des images par le contenu pour faciliter le travail des historiens Les images que nous traitons sont des lettrines (images de lettre de-corees) (les images de la gure 1.1) sont di ciles a traiter et a reconna^tre de part la masse d’informations qu’elles contiennent Cette information est di cile a isoler et a segmenter (a) (b) (c) Fig 1.1 { Lettrine NAVigation Into DOcument MASSes - Navigation dans des masses de documents (http ://l3iexp.univlr.fr/navidomass/) 1.2 Motivation Pour indexer des images par le contenu, nous devons faire d’abord l’etude du contenu de l’image Cette etude peut correspondre simplement a l’extraction de caracteristiques globales, comme l’histogramme des couleurs par exemple Cependant, ce type de caracteristique n’est pas su sant et l’indexation d’images ne donne pas de resultats satisfaisant C’est pourquoi nous avons pens a extraire des caracteristiques de di erentes zones de l’image Cela pose encore une fois un autre probleme qui n’est pas toujours facile a resoudre : la segmentation d’images Il est couramment utilise des criteres de similarite pour segmenter l’image en zones Par exemple, nous pourrions utiliser le niveau gris comme critere Dans le cas d’images de documents anciens, le niveau gris de chaque zone segmentee varie faiblement et toutes les zones semblent homogenes, ce qui ne donne pas de resultats interessants Pour ameliorer la segmentation, nous avons cherch a utiliser d’autres caracteristiques d’image, et en particulier, nous avons principalement etudi la tex-ture puisqu’elle est une caracteristique tres particuliere des di erentes zones Les textures presentes sur des lettrines sont di erentes des textures classiques de part la nature m^eme des images Elles sont des images obtenues par impression d’un tampon sur une feuille, et sont donc composees de traits Il est donc necessaire de re-explorer les methodes de la litterature, pour les adapter ou m^eme de trouver des nouvelles methodes 1.2 Motivation Les methodes de segmentation de textures proposees dans la litterature presentent souvent des limitations Parmi ces methodes generales, nous pouvons citer celles basees sur la matrice de co-occurrence [Haralick 73, Marc Bartels 05], ou re-posant sur des ltres de Gabor [Dunn 98, Teuner 95, Dunn 95] D’autres methodes ont et elaborees pour des textures particulieres, comme les textures repetitives ou naturelles Bien que ces methodes fonctionnent assez bien dans les experimentations, les resultats obtenus en application reelle sur nos images ne sont pas satisfaisants Chaque type de texture a des caracteristiques particulieres, auxquels il faut associer des methodes adaptees Les lettrines sont des images composees de traits (la gure 1.1) Pour les segmenter convenablement, il conviendra d’extraire les traits qui les composent Ce stage propose une methode qui calcule des statistiques sur les traits qui composent la texture des lettrines Cette approche di ere des approches classiques qui operent generalement au niveau des pixels Les methodes de segmentation a base de calcul de primitives sur des textures presentent deux grands avantages : { Analyse la texture de maniere similaire a la vision humaine Les operations realisees au niveau des pixels ne collent pas directement a la vision humaine, contrairement a notre approche qui repose sur des calculs de statistiques et des comparaisons au niveau de primitives textures { Diminuer le temps de calcul dans la phase de classi cation, puisqu’il n’est plus 32 3.6 Classi cation des traits sans conna^tre le nombre de classe prealablement 3.6.1 Distance Pour classi er des traits, nous devons de nir d’abord une distance entre deux vecteurs de caracteristiques de trait, qui exprime la similarite ou la di erence entre deux traits Une bonne distance doit bien representer ces notions, c’est a dire que la distance entre deux traits di erents est plus grande que celle entre deux traits similaires Nous avons trois caracteristiques pour chaque vecteur, l’epaisseur est toujours importance pour la di erenciation tandis que l’importance de deux autres caracte-ristiques est variee L’orientation et la courbure deviennent moins importantes si les traits a comparer sont trop court Nous essayons d’utiliser la distance connue euclidienne pour les traits, avec deux traits et leurs caracteristiques (l’epaisseur, l’orientation et la courbure, tour a tour) : t = (e1; o1; c1); t2 = (e2; o2; c2), cette distance est de nie par la formule 3.7 Cependant, cette En raison de cela, nous utilisons des poids di erents pour exprimer l’importance des caracteristiques dans la distance, une caracteristique est un element important de la distance si le poids equivalent est grand Dans ce cas, nous assignons un grand poids a l’epaisseur et des petits poids pour les deux autres caracteristiques Ici, nous xons le poids de l’epaisseur a (pe = 1), les autres poids varient en fonction des segments (0; 1) (po; pc (0; 1)) : d= De plus, du trait Il faut donc que nous de nissions les poids en fonction de la longueur du trait En fait, pour la vision humaine, les caracteristiques "long" et "court" d’un trait dependent a la fois de la longueur et de l’epaisseur Nous pensons que deux traits de m^eme longueur paraitront di erents si leurs epaisseurs sont di erentes (la gure 3.16) C’est pour cela que nous avons de ni une longueur relative du trait (la formule 3.9) l relative = Avec l soit la longueur reelle (par pixel) du squelette du trait et e la moitie de l’epaisseur reelle du trait (e est la l’epaisseur extraite du squelette, voir la gure 3.17) Maintenant, nous precisons une regle pour les poids en fonction de cette longueur relative : po = pc = si lrelative 2, p = p = l o c relative si l relative < 33 3.6 Classi cation des traits (a) (b) Fig 3.16 { La vision humaine sur la longueur Fig 3.17 { La longueur relative du trait 34 3.6 Classi cation des traits 3.6.2 Construction d’arbre de grappes Pour classi er des traits par la methode hierarchique, nous devons d’abord construire l’arbre de grappes des traits, c’est l’etape principale de la classi cation Dans cette construction, quand nous avons plus d’une grappe, nous groupons les deux grappes les plus proches au sein d’une m^eme grappe (la gure 3.18) Pour reconna^tre deux grappes plus proches, nous appliquons la distance de nie precedem-ment La distance entre deux grappes (la distance de fusion) est la distance entre deux traits plus proches qui appartiennent a deux grappes di erentes Au debut, nous considerons que chaque trait est une grappe Fig 3.18 { La construction d’arbre A la n de cette construction, nous avons un arbre binaire qui nous permet de classi er facilement les traits avec le nombre de classe precis ou l’inconsistance maximum d’un sous-arbre (la section 3.6.3) 3.6.3 Inconsistance L’inconsistance d’un sous-arbre est un critere pour decider de la conservation ou de la fusion de deux sous-arbres Avec un seuil d’inconsistance precis par avant, nous conservons un sous-arbre si son inconsistance est inferieure a ce seuil, par contre, nous le coupons sinon Le calcul de l’inconsistance nous demande de tracer tout le sous-arbre, cepen-dant, pour simpli er la methode et ameliorer la performance de l’algorithme, nous utilisons seulement trois distances de fusion, un de ce sousarbre (d1), deux autres de deux de ses sous-arbres immediats (d et d3) (la gure 3.19) L’inconsistance est calculee par la formule 3.10 I= 35 3.7 Segmentation des traits Fig 3.19 { Les distances de groupage Avec d = En fait, ce calcul compare la distance d’interclasse (d 1) et les distances des in-traclasses (d2; d3) Quand I augmente, c’est a dire que d1 est loin de d2 et d3, l’appropriation de grouper les deux sous-grappes diminue En outre, nous pouvons egalement utiliser des autres criteres pour faire la clas-si cation avec l’arbre des grappes Par exemple, nous pouvons utiliser la profondeur de l’arbre ou le nombre de classes pour classi er Cependant, l’utilisation ces criteres est moine interessante pour les images de lettrines 3.7 Segmentation des traits Avec les resultats de classi cation, nous pouvons simplement rassembler les traits par groupes Chaque groupe contient des traits voisins de m^eme classe Donc, notre probleme est de trouver une methode pour de nir le voisinage des traits 3.7.1 Voisinage Dans les images de lettrines, il y a des traits et le fond Normalement, nous pouvons utiliser le critere de distance pour dire que deux objets sont voisins, par exemple, les objets avec leur distance a un objet inferieure a un certain seuil sont ses voisins Ou bien, les voisins d’un objet sont les objets a c^ote de lui (qui le touchent) Nous ne pouvons pas directement appliquer ces methodes pour les traits, puisqu’il 36 3.7 Segmentation des traits est di cile de preciser un seuil de distance De plus, les traits sont distribues aleatoirement, et en outre, les traits ne se touchent pas Pour resoudre ce probleme, nous cherchons une facon de reconna^tre qu’un trait est a c^ote d’un autre Pour le faire, nous proposons la notion de "territoire" d’un trait Dans une image I, le territoire t(s) d’un trait s est une partie de cette image qui comprend ce trait et une partie du fond adjacent satisfaisante : t(s1) \ t(s2) = ; 8s1 6= s2 S s2S(I) t(s) = I avec S(I) soit l’ensemble de tous les traits dans l’image I Avec cette notion, nous de nissons que deux traits sont voisins si leurs territoires sont adjacents, c’est a dire qu’ils se touchent ou que leur union est une zone connexe Cependant, cette notion de territoire est trop generale et on peut preciser des territoires di erents pour une image Nous devons proprement preciser le territoire de traits qui est utile pour la segmentation de traits Nous pouvons utiliser la segmentation par ligne de partage des eaux (watershed [Gonzales 02]) ou par dilatation pour extraire des territoires Au debut, le territoire d’un trait est lui-m^eme Nous repetons la dilatation suivante : pour chaque terri-toire, s’il y a des pixels connexes libres (qui n’a pas de territoire), nous les ajoutons a ce territoire La dilatation s’arr^ete quand il n’y a aucun pixel libre La gure 3.20 montre le territoire sortie avec des traits blancs Les territoires sont separes par des courbes noires Fig 3.20 { La territoire de traits Maintenant que nous avons obtenu des traits a partir des etapes precedentes, nous allons fusionner les traits voisins appartenant a la m^eme classe 37 3.7 Segmentation des traits 3.7.2 Description de texture d’une image A n de faciliter les etapes d’indexation et de recherche d’images de lettrines, nous proposons aussi une structure pour decrire les textures classi ees et segmentees de l’image de lettrines Pour chaque image, nous utilisons un tableau pour sauvegar-der les informations de textures, qui decrit l’information sur les types de textures, la surface equivalente dans l’images et le centre de gravite (la structure 3.2) Le centre de gravite nous o re l’information generale sur la position des textures d’une type Epaisseur Orientation Courbure Taux de surface Centre de gravite Tab 3.2 { La structure de donnees de texture d’images Par exemple, la gure 3.3 montre la description de la texture montre dans la gure 3.21 (b) (les zones noires) Epaisseur 2.6 Tab 3.3 { L’exemple de la description de texture (a) (b) Fig 3.21 { Une categorie de texture dans une image 38 Chapitre Experimentation Dans ce chapitre, nous montrons nos experimentations de classi cation et seg-mentation des images de lettrines pour interpreter la performance de la procedure que nous avons propose pour classi er et segmenter des textures d’images de let-trines 4.1 L’environnement d’implementation Nous avons realis les algorithmes sur Matlab, qui nous permet de facilement implementer ces algorithmes de visions par ordinateurs Par exemple, l’algorithme des lignes de partage des eaux (watershed), squelettisation, les operations sur des matrices et des images Nous travaillons a la fois sur Ubuntu 9.04 et MS Windows XP 4.2 Implementation Nous avons test cette methode sur 916 images de lettrine, qui sont des images en niveaux de gris Ces images sont binarisees par la methode d’Otsu (section 3.3.1), les sorties sont sauvegardees sous forme d’image Ces images binaires servent d’entree pour les etapes suivantes : pre-traitement (debruitage, extraction de la couleur des traits), extraction des traits et extraction des caracteristiques des traits Les sorties de notre systeme sont la position des traits et les caracteristiques equivalentes, qui sont sauvegardees dans deux matrice (une pour la position et l’autre pour les ca-racteristiques) Dans la matrice de position de trait, la valeur equivalente de chaque pixel dans l’image origine est le label de trait En suite, nous realisons des classi cations sur les caracteristiques extraites et les segmentons (les sections 3.6 et 3.7) Le resultat est sauvegard sous forme de matrice et peut ^etre a che de maniere coloree Chaque sortie est une matrice de taille identique a celle de l’image d’entree La valeur de chaque pixel correspond a la classe du trait 39 4.3 Resultat 4.3 Resultat Le but initial de ce stage est de developper une methode de segmentation proche de la vision humaine La methode que nous proposons fonctionne assez bien, c’est a dire, qu’elle donne des resultats agreables a observer L’evaluation quantitative n’est pas facile a faire dans ce cas, et est liee a une evaluation qualitative L’algorithme d’extraction de trait est la cause principale de la separation d’el ments qui sont proche pour la vision humaine Par exemple, une lettre "H" peut ^etre coupee en trois traits (la gure 4.1) Fig 4.1 { Decoupage de la lettre H En detail, on peut diviser les textures en deux categories : assez grosse et ne, mais ceci impose des evaluations qualitatives di erentes Pour les textures assez grosses, cette methode fonctionne bien C’est la categorie de textures majoritaire dans les images de lettrines, qui ont un r^ole important dans l’indexation et la recherche d’image Les textures assez grosses correspondent a des traits importants, elles peuvent correspondre a la lettre, a des gros traits ou des parties du fond qui est colore avec une seule couleur La methode extrait bien des traits et les analyse facilement (extraction des caracteristiques de traits : l’epaisseur, l’orientation et la courbure) Cependant, dans quelques images de lettrines, la me-thode confond ces textures parce qu’elles sont tres similaires et elle ne fonctionne pas comme nous le voudrions Par exemple, si la lettre est coupee et une des ses parties est similaire aux parties du fond, la methode va fusionner ces parties a un segment (la gure 4.2) Les textures nes, qui peuvent ^etre des petits points ou des bruits, sont di ciles a segmenter et l’extraction de leurs caracteristiques est di cile Par exemple, pour ces traits, les petits changements sur l’epaisseur ont un grand e et Cependant, ces changements apparaissent souvent avec des operations sur des images (creation, re40 4.3 Resultat Fig 4.2 { Erreur de fusion des traits production) En outre, avec les points, l’extraction de l’orientation est tres di ciles et la methode ne regroupe pas des points similaires (la gure 4.3) De plus, ces points peuvent ^etre du bruit qui cause des erreurs d’extraction des traits (la gure 4.4) Fig 4.3 { Des points 41 4.3 Resultat Fig 4.4 { Des bruits 42 Chapitre Conclusion 5.1 Conclusion Dans ce stage, nous avons fait une recherche de methode de classi cation et seg-mentation des textures dans les images de lettrines Pour ce faire, nous avons d’abord fait une recherche sur des methodes existantes d’extraction, de classi cation et de segmentation des textures En suite, nous avons etudie des caracteristiques de l’image de lettrines et nous avons trouve qu’elles contenaient des traits Nous avons donc cherch a classi er les textures a partir de ces traits Nous avons alors propose une procedure pour classi er et segmenter les images de lettrines a partir de ces traits, reposant sur deux principales etapes : l’extraction des caracteristiques de traits et la classi cation des traits Dans cette methode, nous considerons que le trait est la primitive de texture En ce qui concerne l’evaluation de methode, l’implementation de cette procedure nous donne des resultats interessants 5.2 Perspective Pour la suite de cette methode, nous proposons quelques idees : { Analyse de texture basee sur des primitives : nous pouvons trouver plusieurs types de textures, qui est une repetition des primitives, par exemple, un mur est la repetition des briques (la gure 5.1 (a)), la mer est la repetition des ondes (la gure 5.1 (b)) Pour segmenter ces textures, nous extractions des primitives et les comparons { Re-exploitation des methodes pour adapter aux primitives : dans certaines types de textures, il y a la repetition des primitives Cependant, cette re-petition n’est pas immediate, c’est-a-dire, l’une a c^ote autre Par exemple, une allee rev^etue de gravier avec des gravier de couleurs di erentes (la gure 5.2), chaque gravier est une primitive, s’il y a une loi de distribution de ces gra-viers, il faut que nous cherchions cette loi Nous pouvons utiliser d’anciennes methodes pour les primitives Par exemple, la matrice de co-occurrence peut nous donner des informations sur la frequence ou l’orientation des repetitions 43 5.2 Perspective (a) (b) Fig 5.1 { La repetition des primitives Fig 5.2 { La repetition des graviers 44 Bibliographie [AlainBoucher 08] AlainBoucher Cours Vision Par Ordinateur, 2008 [Besag 74] [CESR 09] [Chen 00] [Cross 83] [Derin 87] [Dunn 95] [Dunn 98] [Gonzales 02] [Haralick 73] [Iftene 04] [Karathanassi 00] V Karathanassi, C Iossi dis & D Rokos A texture-based classication method for classifying built areas according to their density In International Journal of Remote Sensing, Volume 21, Number 9, pages 1807{1823 Taylor and Francis Ltd, 2000 45 [Marc Bartels 05] David C Mason Marc Bartels Hong Wei Wavelet Packets and Co-occurrence Matrices for Texture-based Image Segmentation IEEE Trans., 2005 [Pratt 07] W Pratt Digital image processing Wiley, 2007 [Teuner 95] A Teuner, O Pichler & B J Hosticka Unsupervised texture segmentation of images using tuned matched Gabor lters IEEE Tr Im Proc., vol 4, no 6, pages 863{870, June 1995 46 ... Segmentation des traits 3.7.2 Description de texture d? ?une image A n de faciliter les etapes d’indexation et de recherche d’images de lettrines, nous proposons aussi une structure pour decrire les textures. .. represente l? ?image par des zones segmentees, elle reprend seulement des informations interessantes des textures contenues dans une image Cette structure facilite la demarche d’indexation et de recherche... partitionnement de donnees Pour ces deux operations, nous devons realiser la phase commune : extraction de caracteristiques de texture 2.2 Extraction de caracteristiques de textures Bien que les textures