Capture de Mouvements robustes aux parties cachées = Nắm bắt chuyển động cứng trong các phần bị che lấp

UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL - DO THANH BINH CAPTURE DE MOUVEMENTS ROBUSTES AUX PARTIES CACHÉES NẮM BẮT CHUYỂN ĐỘNG CỨNG TRONG CÁC PHẦN BỊ CHE LẤP MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOI – 2015 UNIVERSITE NATIONALE DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL - DO THANH BINH CAPTURE DE MOUVEMENTS ROBUSTES AUX PARTIES CACHÉES NẮM BẮT CHUYỂN ĐỘNG CỨNG TRONG CÁC PHẦN BỊ CHE LẤP Spécialité: Systèmes Intelligents et Multimédia Code: Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de: Dr Alexandre MEYER, Mtre de conférence Lu et validé, bon pour soutenance HANOI – 2015 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a été bien précisée LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình khác Các thơng tin trích dẫn Luận văn rõ nguồn gốc DO THANH BINH Table des matières Table des matières v Remerciements vi Résumé vii Abstract viii Liste des figures x Liste des tableaux xi INTRODUCTION Chapitre REVUE BIBLIOGRAPHIQUE 1.1 L’ état de l’art 1.1.1 Méthode basée sur l’interpolation 1.1.2 Méthode basée sur le squelette 1.1.3 Méthode basée sur la matrice de corrélation 1.1.4 Méthode basée sur orientées données 1.1.5 Graphe d’animation 1.1.6 Commentaires sur le graphe d’animation 5 8 9 10 12 Chapitre SOLUTION PROPOSÉE 2.1 Graphe non-structuré d’animation 2.1.1 Point de vue générale sur le graphe d’animation 2.1.2 L’idée de base pour construire le graphe d’animation universelle 2.2 Détecter la transition 2.2.1 Une distance métrique pour les motions 2.2.2 Sélection de points de transition 2.2.3 Élagage du Graphe 2.2.4 Évaluation les métriques de distance 2.2.5 Méthode proposé-le Graphe d’animation universelle 2.3 Technique de mélange des mouvements 2.3.1 TimeWarping-technique de l’interpolation 2.3.2 La mise l’échelle de temps(Time Scaling) 13 13 13 17 20 20 22 24 25 25 25 25 29 Chapitre IMPLÉMENTATION ET RÉSULTATS 3.1 La conception du système 3.2 Implémentation 3.2.1 Chargement et sauvegarde les motions 3.2.2 Détecter des extrémités 3.2.3 La méthode d’optimisation de NewTon 31 31 32 32 38 38 iv TABLE DES MATIÈRES 3.2.4 Élaguer le graphe d’animation 3.2.5 Extraire les motions 3.3 Évaluation 3.3.1 Test case 3.3.2 Test case avec la base de CMU v 39 40 40 41 44 CONCLUSION 46 Références 48 Remerciements Je voudrais remercier, avant tout, tous ceux qui ont rendu cette expérience possible, et très enrichissante Je tiens remercier dans un premier temps, ma mère et ma famille Je remercie également Monsieur Alexandre Meyer, mon tuteur pédagogique attitré, pour ses conseils concernant la mission de ce stage, conseils qui m’ont permis de prendre du recul par rapport mes tâches et aux différents aspects techniques Je souhaite remercier toute l’équipe pédagogique du IFI et les intervenants professionnels responsables de la formation, pour avoir assuré la partie académique de celleci Je remercie M HO Tuong Vinh et M NGUYEN Hong Quang pour leurs conseils sur les critères de choix d’une formation de 2ème cycle en Intelligence artificielle, qui ont facilité mon orientation l’origine de mon inscription en Master SIM Je tiens remercier tout particulièrement et témoigner toute ma reconnaissance aux membres de l’équipe Capture Motion, pour l’expérience enrichissante qu’elles m’ont permis de vivre durant ces six mois au sein du LIRIS-Nautibus J’adresse mes remerciements Monsieur Erwan Guillou, pour m’avoir intégré rapidement au sein du laboratoire et m’avoir accordé toute sa confiance ; pour le temps qu’il m’a consacré tout au long de cette période, sachant répondre toutes mes interrogations Je témoigne toute ma reconnaissance aux personnes suivantes :M TRAN Dinh Tin,M TRAN Huu Viet,M NGO Minh Duc, ainsi que l’ensemble des membres de l’équipe INSA pour leur accueil sympathique et leur coopération professionnelle tout au long de ces six mois Tous ceux qui ont délivré des conseils techniques sur la planification de mouvements, la cinématique inverse et les algorithmes de Tarjan vi Résumé Les systèmes de capture de mouvement utilisent classiquement plusieurs dizaines de caméras pour reconstruire les mouvements basés squelette de personne évoluant dans un décor souvent minimaliste Pour rendre ces techniques utilisables dans un contexte plus large comme par exemple avec moins de caméras et/ou avec des décors plus complets, un certains nombres de verrous devront être levés Un des verrous important sera d’être capables de compléter une information manquante car non visible, comme par exemple une partie du corps caché par le décor ou caché par une autre personne Dans le cas de la capture du squelette d’un acteur, lorsqu’une partie est cachée -par exemple les jambes par un élément de décor, ou un bras par un autre acteur- les solutions explorer chercheront "comprendre" le type de mouvement en cours avec les pas de temps précédents afin de compléter l’information manquante Cette analyse du mouvement pourra également servir accélérer les calculs en réduisant l’espace explorer pour la détection de la pose courante Dans ce cadre, différentes pistes ont eu envisagées comme la méthodes d’interpolation, la méthode basée sur le squelette, la méthode basée sur le matrice, etc Dans le cas de la capture du mouvement des personnages, on peut imaginer qu’une simulation physique puisse fournir une information manquante voir guider la capture quand l’information est partielle Donc, nous avons proposé l’utilisation d’un graphe d’animation universelle pour cela fait Graphe d’animation est une technique qui relie les trames similaires dans la base de données de capture de mouvement utilisant des transitions La qualité du graphe d’animation dépend entièrement sur les points de transition choisis Pour créer des transitions entre les trames semblables, la métrique de similitude est utilisée pour comparer les trames en fonction des contraintes basées sur la physique et la qualité visuelle Nous avons combiné le graphe d’animation et les techniques d’interpolation Ces techniques se divisent motions dans un comportement similaire et puis regrouper les segments similaires pour créer l’interpolation et des transitions douces Pour ce stage, nous avons construit un outil pour faire les taches suivant : — Lire les données supportées sous la forme des BVH fichier — Utiliser les quaternions et techniques d’interpolation pour mélanger des mouvement — Construire le graphe d’animation en combinant les différents métriques de la distance — Effectuer les algorithmes de recherche comme A*, Tarjan sur le graphe d’animation — Extraire le graphe d’animation pour synthétiser des motions conforme au but des utilisateur Mots clés : {capture de mouvement, marqueurs occlus, interpolation, graphe nonstructuré d’animation , timewarping,techniques d’animations.} vii Abstract Motion capture, or mocap, is an extensive technique for capturing and analyzing human articulations Mocap data have been longtime used in the domain of computer graphics to animate figures in motion pictures and video games There are many cases when markers can be disapeared due to some conditions , for example occluded by props, limbs, bodies or other markers (occulusions or ambiguities) It is also not unusual that positions of some markers can be missing for a long period of time Obtaining human body shape and motion from such motion-capture data is an inherently difficult task Although many methods have been developed to handle this problem, most procedures require manual intervention and can’t be used with diverse motions, high percentage of missing markers, and/or extended occlusions These days, there are about four principal technics being used for treating the problem First of all, is the Interpolation based technics which use the avaiable marker to infer the missing entries Secondly, the skeleton based methode which take on account of kinematic or bone-length to regularize the meaningful human pose (skeletal animation) Thirdly, the matrix based which employ the linear or non linear correlation of motion matrix to estimatie the missing markers The last one is data driven based method employing an established database that consist of similar motions to reconstruct the missing entries We propose a data-driven method, synthesizing motions from Motion Graphs, this approach to estimate missing marker can be useful in this scenario The collection of motion sequences (training set) could be represented as a directed graph Each frame would be a node There would be an edge from every frame to every frame that could follow it in an acceptable splice In this graph, there would be (at least) an edge from the kth frame to the (k + 1)th frame in each sequence This graph is not a particularly helpful representation because it is extremely large, we can easily have tens of thousands of nodes and hundreds of thousands of edges that obscures the structure of the sequences Instead, we collapse all the nodes (frames) by pruning the graph Since edges connect frames, they are labelled with the frames in the incident nodes (motion sequences) that they originate from and they point to We also assume that the edges in G are attached a cost value which tells us the cost of connecting the incident frames If cutting from one sequence to another along an edge introduces a discontinuous motion, then the cost attached to the edge is high For a new sequence with missing markers, we use a pre-trained Motion Graph to identify the most appropriate motion by many related Graph Searching methods Our experimental results demonstrate that our generic Motion Graphs works well with heterogeneous motion data Keyword : { Motion capture,missing marker, interpolation, motion graph, timewarping } viii Liste des figures Les activités scientifiques du Liris 1.1 1.2 Schéma général Trois approches principales basées sur : l’interpolation, squelette et matrice Point de vue générale sur le Graphe d’animation 1.3 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 la Point de vue générale sur le Graphe d’animation Étape communes pour construire le graphe non structuré d’animation Synthétiser mouvements humains par aboutement des éléments de données existants Source :Interactive Motion Generation from ExamplesOkan Arikan Prétraitement des données de mouvement Source :Interactive Control of Avatars Animated with Human Motion Data Jehee Lee Graphe d’animation Clips de mouvement transitions entre clips Graphe orienté obtenu Une marche sur le graphe Créer nouveaux mouvements Chaque articulation a l’effet différent [1] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion Chaque seuil a l’effet différent [1] Source :Automated Methods for DataDriven Synthesis of Realistic and Controllable Human Motion Ajouter la transition sur le local minimum [2] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion élagage du graphe [2] Source :Automated Methods for Data-Driven Synthesis of Realistic and Controllable Human Motion représentation 3D de personnage [2] Deux os connectés par des articulations, où un articulation est le parent de l’autre Un articulation de bras est tourné, et les enfants de cette articulation en rotation avec lui L’effet de déplacement et la rotation d’un articulation [2] Image Source : Project Motion Blending Kristine Slot La transformation de l’articulation racine change tous les autres articulations [2] Image Source : Project Motion Blending Kristine Slot L’exemple de mélanger linéairement deux motions [2] Image Source : Project Motion Blending Kristine Slot ix 11 14 14 16 17 18 18 19 19 20 20 20 22 23 24 26 26 26 27 27 29 LISTE DES FIGURES 2.21 Mélange entre "Marcher et courir" Source : Lecture Note − Motion Blending (Interpolation and Timewarping) Jehee Lee 2.22 Time Scaling [3] Source : Lecture Note − Motion Blending (Interpolation and Timewarping) Jehee Lee 2.23 sequence de base L 2.24 re-échantillonnage : M(t) = (1 − α) M (ti ) α( M(ti+1 ), α = t t−−ti t i +1 i 2.25 La résolution la discontinuité de la vitesse [3] Source : Lecture Note − Motion Blending (Interpolation and Timewarping) Jehee Lee 3.1 3.2 Conception le système Squelette structuré Source : Meredith, M.& Maddock, S (2001) Motion Capture File Formats Explained 3.3 La première partie du BVH fichier 3.4 La deuxième partie du BVH fichier 3.5 Les extrémités d’un personnage [2] 3.6 Le pied patinage [2] 3.7 premier pose de mouvement dans le graphe d’animation 3.8 Deuxième pose de mouvement dans le graphe d’animation 3.9 représentation le pose d’interpolation 3.10 La transition lisse entre deux poses x 29 30 30 30 30 31 33 34 35 42 43 43 43 44 44 ... interactives Il est difficile de trouver des mouvements de transitions qui répondent aux contraintes spécifiques sans utilisant les méthodes de recherche mondiaux Plusieurs chercheurs ont étendu non... 10-10-2015 LISTE DES TABLEAUX tion vers les environnements de Réalité Augmentée La description de telles scènes a conduit au développement des deux thèmes de recherche suivants : — Capture, analyse,... dans la base de données de capture de mouvement utilisant des transitions Des approches utilisant le graphe d’animation visent réutiliser les données de capture de mouvement Cette méthode est une