Deep learning based food calorie estimation ước tính lượng calo thực phẩm dựa trên học tập sâu

Ước tính lượng calo thực phẩm dựa học tập sâu UNIVERSITÉ NATIONALE DU VIETNAM À HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL Frederic BANGADINGAR Deep Learning-Based Food Calorie Estimation Ước tính lượng calo thực phẩm dựa học tập sâu Spécialité : Systèmes Intelligents et Multimédia (SIM) Code : Programme pilote MEMOIRE DE FIN D’ETUDE DE MASTER EN INFORMATIQUE Sous la direction de : PhD NGUYEN Trong, enseignant chercheur l’université de transport de Hanoi et responsable du laboratoire de recherche et développement de IFI Solution HANOÏ-2019 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La Source des informations citées dans ce mémoire a été bien précisée Signature de l’étudiant Frederic BANGADINGAR Remerciement Que soient ici remercie le DR Nguyen Trong Phuc pour son encadrement et ses conseils avisés qui m’ont permis d’évoluer et d’acquérir ainsi de nouvelles connaissances et compétences dans la conduite des projets de recherche Le DR HO Tuong Vinh qui m’a permis de postuler IFI Solution et M Dinh van Hoan qui a facilité notre intégration et a proposé le sujet de stage S’il est impossible de mentionner les nombreuses personnes ayant contribué la réalisation de cette étude, je me permets néanmoins d’exprimer toute ma gratitude Mr Bairia césar Dering, Mm Fidelia BANGADINGAR, ma maman Delphine Naimbaye, mes Frères et soeurs pour le soutien et les encouragements Enfin, je tiens remercier particulièrement titre posthume mon père BANGADINGAR NGARBE sans ses efforts mes études n’auront jamais été rendues possibles i Table des matières Introduction 1 Présentation du projet 1.1 Structure d’accueil 1.1.1 Contexte du projet 1.1.2 Problématique 1.1.3 Objectifs du stage 1.2 Limitation 1.3 Contributions État de l’art 2.1 Approche classique 2.2 Approche basée sur le deep-learning 2.2.1 Le CNN 2.2.2 R-CNN(Regions and Convolutional Neural Networks) 10 2.2.3 Fast R-CNN 11 2.2.4 Faster R-CNN 12 2.2.5 Mobilenet ssd 16 2.2.6 Single Shot Multibox Detector (SSD) 17 2.2.7 YOLO 18 2.2.8 Architecture de quelques reseau de neurones a convolutions 20 2.2.9 Revue de litterature 22 2.2.10 Tableau Récapitulatif des articles 27 ii Table des matières iii Solution proposée 29 3.1 Préparation du jeu de données 30 3.2 Modèles 31 3.2.1 Faster R-CNN 31 3.2.2 Mobilenet SSD 31 3.2.3 Optimisation des modèles 33 3.2.4 Intégration au mobile 33 3.2.5 Intégration l’application mobile 34 3.2.6 Evaluation de nos modèles 34 3.2.7 Intersection over Union (IoU) 35 3.2.8 mAP 36 Expérimentations et Résultats 37 4.1 Introduction 37 4.2 Résultats 37 4.2.1 La mAP 37 4.2.2 Scenario de test 40 4.2.3 Etude comparative 42 4.2.4 Bilan du stage 43 CONCLUSION ET PERSPECTIVES 44 Annexe 45 Table des figures 2.1 schema global du cnn [2] 2.2 illustration d’une operation de convolution [3] 2.3 illustration d’une operation de pooling [4] 2.4 illustration d’une operation de Relu [5] 10 2.5 illustration du fonctionnement du R-CNN [6] 11 2.6 illustration du fonctionnement du fast R-CNN [7] 12 2.7 illustration du fonctionnement du Faster R-CNN [8] 13 2.8 illustration du fonctionnement de la couche RPN [9] 14 2.9 illustration du fonctionnement de la couche RPN [10] 15 2.10 illustration du fonctionnement de la couche de classification [11] 16 2.11 couche de convolution mobilenet [12] 17 2.12 operation regression yolo [15] 19 2.13 operation regression yolo [15] 20 2.14 operation suppression max sur couche yolo [15] 20 2.15 architecture letnet-5 [16] 21 2.16 architecture de l’inception [17] 21 2.17 architecture alexnet [18] 22 2.18 architeture du modele utilise dans l’article1 [19] 23 2.19 architecture du modele article [20] 25 2.20 interprétation des valeurs IoU [21] 26 2.21 Resultat de lárticle3 [21] 27 3.1 29 Illustration de la solution proposée [21] iv Table des figures v 3.2 Illustration de l’operation de labelisation 30 3.3 Architecture de mobilenet ssd [22] 32 3.4 architecture de la solution proposee pour le mobile [24] 33 3.5 architecture de la solution proposee pour le mobile [24] 34 3.6 Calcul de l’IoU travers les cadres de prédictions [23] 35 4.1 Courbe de perte totale du modele Faster R-CNN 38 4.2 Courbe de perte totale du modele Faster R-CNN 39 4.3 Test thi kho tau sur ordinateur avec le modele mobilenet ssd 40 4.4 Test bo sur ordinateur avec le modele mobilenet ssd 41 4.5 Test thi kho tau sur ordinateur avec le modele mobilenet ssd 41 4.6 Test thi kho tau sur ordinateur avec le modele mobilenet ssd 42 4.7 A gauche le menu de l’application et a la droite detection de bun cha 45 4.8 A gauche detection et estimation du ban bao et plication mobile en java Android Pour la poursuite de ce travail d’autres pistes restées explorer Les perspectives suivantes seraient envisageables : L’implémentation de l’algorithme YOLO pour le comparer aux autres implémentés La constitution d’un jeu de données avec les images recueillies sur le terrain Le développement d’une application client- service en utilisant le service dédié de google : Firebase 44 Annexe Dans cette section de faỗon dộtaillộe nos rộsultats et les courbes d’évaluation de nos deux modèles cas de l’application mobile Figure 4.7 – A gauche le menu de l’application et a la droite detection de bun cha 45 46 Annexe Figure 4.8 – A gauche detection et estimation du ban bao et a droite celui de trung op la ... INSTITUT FRANCOPHONE INTERNATIONAL Frederic BANGADINGAR Deep Learning- Based Food Calorie Estimation Ước tính lượng calo thực phẩm dựa học tập sâu Spécialité : Systèmes Intelligents et Multimédia... de detection faster r-cnn Bibliographie 1.Fu-Chen Chen , Mohammad R, Jahanshahi NB-CNN : Deep Learning- Based Crack Detection Using Convolutional Neural Network and Naıve Bayes Data Fusion,IEEE... 13/06/2019 16.G Hinton, Y Bengio et Y LeCun,LeCun, Deep Learning NIPS’15 Tutorial,2015 17.A Krizhevsky,I Sutskever,et G Hinton,Imagenet classi cation with deep convolutional neural networks.NIPS,2012