Intelligence artificielle pour la quantification automatique de la sécheresse oculaire

UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL LATORTUE BENDY Intelligence artificielle pour la quantification automatique de la sécheresse oculaire MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE HANOÏ - 2019 UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL LATORTUE BENDY Intelligence artificielle pour la quantification automatique de la sécheresse oculaire Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DU MASTER INFORMATIQUE Sous la direction de : CORTEVAL Franỗois HANOẽ - 2019 Attestation sur lhonneur J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs La source des informations citées dans ce mémoire a bien été précisée Signature de l’étudiant LATORTUE BENDY Table des matières Remerciements v Résumé Introduction vi 1.1 Contexte et cadre d’étude 1.2 Groupe Théa 1.3 Description du LaTIM 2.1 L’examen de la surface avec utilisation de colorant 2.2 Le temps de rupture du film lacrymal ou break-up time (BUT) 14 La sécheresse oculaire Spécifications des Technologies Etat de l’art 4.1 Revue de littérature de la détection automatisée du temps de rupture lacrymal (TBUT) L’apprentissage profond : de l’image la vidéo 4.3 L’utilisation de l’apprentissage profond en ophtalmologie Méthodes 16 5.1 Recueil des vidéos 16 5.2 Matériel d’acquisition utilisé 16 5.3 L’amplification de données 18 5.4 Protocol proposé 18 5.5 Description de la découpe des images 19 21 4.2 Réalisation des arborescences de fichier 14 15 6.1 Première arborescence 21 6.2 Deuxième arborescence 22 6.2.1 Description de l’annotation des images 24 Deuxième Annotation 26 6.3.1 26 6.3 6.4 14 Comparaison des Annotations Arborescence finale 27 29 Modèles pré-entrnés 30 Apprentissage par Transfert (Transfer Learning) 7.1 i 7.1.1 VGG16 30 7.1.2 Inception V3 31 7.1.3 Resnet V2 32 33 8.1 Cluster 33 8.2 Les Processeurs Graphiques GPU 33 8.3 Serveur SLURM 33 8.4 Configuration 34 8.5 Singularity 36 37 Nombre d’images traitées 37 9.1.1 Bonne qualité | Mauvaise qualité 37 9.1.2 Ouvert | Fermé 39 9.1.3 Déchirement | Pas de Déchirement Les matériels Informatique utilisés Résultats 9.1 9.2 10 11 42 Comparaison des résultats des différents modèles 46 50 Résultats finaux 10.1 Meilleur modèle par classe 10.2 Résultat deuxième annotation 50 56 63 11.1 Critique des résultats 63 11.2 Difficultés rencontrées 63 11.3 Perspectives 64 Discussion ii Table des figures Intelligence Artificielle Apprentissage Automatique Modèle Apprentissage supervisé Apprentissage non-supervisé 10 Apprentissage par renforcement 10 Classifieur / Régresseur 11 Mode de Fonctionnement d’un réseau de neurones 12 Photographie d’une lampe fente Haag Streit BQ 900 avec module d’acquisition CM 900 17 10 Le SL-D4 fait partie de la série D de Topcon Digital Slit Lamps 18 11 Arborescence correspondant aux vidéos découpées 22 12 Partie du code permettant d’extraire les images 23 13 Arborescence correspondant aux images annoter 24 14 Image avec zones de rupture du film lacrymal (flèches orange) 25 15 Tableau type d’annotation des images 26 16 Arborescence correspondant la répartition des images en sous-groupes 28 17 Branche d’Apprentissage par Transfert 29 18 VGG16 31 19 Inception V3 32 20 Resnet V2 32 21 Singularity 36 22 Stastiques de la classe qualité du dossier d’entrnement 37 23 Stastiques de la classe qualité du dossier de Validation 38 24 Stastiques de la classe qualité du dossier de Test 39 25 Stastiques de la classe Ouvert/Fermé du dossier d’entrnement 40 26 Stastiques de la classe Ouvert/Fermé du dossier de Validation 41 27 Stastiques de la classe Ouvert/Fermé du dossier de Test 42 28 Stastiques de la classe Déchiré/Non Déchiré du dossier d’entrnement 43 29 Stastiques de la classe Déchiré/Non Déchiré du dossier de Validation 44 30 Stastiques de la classe Déchiré/Non Déchiré du dossier de Test 45 31 Quantité d’image pour chaque classe 46 iii 32 Aires sous la courbe des courbes ROC pour les trois premiers réseaux de neurones comparés pour la classe qualité 33 Aires sous la courbe des courbes ROC pour les trois premiers réseaux de neurones comparés pour la classe ouverture palpébrale 34 47 48 Aires sous la courbe des courbes ROC pour les trois premiers réseaux de neurones comparés pour la classe déchirure du film lacrymal 49 35 AUC : 0.813 51 36 Az : 0.534 52 37 AUC : 0.9982 53 38 Az : 0.9985 54 39 AUC : 0.828 55 40 Az : 0.8720 56 41 AUC : 0.78 57 42 Az : 0.73 58 43 AUC : 0.999 59 44 Az : 0.995 60 45 AUC : 0.79 61 46 Az : 0.77 62 iv Remerciements En premier lieu, je tiens remercier DIEU le tout puissant et miséricordieux, qui m’a donné la force et la patience d’accomplir ce Modeste travail En second lieu, je tiens remercier mes mtres de stage, M Mathieu LAMARD, Ingénieur de chercheur au LaTIM, Inserm UMR 1101, et Gwénolé QUELLEC, chargé de recherche l’Inserm Un grand merci pour leur accueil chaleureux au sein de LaTIM, ainsi que pour leur patience et leurs précieux conseils Ils m’ont beaucoup appris sur les défis qu’un encadrant doit relever au quotidien Je saisis également cette occasion pour adresser mes profonds remerciements aux responsables et au personnel de Théa PHARMA Ils ont toujours été mon écoute et ont su m’apporter un soutien sans faille, notamment en ce qui concerne les démarches administratives relatives un stage l’étranger Je désire aussi remercier les professeurs de l‘Institut Francophone International et de l’Université de La Rochelle, qui m’ont fourni les outils nécessaires au bon déroulement de mon stage Je tiens particulièrement remercier M Ho Tuong Vinh, enseignant-chercheur, Institut Francophone International, Université Nationale du Vietnam qui fut le premier me soutenir dans ma démarche de recherche de stage Un grand merci ma mère et mon père, pour leurs conseils, ainsi que pour leur soutien inconditionnel, la fois moral et économique Pour finir, je voudrais remercier ma relectrice, Sherly JN-Baptiste, pour ses conseils avisés sur la rédaction de ce rapport de stage et aussi remercier mes amis qui m’ont bien supporté durant ce long parcours Abréviations AP-HP : assistance publique – hôpitaux de Paris AUC : Area under the Curve = aire sous la courbe BUT : Break up time = temps de rupture CNN : Convolutional Neural Network = réseau de neurones convolutif IA : Intelligence artificielle LAF : Lampe fente = biomicroscope ROC : Receiver Operating Characteristic = caractéristique de performance TBUT : Tear break up time = temps de rupture du film lacrymal v Résumé L’instabilité du film lacrymal est une caractéristique principale du syndrome sec oculaire L’évaluation du temps de rupture du film lacrymal après instillation de fluorescéine est ainsi un critère diagnostic majeur de cette pathologie mais demeure sujet une interprétation subjective Notre étude cherche automatiser cette détection grâce l’utilisation de l’apprentissage profond (Deep Learning) après élaboration d’une base de données d’images de rupture du film lacrymal Nous comparons différents réseaux de neurones convolutifs afin d’identifier le plus efficace Au total, 30331 images ont été analysées pour classes différentes, la première s’agit de la classe Bonne ou mauvaise qualité, la deuxième est Ouvert ou fermé et la troisième classe correspond au déchirement ou pas du film lacrymal Le meilleur modèle pour chaque classe correspond, respectivement, aux réseaux de neurones convolutifs : Resnet_V2_152 (taux d’apprentissage 0,001) avec une aire sous la courbe ROC de 0,83 pour la détection des images non interprétables, Inception_V4 (taux d’apprentissage 0,001) avec une aire sous la courbe ROC de 0,9998 pour la détection des clignements des yeux et encore Resnet_V2_152 (taux d’apprentissage 0,001) avec une aire sous la courbe ROC de 0,83 pour l’estimation de la rupture du film lacrymal Ces résultats sont encourageants, de nombreuses techniques pourraient cependant les améliorer Mots clés : Temps de rupture du film lacrymal / Tear break up time / TBUT, Réseau de neurones convolutif / Convolutional Neural Network / CNN, Sécheresse oculaire / Dry eye disease, Fluorescéine Abstract : Instability of the tear film is a main characteristic of dry eye syndrome The evaluation of the tear film break-up time after fluorescein instillation is thus a major diagnostic criterion for this pathology but remains subject to subjective interpretation Our study seeks to automate this detection through the use of Deep Learning after developing a database of tear film break-up images We compare different convolutional neural networks to identify the most effective In total, 30331 images were analyzed for different classes, the first one is the Good or Bad quality class, the second one is Open or closed and the third one is the tearing or not of the tear film The best model for each class corresponds, respectively, to convolutional neural networks : vi Resnet_V2_152 (learning rate at 0.001) with an area under the ROC curve of 0.83 for detecting non-interpretable images, Inception_V4 (learning rate at 0.001) with an area under the ROC curve of 0.9998 for detection of eye blinks and Resnet_V2_152 (learning rate at 0.001) with an area under the ROC curve of 0.83 for tear film rupture estimation These results are encouraging, but there are many techniques that could improve them vii 11.3 Perspectives La première perspective pour l’amélioration des résultats est l’augmentation de la quantité de vidéos et donc d’images traitées Celle-ci est rendu possible par le fait que le nombre de vidéos récoltées continue progresser et près d’une centaine de patient ont été présent enregistrés Une deuxième perspective est de modifier notre modèle d’intelligence artificielle qui a d’abord entrné sur des images séparées mais pourrait s’adapter des séquences d’images comme dans l’étude d’Al Hajj réalisé dans notre équipe brestoise[14] Enfin, nous avons commencé améliorer la qualité de l’annotation en demandant deux personnes supplémentaires de faire leur propre annotation des images Il demeure en effet dans certains cas une difficulté pour déterminer si un film lacrymal est rompu (contrairement la fermeture des paupières qui est plus facile déterminer) Les résultats dans chaque cas sont pratiquement rapproché pour La détection de la fermeture palpébrale (0.9985 pour Bendy et 0.9959 pour Johanne sur la base de test ), un petit écart pour la qualité (0.83 pour Bendy et 0.73 pour Johanne sur la base de test) et enfin pour la mesure du film lacrymal (0.83 pour Bendy et 0.77 pour Johanne sur la base de test) En perspective on comparera les deux interprétations avec celles d’un médecin (Anas) pour en déduire celle qui est majoritaire 64 Bibliographie [1] Doughty, M J et al A patient questionnaire approach to estimating the prevalence of dry eye symptoms in patients presenting to optometric practices across Canada Optom Vis Sci 74, 624–631 (1997) [2] Malet, F et al Dry eye disease in French elderly subjects : the Alienor Study Acta Ophthalmologica 92, e429–e436 (2014) [3] The epidemiology of dry eye disease : report of the Epidemiology Subcommittee of the International Dry Eye WorkShop (2007) Ocul Surf 5, 93–107 (2007) [4] Labbé, A et al Dry eye disease, dry eye symptoms and depression : the Beijing Eye Study British Journal of Ophthalmology 97, 1399–1403 (2013) [5] Clegg, J P., Guest, J F., Lehman, A Smith, A F The annual cost of dry eye syndrome in France, Germany, Italy, Spain, Sweden and the United Kingdom among patients managed by ophthalmologists Ophthalmic Epidemiol 13, 263–274 (2006) [6] Johnson, M E Murphy, P J The Effect of Instilled Fluorescein Solution Volume on the Values and Repeatability of TBUT Measurements : Cornea 24, 811–817 (2005) [7] Norn, M S Desiccation of the Precorneal Film Acta Ophthalmologica 47, 865–880 (1969) [8] Welch, D., Ousler, G W Abelson, M B An Approach to a More Standardized Method of Evaluating Tear Film Break-Up Time Invest Ophthalmol Vis Sci 44, 2485–2485 (2003) [9] Abràmoff, M D et al Improved Automated Detection of Diabetic Retinopathy on a Publicly Available Dataset Through Integration of Deep Learning Invest Ophthalmol Vis Sci 57, 5200–5206 (2016) [10] Al Hajj, H et al CATARACTS : Challenge on automatic tool annotation for CATARACT surgery Medical Image Analysis 52, 24–41 (2019) 65 [11] Ramos, L et al Analysis of parameters for the automatic computation of the tear film break-up time test based on CCLRU standards Computer Methods and Programs in Biomedicine 113, 715–724 (2014) [12] Yedidya, T., Hartley, R Guillon, J Automatic Detection of Pre-ocular Tear Film Break-Up Sequence in Dry Eyes in 2008 Digital Image Computing : Techniques and Applications 442–448 (2008) doi :10.1109/DICTA.2008.70 [13] Su, T., Liu, Z Chen, D Tear Film Break-Up Time Measurement Using Deep Convolutional Neural Networks for Screening Dry Eye Disease IEEE Sensors Journal 18, 6857–6862 (2018) [14] Al Hajj, H., Lamard, M., Charriere, K., Cochener, B Quellec, G Surgical tool detection in cataract surgery videos through multi-image fusion inside a convolutional neural network Conf Proc IEEE Eng Med Biol Soc 2017, 2002–2005 (2017) [15] G M Kurtzer, V Sochat, and M W Bauer, "Singularity : Scientific containers for mobility of compute," PloS one, vol 12, p e0177459, 2017 66 CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc BẢN NHẬN XÉT LUẬN VĂN THẠC SĨ RAPPORT DU MEMOIRE DE FIN D'ETUDE MASTER Về đề tài/ Sujet: Trí tuệ nhân tạo cho định lượng tự động khô hạn mắt thông thường / Intelligence artificielle pour la quantification automatique de la sécheresse oculaire Ngành/Secteur: Công nghệ thông tin/Informatique Chuyên ngành/Spécialité: Hệ thống thông minh đa phương tiện/ Systèmes Intelligents et Multimédia Mã số chuyên ngành/Code de la spécialité: Chuyên ngành thí điểm / Programme pilote Của học viên/Nom de l'étudiant: Latortue Bendy Họ tên cán phản biện/Nom du rapporteur: Pierre Henri Conze Cơ quan công tác/Établissement du rapporteur: IMT Atlantique Tính cấp thiết, ý nghĩa lý luận thực tiễn đề tài luận văn / Nécessité, sens théorique et pratique du sujet de mémoire Monsieur Bendy Latortue s’est intéressé l’utilisation de l’intelligence artificielle dans une application clinique ophtalmologique lors de son stage de M2 L’accueil de Bendy Latortue a été effectué par deux entités différentes et très complémentaires Les laboratoires Théa ont une grande connaissance de la partie clinique, ils commercialisent de nombreuses médications ophtalmologiques, y compris pour les yeux secs Le LaTIM dispose d’une équipe spécialisée en intelligence artificielle Les applications de cette équipe sont variées et concernent la classification les images de rétine, la reconnaissance des gestes chirurgicaux et bien d’autres Cette équipe est, actuellement, l’une des plus performantes au monde dans ce domaine Phương pháp nghiên cứu / Méthodologie de recherche L’examen de la sècheresse oculaire est relativement peu performant en routine clinique standard La littérature montre une forte disparité des évaluations pour un même patient Cela est dû plusieurs facteurs : manque de reproductibilité de l’acquisition, mauvais chronométrage, difficulté d’éclairement… Ce manque de reproductibilité influe aussi sur les essais cliniques de nouvelles molécules qui, bien qu’ayant un effet subjectif sur le patient, ne peuvent être prouvés objectivement Avant de manipuler l’intelligence artificielle, Bendy Latortue, en collaboration avec un médecin du service dophtalmologie du CHRU de Brest, a conỗu et réalisé une base de données contenant les vidéos de 41 patients Ce nombre qui semble peu important, représente énormément de travail Il a ensuite traité ces vidéos afin de les exporter un format exploitable par l’intelligence artificielle Il a aussi proposé une méthodologie de classification selon critères et a formé une orthoptiste pour faire le second lecteur Cơ sở lý luận tổng quan đề tài nghiên cứu / Fondement théorique et littérature du sujet de recherche Pour classifier automatiquement les données, Monsieur Latortue a utilisé de nombreuses CNN issues de la littérature, avec apprentissage par transfert La méthodologie utilisée ainsi que la métrique d’évaluation est identique l’état de l’art Les résultats sont quasiment parfaits pour ouverture/fermeture alors que la qualité et le déchirement, ils sont plus médiocres Les explications pour cette contre-performance sont mal explicitées et auraient pu être plus développées Những đóng góp luận văn / Apports du mémoire Le mémoire est clair autant sur l’aspect clinique que méthodologique Il aborde tous les sujets nécessaires sa compréhension Kết cấu, hình thức trình bày văn phong / Structure, présentation et style La structure est pertinente Je n’ai pas de commentaires faire Những thiếu sót hạn chế nội dung hình thức luận văn (nếu có) / Lacunes et limites du mémoire (s'il y en a) - Về hình thức / Sur la forme: La forme n’a aucune importance pour la qualité du travail - Về nội dung / Sur le contenu: Quelques explications mineures sont manquantes concernant les résultats J’aurais aimé voir appartre quelques hypothèses plausibles Mức độ đạt cơng trình nghiên cứu so với u cầu luận văn thạc sĩ / Conclusion générale par rapport aux exigences du mémoire de fin d'études du niveau Master Căn vào yêu cầu luận văn Thạc sĩ kết cơng trình nghiên cứu trình bày luận văn, đồng ý cho học viên Latortue Bendy bảo vệ luận văn trước Hội đồng En me basant sur les exigences d’un mémoire de fin d’études, je donne un avis favorable la soutenance du mémoire de fin d’études Latortue Bendy devant le jury Hà Nội, ngày tháng 10 năm 2019 CÁN BỘ PHẢN BIỆN RAPPORTEUR Pierre-Henri Conze Mtre de Conférences, IMT Atlantique ... INTERNATIONAL LATORTUE BENDY Intelligence artificielle pour la quantification automatique de la sécheresse oculaire Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MÉMOIRE DE FIN... souligné le sujet de notre stage ? ?QUANTIFICATION AUTOMATIQUE DE LA SÉCHERESSE OCULAIRE? ?? effectué au LaTIM (Laboratoire de Traitement de l’Information Médicale) 1.2 Groupe Théa Théa est un laboratoire... De ce fait, Turing classe l’humain et la machine au même niveau de la pyramide dans le seul but de dire qu’ils ont la même limite • L’objection-argument ? ?de la conscience” : Turing éclairci la