Conception d’un cadre d’évaluation de la compréhension écrite étude des tests de compréhension écrite au département de langue et de culture françaises ULEI UNH

UNIVERSITÉ NATIONALE DU VIETNAM À HANOI UNIVERSITÉ DE LANGUES ET D’ÉTUDES INTERNATIONALES HOANG THI BICH ÉTUDE DES TESTS UTILISÉS POUR ÉVALUER LA COMPÉTENCE DE COMPRÉHENSION ÉCRITE DU DÉPARTEMENT DE LANGUE ET DE CULTURE FRANÇAISES - ULEI - UNH (NGHIÊN CỨU CÁC BÀI KIỂM TRA ĐÁNH GIÁ NĂNG LỰC ĐỌC HIỂU CỦA KHOA NGƠN NGỮ VÀ VĂN HĨA PHÁP ĐHNN - ĐHQGHN) THÈSE DE DOCTORAT EN DIDACTIQUE DU FRANÇAIS LANGUE ÉTRANGÈRE Hanoï - 2019 UNIVERSITÉ NATIONALE DU VIETNAM À HANOI UNIVERSITÉ DE LANGUES ET D’ÉTUDES INTERNATIONALES HOANG THI BICH ÉTUDE DES TESTS UTILISÉS POUR ÉVALUER LA COMPÉTENCE DE COMPRÉHENSION ÉCRITE DU DÉPARTEMENT DE LANGUE ET DE CULTURE FRANÇAISES - ULEI - UNH (NGHIÊN CỨU CÁC BÀI KIỂM TRA ĐÁNH GIÁ NĂNG LỰC ĐỌC HIỂU CỦA KHOA NGƠN NGỮ VÀ VĂN HĨA PHP HNN - HQGHN) Code: 9140233.01 Spộcialitộ: Didactique du franỗais langue étrangère Thèse de doctorat - présentée devant l’Université de Langues et d’Études Internationales - Université Nationale du Vietnam Hanoi Sous la direction du Professeur TRẦN ĐÌNH BÌNH Hanọ - 2019 ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que cette thèse a été réalisée par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs HOANG Thi Bich i REMERCIEMENTS Tout d’abord, je tiens remercier vivement mon directeur de thèse, M TRẦN Đính Bính, de m’avoir initiée ce sujet de recherche Je le remercie également pour sa confiance, ses encouragements ainsi que son soutien tout au long de la réalisation de cette thèse Sans son orientation ainsi que ses accompagnements scientifiques pendant ces dernières années, ce travail de thèse n’aurait jamais été achevé Je lui suis très reconnaissante non seulement pour sa compétence, sa rigueur dans l’orientation de cette recherche, mais aussi pour ses conseils scientifiques et pédagogiques Grâce son soutien, j’ai obtenu des séjours scientifiques en Suisse et en Roumanie, ce qui m’a permis d’accéder des ressources documentaires enrichissantes et d’avoir beaucoup d’échanges avec de nombreux chercheurs internationaux Mes remerciements vont également la direction du Dộpartement de Langue et de Culture franỗaises de lUniversitộ de Langues et d’Études Internationales de l’Université Nationale du Vietnam Hanoï de m’avoir autorisée constituer notre corpus au sein du Département Je tiens aussi remercier chaleureusement mes collègues (je pense en particulier Mme ĐẶNG Thị Thanh Thúy et M NGUYỄN Việt Quang) de m’avoir aidée collecter et analyser les données Je voudrais également adresser mes remerciements très sincères la direction de l’Université de Fribourg et de l’Université «Alexandru Ioan Cuza» de Iaș i; l’Agence Universitaire de la Francophonie en Europe Centrale et Orientale, de m’avoir accordé des soutiens financiers et scientifiques pour mon travail de recherche en Suisse et en Roumanie Je tiens remercier en particulier Anita THOMAS, Mihaela LUPU - mes encadreurs scientifiques - pour leurs conseils pédagogiques et scientifiques, le partage de leur expertise lors de mes séjours Fribourg en Suisse et Iaș i en Roumanie Je voudrais exprimer mes remerciements les plus sincères mes très chères amies, Régine HAUSERMANN et Alya CHARFI qui ont bien voulu lire et corriger ii mon franỗais Je voudrais exprimer ma profonde affection mon mari NGUYỄN Quang Ngọc et nos enfants NGUYỄN Hoàng Minh et NGUYỄN Hoàng Tùng, mes parents, HOÀNG Văn Dũng et LƯU Thị Nguyệt, ma sœur HOÀNG Thị Thủy, dont l’amour m’a soutenue pendant toutes ces longues années d’études Je n’oublie pas de remercier tous les membres de ma famille ainsi que mes amis très proches pour leur soutien moral constant Enfin, mes remerciements sadressent ộgalement ma premiốre enseignante de franỗais, Mme.NGUYN Việt Hà, qui m’a fait découvrir cette belle langue Cette dernière est devenue une partie de ma vie maintenant et pour toujours iii TABLE DES MATIÈRES ATTESTATION SUR L’HONNEUR i REMERCIEMENTS ii TABLE DES MATIÈRES iv LISTE DES ABRÉVIATIONS v LISTE DES TABLEAUX vi LISTE DES FIGURES vii INTRODUCTION CHAPITRE 1: L’ÉVALUATION EN DIDACTIQUE DES LANGUES ET DU FRANÇAIS LANGUE ÉTRANGÈRE 12 1.1 Les concepts théoriques 12 1.1.1 La définition de l’évaluation - une complexité terminologique 12 1.1.2 Les fonctions de l’évaluation 18 1.1.3 Les types d’évaluation 20 1.2 L’évolution de l’évaluation en didactique des langues et en FLE 22 1.2.1 Selon les approches et les méthodes 22 1.2.2 Selon le Cadre Européen Commun de Référence 28 1.3 L’évaluation de la compréhension écrite 31 1.3.1 La définition du texte et de la compréhension écrite 31 1.3.1.1 La définition du texte 31 1.3.1.2 La définition de la compréhension écrite 32 1.3.2 L’authenticité des textes 36 1.3.3 Les facteurs impliquant le processus de CE 39 1.3.3.1 Le lecteur 39 1.3.3.2 Le contexte 40 1.3.3.3 Le texte 41 1.4 Le cadre pour la conception des tests de CE 43 1.4.1 La définition d’une échelle (un référentiel) 44 1.4.2 La présentation des échelles/des référentiels existants 47 iv 1.4.2.1 Les échelles générales pour le compte-rendu des résultats de DIALANG 47 1.4.2.2 La collection des référentiels pour les langues nationales et régionales 48 1.4.2.3 Le référentiel des contenus d’apprentissage du FLE en rapport avec les six niveaux du Conseil de l’Europe, l’usage des enseignants de FLE 50 1.4.2.4 Le référentiel des compétences en langues étrangères de six niveaux pour les Vietnamiens 51 CHAPITRE 2: LA MÉTHODOLOGIE DE RECHERCHE 54 2.1 Les informations générales du public et les modalités d’évaluation 54 2.1.1 La présentation du terrain de recherche et du public 54 2.1.2 Les modalités d’évaluation 57 2.2 Le recueil des données de recherche 57 2.2.1 La méthode de collecte des données 57 2.2.2 La constitution du corpus 59 2.3 Les méthodes de recherche 59 2.3.1 La méthode quantitative 60 2.3.2 La méthode d’analyse de contenu 64 2.4 Les mesures d’analyse des tests de CE 64 2.4.1 Le niveau de difficulté et de complexité des textes 65 2.4.1.1 Le thème/Les champs lexicaux 67 2.4.1.2 La longueur et le type de texte 68 2.4.1.3 La densité lexicale 70 2.4.1.4 La fréquence des mots 73 2.4.1.5 La complexité syntaxique 75 2.4.2 Le niveau de difficulté des questions 77 2.4.2.1 La classification des questions 77 2.4.2.2 La typologie des activités 84 2.4.2.3 L’étude des items 90 CHAPITRE 3: LES ANALYSES DU CORPUS - L’INTERPRÉTATION DES RÉSULTATS ET LA PROPOSITION D’UN CADRE DE RÉFÉRENCE 96 3.1 Les analyses pilotes des textes extraits des épreuves du DELF 96 3.1.1 Les analyses de forme (longueur, type de texte) 96 v 3.1.2 Les analyses de contenu 100 3.1.2.1 La diversité lexicale 100 3.1.2.2 La fréquence des mots 102 3.1.2.3 La complexité syntaxique 103 3.2 Les analyses des textes extraits des tests de CE du DLCF 110 3.2.1 L’analyse des caractéristiques textuelles 110 3.2.2 La diversité lexicale (richesse lexicale) 111 3.2.3 La fréquence des mots 113 3.2.4 La complexité syntaxique 115 3.3 L’analyse des questions des tests de CE du DLCF 121 3.3.1 La classification des questions et les types d’activités 121 3.3.2 L’étude pilote des items d’un test 127 3.4 La proposition d’un cadre pour élaborer les tests de CE 130 3.4.1 Les principes généraux d’élaboration d’une échelle 130 3.4.2 La méthodologie d’élaboration 131 3.4.3 La structure du cadre 133 3.4.4 Les propositions générales pour choisir les textes et rédiger les questions 134 3.4.5 Pour le niveau 1: 137 3.4.6 Pour le niveau 139 3.4.7 Pour le niveau 141 3.4.8 Pour le niveau 142 CONCLUSION 145 BIBLIOGRAPHIE 149 En anglais 149 En franỗais 152 LISTE DES ANNEXES I vi LISTE DES ABRÉVIATIONS CE : Compréhension écrite CECR : Cadre européen commun de référence pour les langues CIEP : le Centre international d’Études pédagogiques DLCF : Dộpartement de Langue et de Culture franỗaises DS : dộviation standard (autrement dit ộcart-type) FLE : franỗais langue ộtrangốre QCM : questions choix multiples TTR : Type - Token ratio ULEI : Université de Langues et d’Études Internationales UNVH : Université Nationale du Vietnam Hanoi v LISTE DES TABLEAUX Tableau 1.1 - Évolution de l'objet de l'évaluation .26 Tableau 1.2 - Compréhension générale de l’écrit (selon le CECR) 35 Tableau 2.1- Programme d’enseignement pour les vrai-débutants 56 Tableau 2.2 - Programme d’enseignement pour les faux-débutants 56 Tableau 2.3 - Notions « complexe/simple » pour la CE 66 Tableau 2.4 - Classification des questions de Johnstone 82 Tableau 2.4 - Synthèse des taxonomies 84 Tableau 2.5 - Typologie des formats d’items 87 Tableau 2.6 - Typologie des instruments d’évaluation de la CE 89 (selon Veltcheff et Hilton) 89 Tableau 3.1 - Description des structures syntaxiques .104 Tableau 3.2 - Corrélation des mesures de complexité lexicale aux niveaux 107 du DELF 107 Tableau 3.3- Corrélation de la fréquence des mots aux niveaux du DELF 108 Tableau 3.4 - Corrélation des mesures de la complexité syntaxique au DELF 108 Tableau 3.5 - Richesse lexicale .112 Tableau 3.6 - Corrélation du TTR des textes du corpus et ceux du DELF .115 Tableau 3.7 - Indices de la complexité syntaxique 116 Tableau 3.8 - Synthèse des catégories grammaticales du corpus 120 Tableau 3.9 - Classification des questions au niveau 124 Tableau 3.10 - Classification des questions au niveau .125 Tableau 3.11 - Classification des questions au niveau et 126 Tableau 3.12 - Informations générales du test de référence 127 Tableau 3.13 - Relation entre les questions et les réponses du test 128 Tableau 3.14 - Degré de difficulté des questions via le taux de réussite 129 Tableau 3.15 - Structure du cadre de référence 133 vi Tableau - Niveau B2 Catégories grammaticales ADJ ADJ:verb ADV ADV de maniere DET:ART DET:DEM DET:POS KON LOC (adj/adv) NAM NOM NUM PRO:DEM PRO:IND PRO:PER PRO:REL PRP PRP:det VER:pres VER:impf VER:PC VER:PQP VER:infi VER:inf.past VER:cond VER:futu VER:fut.ant VER:passif VER:ppres VER:GER VER:subp VER: past.simple Nombre des catégories T 1 1 T 1 T 1 T 1 T 1 T T 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 T 1 T 1 T 10 1 T 11 1 T 12 1 T 13 1 T 14 1 T 15 1 T 16 1 T 17 1 T 18 1 Total 18 18 18 % 100 100 100 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 15 18 18 18 18 83 100 100 100 100 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 16 18 18 18 13 15 18 18 18 18 18 10 16 17 10 13 6 89 100 100 100 72 83 100 100 100 100 100 56 89 94 17 56 39 11 72 50 33 33 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 5 23 23 1 1 1 1 1 1 24 25 LXVII 21 1 1 1 1 21 25 1 24 1 1 1 23 25 21 24 Annexe 10 - Résultats d’un test de compréhension écrite Étudiants/ items 1 1 2 2 2 3 3 3 Somme/ étudiant Étudiant 1 0 0 1 0 1 1 0 1 1 1 1 1 0 1 0 1 23 Étudiant 1 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 28 Étudiant 1 0 1 1 1 1 0 1 0 1 1 1 1 1 1 1 27 Étudiant 0 1 1 1 1 0 0 1 1 1 1 1 0 1 1 25 Étudiant 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 31 Étudiant 1 0 1 1 1 1 1 0 1 1 0 1 1 1 1 26 Étudiant 1 1 1 1 1 1 0 1 1 0 0 0 0 1 1 22 Étudiant 1 0 1 1 1 1 0 1 1 1 1 0 1 1 0 1 26 Étudiant 0 1 1 1 1 0 0 0 0 1 1 1 1 1 1 1 24 Étudiant 10 1 1 1 0 1 1 0 1 1 1 1 1 1 0 0 1 26 Étudiant 11 1 0 1 0 1 1 1 0 1 1 1 1 1 0 1 1 25 Étudiant 12 0 1 0 1 1 0 0 0 0 1 1 1 1 1 1 1 23 Étudiant 13 1 1 1 0 1 1 1 0 1 1 1 1 1 1 1 1 29 Étudiant 14 0 0 1 1 1 1 1 1 1 1 1 1 1 1 0 1 28 Étudiant 15 1 0 1 0 1 1 0 1 0 1 1 1 1 0 1 1 24 Étudiant 16 1 0 1 0 1 1 0 0 1 1 1 1 1 0 1 1 23 Étudiant 17 1 1 1 1 1 0 1 1 0 0 0 1 1 1 1 25 Étudiant 18 1 0 0 1 0 1 0 1 1 1 1 1 1 1 1 25 Étudiant 19 1 0 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 31 Étudiant 20 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 31 Étudiant 21 1 0 1 0 1 1 0 0 1 1 1 1 1 0 1 1 25 Étudiant 22 1 1 1 0 1 0 0 0 1 1 1 1 1 0 1 1 1 27 Étudiant 23 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 1 34 LXIX Étudiant 24 0 0 1 1 1 0 0 0 1 1 0 1 1 0 0 19 Étudiant 25 1 1 1 0 1 1 0 0 1 1 1 1 1 1 1 1 1 1 32 Étudiant 26 0 0 1 0 1 1 0 0 1 1 1 0 1 1 0 1 22 Étudiant 27 1 0 1 1 1 1 1 1 1 1 1 1 0 0 25 Étudiant 28 1 0 1 0 1 1 0 0 1 1 1 1 0 0 1 1 22 Étudiant 29 1 0 1 0 1 1 0 0 0 1 1 1 0 1 0 1 1 23 Étudiant 30 1 1 1 0 1 0 0 0 0 1 1 1 0 0 0 18 Étudiant 31 1 0 1 1 1 1 0 1 1 1 1 1 0 1 1 27 17 Étudiant 32 1 0 1 0 1 0 0 0 0 1 1 1 1 0 1 0 Étudiant 33 0 0 0 1 1 0 0 0 1 0 1 1 1 1 1 1 21 Étudiant 34 1 0 1 0 0 1 0 0 0 1 1 1 0 0 1 18 Étudiant 35 0 0 1 0 1 1 0 0 1 1 1 1 1 1 1 0 0 23 Étudiant 36 1 0 1 0 1 0 0 1 1 1 1 1 1 1 1 25 Étudiant 37 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 0 1 28 Étudiant 38 0 0 1 0 0 1 0 0 1 1 0 1 0 1 1 1 21 Étudiant 39 1 0 0 1 1 0 1 0 1 1 0 1 0 0 1 1 19 28 Étudiant 40 1 0 1 0 1 1 1 0 0 1 1 1 1 1 1 1 1 Étudiant 41 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 34 Étudiant 42 1 0 1 0 0 0 1 1 1 1 1 0 0 0 18 Étudiant 43 1 0 1 0 1 1 0 0 1 0 1 1 1 0 1 21 Étudiant 44 0 0 1 0 1 1 0 0 1 1 0 1 1 1 1 1 23 Étudiant 45 1 0 1 0 1 0 0 0 0 1 1 1 1 1 1 0 1 23 Étudiant 46 1 1 1 0 1 0 0 0 1 1 1 1 1 1 0 1 25 Étudiant 47 0 0 1 1 1 0 0 0 0 1 0 0 1 1 1 1 20 23 24 Étudiant 48 1 1 0 1 1 0 0 0 1 0 1 1 1 1 1 Étudiant 49 1 0 1 1 1 0 1 0 1 1 0 1 1 0 0 1 1 LXX Étudiant 50 1 1 1 0 1 0 1 0 1 1 0 1 1 0 0 0 1 23 Étudiant 51 1 0 0 1 0 1 1 0 0 0 1 0 0 0 1 0 16 Étudiant 52 1 1 1 0 1 0 1 0 1 1 1 1 0 0 1 1 25 Étudiant 53 1 0 1 0 1 0 0 1 1 1 1 0 0 1 1 1 24 Étudiant 54 1 0 1 0 1 1 0 1 0 0 0 1 1 1 0 1 20 Étudiant 55 1 0 1 0 0 1 0 0 1 1 1 1 1 1 1 1 25 Étudiant 56 0 0 0 0 1 0 0 0 0 0 1 0 1 0 0 13 Étudiant 57 0 0 1 0 1 1 1 0 1 1 1 1 1 0 0 0 20 14 Étudiant 58 0 0 0 1 0 0 0 0 1 1 0 1 1 0 0 0 Étudiant 59 1 0 0 0 1 1 1 0 0 0 1 1 1 1 0 0 1 21 Étudiant 60 0 0 1 0 1 1 0 0 1 0 1 0 0 1 0 19 Étudiant 61 0 0 0 0 1 0 0 0 1 1 1 1 1 0 0 1 16 Étudiant 62 0 0 1 0 1 1 0 0 0 0 1 0 1 1 1 1 1 1 22 Étudiant 63 1 0 0 0 0 1 1 0 0 0 1 0 1 1 1 0 1 1 1 22 Étudiant 64 1 0 0 0 1 0 0 0 1 0 1 1 1 0 1 17 Étudiant 65 1 1 1 0 1 1 1 0 0 1 1 1 1 1 1 1 26 23 Étudiant 66 0 1 1 0 1 0 0 0 1 1 1 1 0 1 1 Étudiant 67 1 1 1 1 1 0 0 1 1 1 1 1 0 0 1 26 Étudiant 68 1 1 1 0 1 1 0 0 0 1 0 1 1 0 0 1 21 Étudiant 69 1 0 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 31 Étudiant 70 1 1 1 1 1 0 0 1 1 1 1 1 0 1 24 Étudiant 71 1 0 0 1 0 1 0 0 0 1 1 1 0 0 1 0 19 Étudiant 72 1 0 1 1 0 1 0 0 1 1 1 1 1 1 1 1 26 Étudiant 73 1 1 1 1 1 1 0 0 0 1 1 1 1 0 1 1 25 30 24 Étudiant 74 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 Étudiant 75 1 1 1 0 1 1 0 0 1 1 1 1 1 1 1 LXXI Étudiant 76 1 0 0 0 1 0 1 1 1 1 1 0 1 1 0 1 23 Étudiant 77 1 1 0 1 0 0 1 1 0 1 1 0 1 20 Étudiant 78 0 0 0 0 1 1 0 0 0 1 1 1 1 1 0 0 1 18 Étudiant 79 1 0 1 0 1 0 0 0 0 0 1 1 1 0 1 1 19 Étudiant 80 1 0 1 0 0 1 0 0 1 1 1 1 1 0 0 1 21 Étudiant 81 0 0 1 0 0 0 0 0 0 0 1 1 1 1 1 1 17 Étudiant 82 0 0 0 0 1 1 0 0 0 1 1 1 1 0 0 1 18 Étudiant 83 0 0 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 30 22 Étudiant 84 0 1 0 1 0 1 1 1 1 1 0 1 1 Étudiant 85 1 0 1 1 0 1 0 0 0 1 0 0 1 0 1 19 Étudiant 86 1 0 0 1 1 1 1 0 1 0 1 1 1 1 0 0 0 23 Étudiant 87 0 1 1 0 1 1 0 1 1 1 1 1 0 1 0 1 25 Étudiant 88 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 29 Étudiant 89 1 0 1 0 1 0 0 0 0 1 0 1 0 0 1 16 Étudiant 90 1 0 1 0 1 0 0 0 0 1 1 1 1 0 0 1 19 Étudiant 91 1 0 1 1 1 1 0 0 1 0 1 1 1 1 1 1 1 27 23 Étudiant 92 1 1 1 0 1 0 0 0 1 1 1 1 0 1 Étudiant 93 1 0 1 1 1 0 0 1 1 0 0 1 0 1 0 1 21 Étudiant 94 0 1 0 0 1 0 0 1 1 1 1 0 0 1 19 Étudiant 95 0 1 1 1 1 1 0 1 1 1 1 0 0 1 23 Étudiant 96 0 0 1 1 0 1 1 0 0 0 1 1 0 1 0 1 1 18 Étudiant 97 0 1 1 0 1 1 0 0 0 1 0 0 1 0 1 1 19 Étudiant 98 1 1 1 0 1 1 0 0 0 1 1 1 1 1 0 6 4 7 7 6 7 2 2 9 6 6 9 3 8 3 6 8 7 8 5 8 7 7 8 5 7 4 5 5 7 23 9 Score/item % taux de réussite 9 4 3 LXXII 5 7 8 4.3 Annexe 11 Degré de difficulté des questions via le taux de réussite Code Question Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant 10 Étudiant 11 Étudiant 12 10 11 12 13 14 15 16 17 18 19 1 1 1 1 1 1 1 1 0 1 1 0 1 0 1 0 1 1 1 1 0 1 1 1 0 1 0 0 1 0 1 0 0 1 0 1 1 1 0 1 0 0 1 1 1 0 1 1 1 1 1 1 1 LXXIII 0 1 1 1 0 1 1 1 0 1 1 1 0 1 0 1 0 0 0 1 0 1 0 1 1 0 1 1 0 1 1 0 1 0 0 0 Score/ Indice de P question 12 10 10 10 12 0.50 1.00 0.08 0.25 0.83 0.50 0.83 0.58 0.67 0.75 0.83 0.25 0.42 0.75 0.50 1.00 0.33 0.17 0.67 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 0 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 0 0 1 0 1 1 0 1 0 1 1 0 1 0 1 0 1 0 0 32 24 26 23 24 *Notes : = mauvaise réponse ; = bonne réponse 28 29 28 26 17 21 17 Total/ étudiant Questions 1-32 : QCM choix (A-B-C-D) Questions 33-40 : QCM choix (A-B-C) de types : Vrai/Faux/On ne sait pas LXXIV 11 12 11 10 10 11 9 0.75 0.58 0.92 0.75 1.00 0.67 0.33 0.42 0.92 0.58 0.83 0.83 0.58 0.42 0.67 0.92 0.75 0.75 0.17 0.50 0.33 Niveau de difficulté des questions via le taux de réussite Code Question 10 11 12 13 14 15 16 17 18 19 20 21 Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Étudiant Score/ Indice 13 14 15 16 17 18 19 20 21 22 23 24 25 question de P 1 1 1 1 0 0.69 1 1 1 1 1 1 1.00 13 0 0 0 0 0 0 0.08 0 0 0 0 0 0.08 1 1 1 1 1 1 0.85 11 1 1 0 0 0.38 1 1 1 1 1 1 0.92 12 0 1 1 0 1 0.46 1 1 1 1 1 1 0.92 12 0 1 0 1 1 0.46 1 1 1 0 1 1 0.85 11 0 0 0 1 0 0.23 1 0 0 1 0 0.54 1 1 1 1 1 0.77 10 1 1 1 0 0 0.54 1 1 1 1 1 0.85 11 0 1 0 0 0 0.31 1 1 0 0 0.46 1 1 0 1 1 0.69 0 1 0 1 0 0.38 0 1 0 0 0.23 LXXV 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 1 1 1 0 1 1 0 0 0 1 1 1 1 1 0 1 0 0 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 0 0 1 1 1 1 0 1 1 0 1 1 0 1 1 1 0 1 1 0 1 0 1 0 1 1 1 0 1 1 0 0 1 0 1 1 1 1 0 1 1 1 0 1 1 0 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 1 0 1 1 0 1 0 23 24 24 29 23 *Notes : = mauvaise réponse ; = bonne réponse 31 22 14 24 23 27 22 20 Total/ étudiant Questions 1-32 : QCM choix (A-B-C-D) Questions 33-40 : QCM choix (A-B-C) de types : Vrai/Faux/On ne sait pas LXXVI 10 11 10 11 12 10 10 10 10 0.62 0.54 0.77 0.46 0.31 0.54 0.85 0.77 0.85 0.92 0.77 0.38 0.77 0.69 0.77 0.77 0.15 0.38 0.54 Annexe 12 Code - Distribution des réponses par question (1-32) et par distracteur (A-B-C-D) 100% D 90% 80% C 70% B 60% A 50% 40% 30% 20% 10% 0% 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 Questions Bonne répon se D B D C B A D A C 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 C D B C D B C D C LXXVII A B B D C B A D B C B D C A Distribution des distracteurs par question (33-40) et par distracteur (A-B-C) 100% C 90% 80% B 70% A 60% 50% 40% 30% 20% 10% 0% 33 34 35 36 37 38 39 40 Bonne 33 34 35 36 37 38 39 40 réponse A A B A B C A A LXXVIII Code - Distribution des réponses par question (1-32) et par distracteur (A-B-C-D) 100% D 90% C 80% B 70% A 60% 50% 40% 30% 20% 10% 0% Bonne réponse B D 4 5 10 C A C B C D A A 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 B D A B A B C A C B LXXIX D C B D C B D B D C B A A A B A B C A A Distribution des distracteurs par question (33-40) et par distracteur (A-B-C) 100% 90% C 80% B 70% 60% A 50% 40% 30% 20% 10% 0% 33 Bonne réponse 34 35 36 37 38 39 40 33 34 35 36 37 38 39 40 A A B A B C A A LXXX Annexe 13 Exemple d’un exercice de compréhension écrite en adaptant le cadre pour l’élaboration des tests de compréhension écrite Niveau Lisez ce texte puis cochez la bonne réponse : Source : http://agencedevoyagefle.blogspot.com Question : De quoi s’agit-il ? A Une petite annonce B Une carte postale C Une lettre administrative D Une invitation Question : Qui écrit ce message ? A Maman de Paul B Paul C Sonia Martin D On ne sait pas Question : Pourquoi Paul a-t-il écrit ce message ? A Pour raconter ses vacances sa mère B Pour inviter sa mère venir chez lui C Pour proposer un voyage en Thaïlande D Pour décrire le temps qu’il fait en Thaïlande Question : Qu’est-ce que Paul pense des plats thaïlandais ? A Il les aime beaucoup B Il les trouve acceptables C Il les mange avec modération D Il ne les aime pas beaucoup Question : Comment sont les employés de l’hôtel ? LXXXIV A Ils sont beaux B Ils sont indifférents C Ils sont sympathiques D Ils sont généreux Question : Que fait Paul pour ses loisirs ? A Il fait de la natation tous les jours B Il fait du sport la plage C Il nage la mer avec ses amis D Il va la plage pour se promener Les caractéristiques du texte ainsi que les spécificités des questions sont illustrées dans le tableau ci-dessous : Niveau Choix des textes Thème/Champs lexicaux Longueur Densité lexicale Fréquence de mots Descripteurs Le climat, le voyage 87 mots 0.76 (TTR) Current profile (token %) K-1 (79.31) 79.31 Présence des catégories grammaticales Présence des subordonnées Rédaction des items/questions Type de questions Rédaction de la consigne (rédaction des distracteurs) Relation question-réponse K-2 (9.20) 88.51 K-3 (3.45) 91.96 K-4 (2.30) 94.26 K-5 (1.15) 95.41 K-14 (1.15) 96.56 K-21 (1.15) 97.71 OFF (2.30) ≈100% 10 catégories (adjectif, adjectif indéfini, adverbe, articles, nom, pronom impersonnel, pronom personnel sujet, préposition, verbes au présent de l’indicatif Non Descripteurs QCM choix des groupes de mots ou des phrases simples Explicite et textuelle LXXXV ... VIETNAM À HANOI UNIVERSITÉ DE LANGUES ET D’ÉTUDES INTERNATIONALES HOANG THI BICH ÉTUDE DES TESTS UTILISÉS POUR ÉVALUER LA COMPÉTENCE DE COMPRÉHENSION ÉCRITE DU DÉPARTEMENT DE LANGUE ET DE CULTURE. .. d’identifier les indices permettant d’évaluer le niveau de difficulté des tests de CE et de proposer un cadre servant de guide pour l’élaboration des tests de CE, destination des enseignants de. .. surtout des tests de CE, nous nous demandons comment déterminer le niveau de difficulté des textes, fixer les critères de choix et élaborer des questions Lors de notre recensement des travaux de recherche