Using data driven learning to improve non english majors vocabulary learning in toeic reading an action research at nong lam university ho chi minh city m a

VIETNAM NATIONAL UNIVERSITY- HO CHI MINH CITY UNIVERSITY OF SOCIAL SCIENCES & HUMANITIES FACULTY OF ENGLISH LINGUISTICS & LITERATURE USING DATA-DRIVEN LEARNING TO IMPROVE NON-ENGLISH MAJORS’ VOCABULARY LEARNING IN TOEIC READING: AN ACTION RESEARCH AT NONG LAM UNIVERSITY – HO CHI MINH CITY A minor thesis submitted to the Faculty of English Linguistics & Literature By PHAM QUYNH MAI Supervised by NGUYEN THI NHU NGOC, Ph.D HO CHI MINH CITY, NOVEMBER 2021 Acknowledgments This thesis would not have been completed without the support and encouragement of many people I could not thank them enough for helping me throughout this wonderful experience First and foremost, I would like to express my deepest gratitude to my supervisor, Dr Nguyen Thi Nhu Ngoc, for her continuous support of my thesis, for her patience, motivation, enthusiasm, and immense knowledge Her guidance and feedback inspired me in all the time of research and writing of this thesis It was my pleasure to be one of her students My sincere thanks go to all the lecturers of the MA program for their valuable discussions and lectures during my learning journey at University of Social Sciences and Humanities, Vietnam National University – Ho Chi Minh City I am extremely thankful to Mr Dao Duc Tuyen, the Director of the Center for Foreign Studies of Nong Lam University, for his approval of my conducting this research, to the Division Manager and the IT staff for providing me constant assistance during the pilot stage and the main study I also acknowledge my students for their enthusiasm and active participation in this study Last but not least, I would like to thank all of my friends, my family members for encouraging and supporting me whenever I needed them i Statement of authorship I certify that this thesis entitled “Using data-driven learning to improve non-English majors’ vocabulary learning in TOEIC Reading: An action research at Nong Lam University – Ho Chi Minh City” is my own work This thesis has not been submitted for the award of any degree or diploma in any other institution Ho Chi Minh City, November 2021 Pham Quynh Mai ii Retention and use of the thesis I hereby state that I, Pham Quynh Mai, being the candidate for the degree of Master of TESOL, accept the requirement of the University relating to the retention and use of Master's Theses deposited in the Library In terms of these conditions, I agree that the originality of my thesis deposited in the Library should be accessible for the purposes of study and research, in accordance with the normal conditions established by the Library for the care, loan, or reproduction of theses Ho Chi Minh City, November 2021 Pham Quynh Mai iii Abstract That language learners should have a number of encounters with words in multiple contexts in the classroom before they understand, remember, and apply them has been highlighted in previous studies in vocabulary teaching and learning One prominent approach promoting this is data-driven learning (DDL), in which learners interact with corpora’s concordances as a kind of language data In fact, DDL is gaining more popularity as it reflects language learning theories, such as noticing hypothesis, constructivism, and socio-cultural theory Although researchers have called for more replication of DDL studies to validate the effects of DDL, very few studies were found in Vietnam’s context This study is an effort to fill this gap and, through the use of DDL, to solve the problems of non-English majors’ vocabulary learning in Test of English for International Communication (TOEIC) Reading at The Center for Foreign Studies of Nong Lam University (NLU-CFS) By adopting the action research design, the study aims to investigate the effects of DDL on 38 non-English majors’ vocabulary learning in TOEIC Reading Data from the pretest and posttest shows that the students made significant improvements in vocabulary performance after the DDL intervention This success is consistent with the results from the post-questionnaire and the semistructured interviews From these findings, the researcher’s self-reflections on the study and a plan for future actions were drawn out Keywords: data-driven learning, vocabulary learning, TOEIC Reading, nonEnglish majors iv Table of contents Acknowledgments i Statement of authorship ii Retention and use of the thesis iii Abstract iv Table of contents v List of tables ix List of figures xi List of abbreviations xii CHAPTER INTRODUCTION 1.1 Background to the study 1.2 Statement of the problem 1.3 Aim and research questions 1.4 Significance of the study 1.5 Scope of the study 1.6 Organization of thesis chapters CHAPTER 2.1 LITERATURE REVIEW Overview of the TOEIC test and vocabulary acquisition 2.1.1 Overview of the TOEIC test 2.1.2 Vocabulary acquisition 2.1.2.1 Receptive and productive vocabulary 2.1.2.2 Aspects of knowing a word 2.1.3 2.2 Vocabulary learning strategies 10 Data-driven learning (DDL) 12 2.2.1 What is DDL? 12 2.2.2 Theories underpinning DDL 16 2.2.3 Using DDL in EFL and vocabulary learning 17 2.2.3.1 Corpus data 17 v 2.2.3.2 DDL activities 20 2.3 Previous studies 21 2.4 Conceptual framework 25 CHAPTER METHODOLOGY 27 3.1 Research design 27 3.2 Research site 27 3.3 Participants 29 3.4 Learning materials and procedure 30 3.4.1 Selection of textbook and target vocabulary 30 3.4.2 DDL materials and activities 35 3.5 Research tools 38 3.5.1 The TOEIC Reading tests 38 3.5.1.1 Description of the TOEIC Reading tests 38 3.5.1.2 Piloting 42 3.5.1.3 Test administration and scoring 43 3.5.2 Questionnaires 44 3.5.3 Semi-structured interviews 47 3.6 Data collection procedure 47 3.7 Data analysis procedure 48 CHAPTER 4.1 RESULTS AND DISCUSSION 50 Research question 1: What experience of vocabulary learning did non- English majors have before the use of DDL at NLU-CFS? 50 Research question 2: How much does DDL improve the students’ 4.2 vocabulary learning in TOEIC Reading at NLU-CFS? 54 4.2.1 Students’ results on the pretest and posttest 54 4.2.1.1 Total TOEIC Reading 55 4.2.1.2 Total vocabulary 56 4.2.1.3 Form, Meaning, and Use 57 4.2.1.4 Target vocabulary 58 vi 4.2.2 4.3 Students’ changes of experience in the posttest 59 Research question 3: What students think about the effects of DDL in their vocabulary learning at NLU-CFS? 60 CHAPTER CONCLUSION 79 5.1 Conclusions and contributions 79 5.2 Reflections on self-development and a plan for future actions 81 5.2.1 Reflections on self-development 81 5.2.2 A plan for future actions 82 5.2.2.1 Planning the use of DDL for foundation classes at NLU-CFS 82 5.2.2.2 Designing DDL activities and materials 82 5.2.2.3 Utilizing guided induction 83 5.2.2.4 Upgrading the computers and internet connection at NLU-CFS 83 5.3 Limitations of the study 83 5.4 Recommendations for further research 84 REFERENCES 86 APPENDIX Approval of conducting the research at NLU-CFS 94 APPENDIX Course syllabus – EE-Exam classes 95 APPENDIX 3A 114 selected vocabulary 96 APPENDIX 3B The final list of target vocabulary 100 APPENDIX A sample of Powerpoint slides for a consolidation game 108 APPENDIX A sample of vocabulary paper-based worksheet 112 APPENDIX A sample of vocabulary practice worksheet 115 APPENDIX A sample of vocabulary computer-based tasks 119 APPENDIX Full set of samples of DDL activity procedure 124 APPENDIX 9A TOEIC Reading pretest 125 APPENDIX 9B TOEIC Reading posttest 150 APPENDIX 10 Specifications of question items in the pretest and posttest 173 APPENDIX 11A Pre-questionnaire (English version) 175 APPENDIX 11B Pre-questionnaire (Vietnamese version) 178 vii APPENDIX 11C Post-questionnaire (English version) 181 APPENDIX 11D Post-questionnaire (Vietnamese version) 184 APPENDIX 12 Semi-structured interview questions 187 APPENDIX 13 A sample of interview transcription 189 APPENDIX 14 SPSS output of normality test 197 APPENDIX 15 SPSS output of pretest and posttest results 199 viii List of tables Table 2.1 Vocabulary aspects setting for the present study 10 Table 2.2 Summary of the definitions of DDL 14 Table 2.3 Summary of previous studies 23 Table 3.1 Classification of students into EE-Exam classes based on their latest TOEIC scores 29 Table 3.2 The breakdown of test sources 31 Table 3.3 Sample selected words from Barron’s essential words for the TOEIC 6th edition 32 Table 3.4 Sample supplemented words from Part 5, 6, and of Practice test 33 Table 3.5 The use of guided induction in DDL activities 37 Table 3.6 Sample DDL activity procedures of sessions 10 and 11 38 Table 3.7 Examples of Form, Meaning, Use questions and Target vocabulary questions in the pretest and posttest 39 Table 3.8 Summary of item types in the pretest and posttest 42 Table 3.9 Pilot test results 42 Table 3.10 Summary of the questionnaire item 45 Table 3.11 Reliability of the items in each theme of the post-questionnaire 46 Table 3.12 Timeline of the research and teaching progress 48 Table 3.13 Analysis scheme for the research tools 49 Table 4.1 Students’ general thinking about vocabulary learning 50 Table 4.2 Students’ difficulties in vocabulary learning 51 Table 4.3 Students’ previously employed vocabulary learning strategies 52 Table 4.4 Shapiro-Wilk test of normality 54 Table 4.5 Comparison of students’ reading scores on the pretest and posttest 55 Table 4.6 Comparison of students’ scores on total vocabulary questions of the pretest and posttest 56 ix APPENDIX 12 Semi-structured interview questions Chào bạn, Cảm ơn bạn nhận lời tham gia trò chuyện để hiểu rõ cảm nhận bạn phương pháp Ngữ liệu (DDL) áp dụng khóa học vừa qua Cơ xin phép ghi âm nói chuyện để phân tích liệu tốt (Cho sinh viên xem lại bảng hỏi đầu khóa cuối khóa mình) Phần 1: Thay đổi trải nghiệm làm chiến lược học từ vựng 1.1 Trải nghiệm bạn kiểm tra TOEIC Reading cuối khóa có khác so với kiểm tra đầu khóa? Câu hỏi gợi ý:  Bạn có thay đổi phương pháp làm khơng?  Từ vựng khóa học có giúp ích cho bạn khơng?  Tốc độ đọc bạn có cải thiện khơng? 1.2 Hãy cho biết rõ chiến lược học từ vựng trước bạn dùng Câu hỏi gợi ý:  Bạn học chiến lược từ đâu?  Vì chiến lược học từ vựng hiệu quả/khơng hiệu quả?  Vậy DDL có khác biệt so với chiến lược học từ vựng trước bạn? Phần 2: So sánh làm rõ ý kiến sinh viên bảng hỏi sau khóa học thực nghiệm 2.1 Hãy cho cô biết rõ cảm nhận bạn mức độ hữu ích hoạt động DDL Câu hỏi gợi ý:  Vì hoạt động hữu ích/khơng hữu ích?  Vì bạn thích nhất/khơng thích hoạt động DDL?  Hoạt động có vừa sức/khó với bạn không?  Bạn thường làm tập thể nào?  Hoạt động có cần cải thiện điều khơng? 187 2.2 Hãy cho biết rõ cảm nhận bạn hiệu DDL mang lại cho việc học khía cạnh từ vựng Câu hỏi gợi ý:  Vì DDL hiệu quả/khơng hiệu cho việc học khía cạnh từ vựng này? 2.3 Hãy cho cô biết rõ hạn chế DDL bạn trả lời bảng hỏi Câu hỏi gợi ý:  Vì mặt hạn chế lại gây khó khăn cho bạn?  Vậy để khắc phục hạn chế này? 2.4 Hãy cho cô biết rõ phần đánh giá chung bạn Câu hỏi gợi ý:  Vì bạn đồng ý/khơng đồng ý với phát biểu này?  Bạn nói rõ ý kiển đóng góp để cải thiện việc sử dụng DDL  Bạn có muốn kết hợp yếu tố/hoạt động lớp vào DDL để học từ vựng tốt không? 188 APPENDIX 13 A sample of interview transcription Participant’s code: S4 Researcher (R) Chào bạn, cảm ơn bạn nhận lời tham gia trị chuyện để hiểu rõ cảm nhận bạn phương pháp Ngữ liệu áp dụng khóa học vừa qua Cơ xin phép bạn ghi âm trò chuyện để phân tích liệu tốt Researcher (R) Hi, thank you for joining this interview so that I can better understand your feelings about the DDL approach applied in this course I would ask for your permission to record this conversation for better data analysis Trước hết cô muốn hỏi bạn trải nghiệm bạn test cuối khóa so với test đầu khóa có khác không? First of all, I’d like to ask about your experience of taking the posttest compared to the pretest, are there any differences? Participant (P) Em thấy em cải thiện khả làm phần đọc (Part 7) cô, phần đọc cô hướng dẫn nên em làm nhanh Lúc trước theo phản xạ em đọc nguyên đoạn văn em đọc câu trả lời Part 5, Part khơng có thay đổi nhiều Participant (P) I have improved in Part 7, I did it faster thanks to your instruction I used to automatically read the whole passage before looking at the answers Part 5, Part didn't change much R: Mình có thay đổi phương pháp làm khơng, phân tích ngữ cảnh, từ loại? R: Have you changed your test-taking strategies, for example, contextual analysis or structural analysis? P: Dạ phân tích ngữ cảnh từ loại em áp dụng Part 5, Part nhiều P: Yes, I have analyzed the contexts and word parts more often in Part 5, Part 189 R: Các từ vựng khóa học có giúp ích cho bạn làm test dễ dàng không? R: Did the vocabulary in the course help you the test easier? P: Dạ có Em thấy biết từ vựng với hiểu cách sử dụng ngữ cảnh khác làm tốt P: Yes I learn that I can the test better when I know the vocabulary and understand how to use it in different contexts R: Tốc độ đọc có nhanh khơng? R: Was your reading speed faster? P: Dạ có P: Yes R: Trước bạn sử dụng phương pháp dịch sang tiếng Việt để học từ vựng, DDL có khác so với phương pháp không? R: You used Vietnamese translation to learn vocabulary in the past, so is DDL different from this strategy? P: Dịch sang tiếng Việt hiểu lúc ko nhớ lâu được, cịn hiểu theo ngữ cảnh suy nghĩ hồn tồn tiếng Anh dễ hiểu nhiên nhiều thời gian để làm quen P: Translating vocabulary into Vietnamese helps me understand the word right away, but I won't remember it for long For DDL, I must learn the word in context and think about it in English, so it's easier to understand, but it takes a bit more time to get used to the approach R: Cô muốn hỏi cảm nhận bạn hoạt động khóa Theo bạn trả lời bảng hỏi trị chơi ơn tập từ vựng hữu ích hoạt động bạn thích 190 vui, giúp dễ nhớ từ suy nghĩ nhanh Khía cạnh trị chơi khiến bạn cảm thấy hiệu quả? R: I would like to ask how you feel about the activities in the course You said in the questionnaire that the consolidation games were useful, and that was the activity you liked most because it was fun, helped you remember vocabulary easily, and think faster What aspect of the games made you feel it worked? P: Nó khiến thoải mái nhìn vào tài liệu tồn chữ; với lại, chơi đội tăng khả phản xạ, suy nghĩ nhanh từ P: It was more relaxing than looking at worksheets full of words; also, playing in a team would improve my ability to react and think faster about that word R: Trò chơi có vừa sức khơng? R: Were the games manageable? P: Dạ vừa sức Em nghĩ nên thêm nhiều câu hỏi P: They were fine I think we should have more questions R: Còn tập từ vựng giấy có hữu ích với bạn? R: And why were the vocabulary paper-based tasks useful to you? P: Hữu ích ý từ loại từ vựng in đậm ví dụ Cách đọc ví dụ giúp biết nhiều từ vựng, định nghĩa tiếng anh rõ nghĩa so với tra từ điển Anh-Việt P: They were useful because I have paid more attention to the word parts of the target words in bold in the concordance lines The way I read the concordance lines helped me learn a lot of words, and the provided English definitions were clearer than in English-Vietnamese dictionaries R: Bài tập có vừa sức khơng hay khó quá? R: Were the tasks manageable? 191 P: Cũng vừa, có số từ em gặp chút khó khăn P: They were ok, but there were some new words that I had some difficulties with R: Bạn thường làm tập nào? R: How did you fulfill these tasks? P: Đầu tiên em coi trước bốn từ vựng bên trái, xem bốn câu định nghĩa a, b, c, d đọc ví dụ bên trên, suy đáp án P: First, I previewed four target words on the left, looked at four definitions in a, b, c, d, then read the concordance lines above and chose the answer R: Theo bạn tập từ vựng máy tính hữu ích nào? R: In your opinion, how useful were vocabulary computer-based tasks? P: Em thích chức KWIC, phân loại từ loại theo màu cho ln nên nhìn vào dễ học từ vựng Chức tìm từ chung với đuôi kết thúc từ học nhanh hơn, hiệu P: I like the KWIC function most, it categorizes different parts of speech in color for me, so it is easy to observe the target vocabulary The function of finding collocations and word parts make the learning process faster and more effective R: Bài tập luyện tập từ vựng bạn làm nào? R: How did you the vocabulary practice exercises? P: Em đọc đáp án trước sau em nhìn vào chỗ trống xem cần từ loại để chọn đáp án Nếu có nhiều từ từ loại em phân tích nghĩa câu P: I would read the answers first, then I looked in the blank to see what part of speech was needed to choose the correct one When there were many words of the same part of speech, I analyzed the sentence's meaning R: Bài tập luyện tập từ vựng hữu ích nào? R: How useful were vocabulary practice exercises? 192 P: Giúp em làm quen với thi, tăng kỹ làm P: I have familiarized myself with the test, and improved my test-taking skills R: Bài tập luyện tập từ vựng có vừa sức khơng? R: Were they manageable? P: Dạ em thấy vừa P: They were ok to me R: Bài tập luyện tập từ vựng có cần cải thiện khơng? R: Do they need any improvement? P: Dạ em thấy ổn P: I think there were fine R: Theo bạn DDL chưa thật mang lại hiệu cho việc học gốc từ thành phần phụ tố? R: In your opinion, you think that DDL is not really effective for learning word parts? P: Tại em cịn khó khăn phần đó, em cảm giác cịn rối chưa hiểu rõ Em nghĩ luyện tập thêm cải thiện P: Because I still have difficulties in that aspect, I feel confused, and I haven’t understood it clearly I think if I have more practice, I will improve R: Hạn chế DDL nhiều thời gian? R: The drawback of DDL is that it’s time-consuming? P: Dạ mà có đem lại hiệu P: Yes, but it did bring some benefits to me R: Câu bị cắt ngang gây khó khăn cho bạn? R: What difficulties did the cut-off sentences cause to you? 193 P: Dạ lần đầu tiếp xúc em khơng biết đọc từ đâu, không hiểu rõ câu trước mà từ từ em tự rút kinh nghiệm cho nên khơng thấy khó khăn P: At the beginning, I didn’t know where to read from, and I could not understand the previous sentence, but gradually I learned from my experience, so I didn’t find it difficult anymore R: Bạn gặp nhiều từ lúc làm bài? R: You encountered many new words while fulfilling the tasks? P: Mấy câu ví dụ phần định nghĩa em gặp nhiều từ nên khó cho phần hiểu nghĩa P: I saw a lot of new words in the concordance lines and the English definitions so it was difficult for me to understand the meaning R: Khi gặp khó khăn bạn nhờ giáo viên giải thích lại, việc có hiệu bạn không? R: When you had such problems, you asked your teacher to explain it again Did it work for you? P: Dạ có P: Yes R: Về phần đánh giá chung, bạn trả lời “Phân vân” cho phát biểu “DDL cải thiện kĩ đọc hiểu TOEIC tôi”? R: Regarding the overall evaluation, why did you respond “Neutral” to the statement “DDL has improved my TOEIC reading skills”? P: Dạ, em có cải thiện cách làm nhiên đọc hiểu nội dung đoạn văn em cịn nhiều bối rối 194 P: Yes, my test-takings skills have improved, but I am still confused about how to understand the passage’s content R: Vì bạn trả lời “Phân vân” cho phát biểu “sẽ sử dụng DDL để học kĩ đọc hiểu tương lai”? R: Why did you respond “Neutral” to the statement “I will use DDL for my learning TOEIC reading skills in the future”? P: Dạ, em cịn rối chức nhiều q nên em khơng chắn thành thạo sử dụng hay khơng P: I'm still confused as there are too many corpus functions, so I'm not sure if I can master it or not R: Bạn có muốn kết hợp yếu tố/hoạt động lớp vào DDL để học từ vựng tốt khơng, ví dụ dịch sang tiếng Việt hay dùng từ điển? R: Should we combine an element/class activity into the DDL for better vocabulary learning, such as translating the words into Vietnamese or using a dictionary? P: Dạ em nghĩ hiệu Em nghĩ ban đầu mà tiếp xúc với phương pháp bị hoang mang nhiều thời gian để tìm hiểu, cịn mà làm quen học nhanh P: Yes, I think that would be more effective When we are first exposed to such a new approach, it would cause a bit of confusion and took much time to learn, but once I get used to it, I will learn faster R: Vậy dùng phương pháp cho nhiều khóa EE-Exam lâu dài tốt hơn? R: So, will it be better if this approach is used in many EE-Exam courses in the long run? P: Dạ 195 P: Yes R: Bạn có nói nên kết hợp hình ảnh với tập giấy Vì sao? R: You said that we should add pictures to the vocabulary paper-based worksheets Why? P: Dạ, có có nhiều từ khơng hiểu nghĩa đọc phần định nghĩa tiêng Anh Nếu có thêm hình ảnh minh họa dễ liên tưởng P: Because there were many new words, I didn’t understand the meaning even though I had already read the English definitions If there are pictures illustrating the words, it will be easier to relate to the word 196 APPENDIX 14 SPSS output of normality test 197 198 APPENDIX 15 SPSS output of pretest and posttest results Total TOEIC Reading scores Total vocabulary scores 199 Form, Meaning, Use Target vocabulary 200 201