Tóm tắt: Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh

Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng AnhXây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC GIÁO DỤC

BÙI THỊ KIM PHƯỢNG

XÂY DỰNG BÀI KIỂM TRA

THÍCH ỨNG BẰNG MÁY TÍNH

ĐỂ ĐÁNH GIÁ KIẾN THỨC

TỪ VỰNG TIẾP NHẬN TIẾNG ANH

Chuyên ngành: Đo lường và Đánh giá trong giáo dục

Mã số: 9140115

TÓM TẮT LUẬN ÁN TIẾN SĨ

HÀ NỘI – 2024

CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI

TRƯỜNG ĐẠI HỌC GIÁO DỤC, ĐẠI HỌC QUỐC GIA HÀ NỘI

Người hướng dẫn khoa học:

1 GS.TS NGUYỄN QUÝ THANH

2 PGS.TS LÊ THÁI HƯNG

Phản biện 1:………

Phản biện 2:………

Luận án sẽ được bảo vệ trước Hội đồng chấm luận án tiến sĩ họp tại ………

Vào hồi giờ ngày tháng năm

Có thể tìm hiểu luận án tại:

- Thư viện Quốc gia Việt Nam

-Trung tâm Thông tin – Thư viện , Đại học Quốc gia Hà Nội

MỞ ĐẦU

1 Đặt vấn đề

Trên thế giới, ngày càng có nhiều bài kiểm tra ngôn ngữ thích ứng trên máy tính được phát triển và nhận được phản hồi tích cực Tại Việt Nam, hệ thống trắc nghiệm thích ứng UEd-CAT được xây dựng và phát triển bởi trường ĐHGD - ĐHQGHN, với những kết quả rất tích cực trong việc kiểm tra đánh giá về toán và đọc hiểu, tạo động lực cho việc phát triển các bài kiểm tra thích ứng bằng máy tính hướng tới việc đánh giá ngôn ngữ trong thời gian tới

Trong lĩnh vực kiểm tra ngôn ngữ, kiểm tra kiến thức từ vựng có ý nghĩa quan trọng Đã có nhiều bài kiểm tra từ vựng được thiết kế và sử dụng để đánh giá các khía cạnh khác nhau về kiến thức từ vựng của người học Trong bối cảnh dạy và học ngoại ngữ Việt Nam, từ vựng luôn có được xem trọng trong chương trình giảng dạy tiếng Anh ở Việt Nam Việc có thêm những công cụ đánh giá kiến thức từ vựng tiếng Anh của người học cũng được đặt ra như một nhiệm vụ quan trọng để hỗ trợ người dạy, người học cũng như những nhà nghiên cứu trong lĩnh vực

Xuất phát từ những nhận định trên, đề tài “Xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh” được lựa chọn làm đề tài nghiên cứu thuộc chuyên ngành Đo lường và đánh giá trong giáo dục Việc phát triển bài trắc nghiệm thích ứng trên máy tính đánh giá từ vựng tiếng Anh, hướng tới việc ứng dụng và nâng cao hiệu quả của quá trình dạy và học là phù hợp với xu hướng phát triển trong giáo dục để đáp ứng yêu cầu đổi mới trong kỷ nguyên chuyển đổi số, hứa hẹn mang lại những đóng góp có giá trị trong lĩnh vực đào tạo ngôn ngữ cũng như trong lĩnh vực đo lường và đánh giá trong giáo dục tại Việt Nam

2 Mục đích và nhiệm vụ nghiên cứu

2.1 Mục đích nghiên cứu

Luận án được thực hiện với mục đích xây dựng bài kiểm tra thích ứng bằng máy tính để đánh giá từ vựng tiếp nhận tiếng Anh dành cho người học ngoại ngữ tiếng Anh tại Việt Nam

1

2.2 Nhiệm vụ nghiên cứu

(1) Xây dựng và chuẩn hóa ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ vựng tiếp nhận tiếng Anh đáp ứng các yêu cầu của

hệ thống trắc nghiệm thích ứng Ued-CAT

(2) Thiết kế, thử nghiệm và đánh giá bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh

3 Khách thể và đối tượng nghiên cứu

- Khách thể nghiên cứu: bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh

- Đối tượng nghiên cứu: quá trình phát triển bài kiểm tra thích ứng bằng máy tính đánh giá kiến thức từ vựng tiếp nhận tiếng Anh

4 Phạm vi và giới hạn nghiên cứu

- Phạm vi nghiên cứu: Luận án tập trung vào việc xây dựng và chuẩn hóa đề trắc nghiệm thích ứng để đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh ở Việt Nam

- Giới hạn nghiên cứu: Về thời gian thực hiện, với quy mô của luận

án, thử nghiệm, khảo sát và phỏng vấn được lên kế hoạch và thực hiện trong khoảng thời gian từ tháng 12/2020 đến tháng 12/2023

Về đối tượng tham gia nghiên cứu, luận án được thực hiện với sinh viên các chuyên ngành kỹ thuật Đại học Bách khoa Hà Nội, một nhóm đối tượng người học ngoại ngữ tiếng Anh ở Việt Nam Về bối cảnh thực hiện nghiên cứu, luận án sử hệ thống trắc nghiệm thích ứng của trường ĐHGD - ĐHQGHN với sự cho phép của nhóm

chuyên gia phát triển hệ thống

5 Câu hỏi nghiên cứu

Câu hỏi 1: Ngân hàng câu hỏi trắc nghiệm đánh giá kiến thức từ

vựng tiếp nhận tiếng Anh được xây dựng và chuẩn hóa như thế nào?

Câu hỏi 2: Bài kiểm tra thích ứng bằng máy tính được thiết kế thực

hiện việc đánh giá kiến thức từ vựng tiếp nhận tiếng Anh của người học ngoại ngữ tiếng Anh ở Việt Nam như thế nào?

6 Phương pháp nghiên cứu

* Phương pháp nghiên cứu định tính

- Phương pháp chuyên gia

2

3

- Phương pháp phỏng vấn

- Phương pháp tổng thuật, phân tích nội dung

* Phương pháp nghiên cứu định lượng

- Phương pháp thử nghiệm

- Phương pháp khảo sát

- Phương pháp xử lý số liệu toán học và thống kê

7 Đóng góp khoa học của luận án

* Đóng góp về lý luận: Luận án là công trình nghiên cứu khoa học

có hệ thống, logic, và chặt chẽ dựa trên cơ sở lý thuyết được phát triển bởi các học giả và nhà nghiên cứu liên quan về kiểm tra từ vựng và trắc nghiệm thích ứng bằng máy tính, hứa hẹn đóng góp vào lĩnh vực kiểm tra đánh giá ngôn ngữ những giá trị lý luận có ý nghĩa hướng tới đối tượng người học tiếng Anh ở Việt Nam, từ đó mang lại những đóng góp tích cực vào việc áp dụng công nghệ trong

đo lường và đánh giá trong giáo dục cũng như lĩnh vực dạy và học ngoại ngữ tiếng Anh ở Việt Nam

* Đóng góp về thực tiễn: Với việc áp dụng trắc nghiệm thích ứng

bằng máy tính, công cụ kiểm tra kiến thức từ vựng tiếp nhận tiếng Anh hứa hẹn có những tính năng vượt trội, mang lại tính chính xác

và hiệu quả đánh giá cao Những kết quả đánh giá từ quá trình thử nghiệm cũng như từ góc nhìn của các thí sinh giúp cung cấp những

ý tưởng và nhận định có giá trị và đáng tin cậy về việc áp dụng trắc nghiệm thích ứng trong kiểm tra đánh giá cũng như trong quá trình dạy và học, để mang lợi ích cho người dạy, người học, và các nhà nghiên cứu hay nhóm phát triển hệ thống trắc nghiệm thích ứng

8 Cấu trúc của luận án

Ngoài các phần mở đầu, kết luận, danh sách các công trình khoa học của tác giả có liên quan đến luận án đã được công bố, tài liệu tham khảo và phụ lục, luận án gồm có các chương nội dung chính như sau:

Chương 1 Cơ sở lý luận và tổng quan nghiên cứu

Chương 2 Thiết kế nghiên cứu

Chương 3 Kết quả nghiên cứu

4

CHƯƠNG 1: CƠ SỞ LÝ LUẬN CỦA VẤN ĐỀ NGHIÊN CỨU 1.1 Cơ sở lý luận

1.1.1 Lý thuyết khảo thí hiện đại

Lý thuyết khảo thí hiện đại – lý thuyết ứng đáp câu hỏi (Item Response Theory – IRT) sử dụng mô hình toán học để dự đoán xác suất trả lời đúng một câu hỏi, dựa trên chỉ số về năng lực của người trả lời và độ khó của câu hỏi (Wu & Adams, 2007) Hiện nay có ba

mô hình phổ biến trong lý thuyết ứng đáp câu hỏi được phân loại theo số tham số đặc trưng mà mô hình xem xét, bao gồm mô hình một tham số kiểm tra các câu hỏi trắc nghiệm theo chỉ một tham số,

độ khó của câu hỏi; mô hình hai tham số phân tích cả độ khó của câu hỏi và độ phân biệt câu hỏi, và mô hình ba tham số bao gồm độ khó của câu hỏi, độ phân biệt câu hỏi và mức độ dự đoán hay đoán

mò câu trả lời Những mô hình này cung cấp khả năng phân loại năng lực của thí sinh và hiểu rõ hơn về tính chất của các câu hỏi trong bài kiểm tra Sự phức tạp của các mô hình tăng lên từ mô hình Rasch đến mô hình 3 tham số, nhưng cũng cung cấp thông tin chi tiết và chính xác hơn về năng lực của thí sinh

1.1.2 Lý luận về trắc nghiệm thích ứng bằng máy tính

Trắc nghiệm thích ứng bằng máy tính CAT là một hệ thống kiểm tra có sử dụng máy tính để tạo ra một đề thi thích ứng với năng lực của thí sinh Trong một quy trình kiểm tra hoàn chỉnh, bài kiểm tra bắt đầu với một câu hỏi được chọn từ ngân hàng câu hỏi đã hiệu chuẩn Nếu thí sinh đưa ra một câu trả lời đúng, thì một câu hỏi có

độ khó cao hơn sẽ được chọn là câu hỏi tiếp theo, và ngược lại, khi người dự thi đưa ra một câu trả lời sai, một câu hỏi có độ khó thấp hơn sẽ được chọn là câu hỏi tiếp theo Trong quá trình lặp lại này, khả năng của thí sinh được ước tính và tính toán lại dựa trên thành tích của thí sinh cho đến khi hệ thống thu thập đủ bằng chứng để xác định trình độ ngôn ngữ của thí sinh, nghĩa là đã thỏa mãn tiêu chí kết thúc

Hệ thống trắc nghiệm thích ứng bao gồm một ngân hàng câu hỏi trắc nghiệm thích ứng và các thuật toán trắc nghiệm thích ứng

5

(điểm khởi đầu, thuật toán lựa chọn câu hỏi, thuật toán ước tính năng lực và tiêu chí kết thúc) Việc xây dựng một hệ thống trắc nghiệm thích ứng đòi hỏi nhiều nhóm nguồn lực về thời gian, tài chính và kiến thức liên ngành, các bước xây dựng có thể tham khảo khung xây dựng CAT của Thompson & Weiss (2011)

1.1.3 Lý luận về kiểm tra từ vựng tiếp nhận tiếng Anh

Từ vựng tiếp nhận tiếng Anh được xem là khía cạnh cơ bản nhất và quan trọng nhất của kiến thức từ vựng trong kiểm tra đánh giá, đó là mối quan hệ giữa dạng từ (form) và nghĩa (meaning), khía cạnh này làm nền móng để tiến hành việc học tập và lĩnh hội các khía cạnh khác của từ vựng (Webb và cộng sự, 2012)

Trong luận án, khái niệm kiến thức từ vựng tiếp nhận tiếng Anh được sử dụng mang tính đại diện cho những đặc điểm cụ thể hơn của từ vựng, cụ thể: (1) kiến thức từ vựng tiếp nhận tiếng Anh hướng tới khía cạnh dạng từ và nghĩa trong các kỹ năng tiếp nhận

là đọc và nghe, do đó kiến thức từ vựng tiếp nhận tiếng Anh thực chất là kiến thức thụ động của người được kiểm tra, tập trung vào

kỹ năng nhận biết nghĩa của một từ cho trước ở dạng viết hoặc dạng nói; (2) kiến thức từ vựng tiếp nhận tiếng Anh hướng tới một mức

độ duy nhất trong chiều sâu của kiến thức từ vựng, đó là mức độ biết nghĩa; do đó, việc đánh giá kiến thức từ vựng tiếp nhận tiếng Anh thực chất là xác định độ rộng của từ vựng, có thể được thực hiện với một danh sách từ được lựa chọn phù hợp với đối tượng kiểm tra để xác định số lượng từ người được kiểm tra đã nhận diện được nghĩa một cách chính xác, từ đó có thể phục vụ các mục đích khác nhau của kiểm tra từ vựng

Việc kiểm tra từ vựng tiếp nhận tiếng Anh cần xem xét khung xây dựng đề kiểm tra ngôn ngữ của Bachman & Palmer (1996) được xem là nền tảng của rất nhiều các nghiên cứu trong nhiều thập kỷ qua với ba giai đoạn - thiết kế, thao tác xây dựng và tiến hành kiểm tra; và khung kiểm tra từ vựng tiếng Anh của Read

& Chapelle (2001) với năm thành tố, cụ thể là mục đích kiểm tra (test purpose), các cân nhắc độ giá trị (validity considerations), các

6

yếu tố trung gian (mediating factors), thiết kế đề kiểm tra (test design), và xác trị (validation)

1.2 Tổng quan nghiên cứu

1.2.1 Các nghiên cứu về kiểm tra thích ứng trong đào tạo ngôn ngữ

Việc áp dụng kiểm tra thích ứng trên máy tính bắt đầu từ những năm 1980 Kể từ đó, nhiều bài kiểm tra ngôn ngữ thích ứng trên máy tính đã được phát triển trong nhiều nghiên cứu thực nghiệm cho các ngôn ngữ khác nhau và được áp dụng rộng rãi trong kiểm tra đánh giá tiếng Anh hướng tới các khía cạnh khác nhau của trình độ thông thạo tiếng Anh (Tseng, 2016) Giờ đây, ngày càng

có nhiều bài kiểm tra ngôn ngữ thích ứng trên máy tính (CALT - Computerized Adaptive Language Testing) đã được phát triển Ngoài ra, việc áp dụng CAT trong đánh giá ngôn ngữ là trọng tâm thảo luận trong nhiều các ấn phẩm trong những thập kỷ qua

Xét trong bối cảnh thực hiện luận án, mặc dù CAT còn khá mới mẻ ở Việt Nam, nhưng những tiền đề phát triển và báo cáo kết quả tích cực của hệ thống trắc nghiệm đã được xây dựng và hoàn thiện chắc chắn là những lợi thế đáng kể, giảm đi các áp lực liên quan việc thiết kế và vận hành hệ thống Việc xây dựng bài trắc nghiệm thích ứng đánh giá từ vựng của luận án là khả thi, được xem như một bước mở rộng nội dung kiểm tra để phát triển hệ thống, khẳng định khả năng ứng dụng của CAT trong đào tạo ngôn ngữ cũng như trong lĩnh vực kiểm tra đánh giá ở Việt Nam

1.2.2 Các nghiên cứu về kiểm tra từ vựng tiếp nhận tiếng Anh

Các bài kiểm tra từ vựng được phát triển rất đa dạng, có các cách tiếp cận khác nhau, tuy nhiên, không thể phủ nhận rằng các bài kiểm tra từ vựng tiếp nhận tiếng Anh là phổ biến nhất, thường được tiến hành với khía cạnh cơ bản nhất và quan trọng nhất của kiến thức từ vựng, đó là mối quan hệ giữa dạng từ và nghĩa, khía cạnh này làm nền móng để tiến hành việc học tập và lĩnh hội các khía cạnh khác của từ vựng (Webb và cộng sự, 2012) Hiện nay, nhiều nghiên cứu về kiểm tra từ vựng của người học tiếng Anh tại

7

Việt Nam đều sử dụng các bài kiểm tra từ vựng tiếp nhận dạng viết

để xác định vốn từ vựng của thí sinh, có thể kể đến các nghiên cứu với sinh viên đại học của Le và Nation (2011), Nguyen và Webb (2017) và Dang (2020) và các nghiên cứu với học sinh phổ thông của Vu và Nguyen (2019) và Nguyen (2021)

Với các dự án phát triển công cụ kiểm tra đánh giá từ vựng cho người học Tiếng Anh tại Việt Nam, các nhà nghiên cứu có thể xem xét các gợi ý của nhóm tác giả NGSLT như việc phát triển các phiên bản tương đương phục vụ cho việc tiến hành kiểm tra đánh giá thường xuyên và phiên bản song ngữ với các ngôn ngữ khác cũng như việc thực hiện các nghiên cứu xác trị cho bài kiểm tra NGSLT Bên cạnh đó, đề xuất của Stoeckel và cộng sự (2021) về việc áp dụng lý thuyết ứng đáp IRT để phát triển đề kiểm tra thích ứng cũng nên được xem xét nhằm mang lại những bài kiểm tra từ vựng với ít câu hỏi hơn, tiết kiệm thời gian hơn mà vẫn mang lại kết quả chính xác về năng lực thí sinh

1.2.3 Khoảng trống nghiên cứu

Việc lựa chọn một bài kiểm tra tùy thuộc vào mục đích sử dụng khác nhau của người học, người dạy và các nhà nghiên cứu, cũng như mức độ quen thuộc của người học với các dạng thức kiểm tra, từ đó mang lại những trải nghiệm tích cực cũng như kết quả thể hiện chính xác năng lực của thí sinh Trong bối cảnh dạy và học ngoại ngữ Việt Nam, từ vựng luôn có được xem trọng trong chương trình giảng dạy tiếng Anh ở Việt Nam, tuy nhiên việc kiểm tra đánh giá vẫn còn nhiều khoảng trống Danh sách từ nào, khía cạnh ngôn ngữ nào và hình thức kiểm tra đánh giá nào được sử dụng để xác định được lượng từ mục tiêu vẫn chưa được xác định một cách cụ thể Trong thực tế, theo kết quả của một số lượng không nhiều các nghiên cứu gần đây kiểm tra từ vựng của người học tiếng Anh ở Việt Nam, học sinh phổ thông và sinh viên đại học có lượng từ vựng rất hạn chế (Vu & Peters, 2021) Thêm vào đó, các công cụ kiểm tra được sử dụng chưa có sự đồng nhất và tương thích với mục tiêu đào tạo

8

Từ những vấn đề này có thể đi đến nhận định rằng việc xây dựng các công cụ đánh giá kiến thức từ vựng tiếng Anh hướng tới đối tượng người học tiếng Anh ở Việt Nam là rất cần thiết, có thể bắt đầu với kiến thức cơ bản nhất là kiến thức từ vựng tiếp nhận của các đối tượng người học tiếng Anh có trình độ bậc 1-2-3 để hỗ trợ người dạy, người học cũng như những nhà nghiên cứu trong lĩnh vực dạy và học tiếng Anh tại Việt Nam

1.3 Kết chương và đề xuất mô hình nghiên cứu

Từ việc tiến hành tổng quan các nghiên cứu có thể đi đến kết luận việc phát triển đề kiểm tra từ vựng tiếng Anh sử dụng trắc nghiệm thích ứng bằng máy tính là rất cần thiết, phù hợp xu thế giáo dục trong bối cảnh của Việt Nam và thế giới, hứa hẹn những đóng góp tích cực vào lĩnh vực kiểm tra và đào tạo ngôn ngữ mà các nhà nghiên cứu hàng đầu trong ngành đã chỉ ra

Hình 1: Mô hình nghiên cứu

9

CHƯƠNG 2: THIẾT KẾ NGHIÊN CỨU

2.1 Thiết kế nghiên cứu

Quy trình nghiên cứu và thu thập dữ liệu của luận án được chia thành bốn giai đoạn Giai đoạn 1 là giai đoạn tìm hiểu nguyên

lý hoạt động của hệ thống trắc nghiệm UEd-CAT Giai đoạn 2 là giai đoạn thiết kế ngân hàng câu hỏi đánh giá từ vựng tiếp nhận tiếng Anh Giai đoạn 3 thực hiện việc thử nghiệm và chuẩn hóa ngân hàng câu hỏi, phục vụ trả lời câu hỏi nghiên cứu số 1 Giai đoạn 4 là giai đoạn thử nghiệm và đánh giá hiệu quả của bài kiểm tra thích ứng từ vựng tiếp nhận tiếng Anh trên hệ thống trắc nghiệm UED-CAT, phục vụ trả lời câu hỏi nghiên cứu số 2

2.2 Phương pháp nghiên cứu

Phương pháp nghiên cứu kết hợp (mixed method approach) được lựa chọn sử dụng trong luận án với việc sử dụng kết hợp phương pháp nghiên cứu định lượng và định tính trong các bước

thu thập và phân tích dữ liệu nghiên cứu

2.2.1 Phương pháp nghiên cứu định lượng

* Phương pháp thử nghiệm

Trong nghiên cứu này, thử nghiệm được tiến hành trong ba đợt: đợt 1 là thử nghiệm để đánh giá đề mẫu; đợt 2 để chuẩn hóa ngân hàng câu hỏi, và đợt 3 là thử nghiệm để đánh giá bài trắc nghiệm thích ứng

* Phương pháp điều tra khảo sát

Trong nghiên cứu này, điều tra khảo sát được tiến hành sau đợt thử nghiệm với hệ thống trắc nghiệm thích ứng, tìm hiểu về ý kiến của sinh viên với các tiêu chí của trắc nghiệm thích ứng

* Phương pháp phân tích dữ liệu định lượng

- Phân tích và cân bằng đề thử nghiệm

Nghiên cứu này lựa chọn sử dụng phần mềm Conquest 2.0,

áp dụng mô hình Rasch để tiến hành phân tích chất lượng đề và câu hỏi, đồng thời xác định các tham số câu hỏi của các đề thử nghiệm

Sau khi phân tích chất lượng đề và câu hỏi của các đề thử nghiệm, các câu hỏi không phù hợp với mô hình sẽ bị loại bỏ, nhà

10

nghiên cứu tiến hành cân bằng đề với phần mềm R, gói equateIRT,

để đưa các tham số câu hỏi về cùng một thang đo của ngân hàng câu hỏi trắc nghiệm thích ứng

- Phân tích kết quả thử nghiệm đề trắc nghiệm thích ứng Các bước phân tích bao gồm việc sử dụng SPSS để tiến hành thống kê mô tả, tương quan giữa số câu trả lời đúng và năng lực thí sinh, tương quan giữa điểm năng lực thí sinh trên hệ thống trắc

nghiệm thích ứng và điểm thi với bài kiểm tra truyền thống

2.2.2 Phương pháp nghiên cứu định tính

* Phương pháp chuyên gia

Sau khi bộ câu hỏi thô được thiết kế hoàn chỉnh, nhà nghiên cứu chuyển bộ câu hỏi đến các giảng viên tiếng Anh có kinh nghiệm giảng dạy tiếng Anh nhiều năm cũng như kinh nghiệm viết câu hỏi thi để thẩm định bộ câu hỏi thô

* Phương pháp phỏng vấn

Nhà nghiên cứu dựa vào một bảng câu hỏi được xác định trước cho tất cả những người tham gia để đảm bảo tính nhất quán trong các cuộc phỏng vấn và tạo điều kiện thuận lợi cho việc hệ thống và phân tích dữ liệu sau này

* Phương pháp phân tích nội dung định tính

Phương pháp phân tích nội dung được sử dụng trong việc phân tích kết quả từ phương pháp chuyên gia thẩm định bộ câu hỏi thô và phương pháp phỏng vấn thí sinh về trải nghiệm với đề trắc nghiệm thích ứng Các kết quả định tính sẽ được phân tích và báo

cáo theo nhóm

2.3 Quá trình lấy mẫu

2.3.1 Mẫu của phương pháp chuyên gia

Với mục đích thẩm định bộ câu hỏi thô, nghiên cứu lựa chọn bảy người tham gia phương pháp chuyên gia (1) có hiểu biết và trải nghiệm với việc dạy/kiểm tra tiếng Anh, cụ thể là từ vựng tiếng

Anh, (2) tình nguyện và sẵn sàng tham gia nghiên cứu

2.3.2 Mẫu tham gia thử nghiệm

11

Quá trình lấy mẫu được thực hiện theo phương pháp lấy mẫu thuận tiện, với sự đồng thuận và tự nguyện tham gia của các sinh viên ĐHBKHN trong cả ba đợt thử nghiệm Đợt thử nghiệm đầu tiên thực hiện với đề mẫu – đề trắc nghiệm từ vựng tiếp nhận tiếng Anh phiên bản song ngữ Anh-Việt Thành phần tham gia bao gồm

225 sinh viên khối tiếng Anh bậc 1-2-3 Đợt thử nghiệm thứ hai diễn ra trong một tháng với 1619 sinh viên tham gia Đợt thử nghiệm thứ ba được tiến hành với 290 sinh viên thực hiện một đề hoàn chỉnh 100 câu hỏi để xác định năng lực thí sinh theo cách thức kiểm tra truyền thống Số sinh viên này được gửi thư mời và có 98 sinh viên tham gia tiếp giai đoạn thử nghiệm trên hệ thống trắc nghiệm thích ứng cùng thông tin tài khoản và hướng dẫn cụ thể

2.3.3 Mẫu tham gia khảo sát và phỏng vấn

Sau quá trình thử nghiệm, 98 sinh viên tham gia thử nghiệm trên hệ thống được mời được mời thực hiện khảo sát về ý kiến với các tính năng của bài kiểm tra thích ứng đã thực hiện Có 74 sinh viên tham gia khảo sát, bao gồm 43 nam và 31 nữ Hầu hết (83,78%) tự đánh giá vốn từ vựng của mình theo hai nhóm là dưới

1500 từ và 1500 - 2750 từ và cho biết tần suất trải nghiệm với CAT là khá hạn chế Sau khảo sát, 10 sinh viên nhận lời mời tham gia phỏng vấn

2.4 Công cụ nghiên cứu

2.4.1 Hệ thống UED-CAT

Hệ thống trắc nghiệm thích ứng phiên bản UEd-CAT là sản phẩm khoa học của nhóm nghiên cứu Khoa Quản trị Chất lượng – Trường ĐHGD – ĐHQGHN Nhóm nghiên cứu đã xây dựng thành công và báo cáo những kết quả tích cực đáng ghi nhận với đề thi trắc nghiệm thích ứng đánh giá năng lực toán học và năng lực đọc hiểu của học sinh lớp 10 (Lê và cộng sự, 2019)

2.4.2 Bài trắc nghiệm đánh giá từ vựng tiếp nhận tiếng Anh

Bảng đặc tả của bài kiểm tra song ngữ từ vựng tiếng Anh thông dụng trong nghiên cứu được trình bày trong Bảng 1 Dựa trên bảng đặc tả, 100 câu hỏi đã được chuyển dịch để xây dựng phiên