Lý thuyết trắc nghiệm và ứng dụng trong trắc nghiệm trực tuyến

Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến Luận văn Thạc sĩ CNTT Người thực hiện: Nguyễn Thị Thắm Người hướng dẫn khoa học: GS.TSKH Đinh Dũng MỤC LỤC MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC CÁC HÌNH VẼ iv DANH MỤC CÁC BẢNG BIỂU v MỞ ĐẦU CHƢƠNG TỔNG QUAN VỀ TRẮC NGHIỆM 1.1 Trắc nghiệm phân loại trắc nghiệm 1.1.1 Trắc nghiệm (Test) gì? 1.1.2 Phân loại trắc nghiệm 1.1.3 So sánh trắc nghiệm khách quan tự luận 10 1.2 Trắc nghiệm trực tuyến 14 1.3 Tình hình phát triển ứng dụng trắc nghiệm 17 1.3.1 Tình hình phát triển ứng dụng trắc nghiệm giới .17 1.3.2 Tình hình phát triển ứng dụng trắc nghiệm Việt Nam 18 CHƢƠNG LÝ THUYẾT TRẮC NGHIỆM 22 2.1 Nhắc lại số khái niệm xác suất thống kê 23 2.2 Lý thuyết trắc nghiệm cổ điển (Classical Test Theory) .25 2.2.1 Xác định tham số câu hỏi, thuộc tính trắc nghiệm 26 2.2.2 Ưu điểm CTT .32 2.2.3 Nhược điểm CTT 32 2.3 Lý thuyết ứng đáp câu hỏi (Item Response Theory) 33 2.3.1 Các tiên đề 33 2.3.2 Đường cong đặc trưng câu hỏi .34 2.3.3 Ước lượng tham số câu hỏi 39 2.3.4 Ước lượng lực thí sinh .46 2.3.5 Ước lượng đồng thời tham số câu hỏi lực thí sinh 53 2.3.6 Điểm thực trắc nghiệm 58 2.3.7 Ưu, nhược điểm IRT 60 2.4 Lý thuyết ứng đáp câu hỏi nhiều chiều 64 i CHƢƠNG NGÂN HÀNG CÂU HỎI 66 3.1 Một số dạng câu hỏi trắc nghiệm .66 3.2 Đặc tả QTI cho câu hỏi, trắc nghiệm 70 3.2.1 Giới thiệu chung đặc tả QTI 70 3.2.2 Các tài liệu đặc tả QTI .71 3.2.3 Các đối tượng QTI 72 3.2.4 Ví dụ minh hoạ biểu diễn câu hỏi theo đặc tả QTI .74 3.3 Quy trình xây dựng ngân hàng câu hỏi 78 3.3.1 Xác định đặc điểm lực mà câu hỏi đo .78 3.3.2 Viết câu hỏi 79 3.3.3 Xem xét lại câu hỏi viết (review) 81 3.3.4 Thử nghiệm (pilot test) .82 CHƢƠNG ỨNG DỤNG LÝ THUYẾT IRT TRONG HỆ THỐNG TRẮC NGHIỆM CỦA VIỆN CNTT – ĐHQGHN 84 4.1 Hệ thống trắc nghiệm Viện CNTT 84 4.2 Thử nghiệm ước lượng tham số câu hỏi lực thí sinh 86 KẾT LUẬN 94 TÀI LIỆU THAM KHẢO 96 PHỤ LỤC 99 ii DANH MỤC CÁC TỪ VIẾT TẮT Stt Từ cụm từ Từ viết tắt Từ Tiếng Anh IRT Item Response Theory Lý thuyết ứng đáp câu hỏi Lý thuyết trắc nghiệm cổ điển CTT Classical Test Theory Lý thuyết ứng đáp câu hỏi MIRT nhiều chiều Multidimentional Item Response Theory Trắc nghiệm trực tuyến iBT internet Based Testing Đào tạo Web WBT Web Based Training Đặc tả tính khả thi tương IMS QTI IMS Question & Test tác câu hỏi trắc nghiệm tổ chức IMS Global Interoperability Specification Trắc nghiệm thích nghi CAT iii Computer Adaptive Test DANH MỤC CÁC HÌNH VẼ Hình 1.1: Các phương pháp trắc nghiệm .8 Hình 2.1: Ví dụ đồ thị phân bố chuẩn (0, 1) .25 Hình 2.2: Đường cong đặc trưng câu hỏi 35 Hình 2.3: Đường cong đặc trưng câu hỏi thể tham số .36 Hình 2.4: Đường ICC câu hỏi có độ phân biệt, khác độ khó .38 Hình 2.5: Biểu diễn điểm ước lượng xác suất trả lời câu hỏi theo nhóm thí sinh 41 Hình 2.6: Đường cong đặc trưng câu hỏi nhận sau ước lượng tham số 43 Hình 2.7: Một hàm thơng tin trắc nghiệm 10 câu hỏi .50 Hình 2.8: Một đường cong đặc trưng trắc nghiệm có 10 câu hỏi 60 Hình 2.9: Các tham số câu hỏi ước lượng thông qua trả lời nhóm có lực thấp 61 Hình 2.10: Các tham số câu hỏi ước lượng thơng qua trả lời nhóm thí sinh có lực cao 61 Hình 2.11: Đường cong đặc trưng câu hỏi tìm .62 Hình 3.1: Câu hỏi nhiều lựa chọn dùng radio button 67 Hình 3.2: Câu hỏi nhiều lựa chọn dùng combo box .67 Hình 3.3: Câu hỏi nhiều phương án trả lời 67 Hình 3.4: Câu hỏi điền thơng tin 68 Hình 3.5: Câu hỏi ghép đôi 68 Hình 3.6: Câu hỏi lựa chọn điểm vùng ảnh 69 Hình 3.7: Câu hỏi dùng trượt 69 Hình 3.8: Câu hỏi lựa chọn phương án 74 Hình 4.1: Mơ hình hệ thống trắc nghiệm trực tuyến Viện CNTT 84 Hình 4.2: Ví dụ kết trả lời thi thí sinh 87 Hình 4.3: Sơ đồ thuật tốn ước lượng đồng thời câu hỏi lực thí sinh .88 iv DANH MỤC CÁC BẢNG BIỂU Bảng 1.1: So sánh Trắc nghiệm khách quan Tự luận 11 Bảng 2.1: Ví dụ kết trả lời thi câu hỏi 10 thí sinh 28 Bảng 3.1: Ví dụ bảng yêu cầu 80 Bảng 4.1: Kết ước lượng tham số a, b, c cho 40 câu hỏi 89 Bảng 4.2: Kết ước lượng lực 30 thí sinh danh sách 91 v Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến MỞ ĐẦU Trong năm gần trắc nghiệm trực tuyến (Online Testing hay Internet Based Testing - iBT) đặc biệt quan tâm ưu điểm bật như: dễ dàng sinh thi theo yêu cầu; triển khai kỳ thi diện rộng; tích hợp với hệ thống đào tạo từ xa e-Learning; không phụ thuộc thời gian, địa điểm tổ chức kỳ thi; Hầu hết tổ chức sát hạch tiếng giới chuyển sang phương thức trắc nghiệm trực tuyến, hai ví dụ điển hình là: tổ chức Educational Testing Service (ETS) - http://www.ets.org/ - đơn vị chuyên tổ chức kỳ thi sát hạch cấp chứng TOEFL, TOEIC, GRE,…- chuyển kỳ thi TOEFL từ trắc nghiệm giấy sang iBT; tổ chức International Computer Driving Licence Asia Pacific (ICDLAP) http://www.icdlap.com/ - đơn vị tổ chức kỳ thi sát hạch kỹ Cơng nghệ Thơng tin chuyển sang hình thức sát hạch iBT Cùng với phát triển phương thức đào tạo qua Web (Web Based Training), trắc nghiệm trực tuyến ngày quan tâm phát triển Trắc nghiệm máy tính nói chung trắc nghiệm trực tuyến nói riêng thường gồm hai phận quan trọng là: ngân hàng câu hỏi phần mềm trắc nghiệm Ngân hàng câu hỏi xem phần nội dung (content) phần mềm trắc nghiệm Trong trắc nghiệm trực tuyến, tất câu hỏi trắc nghiệm thuộc mơn học chủ đề tập trung lại thành ngân hàng câu hỏi đặt phía máy chủ; phần mềm trắc nghiệm làm nhiệm vụ tổ chức câu hỏi lấy từ ngân hàng thành thi phân phối đến thí sinh thơng qua trình duyệt Web, đồng thời thực phân tích phương án trả lời thí sinh cuối đưa kết đánh giá lực thí sinh Việc đánh giá lực thí sinh (qua việc làm thi trắc nghiệm) phụ thuộc vào số yếu tố, đặc biệt ý đến: (1) ngân hàng câu hỏi trắc nghiệm có chất lượng phù hợp mục tiêu trắc nghiệm; (2) phương thức đánh giá lực thí sinh khách quan có độ xác cao (1) Ngân hàng câu hỏi trắc nghiệm: Cho dù triển khai trắc nghiệm theo phương thức câu hỏi ln thành phần thi trắc nghiệm Chất lượng câu hỏi xem xét theo số tiêu chí, chẳng hạn: mục đích thiết kế câu hỏi; nội dung câu hỏi; tham số đặc trưng câu hỏi độ khó, độ phân biệt, độ đốn (xem giải thích ý Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến nghĩa tham số Chương 2) Để có ngân hàng câu hỏi trắc nghiệm có chất lượng cần thực qua nhiều công đoạn khác nhau: từ bước lập kế hoạch; viết câu hỏi; đến bước đánh giá câu hỏi Mỗi cơng đoạn có yêu cầu riêng Để tổng hợp lại công đoạn thực trình xây dựng ngân hàng câu hỏi đồng thời giúp nâng cao chất lượng câu hỏi trắc nghiệm luận văn đề xuất quy trình xây dựng ngân hàng câu hỏi trắc nghiệm trình bày Chương Luận văn Trong trắc nghiệm trực tuyến, việc tổ chức câu hỏi trắc nghiệm thành ngân hàng ý nghĩa dễ dàng sinh thi ngẫu nhiên từ câu hỏi có ngân hàng, cịn có ý nghĩa khác là: dễ dàng sử dụng lại chia sẻ câu hỏi có ngân hàng với hệ thống trắc nghiệm trực tuyến khác Cũng lý mà IMS Global đưa đặc tả có tên IMS QTI specification – Question and Test Interoperability (tạm dịch là: đặc tả tính khả thi tương tác câu hỏi trắc nghiệm) cho câu hỏi trắc nghiệm Đặc tả giới thiệu ngắn gọn Mục 3.2 Luận văn (2) Phương thức đánh giá lực thí sinh: Thuật ngữ lực hiểu sau: Khi xét khối kiến thức cụ thể (mơn học, lĩnh vực ), thí sinh ln sở hữu lượng kiến thức đó, không phụ thuộc vào trắc nghiệm Mục tiêu trắc nghiệm tổ chức để đo “lượng kiến thức” mà thí sinh sở hữu bao nhiêu, từ định vị thí sinh thang đo Thuật ngữ “năng lực” sử dụng với hàm ý nói đến “lượng kiến thức” mà thí sinh sở hữu Sau có ngân hàng câu hỏi trắc nghiệm đánh giá chất lượng (đã ước lượng tham số độ khó, độ phân biệt, độ đoán câu hỏi), phần mềm trắc nghiệm thực chọn ngẫu nhiên (theo tiêu chí đó) câu hỏi ngân hàng tổ chức thành thi trắc nghiệm Từ phương án trả lời câu hỏi trắc nghiệm thí sinh thi, phần mềm trắc nghiệm thực việc xác định lực thí sinh thơng qua phương thức đánh giá dựa lý thuyết trắc nghiệm chọn Việc đánh giá câu hỏi lực thí sinh có liên quan mật thiết với thực dựa sở lý thuyết trắc nghiệm Cho đến nay, có Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến hai lý thuyết trắc nghiệm giúp thực điều này, là: lý thuyết cổ điển (Classical Test Theory - CTT) lý thuyết ứng đáp câu hỏi (Item Response Theory - IRT) IRT đời sau CTT khắc phục hai nhược điểm lớn CTT: (i) việc xác định tham số đặc trưng câu hỏi không bị phụ thuộc vào nhóm thí sinh mẫu thử nghiệm; (ii) lực thí sinh khơng bị phụ thuộc vào câu hỏi trắc nghiệm dùng để xác định lực Trong IRT, mối quan hệ lực thí sinh tham số đặc trưng câu hỏi trắc nghiệm thể thông qua hàm số Nếu biết trước tham số câu hỏi ước lượng lực thí sinh; ngược lại, biết trước lực thí sinh ước lượng tham số câu hỏi Nhưng thời điểm ban đầu, xây dựng câu hỏi tham số câu hỏi chưa biết trước được; đồng thời lực thí sinh lại đại lượng cần đo thông qua việc thực thi trắc nghiệm Sử dụng IRT giúp giải vấn đề Nét độc đáo IRT nhờ áp dụng thuật toán ước lượng thống kê với tập mẫu lớn mà ước lượng đồng thời tham số thời lực thí sinh tham số câu hỏi với độ xác Nếu trường hợp tham số câu hỏi ước lượng từ trước đó, lúc dễ dàng ước lượng lực thí sinh nhờ thuật tốn “Ước lượng lực thí sinh” trình bày Mục 2.3.4 Việc ứng dụng lý thuyết trắc nghiệm, đặc biệt ứng dụng IRT phân tích câu hỏi lực thí sinh yếu tố then chốt nhằm: (a) phân tích tham số đặc trưng câu hỏi đồng thời tìm câu hỏi chất lượng trình thử nghiệm; (b) giúp đem lại kết trắc nghiệm mang tính khách quan có độ xác cao Ở Việt Nam, việc áp dụng lý thuyết trắc nghiệm vào đánh giá kết trắc nghiệp chưa thực quan tâm, phần lớn hệ thống trắc nghiệm dừng lại mức tính điểm thơ (điểm thơ tính số câu trả lời nhân thêm hệ số cho câu) Năm 2005, GS Lâm Quang Thiệp có viết “Việt Nam cần áp dụng khoa học đo lường giáo dục” website www.vnn.vn [17] Gần diễn đàn giáo dục Bộ Giáo dục www.edu.net có vài ngắn gọn nói vấn đề này, dừng lại mức giới thiệu đơn giản Chính vậy, việc tìm hiểu ứng dụng IRT hệ thống trắc nghiệm trực tuyến vấn đề giải luận văn ... lý thuyết trắc nghiệm Cho đến nay, có Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến hai lý thuyết trắc nghiệm giúp thực điều này, là: lý thuyết cổ điển (Classical Test Theory - CTT) lý. .. thi trắc nghiệm đời với phát triển công nghệ Web ngày quan tâm ứng dụng rộng rãi Trắc nghiệm trực tuyến hiểu sau: 14 Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến Trắc nghiệm trực tuyến. .. nêu 83 Lý thuyết trắc nghiệm ứng dụng trắc nghiệm trực tuyến CHƯƠNG ỨNG DỤNG LÝ THUYẾT IRT TRONG HỆ THỐNG TRẮC NGHIỆM CỦA VIỆN CNTT – ĐHQGHN 4.1 Hệ thống trắc nghiệm Viện CNTT Hệ thống trắc nghiệm