ĐO LƯỜNG TRONG GIÁO DỤC lý thuyết và ứng dụng

GS.TSKH LM QUANG THIP ĐO LƯờNG TRONG GIáO DụC Lý thuyết ứng dụng Nhà xuất đại học quốc gia Hµ néi MỤC LỤC LỜI NĨI ĐẦU GIỚI THIỆU CẤU TRÚC VÀ CÁCH SỬ DỤNG CUỐN SÁCH PHẦN I MỘT SỐ KHÁI NIỆM BAN ĐẦU VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC 15 Chương VỀ TRẮC NGHIỆM VÀ ĐO LƯỜNG TRONG GIÁO DỤC 16 1.1 NHU CẦU ĐO LƯỜNG TRONG CUỘC SỐNG VÀ KHOA HỌC VỀ ĐO LƯỜNG NÓI CHUNG 16 1.2 ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC 17 1.3 PHÂN LOẠI CÁC MỤC TIÊU GIÁO DỤC 19 1.4 PHÂN LOẠI CÁC PHƯƠNG PHÁP ĐO LƯỜNG VÀ ĐÁNH GIÁ TRONG GIÁO DỤC 23 1.5 CÁC KIỂU CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN 26 1.6 SO SÁNH CÁC PHƯƠNG PHÁP TRẮC NGHIỆM KHÁCH QUANVÀ TỰ LUẬN29 1.6.1 Các đặc điểm phương pháp TL: 29 1.6.2 Các đặc điểm phương pháp TNKQ: 29 1.7 SỰ KẾT HỢP TRẮC NGHIỆM KHÁCH QUAN VỚI TỰ LUẬN TRONG ĐÁNH GIÁ 37 1.8 SỬ DỤNG CÁC CÂU HỎI TRẮC NGHIỆM ĐỂ ĐÁNH GIÁ CÁC MỨC ĐỘ NHẬN THỨC KHÁC NHAU 37 1.9 CÁCH CHẾ TÁC CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN 41 1.10 QUY TRÌNH XÂY DỰNG MỘT NGÂN HÀNG CÂU HỎI HOẶC MỘT ĐỀ TRẮC NGHIỆM TIÊU CHUẨN HÓA 42 1.10.1 Mục tiêu giảng dạy, ma trận kiến thức đề kiểm tra 42 1.10.2 Quy trình thiết kế đề kiểm tra tiêu chuẩn hóa NHCH 43 Chương MỘT SỐ KHÁI NIỆM BAN ĐẦU VỀ THỐNG KÊ VÀ KHÁI QUÁT VỀ TRẮC NGHIỆM CỔ ĐIỂN 51 2.1 MỘT SỐ KHÁI NIỆM VÀ ĐỊNH LUẬT QUAN TRỌNG TRONG THỐNG KÊ HỌC 51 2.1.1 Xác suất 51 2.1.2 Luật số lớn 52 2.1.3 Tổng thể mẫu 52 2.1.4 Phân bố 53 2.1.5 Tương quan 57 2.2 CÁC THAM SỐ ĐẶC TRƯNG CHO MỘT CÂU HỎI TRẮC NGHIỆM VÀ MỘT ĐỀ TRẮC NGHIỆM 59 2.2.1 Độ khó CH 59 2.2.2 Độ phân biệt CH 60 2.2.3 Độ tin cậy ĐTN 62 2.2.4 Độ giá trị ĐTN 64 2.3 ĐÁNH GIÁ MỘT ĐỀ TRẮC NGHIỆM 66 2.3.1 Phân tích CH trắc nghiệm 66 2.3.2 Tính độ tin cậy ĐTN 68 2.3.3 Xem xét độ giá trị ĐTN 70 2.4 CÁC LOẠI ĐIỂM TRẮC NGHIỆM 71 2.4.1 Điểm thô 71 2.4.2 Điểm tiêu chuẩn tuyệt đối 72 2.4.3 Các loại điểm tương đối dựa vào phân bố chuẩn 72 2.4.4 Về thang điểm sử dụng nước ta 75 2.5 CÁC HẠN CHẾ CỦA LÝ THUYẾT TRẮC NGHIỆM CỔ ĐIỂN VÀ KỲ VỌNG ĐỐI VỚI MỘT LÝ THUYẾT TRẮC NGHIỆM MỚI 76 PHẦN II TRẮC NGHIỆM HIỆN ĐẠI - LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 81 Chương HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 82 3.1 VỀ CÁC PHÉP ĐO LƯỜNG 82 3.1.1 Về quy trình xây dựng phép đo lường 82 3.1.2 Các số loại thang đo 83 3.1.3 Về phép đo lường tâm lý giáo dục 85 3.2 VỀ ĐƯỜNG CONG ĐẶC TRƯNG CÂU HỎI 86 3.2.1 Các mối tương tác nguyên tố tính đơn chiều 86 3.2.2 Xây dựng thang đo để biểu diễn tương tác 87 3.2.3 Ví dụ mơ hình đường cong đặc trưng câu hỏi đơn chiều, nhị phân, tham số (mơ hình Rasch) 88 Chương CÁC MƠ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN 92 4.1 BA MƠ HÌNH ĐƯỜNG CONG ĐẶC TRƯNG CỦA CÂU HỎI NHỊ PHÂN DẠNG LOGISTIC 92 4.1.1 Mơ hình đường cong đặc trưng câu hỏi hai tham số 92 4.1.2 Mơ hình đường cong đặc trưng câu hỏi ba tham số 94 4.2 MỘT VÀI LƯU Ý VỀ CÁC MƠ HÌNH KIỂU KHÁC VỀ ĐẶC TRƯNG CỦA CÂU HỎI 96 4.2.1 Mơ hình đặc trưng câu hỏi dạng đường cong tích lũy vòm chuẩn 97 4.2.2 Về mơ hình Rasch vai trò 98 Chương ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI TRẮC NGHIỆM 102 5.1 QUY TRÌNH ƯỚC LƯỢNG CÁC THAM SỐ CỦA CÂU HỎI 102 5.2 VỀ TÍNH BẤT BIẾN CỦA CÁC THAM SỐ CÂU HỎI ĐỐI VỚI MẪU THÍ SINH 105 Chương ĐIỂM THỰC - ĐƯỜNG CONG ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 117 6.1 ĐIỂM THỰC VÀ ĐƯỜNG CONG ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 117 6.1.1 Quan niệm điểm thực CTT 117 6.1.2 Xác định điểm thực theo IRT 118 6.1.3 So sánh điểm thô, điểm thực điểm lực 122 6.2 MỘT SỐ PHÉP CHUYỂN ĐỔI 124 6.2.1 Vài phép chuyển đổi tuyến tính 124 6.2.2 Vài phép chuyển đổi phi tuyến 125 Chương HÀM THÔNG TIN CỦA CÂU HỎI VÀ CỦA ĐỀ TRẮC NGHIỆM 129 7.1 HÀM THÔNG TIN CỦA CÂU HỎI TRẮC NGHIỆM 129 7.2 HÀM THÔNG TIN VÀ SAI SỐ TIÊU CHUẨN CỦA ĐỀ TRẮC NGHIỆM 132 7.2.1 Hàm thông tin đề trắc nghiệm 132 7.2.2 Sai số tiêu chuẩn đề trắc nghiệm 134 7.2.3 Hàm hiệu suất tỷ đối 135 Chương ƯỚC LƯỢNG NĂNG LỰC CỦA THÍ SINH VÀ ĐỊNH CỠ ĐỀ TRẮC NGHIỆM 137 8.1 QUY TRÌNH ƯỚC LƯỢNG GIÁ TRỊ NĂNG LỰC CỦA THÍ SINH 137 8.1.1 Các nguyên tắc chung quy trình 138 8.1.2 Một ví dụ đơn giản ước lượng nhờ đồ thị 140 8.1.3 Một ví dụ việc sử dụng phương pháp tính lặp để tìm cực đại 142 8.1.4 Về sai số ước lượng giá trị lực 145 8.2 ĐỊNH CỠ ĐỀ TRẮC NGHIỆM: ƯỚC LƯỢNG ĐỒNG THỜI THAM SỐ CỦA CÂU HỎI VÀ NĂNG LỰC CỦA THÍ SINH 146 8.2.1 Về việc ước lượng tham số câu hỏi 146 8.2.2 Ước lượng đồng thời tham số câu hỏi lực thí sinh: định cỡ đề trắc nghiệm 146 8.2.3 Vấn đề metric 148 8.3 TÍNH BẤT BIẾN CỦA VIỆC ƯỚC LƯỢNG NĂNG LỰC THÍ SINH ĐỐI VỚI CÁC ĐỀ TRẮC NGHIỆM 149 8.4 VÍ DỤ VỀ ĐỊNH CỠ ĐỀ TRẮC NGHIỆM, TÍNH HÀM THƠNG TIN, HÀM ĐẶC TRƯNG CỦA ĐỀ TRẮC NGHIỆM 150 Chương ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 161 9.1 CÁC PHƯƠNG PHÁP ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 161 9.1.1 Đảm bảo tính đơn chiều 162 9.1.2 Kiểm tra tính bất biến 162 9.1.3 Kiểm tra dự đốn mơ hình 163 9.2 VÍ DỤ VỀ ĐÁNH GIÁ SỰ PHÙ HỢP GIỮA SỐ LIỆU VÀ MƠ HÌNH 164 9.2.1 Kiểm tra tính bất biến tham số CH mẫu TS khác 164 9.2.2 Kiểm tra tính bất biến lực TS ĐTN khác 166 9.2.3 Đánh giá phù hợp số liệu thực nghiệm mơ hình qua giá trị thặng dư tiêu chuẩn hóa 168 Chương 10 THIẾT KẾ CÁC ĐỀ TRẮC NGHIỆM 171 10.1 SO SÁNH CTT VÀ IRT TRONG VIỆC THIẾT KẾ CÁC ĐỀ TRẮC NGHIỆM 171 10.2 CÁCH TIẾP CẬN CƠ BẢN ĐỂ THIẾT KẾ ĐỀ TRẮC NGHIỆM 172 10.3 MỘT SỐ LOẠI ĐỀ TRẮC NGHIỆM VÀ CÁCH THIẾT KẾ 174 10.4 ẢNH HƯỞNG CỦA MƠ HÌNH ĐƯỜNG CONG ĐTCH VÀ SỐ LƯỢNG CÂU HỎI LÊN ĐỀ TRẮC NGHIỆM 175 Chương 11 SO BẰNG CÁC ĐIỂM TRẮC NGHIỆM 178 11.1 CÁC PHƯƠNG PHÁP SO BẰNG TRONG CTT 178 11.2 CÁC PHƯƠNG PHÁP SO BẰNG – KẾT NỐI – XÁC LẬP THANG ĐO THEO IRT 181 11.2.1 Một số trường hợp thực định cỡ xác lập thang đo 182 11.2.2 Xác định số thiết lập thang đo 186 11.3 VÍ DỤ VỀ SO BẰNG – KẾT NỐI – XÁC LẬP THANG ĐO THEO IRT 191 Chương 12 TRẮC NGHIỆM NHỜ MÁY TÍNH 203 12.1 ĐẶC ĐIỂM CỦA TRẮC NGHIỆM NHỜ MÁY TÍNH VÀ CÁC HỆ THỐNG HỖ TRỢ 203 12.1.1 Một số đặc điểm trắc nghiệm nhờ máy tính 203 12.1.2 Đòi hỏi phầm mềm hỗ trợ trắc nghiệm nhờ máy tính 204 12.2 MỘT SỐ MƠ HÌNH TRIỂN KHAI TRẮC NGHIỆM NHỜ MÁY TÍNH 206 12.2.1 Các trắc nghiệm cố định nhờ máy tính 206 12.2.2 Các trắc nghiệm di chuyển thẳng nhờ máy tính 207 12.2.3 Các trắc nghiệm thích ứng nhờ máy tính dựa vào câu hỏi 207 12.2.4 Các trắc nghiệm thích ứng nhờ máy tính dựa vào phân đề 210 12.2.5 Các trắc nghiệm thích ứng nhờ máy tính cấu trúc đa giai đoạn 210 12.3 VÍ DỤ VỀ TRẮC NGHIỆM THÍCH ỨNG NHỜ MÁY TÍNH 215 Chương 13 CÁC MƠ HÌNH TRẮC NGHIỆM ĐA PHÂN 219 13.1 MỘT SỐ MƠ HÌNH TRẮC NGHIỆM ĐA PHÂN 219 13.1.1 Mơ hình định giá phần 220 13.1.2 Mơ hình định giá phần tổng quát 231 13.2 CÁC VÍ DỤ VỀ ỨNG DỤNG TRẮC NGHIỆM ĐA PHÂN 232 13.2.1 Phân tích kiểm tra gồm CH tự luận nhờ phần mềm CONQUEST 232 13.2.2 Phân tích kiểm tra gồm hỗn hợp CH trắc nghiệm khách quan tự luận nhờ phần mềm CONQUEST 242 13.2.3 Phân tích kiểm tra gồm hỗn hợp CH trắc nghiệm khách quan tự luận nhờ phần mềm PARSCALE 251 Chương 14 KHÁI NIỆM VỀ TRẮC NGHIỆM ĐA CHIỀU 256 14.1 MỘT SỐ MƠ HÌNH TRẮC NGHIỆM ĐA CHIỀU 256 14.1.1 Mô hình trắc nghiệm đa chiều nhờ hàm logistic tuyến tính theo số liệu từ CH nhị phân 256 14.1.2 Một cách tiếp cận xây dựng mơ hình tổng quát cho trắc nghiệm nhị phân, đa phân, chiều, đa chiều 262 14.1.3 Về cách biểu tính đa chiều: CH CH 265 14.2 VÀI VÍ DỤ VỀ ÁP DỤNG TRẮC NGHIỆM ĐA CHIỀU 266 14.2.1 Phân tích kiểm tra gồm CH nhị phân đa phân đo lường chiều lực biểu riêng CH 266 14.2.2 Phân tích kiểm tra gồm CH nhị phân đo lường chiều lực biểu hỗn hợp CH 268 Các tài liệu dẫn tham khảo 289 LỜI NĨI ĐẦU Trong khoa học giáo dục có nhánh quan trọng khoa học đo lường tâm lý giáo dục, thường gọi tâm trắc học (psychometrics) Khoa học phương Tây bắt đầu phát triển mạnh từ cuối kỷ XIX đạt nhiều thành tựu vào cuối kỷ XX Tuy nhiên Liên Xơ cũ gặp số trắc trở nên khoa học phát triển chậm, điều ảnh hưởng đến nước ta, thập niên 90 kỷ XX nước ta chưa tiếp cận với khoa học này, trừ vài ba chuyên gia phía Nam đào tạo từ phương Tây trước năm 1975 Nhìn thấy khiếm khuyết lớn nói việc xây dựng giáo dục bền vững cho đất nước, làm công tác quản lý Bộ Giáo dục Đào tạo vào thập niên 90 kỷ trước, tác giả tập sách đề nghị Bộ Giáo dục Đào tạo gửi hàng chục giảng viên đại học học thạc sỹ tiến sỹ khoa học nước tiên tiến Nhiều người học xong làm việc rải rác trường đại học, có người tiếp tục làm việc nước Tuy nhiên, thực tế đáng buồn việc tiếp cận ứng dụng khoa học vào thực tiễn giáo dục nước ta yếu Trong chương trình đào tạo giáo viên cấp khơng có mơn học thích đáng giúp sinh viên tiếp cận khoa học này; kỳ thi quan trọng cấp quốc gia, khoa học chưa thực áp dụng Ngay trường đại học lớn sư phạm giáo dục chưa có nhóm nghiên cứu sâu đo lường tâm lý giáo dục, chưa có giáo trình giới thiệu thành tựu đại khoa học Những thiếu sót nói chứng tỏ việc lấp lỗ hổng nhánh khoa học giáo dục nước ta chậm, điều tất yếu ảnh hưởng đến phát triển bền vững toàn hệ thống giáo dục Vì thấy tầm quan trọng khoa học đo lường tâm lý giáo dục qua hoạt động thực tiễn, vẻ đẹp bên thân nó, tác giả dành thời gian tiếp cận lý luận áp dụng thực tiễn khoa học nêu mười năm qua Cuốn sách tay bạn đọc nhằm đóng góp thúc đẩy phát triển nhanh chóng khoa học nước ta Cuốn sách sử dụng làm sở ban đầu để giảng dạy chương trình đại học sau đại học trường có ngành sư phạm giáo dục, đặc biệt để tạo cho bạn giáo viên sinh viên trẻ quan tâm đường tương đối ngắn để tiếp cận khoa học so với đường mà tác giả phải qua Từ năm 2007 đến nay, Viện Khoa học Giáo dục Việt Nam tạo hội cho tác giả tham gia phân tích kết trắc nghiệm khách quan tự luận từ việc khảo sát kết học tập số môn học lớp 5, lớp lớp nước ta, nhờ tác giả có số liệu thơ để minh họa kỹ thuật phân tích trắc nghiệm sách, tác giả trân trọng cảm ơn Viện hội nói Một cơng cụ dùng để phân tích kết trắc nghiệm sách phần mềm phân tích trắc nghiệm VITESTA xây dựng nước ta theo Lý thuyết Ứng đáp Câu hỏi Công ty Khoa học Công nghệ Giáo dục (EDTECH-VN) cung cấp kỹ sư giúp tác giả xây dựng thành công phần mềm nói trên, tác giả chân thành cảm ơn Cơng ty hỗ trợ Tác giả cảm ơn Trường Đại học Giáo dục thuộc Đại học Quốc gia Hà Nội hỗ trợ làm thủ tục in sách Cuối tác giả tỏ lòng biết ơn anh Dương Quang Minh, nghiên cứu sinh tâm trắc học Viện Đại học Bang Michigan đọc thảo sách đóng góp nhiều ý kiến quý báu Một sách lẽ phải giảng viên có hội tiếp cận đầy đủ chương trình đào tạo tiến sỹ nước tiên tiến viết ra, chờ đợi hàng chục năm qua chưa thấy chịu khó làm việc nên tác giả đành phải cố gắng thực Một mảng khoa học đại rộng lớn, phát triển nhanh chóng có nhiều ứng dụng đa dạng, giới thiệu thu gọn sách tương đối nhỏ khơng tránh khỏi thiếu sót Tác giả hoan nghênh ý kiến đóng góp sách xin bạn đọc gửi địa lqthiep@gmail.com Hà Nội, tháng 10 năm 2010 TÁC GIẢ GIỚI THIỆU CẤU TRÚC VÀ CÁCH SỬ DỤNG CUỐN SÁCH Cuốn sách gồm phần lớn Phần I có chương, chương giới thiệu khái niệm chung trắc nghiệm đo lường giáo dục; chương giới thiệu khái quát lý thuyết trắc nghiệm cổ điển Phần II trọng tâm sách, có 12 chương, tập trung vào trắc nghiệm đại, đặc biệt Lý thuyết Ứng đáp Câu hỏi (Item Response Theory – IRT) Để bạn đọc dễ theo dõi, đầu chương có nêu vấn đề đề cập đến chương lưu ý người đọc nên tập trung vào vấn đề gì, cuối chương có câu hỏi tự kiểm tra tập, hai Người đọc quen với trắc nghiệm cổ điển qua sách trắc nghiệm GS Dương Thiệu Tống [1] cần đọc lướt phần I để nhớ lại khái niệm dùng đến phần II Ở phần II, IRT trình bày theo trình tự từ điểm xuất phát cần thiết để xây dựng phép đo lường giáo dục nói chung Diễn tả khái niệm IRT hàm đặc trưng câu hỏi (biểu qua đường cong đặc trưng câu hỏi), mô tả ứng đáp thí sinh lên câu hỏi, mối tương tác xảy “tế bào” bao gồm cặp “thí sinh – câu hỏi”, mà tác giả gọi “mối tương tác nguyên tố” Mối tương tác viên gạch để xây dựng tồn tòa nhà IRT, sở khoa học đo lường đại tâm lý giáo dục Chương dành để giới thiệu mơ hình đường cong đặc trưng câu hỏi khác nhau, mơ hình 1, tham số dạng logistic, giới thiệu mối quan hệ chúng với dạng đường cong tích lũy vòm chuẩn sử dụng nhiều khứ Vai trò mơ hình Rasch (mơ hình tham số) IRT nói chung bàn đến chương Từ chương đến chương 12 phần II tập trung trình bày mơ hình trắc nghiệm nhị phân (dichotomous) đơn chiều (unidimentional) Sau giới thiệu hàm đặc trưng câu hỏi, chương mơ tả định tính quy trình ước lượng tham số câu hỏi để bạn đọc hiểu thực chất quy trình này, chương trở lại giới thiệu định lượng quy trình ước lượng giá trị lực thí sinh ước lượng đồng thời tham số câu hỏi lực thí sinh, tức định cỡ đề trắc nghiệm Những bạn đọc ngại vào tính tốn định lượng đọc chương đủ để hình dung khái qt cách dựa vào mơ hình để tính tốn kết mong đợi cuối – tham số đặc trưng câu hỏi giá trị lực thí sinh Bắt đầu chương trình bày rõ chương tính chất quan trọng, đá tảng thể ưu việt IRT, tính bất biến tham số câu hỏi lực thí sinh phép đo trắc nghiệm Tính bất biến (invariance) hay diễn đạt cụm từ “không phụ thuộc vào câu hỏi” (itemfree), “không phụ thuộc vào mẫu thử” (sample-free) Các chương trước hết giới thiệu thêm công cụ quan trọng phản ánh tính chất câu hỏi trắc nghiệm hàm thông tin câu hỏi trắc nghiệm, sau giới thiệu cơng cụ tổng hợp mơ tả tính chất tồn đề trắc nghiệm, hàm đường cong đặc trưng đề trắc nghiệm (đường cong điểm thực) hàm đường cong thơng tin đề trắc nghiệm Chương trình bày vấn đề quan trọng, cách đánh giá phù hợp số liệu mơ hình IRT Chỉ mức độ phù hợp số liệu mơ hình chấp nhận ưu điểm liên quan đến IRT phát huy đầy đủ chất lượng phép đo lường đảm bảo Ba chương nêu phương pháp ứng dụng thực tế cụ thể lý thuyết trắc nghiệm Chương 10 trình bày phương pháp thiết kế đề trắc nghiệm dựa vào lý thuyết trắc nghiệm cổ điển đặc biệt dựa vào IRT Chương 11 trình bày phương pháp liên quan đến nhu cầu quan trọng hoạt động đánh giá thực tế: so sánh điểm trắc nghiệm thu từ đề trắc nghiệm khác so sánh tham số câu hỏi trắc nghiệm thu từ mẫu định cỡ khác Nhu cầu giải phương pháp so điểm trắc nghiệm Chương 12 giới thiệu mơ hình trắc nghiệm nhờ máy tính, đặc biệt phương pháp trắc nghiệm thích ứng 10