Bài viết phân tích tổng quát tình hình triển khai phương pháp kiểm tra đánh giá bằng TNKQ của các học phần hệ đại học do khoa Công nghệ hóa học (CNHH) quản lý từ năm học 2011 – 2012 đến năm học 2015 – 2016.
ÁP DỤNG PHẦN MỀM PHÂN TÍCH ĐÁNH GIÁ NGÂN HÀNG CÂU HỎI TRẮC NGHIỆM KHÁCH QUAN CÁC HỌC PHẦN CỦA KHOA CƠNG NGHỆ HĨA HỌC QUẢN LÝ Đặng Văn Sử*, Hồ Tấn Thành, Võ Văn Sim Khoa Cơng nghệ Hố học, Trường ĐH Công nghiệp Thực phẩm TP.HCM * Email: dvsu@cntp.edu.vn TÓM TẮT Ứng dụng phần mềm IATA (ITEM AND TEST ANALYSIS) phân tích liệu ngân hàng câu hỏi trắc nghiệm khách quan triển khai kỳ thi từ năm học 2011 – 2012 đến năm học 2015 – 2016 khoa Cơng nghệ hố học quản lý Dữ liệu đầu vào kết chấm thi trắc nghiệm phịng Khảo thí Đảm bảo chất lượng cung cấp xử lý bảng tính trước đưa vào phần mềm IATA phân tích Kết phân tích cung cấp thơng tin quan trọng chất lượng mức độ khó dễ ngân hàng đề thi trắc nghiệm khách quan học phần, thông tin chất lượng câu hỏi cụ thể Từ khóa: trắc nghiệm khách quan, phân tích ngân hàng đề, phần mềm IATA MỞ ĐẦU Phương pháp đánh giá trắc nghiệm khách quan (TNKQ) sử dụng rộng rãi giáo dục nói chung có ưu điểm như: hình thức đánh giá linh hoạt sử dụng để đánh giá kiến thức, kĩ năng, khả cấp độ tư người học …, dạng kiểm tra đánh giá cung cấp thơng tin phản hồi sức học, thành tích học tập tới người học, thông tin phản hồi giảng dạy tới giảng viên, chuẩn đoán nhận thức sai lệch người học số vấn đề khác [1] Tuy nhiên, để có ngân hàng câu hỏi TNKQ đạt u cầu địi hỏi nhóm xây dựng ngân hàng đề phải tuân thủ bước xây dựng ngân hàng câu hỏi TNKQ dựa theo mục tiêu học phần như: Lập bảng ma trận nội dung chi tiết cho kiểm tra, viết câu hỏi… [1] Và dĩ nhiên khơng thể thiếu phần kiểm tra thực tế câu hỏi TNKQ đối tượng người học sử dụng phần mềm phân tích ngân hàng câu hỏi TNKQ để phân tích chất lượng ngân hàng câu hỏi Kết phân tích ngân hàng đề làm sở để nhóm soạn thảo lựa chọn, điều chỉnh câu hỏi trắc nghiệm bổ sung vào ngân hàng thức Hiện Trường Đại học Công nghiệp Thực phẩm TP.HCM triển khai nhiều mơn học có sử dụng phương pháp đánh giá kết học tập TNKQ Tuy nhiên, việc xây dựng ngân hàng đề nhóm giảng viên biên soạn mục tiêu môn học nội dung giảng dạy, không kiểm tra thực tế chất lượng câu hỏi trước đưa vào ngân hàng đề Hơn thế, cơng tác thống kê phân tích kết thi kiểm tra sử dụng ngân hàng câu hỏi trắc nhiệm chưa khoa giảng viên quan tâm thật Dữ liệu chấm thi TNKQ sử dụng ngân hàng đề thi TNKQ triển khai năm qua phòng Khảo thí Đảm bảo chất lượng (P.KT&ĐBCL) nguồn liệu quý giá giúp khoa giảng viên sử dụng phần mềm phân tích ngân hàng câu hỏi TNKQ để chọn lựa câu hỏi tốt, loại bỏ câu hỏi xấu chỉnh sửa câu hỏi chưa tốt dựa theo thơng tin phân tích thống kê phần mềm phân tích ngân hàng câu hỏi TNKQ cung cấp Mục tiêu báo cáo phân tích tổng qt tình hình triển khai phương pháp kiểm tra đánh giá TNKQ học phần hệ đại học khoa Cơng nghệ hố học (CNHH) quản lý từ năm học 2011 – 2012 đến năm học 2015 – 2016 Ứng dụng phần mềm IATA (ITEM AND TEST ANALYSIS) phân tích chất lượng câu hỏi ngân hàng TNKQ dựa đề xuất phân loại câu hỏi phần mềm giá trị độ phân biệt, độ khó PHƯƠNG PHÁP NGHIÊN CỨU Sử dụng bảng tính excel để xử lý liệu file excel “trả lời câu hỏi TNKQ sinh viên” P.KT&ĐBCL cung cấp Do đợt thi P.KT&ĐBCL thường in 02 đề hoán vị, nên trường hợp cần tăng số mẫu nghiên cứu (số lượng sinh viên tham gia kỳ thi) lên gấp đơi để có kết phân tích thống kê tốt cần phải chuyển liệu trả lời câu hỏi TNKQ (sau gọi tắc liệu trả lời) sinh viên 02 đề hoán vị thành liệu trả lời 01 đề chuẩn Nhập liệu trả lời sinh viên từ file excel xử lý vào phần mềm SPSW Statistics 18 lưu lại dạng file *.sav đồng thời chuẩn bị file đáp án theo mẫu cho phần mềm IATA Sử dụng phần mềm IATA để phân tích liệu trả lời tất đợt thi, ghi nhận thống kế kết phân tích phần mềm IATA bảng tính excel [2] Các phần mềm sử dụng nghiên cứu phân tích: - Microsoft Office Professional Plus 2010 - SPSW Statistics 18 (Release 18.0.0 Jul 30, 2009) - IATA (ITEM AND TEST ANALYSIS) (Version 5.1.1.0) KẾT QUẢ VÀ THẢO LUẬN Yêu cầu mặt liệu P.KT&ĐBCL cung cấp bao gồm: 01 file excel “trả lời câu hỏi TNKQ sinh viên”, 01 file excel “thông tin hoán vị đáp án”, 03 file word gồm “đề chuẩn” 02 “đề hoán vị” Tổng hợp thông tin số lượng đề qua năm học phần khoa CNHH quản lý thể Bảng Bảng Thông tin số học phần triển khai thi TNKQ qua năm TT Năm học Tổng số học phần triển khai thi TNKQ GK1 CK1 GK2 CK2 Cả năm 2011-2012 3 4 2012-2013 4 4 2013-2014 5 10 2014-2015 7 13 2015-2016 6 10 Tổng số lượng đề 94 3.1 Xử lý liệu bảng tính excel Dữ liệu trả lời sinh viên bảng tính excel chuỗi ký tự dính liền “DAA…” thể lựa chọn đáp án “D” cho câu hỏi 1; đáp án “A” cho câu hỏi 2; đáp án “A” cho câu hỏi 3; … (Hình 1) Hình Dữ liệu file excel trước xử lý 10 Dữ liệu trả lời đưa vào phần mềm SPSW Statistics 18 được, cần phải tách lựa chọn trả lời tương ứng với câu hỏi thành riêng lẻ, chép đưa vào phần mềm SPSW Statistics 18 lệnh chép dán Kết xử lý Hình 2, lưu file excel “trả lời câu hỏi TNKQ sinh viên” xử lý lại Hình Dữ liệu file excel sau xử lý Trường hợp áp dụng cách xử lý liệu quy đổi lựa chọn sinh viên làm thi đề hoán vị đề chuẩn để tăng số mẫu phân tích lên kết xử lý khác với chuỗi ký tự file liệu trả lời sinh viên (Hình 3) Hình Dữ liệu file excel sau xử lý quy đề chuẩn 3.2 Tạo file excel đáp án file liệu SPSW Statistics 18 Copy liệu xử lý từ file excel “trả lời câu hỏi TNKQ sinh viên” gồm thông tin mã số sinh viên lựa chọn trả lời cho câu hỏi đề thi chuyển vào phần mềm SPSW Statistics 18, lưu file dạng *.sav (Hình 4) Hình Dữ liệu lưu file SPSW Statistics 18 *.sav Đồng thời chuẩn file excel “đáp án đề thi theo mẫu dùng cho phần mềm IATA” (Hình 5) từ thơng tin file excel “đáp án” file excel “thơng tin hốn vị đáp án” P.KT&ĐBCL cung cấp 11 Hình Mẫu file excel đáp án dùng cho phần mềm IATA 3.3 Phân tích câu hỏi thi TNKQ phần mềm IATA Sử dụng phần mềm IATA phân tích câu hỏi TNKQ cách nhập file “trả lời câu hỏi TNKQ sinh viên *.sav” file excel “đáp án đề thi theo mẫu dùng cho phần mềm IATA” đợt thi vào Phần mềm IATA tự động đề xuất phân loại chất lượng câu hỏi TNKQ theo màu sắc xanh, vàng đỏ (Hình 6) Vịng trịn màu xanh tương ứng với câu hỏi khơng có lỗi nghiêm trọng Hình thoi màu vàng tương ứng với câu hỏi có kết phân tích thống kê chưa tối ưu, lưu ý đến câu hỏi mà ta cần phải điều chỉnh dựa theo số liệu phần mềm IATA cung cấp (như chỉnh sửa câu dẫn, chỉnh sửa đáp án nhiễu, …) Tam giác màu đỏ tương ứng với câu hỏi có lỗi nghiêm trọng, câu hỏi đánh dấu đỏ cần phải loại bỏ để kiểm tra đánh giá tốt hơn, phải điều chỉnh lại nội dung [2] Hình Kết phân loại câu hỏi theo màu sắc phần mềm IATA Ngồi phần mềm IATA cịn cung cấp thông tin chi tiết chất lượng câu hỏi độ phân biệt (Discr), độ khó (Pval) phần trăm sinh viên lựa chọn đáp án A, B, C, D cụ thể Từ cán giảng dạy hiểu chi tiết chất lượng câu hỏi đáp án, khả hoạt động đáp án nhiễu định hướng chỉnh sửa câu hỏi không tốt cập nhật thay đổi phương pháp giảng dạy tốt Chuyển liệu xử lý cho nhóm giảng viên phụ trách học phần bao tự sử dụng phần mềm IATA để phân tích ngân hàng câu hỏi TNKQ Bộ liệu phân tích bao gồm: 01 file “trả lời câu hỏi TNKQ sinh viên *.sav”, 01 file excel “đáp án đề thi theo mẫu dùng cho phần mềm IATA” file word đề thi Tiêu chí lựa chọn câu hỏi tốt khoa CNHH lựa chọn là: độ phân biệt từ 0,3 trở lên độ khó nằm khoảng 0,3 đến 0,8 Đồng thời chỉnh sửa câu hỏi (câu dẫn) đáp án nhiễu chưa tốt dựa theo thơng tin phân tích thống kê phần mềm cung cấp 3.4 Thống kê kết phân tích ngân hàng đề Ghi nhận số liệu phân tích thống kê phần mềm IATA bao gồm số câu hỏi “màu xanh”, “màu vàng”, “màu đỏ” Thống kê số câu hỏi đợt thi theo độ khó độ phân biệt, từ tính tốn thống kê số lượng câu hỏi đạt yêu cầu dựa tiêu chí: độ phân biệt từ 0,3 trở lên 12 độ khó nằm khoảng từ 0,3 đến 0,8 Kết thể bảng số liệu biểu đồ Bảng Thông tin số câu hỏi TNKQ phân tích qua năm TT Năm học Tổng số câu hỏi TNKQ phân tích GK1 CK1 GK2 CK2 Cả năm 2011-2012 120 120 185 185 610 2012-2013 185 200 200 200 785 2013-2014 105 200 240 280 825 2014-2015 105 280 240 250 875 2015-2016 160 280 280 290 1010 Tổng 4105 Bảng Thông tin số câu hỏi phần mềm IATA đánh giá “màu xanh” qua năm TT Năm học Tổng số câu hỏi “màu xanh” GK1 CK1 GK2 CK2 Cả năm 2011-2012 35 43 51 74 203 2012-2013 69 81 76 71 297 2013-2014 50 90 80 138 358 2014-2015 50 133 69 131 383 2015-2016 75 125 111 131 442 Tổng 1683 Bảng Thông tin số câu hỏi phần mềm IATA đánh giá “màu vàng” qua năm TT Năm học Tổng số câu hỏi “màu vàng” GK1 CK1 GK2 CK2 Cả năm 2011-2012 48 45 73 81 247 2012-2013 78 77 78 71 304 2013-2014 37 73 98 93 301 2014-2015 38 90 86 98 312 2015-2016 65 96 110 104 375 Tổng 1539 Bảng Thông tin số câu hỏi phần mềm IATA đánh giá “màu đỏ” qua năm TT Năm học 2011-2012 Tổng số câu hỏi “màu đỏ” GK1 CK1 GK2 CK2 Cả năm 37 32 61 30 160 13 Tổng 883 TT Năm học Tổng số câu hỏi “màu đỏ” GK1 CK1 GK2 CK2 Cả năm 2012-2013 38 42 46 58 184 2013-2014 18 37 62 49 166 2014-2015 17 57 45 61 180 2015-2016 20 59 59 55 193 Tổng Bảng Thông tin số câu hỏi TNKQ có độ khó > 0,8 TT Năm học Tổng số câu hỏi có độ khó > 0,8 GK1 CK1 GK2 CK2 Cả năm 2011-2012 26 13 31 32 102 2012-2013 48 23 27 105 2013-2014 18 42 62 56 178 2014-2015 20 52 36 49 157 2015-2016 18 67 26 21 132 Tổng 674 Bảng Thông tin số câu hỏi TNKQ có độ khó < 0,3 TT Năm học Tổng số câu hỏi có độ khó < 0,3 GK1 CK1 GK2 CK2 Cả năm 2011-2012 14 15 22 11 62 2012-2013 11 21 25 55 112 2013-2014 17 17 16 59 2014-2015 35 19 22 83 2015-2016 18 37 33 97 Tổng 413 Bảng Thông tin số câu hỏi TNKQ có độ phân biệt < 0,3 TT Năm học Tổng số câu hỏi có độ phân biệt < 0,3 GK1 CK1 GK2 CK2 Cả năm 2011-2012 69 60 109 90 328 2012-2013 90 85 88 101 364 2013-2014 43 83 129 107 362 2014-2015 45 112 101 125 383 2015-2016 59 122 121 115 417 14 Tổng 1854 Bảng Thông tin số câu hỏi TNKQ đạt yêu cầu (có Discr ≥ 0,3; 0,8 ≥ Pval ≥ 0,3) TT Năm học Tổng số câu hỏi đạt yêu cầu GK1 CK1 GK2 CK2 Cả năm 2011-2012 49 59 69 93 270 2012-2013 85 103 107 95 390 2013-2014 56 104 100 153 413 2014-2015 58 137 95 156 446 2015-2016 96 146 152 169 563 16% Tổng 2082 Câu hỏi có: độ khó > 0,8 10% Câu hỏi có: độ khó < 0,3 Câu hỏi có: 0,8 ≥ độ khó ≥ 0,3 74% Hình Thơng tin chung độ khó ngân hàng câu hỏi TNKQ 45% Câu hỏi có: độ phân biệt < 0,3 Câu hỏi có: độ phân biệt ≥ 0,3 55% Hình Thơng tin chung độ phân biệt ngân hàng câu hỏi TNKQ 15 Câu hỏi có: độ khó > 0,8 23% 16% Câu hỏi có: độ khó < 0,3 10% Câu hỏi có: độ phân biệt ≥ 0,3; 0,8 ≥ độ khó ≥ 0,3 (đạt yêu cầu) Câu hỏi có: độ phân biệt < 0,3; 0,8 ≥ độ khó ≥ 0,3 51% Hình Thơng tin chung số câu hỏi đạt yêu cầu KẾT LUẬN Kết thống kê phân tích cho thấy số lượng câu hỏi TNKQ đạt yêu cầu chiếm tỉ lệ 51% Số câu dễ chiếm tỉ lệ 16% số câu khó chiếm tỉ lệ 10% Số câu có độ phân biệt không đạt yêu cầu chiếm tỉ lệ 45%, tiêu chí quan trọng trắc nghiệm khách quan Qua phân tích phát ngân hàng đề thi TNKQ dễ, có câu hỏi dễ có tỉ lệ làm lên đến 100% Kết phân tích cung cấp thơng tin hữu ích giúp khoa nắm tình hình chất lượng ngân hàng câu hỏi TNKQ Giảng viên giảng dạy có sở để chỉnh sửa ngân hàng đề tốt điều chỉnh phương pháp giảng dạy phù hợp, lưu ý vấn đề trọng tâm người học không nắm bắt vấn đề Tuy nhiên kết phân tích ngân hàng đề phần mềm IATA phụ thuộc nhiều vào mức độ nghiêm túc công tác tổ chức thi việc bảo mật đề thi, công tác coi thi phịng thi, thu lại tồn đề thi TNKQ sau ca thi hay số lượng đề thi hoán vị đợt thi Để có liệu phân tích đầy đủ cần phải có hỗ trợ tốt từ phía P.KT&ĐBCL cung cấp liệu kết chấm thi môn TNKQ Các khoa sử dụng hình thức phân tích câu hỏi TNKQ cho ngân hàng câu hỏi TNKQ khoa triển khai thi năm qua áp dụng việc phân tích câu hỏi TNKQ biên soạn để kiểm tra chất lượng câu hỏi trước bổ sung vào ngân hàng đề sử dụng để thi cuối kỳ TÀI LIỆU THAM KHẢO [1] Nguyễn Công Khanh (chủ biên), Đào Thị Oanh (2016) “Các cơng cụ kiểm tra đánh giá”, Giáo trình kiểm tra đánh giá giáo dục, in lần thứ ba, NXB Đại học Sư phạm , tr 84– 167 [2] Fernando Cartwright (September 2013) “Introduction TOIATA”, ITEM AND TEST ANALYSIS (IATA) Manual 16 ... 3.3 Phân tích câu hỏi thi TNKQ phần mềm IATA Sử dụng phần mềm IATA phân tích câu hỏi TNKQ cách nhập file “trả lời câu hỏi TNKQ sinh viên *.sav” file excel “? ?áp án đề thi theo mẫu dùng cho phần mềm. .. tự sử dụng phần mềm IATA để phân tích ngân hàng câu hỏi TNKQ Bộ liệu phân tích bao gồm: 01 file “trả lời câu hỏi TNKQ sinh viên *.sav”, 01 file excel “? ?áp án đề thi theo mẫu dùng cho phần mềm IATA”... Câu hỏi có: độ khó > 0,8 10% Câu hỏi có: độ khó < 0,3 Câu hỏi có: 0,8 ≥ độ khó ≥ 0,3 74% Hình Thơng tin chung độ khó ngân hàng câu hỏi TNKQ 45% Câu hỏi có: độ phân biệt < 0,3 Câu hỏi có: độ phân