Trắc Nghiệm Khách Quan Một Phương Pháp Khoa Học Trong Kiểm Tra Đánh Giá Thành Quả Học Tập

TRẮC NGHIỆM KHÁCH QUAN MỘT PHƯƠNG PHÁP KHOA HỌC TRONG KIỂM TRA ĐÁNH GIÁ THÀNH QUẢ HỌC TẬP TS Lê Thị Thiên Hương (báo cáo Hội thảo Nhóm Nghiên cứu Dạy Học - Khoa KTTM) So sánh hai phương pháp: Tự luận TNKQ Câu hỏi gây nhiều tranh luận: Trong phương pháp đề thi (tự luận TNKQ), phương pháp tốt hơn? Câu trả lời: Không có phương pháp hoàn toàn tốt Tùy vào hoàn cảnh cụ thể, phương pháp có ưu điểm nhược điểm riêng • Nên dùng kiểu tự luận trường hợp: - Khi số sinh viên không đông - Khi nhiều thời gian để soạn đề có đủ thời gian để chấm thi - Khi muốn tìm hiểu khuyến khích khả diễn đạt tư duy, ý tưởng sáng tạo sinh viên - Khi tin tưởng vào khả chấm thi xác vô tư giám khảo • Nên dùng kiểu TNKQ trường hợp: - Khi số sinh viên đông - Khi có đủ nhiều thời gian để soạn đề muốn chấm thi nhanh để sớm công bố điểm - Khi muốn kiểm tra kiến thức phạm vi rộng để ngăn ngừa học tủ, học lệch - Khi muốn điểm thi xác, tin cậy, không phụ thuộc vào trình độ chấm thi giám khảo Kỹ thuật soạn đề thi TNKQ nhiều lựa chọn 2.1 Giai đoạn chuẩn bị Xác định mục tiêu nội dung kiến thức cần kiểm tra đánh giá thật chi tiết, rõ ràng Định lượng (phần trăm) cách hợp lý nội dung kiến thức, kỹ cần kiểm tra cho phù hợp với chuẩn đầu môn học Lập bảng phân bố số câu hỏi cách chi tiết, phù hợp với định lượng phần trăm đưa Ví dụ Soạn đề thi TNKQ cuối kỳ, môn Pháp luật Đại cương, thời gian làm 60 phút, gồm 40 câu hỏi - Mục tiêu: Kiểm tra kiến thức pháp luật SV kỹ phân tích hành vi vi phạm pháp luật, áp dụng điều luật để tính toán thừa kế, tính tiền bảo hiểm - Định lượng: ĐCMH có chương, đó: Chương - “Những vấn đề Nhà nước”, tiết Chương - “Những vấn đề pháp luật”, 15 tiết Chương đến chương luật cụ thể như: Hình sự, Dân sự, Hôn nhân Gia đình, Hành chính, Lao động, Phòng chống tham nhũng, v.v…, chương tiết Căn vào số tiết tầm quan trọng chương, ta lập bảng sau để phân bố số câu hỏi: STT Chương Tầm quan trọng Số câu hỏi Nhà nước 15% Pháp luật 25% 10 L Hình 10% 4 L Dân 10% L.HN-GĐ 10% L.H 10% L Lao động 10% L PCTN 10% 100% 40 Tổng cộng Căn vào nội dung kiến thức kỹ cần kiểm tra chương, ta lại lập bảng để phân bố số câu hỏi cho chương Chẳng hạn, sau bảng phân bố câu hỏi cho chương (Những vấn đề pháp luật): Kỹ Tầm quan trọng Hiểu nhớ 50% Vận dụng 30% 3 Phân tích 20% Tổng cộng 100% 10 STT Số câu hỏi Sau lập bảng phân bố câu hỏi cho chương, phối hợp với tỷ lệ phần trăm mức độ câu khó, trung bình, dễ kỹ cần đánh giá, ta tổng hợp thành ma trận có dạng sau đây: Chương Hiểu nhớ Vận dụng Phân tích Tổng cộng Nhà nước 1 Pháp luật 10 Hình 2 Dân 1 Hôn nhân Gia đình Hành 1 Lao động 1 PCTN 1 Tổng cộng 20 12 40 2.2 Giai đoạn thực a Một số nguyên tắc chung - Soạn thảo đề thi nhiều ngày trước kỳ thi - Số câu hỏi thảo nên nhiều số câu cần dùng - Mỗi câu hỏi thuộc phần kiến thức định, kỹ định - Ước lượng kỹ số phút dành cho câu hỏi cho phù hợp với tổng thời gian đề * Đối với phần câu dẫn: - Có thể dùng câu hỏi hay câu nhận định không đầy đủ (câu bỏ lửng) làm câu dẫn - Không nên đưa nhiều tư liệu vào câu dẫn - Tránh sử dụng câu dẫn mang tính phủ định Tuy nhiên, đưa câu phủ định vào câu dẫn cần gạch (hoặc in nghiêng) chữ “không” để nhấn mạnh * Đối với phương án trả lời: - Các phương án trả lời cần viết theo văn phong tương đương với độ dài - Nên thận trọng dùng câu hỏi có sử dụng phương án chọn “tất đúng” hay “tất sai” - Câu dẫn phương án trả lời phải phù hợp với ngữ pháp ghép chúng với - Các phương án “nhiễu” cần diễn đạt cho hợp lý có sức hấp dẫn - Độ khó câu hỏi tùy thuộc vào đối tượng mục đích kiểm tra Ví dụ Một số câu TNKQ môn PLĐC Câu Chính thể quân chủ nghĩa là: a) Đứng đầu nhà nước quan b) Đứng đầu nhà nước cá nhân hình thành theo kiểu cha truyền nối c) Cả hai câu d) Cả hai câu sai Nhận xét - Phương án d không xác d có câu câu - Độ dài phương án khác - Phương án b (dài nhất) phương án đúng, khác biệt so với phương án khác nên dễ đoán Câu C chết, di sản 600 triệu đồng Không để lại di chúc Những người liên quan gồm: Cha mẹ ruột, cha nuôi, vợ, anh, chị 14 tuổi Hãy tính phần tài sản thừa kế người là: a) 120 triệu đồng b) 100 triệu đồng c) 50 triệu đồng d) Tất câu sai Nhận xét - Các câu đoạn văn dẫn viết cụt lủn, văn nói, chấm câu không ngữ pháp, câu cuối không rõ câu hỏi hay câu khẳng định - Phương án nhiễu không hấp dẫn, số cho cách ngẫu nhiên, không đánh vào sai lầm tính toán SV - Đề nghị chỉnh sửa câu văn thay phương án d số cụ thể, ví dụ 150 triệu (đánh vào sai lầm không tính phần thừa kế cha nuôi) Khi ta có câu sau: C chết, di sản 600 triệu đồng, không để lại di chúc Những người liên quan gồm có: cha mẹ ruột, cha nuôi, vợ, anh, chị 14 tuổi Số tiền hưởng người thừa kế theo pháp luật là: a) 120 triệu đồng b) 85,7 triệu đồng c) 300 triệu đồng d) 150 triệu đồng Câu Luật Hiến pháp a) Là ngành luật hệ thống pháp luật Việt Nam, bao gồm tổng thể quy phạm pháp luật điều chỉnh mối quan hệ xã hội có liên quan đến tổ chức quyền lực nhà nước b) Là ngành luật hệ thống pháp luật Việt Nam, bao gồm tổng thể quy phạm pháp luật điều chỉnh mối quan hệ xã hội liên quan đến đời sống dân hàng ngày c) Là ngành luật hệ thống pháp luật Việt Nam, bao gồm tổng thể quy phạm pháp luật điều chỉnh mối quan hệ xã hội người lao động người sử dụng lao động d) Cả ba câu sai Nhận xét - Câu dẫn ngắn phương án trả lời lại dài trùng lặp ý - Phương án d ghép với câu dẫn không phù hợp ngữ pháp, cần phải thay câu khác - Đề nghị đưa đoạn văn giống phương án a, b, c lên thành câu dẫn Chẳng hạn, sửa lại sau: Luật Hiến pháp ngành luật hệ thống pháp luật Việt Nam, bao gồm tổng thể quy phạm pháp luật điều chỉnh mối quan hệ xã hội a) có liên quan đến tổ chức quyền lực nhà nước b) liên quan đến đời sống dân hàng ngày c) người lao động người sử dụng lao động Ví dụ Một số câu TNKQ môn QTH Câu Vấn đề số lượng nhân viên cấp nhà quản trị gọi là: a) Phân công lao động b) Thống huy c) Tầm hạn quản trị d) Năng suất lao động Nhận xét - Các phương án trả lời có độ dài - Câu dẫn ghép với phương án trả lời phù hợp ngữ pháp - Các phương án “nhiễu” dễ thấy nên dự đoán SV không chọn Câu Khi xây dựng tiêu chuẩn, mục tiêu không thích hợp cho tiến trình kiểm tra: a) Cắt giảm chi phí sản xuất 20% b) Thuê mướn nhân viên bán hàng c) Tăng công suất sử dụng máy móc lên 80% d) Nâng cao tinh thần làm việc công nhân Nhận xét - Câu hỏi thể phủ định không gạch (hoặc in nghiêng) chữ “không” để nhấn mạnh - Câu hỏi cuối câu không đặt dấu hỏi mà lại đặt dấu hai chấm - Đề nghị sửa lại sau: Khi xây dựng tiêu chuẩn, mục tiêu không thích hợp cho tiến trình kiểm tra? a) Cắt giảm chi phí sản xuất 20% b) Thuê mướn nhân viên bán hàng c) Tăng công suất sử dụng máy móc lên 80% d) Nâng cao tinh thần làm việc công nhân Ví dụ Câu TNKQ môn Toán Câu Chọn khẳng định sai khẳng định sau: a) + = b) – = c) a b sai d) Tất sai Nhận xét - Các phương án a, b, d phù hợp với câu dẫn - Lưu ý khẳng định “sai” phương án “phù hợp” với câu hỏi đề - Phương án d có “phù hợp nhất” hay không? Có khái niệm “sai nhất” không? - Đề nghị bỏ câu b Cách viết câu trắc nghiệm cụ thể Cần thực bước sau: - Xác định chủ đề (ý tưởng) câu hỏi - Viết phần “gốc”(câu dẫn) dạng câu hỏi câu bỏ lửng thật gọn, ngữ nghĩa sáng sủa - Viết tiếp câu trả lời phù hợp với câu hỏi - Viết “mồi nhử” (phương án nhiễu), chúng không phù hợp với câu hỏi phải “hấp dẫn” phương án trả lời Thường “mồi nhử” viết dựa sai lầm thường gặp SV - Sắp xếp phương án trả lời theo thứ tự ngẫu nhiên Ví dụ Viết câu trắc nghiệm môn PLĐC - Xác định chủ đề câu hỏi: Kiểm tra kỹ vận dụng Luật Lao động để tính số tiền đóng bảo hiểm, thời gian 1,5 phút - Viết phần gốc: Nếu mức lương ghi Hợp đồng Lao động triệu đồng / tháng hàng tháng Công ty phải đóng tiền bảo hiểm cho người lao động bao nhiêu? Hoặc: Nếu mức lương ghi Hợp đồng Lao động triệu đồng / tháng số tiền bảo hiểm Công ty phải đóng cho người lao động tháng - Viết phương án trả lời phù hợp: a) 1,92 triệu đồng - Viết phương án nhiễu: b) 1,68 triệu đồng c) 1,6 triệu đồng d) 1,76 triệu đồng - Sắp xếp phương án theo thứ tự ngẫu nhiên, câu trắc nghiệm hoàn chỉnh là: Nếu mức lương ghi Hợp đồng Lao động triệu đồng / tháng số tiền bảo hiểm Công ty phải đóng cho người lao động tháng a) 1,6 triệu b) 1,76 triệu c) 1,92 triệu d) 1,68 triệu c Hoàn thiện câu viết Muốn có câu hỏi TNKQ thật gọn, rõ ràng, hợp logic không gây hiểu lầm, ta cần “gọt dũa” văn từ, cú pháp logic câu hỏi Cần lấy ý kiến góp ý chuyên gia (đồng nghiệp) để: - Phát câu chưa đảm bảo yêu cầu môn học, câu phương án đúng, có nhiều phương án đúng, nhiễu chưa hợp lý - Phát câu cần loại bỏ, cần chỉnh sửa, câu tốt để đưa vào ngân hàng đề thi Lưu ý Để đánh giá chất lượng câu hỏi toàn đề thi TNKQ, ta cần xử lý thống kê phân tích đề dựa số đặc trưng - Việc phân tích câu hỏi toàn đề thi TN phụ thuộc vào mục đích thi (nhằm phân loại SV hay nhằm xác định SV có đạt yêu cầu môn học hay không) Phân tích chất lượng đề thi TNKQ 3.1 Phân tích câu hỏi TNKQ nhiều lựa chọn Một vài đại lượng đặc trưng a Độ khó câu hỏi (Difficulty) - Căn vào số người trả lời câu hỏi - Công thức tính: Cách 1: K D N đó: K: độ khó D: số SV làm N: tổng số SV dự thi Nhận xét: - Độ khó phụ thuộc vào nhóm đối tượng SV, môn khoa học (có tính tương đối) - Thực chất “độ dễ” - Thông thường K < độ khó trung bình câu khó K = độ khó trung bình câu vừa sức K > độ khó trung bình câu dễ Lưu ý: Độ khó trung bình = (1 + xác suất may rủi) : 0,625 độ khó trung bình câu có lựa chọn 0,6 độ khó trung bình câu có lựa chọn Cách 2: Chia toàn số SV dự thi thành nhóm: - Nhóm cao gồm người đạt điểm cao toàn bài, chiếm 27% tổng số SV làm TNKQ - Nhóm thấp gồm người đạt điểm thấp toàn bài, chiếm 27% tổng số SV làm TNKQ CT Khi K  2n đó: C: số SV làm thuộc nhóm cao T: số SV làm thuộc nhóm thấp n: số SV nhóm b Độ phân biệt câu hỏi (discrimination) - Để phân biệt trình độ khác SV - Công thức tính: Gọi C, T số người thuộc nhóm cao, nhóm thấp trả lời câu hỏi, n số người nhóm (chiếm 27% tổng số SV làm TNKQ) CT Khi p  n đó: P: độ phân biệt C: số SV làm thuộc nhóm cao T: số SV làm thuộc nhóm thấp n: số SV nhóm Nhận xét Thông thường P > 0,4 : độ phân biệt tốt 0,  P  0, : độ phân biệt tốt 0,  P  0, : độ phân biệt chấp nhận độ phân biệt P < 0,2 : Ví dụ Phân tích câu TNKQ Chọn câu 3, đề 1, môn QTH, Học kỳ 13.2A Xét mẫu có 51 SV trả lời câu Ta có kết lựa chọn phương án A, B, C, D 51 SV sau: Câu Nhóm cao Nhóm thấp Nhóm lại Tổng A 11 B 0 1 C 3 D (đúng) 13 13 33 Tổng 14 14 23 51 K =71% P = 43% - Ta tính độ khó câu Cách 1: Số SV trả lời 33 Độ khó câu là: K = 33 : 51 = 0,647 ~ 0,625 Nhận xét: Đây câu vừa sức Cách 2: - Tính số SV nhóm: 27% x 51 = 13,77 (ta lấy xấp xỉ 14) Số SV nhóm cao = Số SV nhóm thấp = 14 Số SV nhóm cao trả lời đúng: C = 13 Số SV nhóm thấp trả lời đúng: T = Độ khó câu là: K = (13 + ) : 28 = 0,714 - Ta tính độ phân biệt câu P = (13 – ) : 14 = 0,429 Nhận xét: Câu có độ phân biệt tốt c Mức độ lôi vào phương án trả lời Cần xem xét tần số lựa chọn phương án trả lời - Nếu phương án nhiễu không chọn sức hấp dẫn, nên loại bỏ - Nếu phương án nhiễu chọn nhiều phương án có hiểu lầm phương án phương án nhiễu - Phương án có tương quan thuận: tỷ lệ lựa chọn nhóm cao nhiều nhóm thấp - Phương án sai có tương quan nghịch: tỷ lệ lựa chọn nhóm thấp phải nhiều nhóm cao Ví dụ Xem lại câu đây, ta thấy: - Phương án a có 11 SV chọn, có SV thuộc nhóm cao, SV thuộc nhóm thấp - Phương án b có SV chọn, nhóm cao nhóm thấp không chọn - Phương án c có SV chọn, nhóm cao không chọn, nhóm thấp có SV chọn - Phương án d (phương án đúng) có 33 SV chọn, có 13 SV thuộc nhóm cao SV thuộc nhóm thấp - Đánh giá chung: Các phương án a, c, d tốt, nên chỉnh sửa phương án b Nhận xét Câu hỏi trắc nghiệm xem có chất lượng nếu: - Được phát biểu rõ ràng, hợp logic, không gây hiểu lầm - Độ khó phù hợp với mục tiêu, đối tượng - Độ phân cách P  0, - Các phương án nhiễu có tương quan nghịch - Phương án có tương quan thuận Ví dụ Ta xét vài câu TNKQ sau (khảo sát làm 100 SV) Câu Nhóm cao Nhóm thấp A B C (đúng) 24 16 D Tổng K =74% 27 27 Độ khó: K = (24+ 16) : 54 = 0,74 (câu dễ) Độ phân biệt: P = (24 – 16) : 27 = 0,3 (khá tốt) Các phương án nhiễu có tương quan “nghịch” 10 P = 30% Phương án có tương quan “thuận” Đánh giá chung: Đây câu có chất lượng Câu 15 Nhóm cao Nhóm thấp A B 22 15 C D (đúng) Tổng 27 27 K = 8% P = 4% Độ khó: K = : 100 = 0,08 (quá khó) Độ phân biệt: P = (1 – 0) : 27 = 0,04 (quá kém) Phương án nhiễu (B) có nhiều SV chọn Phương án (D) có SV chọn, đặc biệt nhóm cao không chọn Đánh giá chung: Nên xem lại câu này, liệu SV có hiểu nhầm phương án B D hay không? Câu 23 Nhóm cao Nhóm thấp A 0 B C (đúng) 14 13 D Tổng K =96% 0 14 14 P = 7% Độ khó: K = (14 + 13) : 28 = 0,964 (quá dễ) Độ phân biệt: P = (14 – 13) : 14 = 0,071 (quá kém) Các phương án nhiễu không chọn Phương án lớp chọn Đánh giá chung: Đây câu chất lượng, nhiễu không hấp dẫn, cần loại bỏ câu 3.2 Phân tích đề thi TNKQ a Độ khó đề thi Gọi I điểm trung bình lý thuyết thi, E điểm trung bình toàn SV dự thi (còn gọi trung bình thực nghiệm) I = (điểm tối đa thi + điểm may rủi) : Khi đó: E – I < : đề khó E – I ~ : đề vừa sức ( 0,  E  I  0, ) E – I > : đề dễ b Hệ số tin cậy đề thi Độ tin cậy xem mức độ xác phép đo, cho biết trắc nghiệm đo cần đo ổn định đến mức Có nhiều phương pháp xác định độ tin cậy đề thi trắc nghiệm như: - Phương pháp trắc nghiệm – trắc nghiệm lại 11 - Phương pháp dùng trắc nghiệm tương đương - Phương pháp phân đôi trắc nghiệm Ta xét phương pháp phân đôi trắc nghiệm dễ thực Phương pháp phân đôi trắc nghiệm Bài trắc nghiệm chia thành phần tương đương tính chất, nội dung độ khó câu hỏi Phân đôi đề thi TNKQ thành đề: - Đề gồm câu lẻ - Đề gồm câu chẵn Gọi X, Y tương ứng đại lượng điểm đề đề (xác định sinh viên) Công thức Spearman – Brown tính hệ số tin cậy đề thi - Tính hệ số tương quan X Y: XY  X.Y rXY  SX SY đó: R XY hệ số tương quan XY trung bình tích XY X , Y trung bình X, Y SX , SY độ lệch chuẩn X, Y - Tính hệ số tin cậy đề thi: R 2r XY  rXY Nhận xét • Hệ số tin cậy gần tốt • 0,  R  0, : đề thi chấp nhận • 0,  R  0, : đề thi tốt • R  0, : đề thi chất lượng cao Ví dụ 9: Phân tích đề TNKQ Học kỳ 13.2A Đề thi cuối kỳ gồm phần (tự luận TNKQ), phần tự luận điểm, phần TNKQ gồm 30 câu hỏi, câu làm 0,2 điểm, điểm tối đa Mỗi câu hỏi có phương án trả lời nên điểm may rủi toàn 1,5 Điểm trung bình lý thuyết là: I = (6 + 1,5) : = 3,75 Khảo sát làm 196 sinh viên, điểm trung bình: E = 3,57 Ta thấy E – I ~ : đề vừa sức Phân đôi thành đề, ta tính được: - Đề có trung bình: 1,7458, độ lệch chuẩn: 0,3588 - Đề có trung bình: 1,7792, độ lệch chuẩn: 0,3421 - Trung bình tích XY: 3,1533 12 - Hệ số tương quan: 0,3843 - Hệ số tin cậy: 0,5554 Nhận xét: Một đề thi TNKQ xem có chất lượng nếu: - Tỷ lệ câu hỏi tốt đề cao cao tốt - Độ khó toàn đề phù hợp với mục tiêu đối tượng khảo sát Thường độ khó mức độ vừa phải - Hệ số tin cậy cao ( R  0, ) cao tốt Tài liệu tham khảo • [1] Quang An: Trắc nghiệm khách quan tuyển sinh đại học; Đại học Đà Lạt (1997) • [2] Nguyễn Phụng Hoàng, Vũ Ngọc Lan: Phương pháp trắc nghiệm kiểm tra đánh giá thành học tập; NXB Giáo Dục (1997) • [3] Nguyễn Phụng Hoàng: Về cải tiến phương thức tuyển sinh; Tạp chí Nghiên cứu Giáo dục, No- (1996) • [4] Dương Thiệu Tống: Trắc nghiệm đo lường thành học tập; Trường Đại học Tổng hợp TP Hồ Chí Minh (1995) • [5] Lê Anh Vũ: Thử thẩm định độ tin cậy điểm số trung bình môn thi sinh viên Trường Đại học Kỹ thuật Công nghệ năm học 19981999; Báo cáo Hội nghị Dạy tốt - Học tốt Trường Đại học Kỹ thuật Công nghệ (11-1999) 13