Chất lượng bộ đề thi trắc nghiệm trong đánh giá kết quả học tập

Các khái niệm về chất lượng bộ đề thi trắc nghiệm 1. Các công cụ đo lường kết quả học tập

• Trắc nghiệm và những vấn đề liên quan 1. Khái niệm về trắc nghiệm
• Độ tin cậy của bộ câu hỏi trắc nghiệm

Nhóm phương pháp thứ ba: Thường dùng để đánh giá độ tin cậy của một trắc nghiệm khi ta không có điều kiện đo trắc nghiệm hai lần trên cùng một đối tượng và cũng không thiết kế được các trắc nghiệm tương đương, là phương pháp phân đôi số item của trắc nghiệm thành hai phần (thường chia theo số chẵn và số lẻ) rồi so sánh tương quan điểm giữa hai nửa trắc nhiệm. Tuy nhiên lý thuyết đánh giá gần đây đều cho rằng các kiểu giá trị này không phải là những kiểu giá trị tách biệt theo những mục đích khác nhau, mà chúng chỉ là những cách tiếp cận đại diện cho những chiến lược khác nhau cùng chung một mục đích là hiểu ý nghĩa của điểm số trắc nghiệm và đều nhằm hiệu lực hoá những kết luận, suy đoán được rút ra từ điểm số của trắc nghiệm [4].

Quy trình xây dựng bộ đề thi trắc nghiệm khách quan

Nếu nội dung các câu hỏi giống hay tương tự các thí dụ trong sách giáo khoa, hoặc đã trình bày ở lớp, câu trả lời đúng có thể nhờ vận dụng trí nhớ hơn là nhờ các khả năng tư duy khác mà ta cần thẩm định. Đối với việc xây dựng các công cụ đo lường kết quả học tập, cụ thể là việc xây dựng các bộ đề thi TNKQ dùng trong thi kiểm tra giữa kỳ hay hết học phần áp dụng trong các trường đại học, ta chỉ quan tâm đến thang bậc năng lực nhận thức. Các chuyên gia chuyên ngành kết hợp cùng chuyên gia kiểm tra đánh giá xây dựng cấu trúc đề thi, bảng trọng số, hình thức và thể loại thi riêng phù hợp cho từng chuyên ngành theo yêu cầu của từng giai đoạn.

Trước khi tổ chức thi các chuyên gia căn cứ theo yêu cầu và mục tiêu đào tạo của từng đợt thi tổ hợp đề thi theo đúng yêu cầu về độ khó của câu hỏi thi và các yêu cầu về kiến thức sinh viên cần đạt được. Hàng năm có tổ chức viết thêm các câu hỏi thi để bổ sung ngân hàng dữ liệu và đồng thời loại bỏ các câu hỏi không còn phù hợp với phát triển của mục tiêu đào tạo và năng lực thực sự của sinh viên trong từng giai đoạn. Để đánh giá các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ, luận văn phải xuất phát từ việc đánh giá chất lượng của các bộ đề thực tế đã sử dụng tại nhà trường qua xử lý số liệu kết quả thi của các môn học (50 môn học).

Nghiên cứu này được thực hiện bằng phương pháp thống kê phân tích, xử lý số liệu trên phần mềm SPSS, QUEST, kết hợp với phương pháp chuyên gia qua việc thẩm định độ giá trị nội dung, độ gía trị cấu trúc… của các bộ đề thi. Bằng kinh nghiệm thực tiễn công tác cũng như tham khảo ý kiến của các chuyên gia trong lĩnh vực đo lường đánh giá giáo dục, tác giả mạnh dạn đề xuất một bộ công cụ đo các yếu tố ảnh hưởng đến chất lượng bộ đề thi TNKQ thực hiện trên nhóm mẫu là giáo viên tham gia xây dựng đề thi. Với những phân tích ở trên, sau khi thực hiện xong ba chuyên đề nghiên cứu, đặc biệt là chuyên đề nghiên cứu thứ ba, luận văn sẽ chỉ ra được các yếu tố ảnh hưởng thực sự tới chất lượng xây dựng đề thi TNKQ, từ đó có những đề xuất giải pháp nhằm cải thiện chất lượng xây dựng đề thi của nhà trường.

Thiết kế mẫu phiếu điều tra đối với giáo viên

Trên cơ sở kết quả của hai nghiên cứu nói trên, ta sẽ tiến hành đánh giá tương quan được lượng hoá thành số giữa các mẫu phiếu đánh giá và chất lượng đề thi trong nhóm mẫu kết quả thi. Điều này không phải là một nhận định quá chủ quan mà nó được xây dựng trên kinh nghiệm cá nhân, thăm dò dư luận đám đông và ý kiến của các chuyên gia có kinh nghiệm về đo lường đánh giá trong giáo dục. Điểm số lượng hoá của phiếu hỏi bằng tổng đại số điểm của các item trong bảng kẻ (Giá trị của điểm số tổng cộng mặc định là tương quan chặt với điều kiện thuận lợi cho việc xây dựng đề thi TNKQ).

Những item quá dễ sẽ làm mọi người đều có điểm trên item đó, do đó sự khác nhau giữa những người đạt điểm cao nhất (được xem là có năng lực tốt nhất) và những người có điểm thấp nhất (được xem là có năng lực tồi nhất) có điểm ngang nhau ở những item này do vậy độ phân biệt sẽ có giá trị gần bằng 0. Với các trắc nghiệm đánh giá năng lực, ta có thể giải thích sự thay đổi các giá trị của D như sau: Nếu item có câu trả lời khó cho những người ở nhóm điểm thấp mà dễ cho những người ở nhóm điểm cao, thì khi đó chỉ số D là tiếp cận 1,0 (item có độ phân biệt lý tưởng). Nếu item có câu trả lời dễ cho những người ở nhóm điểm thấp mà lại khó cho nhóm người điểm cao thì chỉ số phân biệt D tiếp cận – 1,0, khi đó item vẫn có độ phân biệt lý tưởng nhưng không giống như mong đợi.

Để có kết luận một cách toàn diện về độ tin cậy của cả bài trắc nghiệm người ta thường dùng phương pháp đánh giá dựa trên mô hình tương quan Alpha của Cronbach (Cronbach’s coefficent alpha). Kết quả phân tích cho hệ số tin cậy của toàn trắc nghiệm α = 0,805 có nghĩa là 80,5% phương sai của điểm trắc nghiệm là phương sai của điểm số thực và chỉ có 15,5% phương sai của điểm là do sai số ngẫu nhiên của phép đo. Cũng bằng phép phân tích này, nhìn vào bảng 1 ta thấy, những item có tương quan với các item còn lại là thấp (αi < 0.30) thì cần phải xem lại, những item có tương quan qúa thấp (αi < 0) thì nên loại bỏ.

Phần trên chúng tôi đã dùng phần mềm SPSS để xử lý số liệu kết quả thi, tương tự ta cũng có thể sử dụng mô hình RASCH trên phần mềm chuyên dụng QUEST để phân tích, đánh giá kết quả các bài thi trắc nghiệm. Nhìn vào Bảng 3.5 ta thấy, các item 8, 14, 22, 37 mặc dù có độ khó hợp lý nhưng lại nằm ngoài khoảng cho phép (infit mean square) hay có thể nói không tương thích với toàn thang đo nên cần xem xét lại.

Xử lý số liệu mẫu phiếu phỏng vấn (phiếu hỏi) trong giảng viên 1. Đánh giá độ tin cậy của công cụ đo (mẫu phiếu hỏi)

Việc đánh giá độ giá trị của các bộ đề trên cả bốn góc độ: “Độ giá trị nội dung”; “Độ giá trị cấu trúc”; “Độ giá trị tiêu chuẩn” và “Độ giá trị dự báo” là một bài toán quá phức tạp. - Có thể nói nội dung và cấu trúc của các bộ đề đã được đánh giá sơ bộ (một cách định tính) bằng phương pháp chuyên gia qua sự thẩm định của chính người ra đề cũng như nhóm môn học. Nếu ta quy đổi thang bậc các mức đồng ý của các phiếu hỏi thành điểm số tương ứng với 5 mức điểm từ 0 đến 4 (chú ý các item với phát biểu ngược chiều lấy giá trị điểm ngược lại), ta sẽ có bảng các điểm số của phiếu hỏi.

Về mặt ý nghĩa đo lường, các phiếu hỏi cho điểm số tổng cộng cao sẽ tương ứng với các cá nhân có các yếu tố thuận lợi cho việc xây dựng đề trắc nghiệm, ngược lại các phiếu hỏi có điểm số tổng cộng thấp sẽ tương ứng với các cá nhân có các yếu tố kém thuận lợi cho việc xây dựng đề trắc nghiệm. Các phiếu có phân bố điểm tổng cộng từ 43 đến 94 điểm (điểm tối đa có thể là 120 điểm) cho thấy phân bố điểm rất rộng chứng tỏ các cá nhân tham gia xây dựng đề trắc nghiệm trong các điều kiện rất khác nhau và nhận thức quan điểm cũng rất khác nhau. Mô hình này đánh giá độ tin cậy của phép đo dựa trên sự tính toán phương sai của từng item trong toàn phép đo và tính tương quan điểm của từng item với với điểm tổng của các item còn lại của phép đo.

∑ σ2i : Tổng các giá trị phương sai của tất cả các item của trắc nghiệm Thực hiện: Sử dụng mô hình Cronbach’s Coefficent Alpha đánh giá độ tin cậy của phép đo các yếu tố ảnh hưởng đến chất lượng bộ đề trắc nghiệm khách quan. Điều đó chứng tỏ các item trong phiếu trắc nghiệm có tương quan chặt với nhau và đây là một công cụ đo có độ tin cậy đảm bảo cho phép đánh giá các điều kiện thuận lợi cho một giáo viên khi xây dựng bộ đề thi trắc nghiệm. Trong phạm vi này chúng tôi chỉ nghiên cứu trên nhóm các item trong thang đo hẹp, cụ thể là phân tích các item trong thang đo thứ ba: “Mức độ nắm vững kỹ thuật ra đề trắc nghiệm của giảng viên”.

PHIEU