9. Kế hoạch nghiên cứ u
1.5.5 Phân tích các câu hỏi trắc nghiệm
Phân tích các câu hỏi của thí sinh trong một bài TN là một việc làm rất cần thiết và rất hữu ích cho người soạn trắc nghiệm. Nó giúp cho người soạn thảo:
-Biết được những câu nào là quá khó, câu nào là quá dễ
-Đưa ra các câu có độ phân cách cao, nghĩa là phân biệt được học sinh giỏi với học sinh kém.
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 40
Hình 1.9 Các bước soạn trắc nghiệm theo phương pháp Popham
Phương pháp áp dụng cho một lĩnh vực nhiệm vụhọc tập hạn chế.
Khi lĩnh vực nhiệm vụhọc tập rất hạn chế, người ta cần liệt kê tất cảhay gần hết các nhiệm vụchi tiết có liên quan. Bảng liệt kê các nhiệm vụ nêu rõ thành tích học tập mà học sinh có thể đạt được liên quan đến lĩnh vực nhiệm vụ học tập. Sau đó
giáo viên sẽsoạn ra 5-6 câu hỏi trắc nghiệm cho mỗi nhiệm vụ. Nếu bài trắc nghiệm phải bao trùm một lĩnh vực lớn hơn, người ta cần phải lập một bảng quy định 2 chiều để xác định một cách cụthểsố lượng các câu hỏi cần biên soạn.
Đây là một phương pháp đơn giản và rất phù hợp với với các giáo viên trực tiếp đứng lớp sửdụng để soạn thảo câu trắc nghiệm nhằm đo lường thành tích học tập của người học trong toàn bộquá trình học tập.
1.5.5 Phân tích các câu hỏi trắc nghiệm.
Phân tích các câu hỏi của thí sinh trong một bài TN là một việc làm rất cần thiết và rất hữu ích cho người soạn trắc nghiệm. Nó giúp cho người soạn thảo:
-Biết được những câu nào là quá khó, câu nào là quá dễ
-Đưa ra các câu có độ phân cách cao, nghĩa là phân biệt được học sinh giỏi với học sinh kém.
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 40
Hình 1.9 Các bước soạn trắc nghiệm theo phương pháp Popham
Phương pháp áp dụng cho một lĩnh vực nhiệm vụhọc tập hạn chế.
Khi lĩnh vực nhiệm vụhọc tập rất hạn chế, người ta cần liệt kê tất cảhay gần hết các nhiệm vụ chi tiết có liên quan. Bảng liệt kê các nhiệm vụnêu rõ thành tích học tập mà học sinh có thể đạt được liên quan đến lĩnh vực nhiệm vụ học tập. Sau đó
giáo viên sẽsoạn ra 5-6 câu hỏi trắc nghiệm cho mỗi nhiệm vụ. Nếu bài trắc nghiệm phải bao trùm một lĩnh vực lớn hơn, người ta cần phải lập một bảng quy định 2 chiều để xác định một cách cụthểsố lượng các câu hỏi cần biên soạn.
Đây là một phương pháp đơn giản và rất phù hợp với với các giáo viên trực tiếp đứng lớp sử dụng để soạn thảo câu trắc nghiệm nhằm đo lường thành tích học tập của người học trong toàn bộquá trình học tập.
1.5.5 Phân tích các câu hỏi trắc nghiệm.
Phân tích các câu hỏi của thí sinh trong một bài TN là một việc làm rất cần thiết và rất hữu ích cho người soạn trắc nghiệm. Nó giúp cho người soạn thảo:
-Biết được những câu nào là quá khó, câu nào là quá dễ
-Đưa ra các câu có độ phân cách cao, nghĩa là phân biệt được học sinh giỏi với học sinh kém.
-Biết được vì sao câu trắc nghiệm không đạt hiệu quả như mong muốn và cần phải sửa đổi như thếnào cho tốt hơn.
a.Câu trắc nghiệm cổ điển
Lý thuyết trắc nghiệm cổ điển được xây dựng dựa trên khoa học vềxác suất thống kê. Các tham số đặc trưng xét trong lý thuyết trắc nghiệm là: độ khó, độ phân cách (đặc trưng cho câu hỏi), độtin cậy, độgiá trị (đặt trưng cho ĐTN).
*Độphân cách của câu trắc nghiệm [30]
Phân tích câu trắc nghiệm là một phương thức nhằm gia tăng tính tin cậy và giá trị của một bài trắc nghiệm. Có nhiều phương pháp xác định độ phân cách của câu trắc nghiệm. Các phương pháp thông dụng nhất là:
+Phương pháp đơn giản áp dụngởlớp học
Sau khi đã chấm điểm bài trắc nghiệm ta có thểáp dụng các công đoạn dưới
đây đểphân tích câu trắc nghiệm:
(1) Xếp đặt các bảng trả lời (answer sheets) đã được chấm theo thứ tự các
điểm sốtừcao đến thấp
Phân chia các bảng trảlời theo hai nhóm:
Nhóm cao: xấp xỉ 27% toàn nhóm có điểm cao nhất Nhóm thấp: tương đương 27% điểm sốthấp nhất.
(2) Ghi sốlần (tần số) trả lời của học sinh trong mỗi nhóm, cao và thấp cho mỗi lựa chọn của mỗi câu trắc nghiệm.
Ví dụ:
a b c d e Tổng cộng
Nhóm cao (27%) 1 10 3 0 4 18
Nhóm thấp (27%) 0 4 6 1 7 18
Bảng 1.6: Kết quảtrảlời câu trắc nghiệm của học sinh
(3) Cộng tần sốcâu trảlời đúng (có đánh dấu *) của nhóm cao và nhóm thấp, chia tổng số này với số bài (thay số người) của cảhai nhóm gộp lại. Biểu
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 42
thị thương số này như là một tỷlệ phần trăm (nhân kết quả với 100). Kết quảlà ta có chỉsốkhó của câu này
Ví dụ: Từbảng ví dụtrên ta có kết quả như sau:
Chỉsốkhó của câu trắc nghiệm là: 0,39 36
4
10 hoặc 39%
(4) Lấy tần số người làm đúng trong nhóm cao trừ số người làm đúng trong
nhóm thấp, rồi chia hiệu này với hiệu sốtối đa của nó (27%). Thương số
này là chỉsốphân cách (index of discrimination) của câu trắc nghiệm. Ví dụ:Ởbảng 6, ta có chỉsốphân cách là: 33 , 0 18 4 10
+Một phương pháp gọn hơn để tính độ phân biệt D được GS Dương Thiệu Tống giới thiệu là: Lấy tỷ lệ phần trăm làm đúng câu trắc nghiệm trong nhóm giỏi trừ đi tỷlệphần trăm làm đúng trong nhóm kém. Theo phương pháp này, người ta lập bảng tính sau: Câu Tỷ lệ phần trăm làm đúng của nhóm giỏi Tỷ lệ phần trăm làm đúng của nhóm kém D 1 2 3 4=2-3 2 3 4 ….
Bảng 1.7: Phương pháp tính độphân cách câu trắc nghiệm
+Ngoài ra, ta có thể tính độphân cách của câu trắc nghiệm theo công thức tương quan điểm nhịphân [21]
] ) ( . ][ ) ( . [ . 2 2 2 2 Y Y N X X N Y X XY N D Trong đó:
D:Độphân cách của câu trắc nghiệm N: Sốbài làm (Sốthí sinh dựthi)
X:Điểm sốcâu trắc nghiệm của mỗi thí sinh (X = 0 hoặc X = 1) Y: Tổng điểm bài làm của mỗi thí sinh
Ý nghĩa của chỉsốphân cách D Công thức 1: n T C D D: Chỉsốphân cách
C: Số người trong nhóm cao trảlời đúng câu trắc nghiệm T: Số người trong nhóm thấp trảlời đúng câu trắc nghiệm n: Hiệu sốtối đa (n=27%)
Công thức 2: D = % đúng của nhóm cao -% đúng của nhóm thấp Ví dụ: Bài trắc nghiệm gồm: 40 câu
Tổng sốsinh viên: 100 SV SốSV nhóm cao : 27 SV SốSV nhóm thấp : 27 SV Câu Nhóm cao Nhóm thấp D 1 2 3 4 71 60 47 38 42 24 42 61 29 36 05 -23
Bảng 1.8: Tỷlệphần trăm làm đúng 4 câu trắc nghiệm
Kết quảtừbảng 7 cho thấy:
Câu trắc nghiệm 1 và 2 (D = 29): khóđối với nhóm thấp hơn.
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 44
Chỉsốphân cách tốt. [26]
ChỉsốD Đánh giá câu trắc nghiệm
Từ.40 trởlên Rất tốt
Từ.30 - .39 Khá tốt nhưng có thểlàm cho tốt hơn
Từ.20 - .29 Tạm được, có thểcần phải hoàn chỉnh
Dưới .19 Kém, cần loại bỏ hay sửa chữa lại cho tốt hơn
*Độkhó của câu trắc nghiệm [30] Đo lường độkhó của câu trắc nghiệm
*Độkhó của câu TN là tỷlệphần trăm số người trảlời đúng câuTNấy.
Ký hiệu: p
*Công thức:
Số người trảlời đúng câu i
Số người làm bài trắc nghiệm
Giá trị độ khó thay đổi từ 0% đến 100% hoặc từ 0 đến 1. Người ta xác định
độkhó dựa vào việc thửnghiệm CHTN trên các đối tượng thí sinh phù hợp. Mức độkhó của một câu trắc nghiệm được xác định theo 3 mức:
-ĐK = 0 ÷ 24%: Câu hỏi quá khó;
-ĐK = 25% ÷75%: Câu hỏi có độkhó chấp nhận được; -ĐK = 76% ÷ 100%: Câu hỏi quá dễ.
Trong tài liệu Quy trình, phương pháp xây dựng ngân hàng câu hỏi, đề thi và tổchức đánh giá kiến thức nghề, của tác giảNguyễn Đức Trí và Hoàng Anh đưa
ra 4 mức độkhó của câu trắc nghiệm: -ĐK = 0 ÷ 24%: Câu hỏi quá khó;
-ĐK = 25% ÷ 50%: Câu hỏi có độkhó trung bình; -ĐK = 51% ÷ 75%: Câu hỏi dễ;
-ĐK = 76% ÷ 100%: Câu hỏi quá dễ.
Hai cách phân loại trên cơ bản giống nhau. Cách phân loại thứ2 chỉchi tiết hơn.
* Ý nghĩa:
-Định nghĩa độkhó bằng cách căn cứvào tần số tương đối của số người làm trắc nghiệm đã trảlời đúng câu hỏi.
-Cho biết tính chất khó hay dễ là một đặc tính của câu trắc nghiệm và cả người làm trắc nghiệm. Ví dụ: một đề trắc nghiệm có thể rất khóđối với học sinh trung học nhưng lại rất dễ đối với sinh viên đã ra trường.
-Cho người khảo sát một thang đo lường đối với từng môn học khác nhau, từng lĩnh vực hoàn toàn khác nhau. Ví dụ: không thể nói đềtrắc nghiệm môn Sửdễ hơn môn Toán vìđây là hailĩnh vực khoa học hoàn toàn khác nhau.
Độkhó vừa phải của câu trắc nghiệm
Một bài trắc nghiệm được gọi là tốt không phải gồm toàn những câu khó hay toàn những câu dễmà phải có độkhó trung bình hayđộkhó vừa phải.
Tùy theo từng loại câu hỏi trắc nghiệmmà ta có độkhó vừa phải khác nhau: -Trắc nghiệm Đúng –sai: 75%
-Trắc nghiệm lựa chọn: 25 % (thông thường có 4 câu trảlời) -Trắc nghiệm điền khuyết: 50%
Công thức tính độkhó vừa phải của câu trắc nghiệm ; 100% + % may rủi
2
-Chuẩn đánh giá:
Giả thiết Kết luận
Độ khó câu TN > Độkhó vừa phải Câu trắc nghiệm dễso với trìnhđộ người làm trắc nghiệm
Độ khó câu TN < Độkhó vừa phải Câu trắc nghiệm khó so với trình độ người làm trắc nghiệm
Độkhó câu TN =Độkhó vừa phải Câu trắc nghiệm vừa phải so với trình
độ người làm trắc nghiệm
Bảng 1.9:Chuẩn đánh giá câu trắc nghiệm
Độkhó vừa phải của câu trắc nghiệm đúng- sai
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 46
Câu trắc nghiệm đúng – sai có độkhó vừa phải là câu có 50% số thí sinh làm đúng
câuấy và 50% sốthí sinh làm sai. Câu hỏi thuộc loại này có hai lựa chọn do đó sự
may rủi làm đúng câu hỏi là 50%. Đó là tỷlệmay rủi kỳvọng. Như vậy, độkhó vừa phải của câu hỏi loại này là trung bình cộng giữa tỷlệmay rủi kỳvọng và 100% nghĩa là: (100 + 50)/2 = 75%.
Nói cách khác, câu trắc nghiệm đúng – sai có độkhó vừa phải nếu 75% thí sinh trả
lời đúng câu hỏiấy [26]
Độkhó vừa phải của câu trắc nghiệm có 4 lựa chọn
Với câu trắc nghiệm có 4 lựa chọn thì tỷ lệ may rủi kỳ vọng là 100/4 tức là 25%. Vậy độkhó vừa phải của câu trắc nghiệm loại này là:
(100 + 25)/2% = 62.5%.
Đối với các câu hỏi thuộc loại “trả lời tự do” như loại điền khuyết thì độ khó vừa phải là 50%. Một bài TN được gọi là tốt sẽbao gồm các CH có mức độ khó TB hay mức độ khó vừa phải. Do vậy, khi phân tích các CH người ta thường phải loại những câu quá khó vì không ai làm đúng hoặc những câu quá dễ vì ai cũng làm
đúng.
Độkhó vừa phải của câu trắc nghiệm loại ghép hợp
Với loại ghép hợp 3 câu hỏi 6 câu trảlời thì thì tỉlệmay rủi kỳvọng của mỗi câu là:
120 1 4 1 5 1 6 1x x Độkhó vừa phải là: % 50 % 2 120 1 100 x
Độkhó vừa phải của câu trắc nghiệm loại điền khuyết thì độkhó vừa phải là 50%. Loại điền khuyết có tỉlệmay rủi = 0.
Độkhó của bài trắc nghiệm
Phương pháp đơn giản để xét độkhó của bài trắc nghiệm là đối chiếu điểm sốtrung bình (mean) của bài trắc nghiệm với điểm trung bình lý tưởng của nó:
Điểm trung bình lý tưởng là trung điểm giữa điểm tối đa sau khi có kết quả
cụthể và điểm may rủi kỳvọng của nó (expected chance score)
Đối với câu trắc nghiệm nhiều lựa chọn
Tổng sốcâu trắc nghiệm Tổng sốlựa chọn
Điểm trung bình lý tưởng = (Điểm may rủi kỳvọng+Tổng sốcâu trắc ngiệm)/2
Điểm trung bình bị chi phối hoàn toàn bởi độkhó trung bình của câu hỏi tạo thành bài trắc nghiệm vì vậy ta lấy điểm trung bình để xác định mức độkhó hay dễ
của bài trắc nghiệm là chính xác nhất.
Phân tích các mồi nhử. [26]
Ngoài việc phân tích độ khó và độphân cách của mỗi câu trắc nghiệm, ta có thểlàm cho câu trắc nghiệm trở nên tốt hơn bằng cách xem xét tần số của các đáp ứng sai cho mỗi câu hỏi. Đểphân tích các mồi nhửcủa câu TN, ta có thểthực hiện theo quy trình sau:
Bước 1:Sau khi đã chấm điểm và cộng tổng điểm của từng bài trắc nghiệm, ta xếp đặt các bài làm của học sinh theo thứtựtổng điểm từ cao đến thấp.
Bước 2:Căn cứtrên tổng sốbài trắc nghiệm, lấy 27% của tổng sốbài làm có
điểm từbài cao nhất trởxuống xếp vào nhóm CAO và 27% tổng số bài làm có điểm từbài thấp nhất trởlên xếp vào nhóm THẤP.
Bước 3: Ghi tần số đáp ứng của học sinh trong mỗi nhóm cho mỗi lựa chọn
(a, b, c, d…) trong mỗi câu trắc nghiệm, đồng thời ghi độ khó và độphân cách cho mỗi câu trắc nghiệm.
Bước 4: Căn cứvào các chỉsốvề độ khó và độphân cách của các câu trắc
GVHD: Ts. Nguyễn Trần Nghĩa
HVTH: Nguyễn Phan Mai Khoa LLPP 18B Page 48
nghiệm, lựa ra những câu trắc nghiệm có độkhó quá thấp hay quá cao, đồng thời có
độ phân cách âm hoặc quá thấp, đây là những câu kém cần phải xét lại để loại đi hay đểsửa chữa cho tốt hơn.
Bước 5: Xem xét lại toàn bộcâu trắc nghiệm kém, nhất là những câu trắc nghiệm loại có nhiều lựa chọn, trong đó có câu trảlời đúng và sốcòn lại là những mồi nhửtheo nguyên tắc cơ bản sau đây:
Với câu đúng thì sốSV trảlời câu đúng nhóm cao nhiều hơn nhóm thấp. Với câu sai thì sốSV nhóm cao chọn phải ít hơn sốhọc sinh nhóm thấp. Nguyên tắc căn bản đểphân tích câu trắc nghiệm:
Mỗi câu trả lời đúng phai tương quan thuận với tiêu chí (criterion) đã
định,ở đây ta lấy điểm sốtoàn thểhọc sinh làm điểm sốtiêu chí (criterion score) do
đó ta chia học sinh ra thành 2 nhóm cao và thấp. Các nhóm này được gọi là nhóm tiêu chí. Câu trảlời đúng được coi là có giá trịnếu có sự tương quan thuận với tiêu chí. Có nghĩa là với câu trả lời đúng, số học sinh trả lời đúng trong nhóm cao phải nhiều hơn nhóm thấp.
Mỗi câu trả lời sai phải tương quan nghịch với tiêu chí. Nói cách khác, với câu trả lời sai (mồi nhử). Số học sinh trong nhóm cao phải lựa chọn câu
này ít hơn nhóm thấp.
*Độtin cậy:Độtin cậy của bài trắc nghiệm là đại lượng biểu thịmức độchính xác của phép đo nhờ đềtrắc nghiệm, là hệsố tương quan giữa tỷlệtrảlời đúng / sai
giữa các lần trắc nghiệm bằng các đềtrắc nghiệm tương đương.[30] -Các phương pháp tính độtin cậy:
Phương pháp trắc nghiệm–trắc nghiệm lại: dùng một đề trắc nghiệm cho một nhóm thí sinh làm 2 lần và tính hệ số tương quan giữa hai bộ điểm. Tuy