8. Cấu trúc của luận văn
1.3.3. Quy trình biên soạn đề kiểm tra TNKQ
1.3.3.1. Xác định mục đích yêu cầu cần kiểm tra.
Là phương tiện để xác định mức độ đạt hệ thống mục tiêu học tập của mỗi SV từ đó đánh giá KQHT sau khi học xong một chủ đề, một chương, một học kì, hay toàn bộ chương trình của một lớp , một cấp học nào đó.
1.3.3.2. Xác định các mục tiêu cần đo.
Để xây dựng một đề kiểm tra tốt cần liệt kê chi tiết các mục tiêu giảng dạy thể hiện ở các hành vi hay năng lực cần phát triển của SV như là kết quả của việc dạy học.
1.3.3.3. Thiết lập ma trận hai chiều.
Sau khi nắm vững mục đích của bài trắc nghiệm và phân tích nội dung môn học người soạn thảo thiết lập một ma trận hai chiều, một chiều biểu thị nội dung hay mạch kiến thức cần đánh giá và chiều kia biểu thị cho các mức độ nhận thức của SV (thường được đánh giá theo sát mức độ nhận thức trong thang phân loại của Bloom) mà bài trắc nghiệm muốn khảo sát.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Bài trắc nghiệm môn.
Đề mục…………
Chủ đề Mục tiêu Tổng
Nhận biết Thông hiểu Vận dụng 1.Chương I 2 1 1 0,5 3 1,5 2.Chương II 1 0,5 1 1 1 0,5 3 2 3.Chương III 2 1,5 1 0,5 3 2 4.Chương IV 1 0,5 1 2 1 2 3 4,5 Tổng 6 3,5 3 3,5 3 3 12 10
Chữsố bên trên, góc trái mỗi ô: là số câu hỏi.
Chữ số bên dưới góc phải mỗi ô: là số điểm của các câu hỏi trong mỗi ô.
Nếu một chiều của ma trận có m nội dung kiến thức cần kiểm tra, chiều kia có n mức độ nhận thức cần đành giá thì ma trận sẽ có m.n ô. Trong mỗi ô của ma trận là số lượng câu hỏi và trọng số điểm dành cho các câu hỏi có trong ô đó. Quyết định số lượng câu hỏi cho từng mục tiêu tuỳ thuộc vào mức độ quan trọng của từng mục tiêu đó. Thời gian làm bài kiểm tra và trọng số điểm qui định cho từng mạch kiến thức, từng mức độ nhận thức. Công đoạn trên được tiến hành qua các bước cơ bản sau:
• Xác định trọng số điểm cho từng mạch kiến thức: căn cứ số tiết qui định trong phân phối chương trình, căn cứ vào mức độ quan trọng của mỗi mạch kiến thức trong chương trình mà xác định số điểm tương ứng cho từng phần kiến thức.
• Xác định trọng số điểm cho từng mức độ nhận thức: mức độ nhận thức trung bình có trọng số điểm không ít hơn các mức nhận thức khác.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
• Xác định số lượng câu hỏi cho từng ô trong ma trận căn cứ vào các trọng số điểm đã xác định ở trên mà định số câu hỏi tương ứng, trong đó lưu ý rằng mỗi câu hỏi TNKQ có trọng số điểm như nhau.
1.3.3.4. Xây dựng câu hỏi trắc nghiệm theo ma trận hai chiều.
Căn cứ vào ma trận và mục tiêu đã xác định ở bước 2 và 3 thiết kế nội dung hình thức, lĩnh vực kiến thức và mức độ nhận thức cần đo ở SV qua từng câu hỏi và toàn bộ bài trắc nghiệm.
1.3.3.5. Xây dựng đáp án và biểu điểm.
Theo qui chế của Bộ giáo dục và đào tạo thang đánh giá gồm 11 bậc: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10. Chúng ta có thể tính điểm cho mỗi câu hỏi trắc nghiệm bằng cách lấy điểm tối đa toàn bài là 10 chia đều cho số câu hỏi toàn bài.
1.3.3.6. Đánh giá câu hỏi TNKQ bằng phân tích thống kê.
Đánh giá câu hỏi TNKQ là việc làm cần thiết cho người soạn thảo. Khi xây dựng bài TNKQ để đạt được hai yếu tố là độ khó thích hợp và độ phân biệt cao.
Độ khó và độ phân biệt được xác định thống kê như sau: Chia mẫu SV thành 3 nhóm làm bài kiểm tra.
+ Nhóm điểm cao (H): 25% - 27% số SV đạt điểm cao nhất. + Nhóm điểm thấp (L): 25% - 27% số SV đạt điểm thấp nhất. + Nhóm điểm trung bình (M): 46% - 50% (SV còn lại).
1) Độ khó của câu hỏi được tính bằng công thức (K).
Độ khó của câu hỏi trắc nghiệm căn cứ vào tỷ lệ giữa số SV trả lời đúng câu hỏi đó trên tổng số SV tham dự: H M L N N N K % N trong đó 0 K 1 hay 0% K 100% Với:
N là tổng số SV tham gia làm bài kiểm tra. NH là số SV nhóm giỏi chọn câu đúng.
NM là số SV nhóm trung bình chọn câu đúng. NL là số SV nhóm kém chọn câu đúng.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
K càng lớn thì câu hỏi càng dễ: 0 K 0 2, : Là câu hỏi rất khó.
0 2, K 0 4, : Là câu hỏi khó.
, K ,
0 4 0 6 : Là câu hỏi trung bình.
0 6, K 0 8, : Là câu hỏi dễ.
, K
0 8 1 : Là câu hỏi rất dễ.
2) Độ phân biệt của một câu hỏi được tính bằng công thức (D).
Độ phân biệt của câu trắc nghiệm là chỉ số xác định khả năng phân biệt giữa SV giỏi và kém của câu trắc nghiệm đó.
NH NL
D D
N
1 1
Với: NH là số SV trong nhóm giỏi trả lời đúng. NL là số SV trong nhóm kém trả lời đúng. N là tổng số SV trong một nhóm.
Độ phân biệt của phương án đúng càng dương thì câu hỏi đó càng có độ phân biệt cao.
Độ phân biệt của phương án mồi (nhiễu) càng âm thì câu mồi đó càng hay vì nhử được nhiều SV kém chọn.
Nếu:
D ,
0 0 2: Là câu hỏi không có sự phân biệt hoặc có độ phân biệt rất thấp. , D ,
0 21 0 4: Là câu hỏi có độ phân biệt thấp. , D ,
0 41 0 6: Là câu hỏi có độ phân biệt trung bình. , D ,
0 61 0 8: Là câu hỏi có độ phân biệt cao. , D
0 81 1: Là câu hỏi có độ phân biệt rất cao.
Bảng 1: Minh hoạ về độ phân biệt, không phân biệt, phân biệt âm. Câu hỏi
SV 1 2 3 4 5 6 7 8 9 10
Tổng điểm của bài trắc nghiệm
A Đ Đ Đ Đ S S Đ S Đ S 6
B Đ S S Đ S Đ Đ Đ S S 5
C Đ S S S S S S S S Đ 2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
(Đ: Câu hỏi được trả lời đúng. S: Câu trả lời sai) Qua bảng trên ta thấy câu 1, câu 5, câu 10 là những câu cần chú ý.
Câu 10 là câu có độ phân biệt âm. Những SV có tổng điểm cao trên toàn bài trắc nghiệm đã trả lời sai câu này, trong khi những người có điểm thấp lại trả lời đúng. Hiệu quả làm cho điểm tổng bị cụm lại vì nó làm tăng điểm của người đạt điểm thấp và hạ điểm của những người đạt điểm cao.
Câu 1: Tất cả SV đều trả lời đúng. Câu 5: Tất cả SV đều trả lời sai.
Cả hai câu này đều không có độ phân biệt. Vậy để đánh giá câu hỏi trắc nghiệm cần thông qua độ khó K và độ phân biệt P. Từ đó chúng ta sẽ có kế hoạch điều chỉnh hợp lí các câu trắc nghiệm đã soạn.
*Tiêu chuẩn chọn câu hay: Các câu thoả mãn các tiêu chuẩn sau đây được xếp vào các câu hỏi hay.
- Độ khó nằm trong khoảng: 0 4, K 0 6, - Độ phân biệt 0 3, D
- Câu mồi nhử (nhiễu) có tính chất hiệu nghiệm tức là có độ phân biệt âm.
3) Phân tích câu hỏi dựa trên các tiêu chuẩn của GV.
Thông tin về độ khó của câu hỏi giúp cho GV xác định được SV đã đạt được mục tiêu giảng dạy như thế nào và có thể giúp cho việc xác định nhu cầu học tập cá nhân SV. Mục đích chính để có thông tin về độ khó của câu hỏi không những để điều chỉnh hoặc loại bỏ câu hỏi mà còn có thông tin phản hồi từ phía SV.
Một câu hỏi không có độ phân biệt tất nhiên sẽ báo động cho GV về khả năng là câu hỏi có thể không rõ ràng và nên xem xét lại một cách kỹ lưỡng. Tuy nhiên quan trọng hơn thông tin về thống kê có thể giúp cho việc sửa đổi lại kế hoạch giảng dạy, xem xét tại sao có câu hỏi lại thu hút một số lượng lớn SV trả lời sai. Phải chăng câu hỏi sai hay cách trình bày thông tin liên quan đến vấn đề này không được trình bày rõ ràng ở lớp? Việc xem xét lại một cách kỹ lưỡng câu hỏi và tham gia thảo luận với SV có thể cung cấp được một đầu mối cho những thay đổi về giáo trình.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Sơ đồ quy trình biên soạn đề kiểm tra TNKQ.
1.3.4. Đánh giá một bài TNKQ. 1.3.4.1. Độ khó của bài trắc nghiệm.
Một bài trắc nghiệm tốt không phải gồm toàn câu hỏi khó hoặc toàn câu hỏi dễ mà sẽ bao gồm các câu hỏi có độ khó trung bình vừa phải.
Độ khó của bài trắc nghiệm được xác định bằng cách đối chiếu điểm số trung bình của bài trắc nghiệm với điểm trung bình lý tưởng.
- Điểm trung bình của bài trắc nghiệm có được bằng cách cộng tất cả điểm số lại chia cho tổng số bài kiểm tra: X
- Điểm may rủi mong đợi bằng số câu hỏi của bài trắc nghiệm chia cho số lựa chọn mỗi câu.
- Điểm trung bình lý tưởng bằng trung bình cộng của điểm tối đa có được và điểm may rủi mong đợi.
Ví dụ : Bài trắc nghiệm có 25 câu, điểm trung bình lý tưởng ( tính theo điểm thô ): (25 +25/4)/2=15,63
Trong trường hợp điểm trung bình thực tế quá xa với điểm trung bình lý tưởng thì bài trắc nghiệm ra là quá khó hoặc quá dễ. Nguyên nhân lấy điểm trung bình đem so sánh là để xác định mức độ khó dễ của bài trắc nghiệm là điểm trung bình bị chi phối bởi độ khó trung bình của các câu hỏi tạo thành bài trắc nghiệm đó.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Một bài TNKQ được đánh giá dựa vào hai chỉ số là độ tin cậy và độ giá trị.
1.3.4.2. Độ tin cậy:
Độ tin cậy của bài TNKQ được xem như là một số đo về sự sai khác giữa điểm số quan sát được và điểm số thực.
- Điểm số quan sát được là điểm số trên thực tế SV có được.
- Điểm số thực: là điểm số lý thuyết mà SV phải có nếu phép đo lường không có sai số.
Nếu một bài TNKQ có thể chấp nhận được thì nó thoả đáng về nội dung và có độ tin cậy.
Tóm lại, một bài TNKQ hay là:
Bài TNKQ đó phải có giá trị, tức là nó đo được những cái cần đo, định đo, muốn đo.
Bài TNKQ phải có độ tin cậy, một bài TNKQ hay nhưng có độ tin cậy thấp thì cũng không có ích; một bài TNKQ có độ tin cậy cao nhưng vẫn có thể có độ giá trị thấp, như vậy một bài TNKQ có độ tin cậy thấp thì không thể có độ giá trị cao.
Để đánh giá độ tin cậy cần chú ý đến sai số đo lường chuẩn, số SV tham gia làm bài kiểm tra và đặc điểm thống kê của bài TNKQ.
1.3.4.3. Độ giá trị:
Độ giá trị là khái niệm cho biết mức độ mà một bài trắc nghiệm đo được đúng cái mà nó cần đo. Độ giá trị nói đến tính hiệu quả của một bài trắc nghiệm trong việc đạt được những mục đích xác định.
Đảm bảo tính giá trị: một bài kiểm tra coi là có giá trị khi nó phản ánh được mục tiêu đào tạo. Tính giá trị được thể hiện trong việc lựa chọn nội dung kiểm tra phải gắn với các mức độ nhận thức khác nhau. Nếu một bài kiểm tra chỉ gồm toàn câu hỏi để khảo sát trí nhớ ở mức độ nhận biết thì việc đánh giá kết quả là rất thấp. Để đảm bảo tính giá trị của bài kiểm tra cần phải quan tâm đến tính toàn diện của nó tức là cả chất lượng và số lượng. Trong quá trình kiểm tra - đánh giá tuyệt đối không được đánh giá phiến diện, riêng lẻ từng mặt một.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
Loại 1: Bao gồm các loại chia độ giá trị dựa trên sự phán xét chuyên môn hay phân tích một cách chặt chẽ mặt logic, bao gồm: độ giá trị quyết định, độ giá trị nội dung, độ giá trị chương trình…
Độ giá trị nội dung được quan tâm nhất trong lĩnh vực dạy học, môn học, tức là khi các câu hỏi của một bài trắc nghiệm bao trùm thoả đáng nội dung của môn học thì bài trắc nghiệm đó được coi là có giá trị về nội dung. Các trắc nghiệm KQHT ở lớp thường được đánh giá một cách tốt nhất trên cơ sở độ giá trị về nội dung. Với bài TNTL thì độ giá trị về nội dung thấp hơn là TNKQ vì số lượng câu hỏi ít nên có khả năng bao quát được hết nội dung của chương trình học.
Để đánh giá tốt KQHT của SV phải dựa vào độ giá trị của nội dung.
Loại 2: Được suy ra dựa phân tích bằng những chứng thực hay thống kê số học, bao gồm độ giá trị thực nghiệm, tiên đoán, nhân tố, cấu trúc… Loại này khi tính toán độ giá trị phải có 2 phép đo và phải phân tích các hệ số tương quan ở hai phép đo này. Ví dụ: tính độ giá trị tiên đoán phải có một phép đo tiên đoán biến số cần được tiên đoán tức là gồm: một bài trắc nghiệm tiên đoán trước, một bài trắc nghiệm sau để khẳng định.
Phương pháp xác định độ giá trị của nội dung: nếu như xác định một số loại độ giá trị đòi hỏi phải xử lí bằng số liệu thống kê thì xác định độ giá trị nội dung được tiến hành chủ yếu bằng phân tích logic để xác định một bài trắc nghiệm có độ giá trị về nội dung hay không? Khi phân tích tỉ mỉ về nội dung bài trắc nghiệm phải chỉ ra các câu hỏi là những phép đo có giá trị về môn học hay hành vi đang được đánh giá, phản ánh được mục tiêu môn học. Độ giá trị là khái niệm về định tính hơn là định lượng, do vậy xác định độ giá trị về nội dung cần phải được thảo luận trong điều kiên môn học cụ thể. Đánh giá độ giá trị của nội dung cần phải dựa trên sự phán đoán. suy xét cụ thể về mục tiêu của môn học.
*Mối quan hệ giữa độ giá trị và độ tin cậy:
Độ giá trị đòi hỏi có độ tin cậy: để có giá trị, 1 bài trắc nghiệm phải tương đối có giá trị. Một bài trắc nghiệm về từ ngữ quá ngắn đến nỗi các điểm số của nó là
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn
không tin cậy thì rõ ràng nó không thể tiên đoán với 1 mức độ chấp nhận được về sự thành công trong học tập mà bài trắc nghiệm này muốn dự báo.
Độ tin cậy không cần đảm bảo cho độ giá trị: trong khi độ tin cậy là một điều kiện cần thiết cho độ giá trị thì nó lại không đảm bảo gì cho độ giá trị. Có thể có bài trắc nghiệm có độ tin cậy hoàn hảo nhưng độ giá trị rất thấp hoặc không có giá trị gì