4.3. Đánh giá một bài trắc nghiệm khách quan loại câu hỏi nhiều lựa chọn
4.3.1. Phân tích câu hỏi
Mục đích phân tích câu hỏi: Sau khi chấm bài ghi điểm một bài kiểm tra TNKQ, cần đánh giá hiệu quả từng câu hỏi. Muốn vậy, cần phải tích các câu trả lời của học viên cho mỗi câu hỏi TNKQ.Việc phân tích này có 2 mục đích: - Kết quả bài kiểm tra giúp giáo viên đánh giá mức độ thành công của phương pháp dạy học để kịp thời thay đổi phương pháp học cho phù hợp.
- Việc phân tích câu hỏi còn để xem học viên trả lời mỗi câu hỏi như thế nào, từ đó sửa lại nội dung câu hỏi để TNKQ có thể đo lường thành quả, khả năng học tập của học viên một cách hữu hiệu hơn.
Phương pháp phân tích câu hỏi: Trong các phương pháp phân tích câu hỏi của một bài kiểm tra TNKQ thành quả học tập, chúng ta thường so sánh câu trả lời của học viên ở mỗi câu hỏi với điểm số chung của toàn bài kiểm tra, với sự mong muốn có nhiều học viên ở nhóm điểm cao và ít học viên ở nhóm điểm thấp trả lời đúng một câu hỏi:
Việc phân tích thống kê nhằm xác định các chỉ số: độ khó, độ phân biệt của một câu hỏi.
4.3.1.1. Độ khó (Percent)
Khái niệm đầu tiên có thể lưu ý đến là độ khó của câu trắc nghiệm. Theo lý thuyết trắc nghiệm cổ điển, khi nói đến độ khó, hiển nhiên phải xem câu trắc nghiệm là khó đối với đối tượng nào. Nhờ việc thử nghiệm trên các đối tượng thí sinh phù hợp, người ta có thể đo độ khó bằng tỷ số phần trăm thí sinh làm đúng câu trắc nghiệm đó trên tổng số thí sinh dự thi:
Tổng số thí sinh trả lời đúng câu hỏi
p=Độ khó của câu trắc nghiệm= 100% Tổng số thí sinh làm bài trắc nghiệm
Khi soạn thảo xong một câu hoặc một bài trắc nghiệm người soạn chỉ có thể ước lượng độ khó hoặc độ phân biệt của nó bằng cảm tính. Độ lớn của các đại lượng đó chỉ có thể tính được cụ thể bằng phương pháp thống kê sau lần trắc nghiệm thử, dựa vào kết quả thu được từ các câu và bài trắc nghiệm của thí sinh.
Việc sử dụng trị số p để đo độ khó là rất có ý nghĩa. Nó dùng cách đếm số người làm đúng câu hỏi để thay thế cách xác định độ khó theo các đặc tính nội tại của câu trắc nghiệm. Ngoài ra cách định nghĩa này cũng cho ta một đại lượng chung phản ánh độ khó dễ của các bài trắc nghiệm thuộc các lĩnh vực khoa học khác nhau.
Các câu hỏi của một bài trắc nghiệm thường phải có các độ khó khác nhau. Theo công thức tính độ khó như trên, rõ ràng giá trị p càng bé câu hỏi càng khó và ngược lại.
Vậy p có giá trị như thế nào thì câu hỏi có thể được xem là có độ khó trung bình. Muốn xác định được khái niệm này cần phải lưu ý đến xác suất làm đúng câu hỏi bằng cách chọn hú hoạ. Như đã biết, giả sử một câu hỏi trắc nghiệm có 5 phương án chọn thì xác suất làm đúng câu hỏi do sự lựa chọn hú hoạ của một học viên không biết gì là 20%. Vậy độ khó trung bình của câu trắc nghiệm 5 phương án chọn phải nằm giữa 20% và 100%, tức là 60%. Như vậy, nói chung độ khó trung bình của một câu trắc nghiệm có n phương án chọn là (100% + 1/n)/2. Đối với các câu hỏi loại trả lời tự do, như loại câu điền khuyết, thì độ khó trung bình là 50%.
Khi chọn lựa các câu trắc nghiệm theo độ khó người ta thường phải loại các câu quá khó (không ai làm đúng) hoặc quá dễ (ai cũng làm đúng). Một bài trắc nghiệm tốt khi có nhiều câu hỏi ở độ khó trung bình.
- Để xét độ khó của cả một bài trắc nghiệm, người ta có thể đối chiếu điểm số trung bình của bài trắc nghiệm và điểm trung bình lý tưởng của nó. Điểm trung bình lý tưởng của bài trắc nghiệm là điểm số nằm giữa điểm tối đa mà người làm đúng toàn bộ nhận được và điểm mà người không biết gì có thể đạt do chọn hú hoạ. Giả sử có bài trắc nghiệm 50 câu, mỗi câu có 5 phương án trả lới. Điểm thô tối đa là 50, điểm có thể đạt được do chọn hú hoạ là 0,2x50=10, điểm trung bình lý tưởng là (50+10)/2= 30. Nếu điểm trung bình quan sát được trên hay dưới 30 quá xa thì bài trắc nghiệm ấy sẽ là quá dễ hay quá khó. Nói chung, nếu điểm trung bình lý tưởng nằm ở khoảng giữa phân bố các điểm quan sát được thì bài trắc nghiệm là vừa sức đối với đối tượng thí sinh, còn khi điểm đó nằm ở phía trên hoặc phía dưới phân bố điểm quan sát được thì bài trắc nghiệm tương ứng là khó hơn hoặc dễ hơn so với đối tượng thí sinh.
Để xác định thống kê độ khó, độ phân biệt người ta tiến hành như sau: chia mẫu học viên làm 3 nhóm làm bài kiểm tra:
+ Nhóm điểm cao{H}: Từ 25%÷ 27% số học viên đạt điểm cao nhất + Nhóm điểm thấp{L}:Từ 25% ÷ 27% số học viên đạt điểm thấp nhất
+ Nhóm điểm trung bình{M1}:Từ 46% ÷ 50% số học viên còn lại. Tất nhiên việc chia nhóm này chỉ là tương đối.
- Nếu gọi: N là tổng số học viên tham gia làm bài kiểm tra NH là số học viên nhóm giỏi chọn câu hỏi đúng
NM là số học viên nhóm trung bình chọn câu hỏi đúng NL là số học viên nhóm kém chọn câu hỏi đúng
Thì độ khó của câu hỏi được tính bằng công thức NH + NM + NL
P = (%) N
{0 ≤ P ≤ 1 hay 0% ≤ P ≤ 100%}
P càng lớn thì câu hỏi càng dễ: 0 ≤ P ≤ 0,2 :Là câu hỏi rất khó 0,2 ≤ P ≤ 0,4 : Là câu hỏi khó
0,4 ≤ P ≤ 0,6 : Là câu hỏi trung bình 0,6 ≤ P ≤ 0,8 : Là câu hỏi dễ
0,8 ≤ P ≤ 1 : Là câu hỏi rất dễ
4.3.1.2. Độ phân biệt (Difference)
Khi ra một câu hoặc một bài trắc nghiệm cho một nhóm thí sinh nào đó, người ta thường muốn phân biệt trong nhóm ấy những người có năng lực khác nhau: giỏi, trung bình, kém... Khả năng của câu trắc nghiệm thực hiện được sự phân biệt ấy được gọi là độ phân biệt. Muốn cho câu hỏi có độ phân biệt, khả năng trả lời của nhóm thí sinh giỏi và nhóm thí sinh kém đối với câu đó hiển nhiên phải khác nhau. Người ta thường thống kê các kết quả khác nhau đó để tính độ phân biệt.
Độ phân biệt của một câu hoặc một bài trắc nghiệm liên quan đến độ khó. Nếu một bài trắc nghiệm dễ đến mức mọi thí sinh đều làm tốt, các điểm số đạt được chụm ở phần điểm cao, thì độ phân biệt của nó rất kém, vì mọi thí sinh đều có kết quả như nhau đối với bài trắc nghiệm đó. Cũng vậy, nếu một bài trắc nghiệm khó đến mức mọi thí sinh đều làm không được, các điểm số
đạt được chụm ở phần điểm thấp, thì độ phân biệt của nó cũng rất kém. Từ các trường hợp giới hạn nói trên có thể suy ra rằng muốn có độ phân biệt tốt thì bài trắc nghiệm phải có độ khó ở mức trung bình. Khi ấy điểm số thu được của nhóm thí sinh sẽ có phổ trải rộng.
+ Độ phân biệt của một câu hỏi được tính bằng công thức: NH - NL
D = (-1 ≤ D ≤ 1) (NH - NL) Max
{NH - NL}MAX là hiệu số {NH - NL} khi nếu một câu hỏi được toàn thể học viên trong nhóm giỏi trả lời đúng và không một học viên nào trong nhóm kém trả lời đúng. [21]
D của phương án đúng càng dương thì câu hỏi đó càng có độ phân biệt cao. D của phương án nhiễu càng âm thì câu nhiễu đó càng hay vì lừa được nhiều học viên kém chọn.
Cũng có khi độ phân biệt còn được tính NH - NL
D = theo (NH + NL)/2
4.3.1.3.Tiêu chuẩn chọn câu tốt: các câu thoả mãn các tiêu chuẩn sau đây
được xếp vào các câu hỏi tốt.
- Độ khó nằm trong khoảng 0,4 ≤ P ≤ 0,6 - Độ phân biệt D ≥ 0,3
- Câu nhiễu có tính chất hiệu nghiệm tức là câu có độ khó phân biệt âm
4.3.2. Đánh giá một bài trắc nghiệm khách quan:
Một bài trắc nghiệm khách quan tin cậy để sử dụng KTĐGkhi gồm những câu hỏi tương đối đạt tiêu chuẩn va dựa vào những đặc điểm sau:
4.3.2.1. Trung bình cộng số câu đúng:
∑fi X = N
Với X: số câu hỏi
N: số học viên tham gia kiểm tra
fi: số học viên trả lời đúng câu hỏi thứ i
Trung bình cộng sô câu trả lời đúng phải vào khoảng X/2
4.3.2.2. Phương sai, độ lệch chuẩn của bài TNKQ:
- Phương sai có công thức ∑(Xi – X) ²
S² = N
Trong đó: X: Trung bình cộng số câu đúng
Xi : Số câu trả lời đúng của học viên thứ i N : Số học viên tham gia kiểm tra
- Độ lệch chuẩn có công thức: S = √S²
Độ lệch chuẩn cho ta biết mức độ khác nhau trong điểm số của một nhóm học viên.
Độ lệch chuẩn của toàn bài trắc nghiệm được định hoàn toàn do biến lượng của từng câu hỏi và mối tương quan giữa các câu hỏi ấy.
Độ lệch chuẩn của toàn bài trắc nghiệm sẽ lớn nhất khi mối tương quan giữa các câu hỏi lớn nhất, trong các điều kiện khác là hoàn toàn như nhau
Độ lệch chuẩn của toàn bài trắc nghiệm lớn nhất khi biến lượng điểm số của từng câu hỏi lớn nhất [5]
4.3.2.3. Độ tin cậy
Trắc nghiệm là một phép đo: dùng thước đo là bài trắc nghiệm để đo lường một năng lực nào đó của thí sinh. Độ tin cậy của bài trắc nghiệm chính là đại lượng biểu thị mức độ chính xác của phép đo nhờ bài trắc nghiệm.
Hay Độ tin cậy của bài TNKQ là số đo sự sai khác giữa điểm số bài TNKQ và điểm số thực của học viên. Tính chất tin cậy của bài TNKQ cho chúng ta biết mức độ chính xác khi thực hiện phép đo đối với dụng cụ đo đã
nhưng lại giảm độ giá trị. Vì vậy, một bài TNKQ có thể chấp nhận được nếu nó thoả đáng về nội dung và đó độ tin cậy 0,6 ≤TM ≤ 1,00.
Hay nói cách khác: Độ tin cậy là hệ số tương quan của tỉ lệ trả lời đúng/sai giữa các lần trắc nghiệm bằng các đề trắc nghiệm tương đương
Tóm lại: Một bài TNKQ tốt là:
- Bài TNKQ đó phải có giá trị tức là nó đo được những cái cần đo, định đo, muốn đo.
- Bài TNKQ phải có độ tin cậy, một bài TNKQ tốt nhưng có độ tin cậy thấp thì cũng không có ích, một bài TNKQ có độ tin cậy cao nhưng vẫn có thể có độ giá trị thấp, như vậy một bài TNKQ có độ tin cậy thấp thì không thể có độ giá trị cao.
Để đánh giá độ tin cậy cần chú ý đến sai số đo lường chuẩn, số học viên tham gia làm bài kiểm tra và đặc điểm thống kê sau khi làm bài của bài TNKQ.
4.3.2.4. Độ giá trị
Yêu cầu quan trọng nhất của bài trắc nghiệm với tư cách là một phép đo lường trong giáo dục là phép đo ấy đo được cái cần đo. Nói cách khác, phép đo ấy cần phải đạt được mục tiêu đề ra cho nó. Chẳng hạn, mục tiêu đề ra cho tuyển sinh đại học là kiểm tra xem thí sinh có nắm chắc những kiến thức và kỹ năng cơ bản được trang bị qua chương trình phổ thông trung học hay không để chọn vào học đại học. Phép đo bởi bài trắc nghiệm đạt được mục tiêu đó là phép đo có giá trị. Nói cách khác, độ giá trị của bài trắc nghiệm là đại lượng biểu thị mức độ đạt được mục tiêu đề ra cho phép đo nhờ bài trắc nghiệm.
Để bài trắc nghiệm có độ giá trị cao, cần phải xác định tỉ mỉ mục tiêu cần đo qua bài trắc nghiệm và bám sát mục tiêu đó trong quá trình xây dựng ngân hàng câu hỏi trắc nghiệm cũng như khi tổ chức triển khai kỳ thi. Nếu thực hiện các quá trình nói trên không đúng thì có khả năng kết quả của phép đo sẽ phản ánh một cái gì khác chứ không phải cái mà ta muốn đo nhờ bài trắc nghiệm.
Có thể xét độ giá trị của một bài trắc nghiệm dưới nhiều góc độ khác nhau, và cũng có các cách đánh giá định lượng gián tiếp độ tin cậy.
Qua định nghĩa về độ phân biệt và độ giá trị chúng ta có thể thấy rõ mối tương quan giữa chúng. Khi bài trắc nghiệm không có độ tin cậy, tức lá phép đo nhờ bài trắc nghiệm rất kém chính xác, thì chúng ta không thể nói đến độ giá trị của nó. Nói cách khác, khi bài trắc nghiệm không có độ tin cậy thì nó cũng không thể có độ giá trị.
Ngược lại, một bài trắc nghiệm có độ tin cậy cao thì có nhất thiết là có độ giá trị cao hay không? Câu trả lời là: không nhất thiết. Thật vậy, đôi khi phép đo nhờ bài trắc nghiệm có thể đo chính xác, nhưng nó đo một cái gì khác chứ không phải cái nó cần đo, trong trường hợp đó thì bài trắc nghiệm có độ tin cậy cao nhưng độ giá trị rất thấp.
Trong khoa học đo lường người ta khảo sát ba loại độ giá trị
- Độ giá trị nội dung: Một bài TNKQ được coi là có giá trị nội dung khi các câu hỏi trong bài là một mẫu tiêu biểu của tổng thể các kiến thức, kĩ năng, mục tiêu dạy học. Mức độ giá trị nội dung được ước lượng bằng cách so sánh nội dung của bài TNKQ với nội dung của chương trình học. Điều này được thể hiện trong quá trình xác định mục tiêu kiểm tra và bảng trọng số để phân bố câu hỏi, lựa chọn câu hỏi.
- Độ giá trị tiên đoán: Trong một số lĩnh vực như hướng nghiệp, tuyển chọn … Từ điểm số của bài TNKQ của từng người, chúng ta có thể tiên đoán mức độ thành công trong tương lai của người đó. Muốn tính giá trị tiên đoán chúng ta cần phải làm hai bài trắc nghiệm là: một bài trắc nghiệm dự báo để có được những số đo về khả năng, tính chất của nhóm đối tượng khảo sát, một bài trắc nghiệm đối chứng để có biến số cần tiên đoán. Hệ số tương quan giữa 2 bài trắc nghiệm đó là giá trị tiên đoán.
- Độ giá trị cấu trúc: Phản ánh mức độ bài trắc nghiệm đo được nănglực hay các phẩm chất định đo theo một lí thuyết định trước.
4.4. Qui trình tổ chức một bài kiểm tra đánh giá
4.4.1. Nguyên tắc tổ chức hoạt động đánh giá
- Xác định rõ mục đích, mục tiêu đánh giá
- Qui trình và công cụ đánh giá do mục đích, mục tiêu qui định.
- Có nhiều công cụ, biện pháp đánh giá được sử dụng đồng thời mới có thể có được kết quả đánh giá có giá trị.
- Nắm vững ưu nhược điểm của từng công cụ đánh giá để sử dụng đúng, hợp lí.
- Đánh giá chỉ là phương tiện đi đến mục đích chứ không phải là mục đích. - Kết quả đánh giá phải phục vụ mục đích sau:
Cải tiến, hoàn thiện nội dung dạy - học, phương pháp dạy - học.
Quyết định liên quan đến cá nhân người học.
Quyết định liên quan đến giáo viên, chương trình đào tạo, quản lí hệ thống giáo dục.
4.4.2. Quy trình triển khai một bài kiểm tra – đánh giá
Bước1: Xác định mục đích đánh giá
Đây là yếu tố đầu tiên mà người giáo viên phải xác định khi tiến hành một hoạt động đánh giá nào đó. Đánh giá được tiến hành ở nhiều thời điểm khác nhau trong quá trình dạy học. Ở mỗi thời điểm đánh giá có mục đích riêng.
Bước2: lựa chọn các hình thức, phương pháp đánh giá
Trên cơ sở mục đích đánh giá được xác định, người dạy quyết định phương pháp, hình thức đánh giá phù hợp.
Có thể dùng phương pháp quan sát, vấn đáp hay thi viết, trong thi viết có