Chương 1 : TỔNG QUAN VÀ CƠ SỞ LÝ LUẬN
4. Trắc nghiệm và những vấn đề liên quan
4.2. So sánh trắc nghiệm khách quan và trắc nghiệm tự luận
Có nhiều tranh luận về loại nào tốt hơn TNTL hay TNKQ. Câu trả lời sẽ tuỳ thuộc vào mục đích của việc kiểm tra – đánh giá. Mỗi loại câu hỏi đều có ưu điểm cho một số mục đích nào đó. Ưu và nhược điểm của mỗi loại TNKQ và TNTL có những điểm đáng chú ý sau:
Trắc nghiệm tự luận Trắc nghiệm khách quan
Công việc soạn đề
Việc chuẩn bị câu hỏi TNTL do số lượng ít nên không khó lắm nếu giáo viên giỏi trong lĩnh vực chuyên môn.
Việc chuẩn bị câu hỏi phải nhiều do đó phải đòi hỏi có nhiều kinh nghiệm, kiến thức chuyên môn vững chắc. Đây là công việc rất tốn thời gian, công sức vì vậy nếu có ngân hàng đề thi công việc này đỡ tốn công sức hơn.
Phạm vi bao quát
Có thể kiểm tra đánh giá được một phạm vi kiến thức nhỏ nhưng rất sâu với số lượng câu hỏi trong một bài kiểm tra ít.
Vì có thể trả lời nhanh nên số lượng câu hỏi lớn, do đó bao quát một phạm vi kiến thức rộng hơn. Ảnh hưởng đối với người học Khuyến khích học viên độc lập sắp đặt, diễn đạt ý tưởng bằng chính ngôn ngữ của mình một cách hiệu quả và nó tạo cơ sở cho giáo viên đánh giá những ý tưởng đó, song một bài TNTL dễ tạo ra sự “lừa dối” vì học viên có thể khéo léo tránh đề cập đến những điểm mà họ không biết hoặc chỉ biết mập mờ.
Học viên ít liên quan đến việc tổ chức sắp xếp và diễn đạt ý tưởng của mình, song TNKQ khuyến khích học viên tích luỹ nhiều kiến thức và kĩ năng, không “học tủ” nhưng đôi khi dễ tạo sự đoán mò.
Trắc nghiệm tự luận Trắc nghiệm khách quan Việc
chấm điểm
Đây là công việc khó khăn, mất nhiều thời gian và khó cho điểm chính xác nên đòi hỏi giáo viên phải luôn luôn cẩn thận, công bằng, tránh thiên vị.
Công việc chấm điểm nhanh chóng và tin cậy, đặc biệt chiếm ưu thế khi cần kiểm tra một số lượng lớn học viên.
Những năng lực
đo được
- Học viên có thể tự diễn đạt ý
tưởng bằng chính ngôn ngữ chuyên môn của mình nhờ vào kiến thức và kinh nghiệm đã có.
- Có thể đo lường khả năng suy luận như: sắp xếp ý tưởng, suy diễn, tổng quát háo, so sánh, phân biệt, phân tích, tổng hợp một cách hữu hiệu.
- Không đo lường kiến thức ở mức trí năng biết, hiểu một cách hữu hiệu.
- Học viên chọn một câu đúng nhất trong số các phương án trả lời cho sẵn hoặc viết thêm một vài từ hoặc một câu để trả lời.
- Có thể đo những khả năng suy luận như: Sắp đặt ý tưởng, suy diễn, so sánh và phân biệt nhưng không hữu hiệu bằng TNTL.
- Có thể kiểm tra – đánh giá kiến thức của học viên ở mức trí năng biết, hiểu một cách hữu hiệu.
Bảng 1: So sánh trắc nghiệm khách quan và trắc nghiệm tự luận 4.3. Đánh giá một bài trắc nghiệm khách quan loại câu hỏi nhiều lựa 4.3. Đánh giá một bài trắc nghiệm khách quan loại câu hỏi nhiều lựa chọn
4.3.1. Phân tích câu hỏi
Mục đích phân tích câu hỏi: Sau khi chấm bài ghi điểm một bài kiểm tra TNKQ, cần đánh giá hiệu quả từng câu hỏi. Muốn vậy, cần phải tích các câu trả lời của học viên cho mỗi câu hỏi TNKQ.Việc phân tích này có 2 mục đích: - Kết quả bài kiểm tra giúp giáo viên đánh giá mức độ thành công của phương pháp dạy học để kịp thời thay đổi phương pháp học cho phù hợp.
- Việc phân tích câu hỏi còn để xem học viên trả lời mỗi câu hỏi như thế nào, từ đó sửa lại nội dung câu hỏi để TNKQ có thể đo lường thành quả, khả năng học tập của học viên một cách hữu hiệu hơn.
Phương pháp phân tích câu hỏi: Trong các phương pháp phân tích câu hỏi của một bài kiểm tra TNKQ thành quả học tập, chúng ta thường so sánh câu trả lời của học viên ở mỗi câu hỏi với điểm số chung của toàn bài kiểm tra, với sự mong muốn có nhiều học viên ở nhóm điểm cao và ít học viên ở nhóm điểm thấp trả lời đúng một câu hỏi:
Việc phân tích thống kê nhằm xác định các chỉ số: độ khó, độ phân biệt của một câu hỏi.
4.3.1.1. Độ khó (Percent)
Khái niệm đầu tiên có thể lưu ý đến là độ khó của câu trắc nghiệm. Theo lý thuyết trắc nghiệm cổ điển, khi nói đến độ khó, hiển nhiên phải xem câu trắc nghiệm là khó đối với đối tượng nào. Nhờ việc thử nghiệm trên các đối tượng thí sinh phù hợp, người ta có thể đo độ khó bằng tỷ số phần trăm thí sinh làm đúng câu trắc nghiệm đó trên tổng số thí sinh dự thi:
Tổng số thí sinh trả lời đúng câu hỏi
p=Độ khó của câu trắc nghiệm= 100% Tổng số thí sinh làm bài trắc nghiệm
Khi soạn thảo xong một câu hoặc một bài trắc nghiệm người soạn chỉ có thể ước lượng độ khó hoặc độ phân biệt của nó bằng cảm tính. Độ lớn của các đại lượng đó chỉ có thể tính được cụ thể bằng phương pháp thống kê sau lần trắc nghiệm thử, dựa vào kết quả thu được từ các câu và bài trắc nghiệm của thí sinh.
Việc sử dụng trị số p để đo độ khó là rất có ý nghĩa. Nó dùng cách đếm số người làm đúng câu hỏi để thay thế cách xác định độ khó theo các đặc tính nội tại của câu trắc nghiệm. Ngoài ra cách định nghĩa này cũng cho ta một đại lượng chung phản ánh độ khó dễ của các bài trắc nghiệm thuộc các lĩnh vực khoa học khác nhau.
Các câu hỏi của một bài trắc nghiệm thường phải có các độ khó khác nhau. Theo công thức tính độ khó như trên, rõ ràng giá trị p càng bé câu hỏi càng khó và ngược lại.
Vậy p có giá trị như thế nào thì câu hỏi có thể được xem là có độ khó trung bình. Muốn xác định được khái niệm này cần phải lưu ý đến xác suất làm đúng câu hỏi bằng cách chọn hú hoạ. Như đã biết, giả sử một câu hỏi trắc nghiệm có 5 phương án chọn thì xác suất làm đúng câu hỏi do sự lựa chọn hú hoạ của một học viên không biết gì là 20%. Vậy độ khó trung bình của câu trắc nghiệm 5 phương án chọn phải nằm giữa 20% và 100%, tức là 60%. Như vậy, nói chung độ khó trung bình của một câu trắc nghiệm có n phương án chọn là (100% + 1/n)/2. Đối với các câu hỏi loại trả lời tự do, như loại câu điền khuyết, thì độ khó trung bình là 50%.
Khi chọn lựa các câu trắc nghiệm theo độ khó người ta thường phải loại các câu quá khó (không ai làm đúng) hoặc quá dễ (ai cũng làm đúng). Một bài trắc nghiệm tốt khi có nhiều câu hỏi ở độ khó trung bình.
- Để xét độ khó của cả một bài trắc nghiệm, người ta có thể đối chiếu điểm số trung bình của bài trắc nghiệm và điểm trung bình lý tưởng của nó. Điểm trung bình lý tưởng của bài trắc nghiệm là điểm số nằm giữa điểm tối đa mà người làm đúng toàn bộ nhận được và điểm mà người không biết gì có thể đạt do chọn hú hoạ. Giả sử có bài trắc nghiệm 50 câu, mỗi câu có 5 phương án trả lới. Điểm thô tối đa là 50, điểm có thể đạt được do chọn hú hoạ là 0,2x50=10, điểm trung bình lý tưởng là (50+10)/2= 30. Nếu điểm trung bình quan sát được trên hay dưới 30 quá xa thì bài trắc nghiệm ấy sẽ là quá dễ hay quá khó. Nói chung, nếu điểm trung bình lý tưởng nằm ở khoảng giữa phân bố các điểm quan sát được thì bài trắc nghiệm là vừa sức đối với đối tượng thí sinh, còn khi điểm đó nằm ở phía trên hoặc phía dưới phân bố điểm quan sát được thì bài trắc nghiệm tương ứng là khó hơn hoặc dễ hơn so với đối tượng thí sinh.
Để xác định thống kê độ khó, độ phân biệt người ta tiến hành như sau: chia mẫu học viên làm 3 nhóm làm bài kiểm tra:
+ Nhóm điểm cao{H}: Từ 25%÷ 27% số học viên đạt điểm cao nhất + Nhóm điểm thấp{L}:Từ 25% ÷ 27% số học viên đạt điểm thấp nhất
+ Nhóm điểm trung bình{M1}:Từ 46% ÷ 50% số học viên còn lại. Tất nhiên việc chia nhóm này chỉ là tương đối.
- Nếu gọi: N là tổng số học viên tham gia làm bài kiểm tra NH là số học viên nhóm giỏi chọn câu hỏi đúng
NM là số học viên nhóm trung bình chọn câu hỏi đúng NL là số học viên nhóm kém chọn câu hỏi đúng
Thì độ khó của câu hỏi được tính bằng công thức NH + NM + NL
P = (%) N
{0 ≤ P ≤ 1 hay 0% ≤ P ≤ 100%}
P càng lớn thì câu hỏi càng dễ: 0 ≤ P ≤ 0,2 :Là câu hỏi rất khó 0,2 ≤ P ≤ 0,4 : Là câu hỏi khó
0,4 ≤ P ≤ 0,6 : Là câu hỏi trung bình 0,6 ≤ P ≤ 0,8 : Là câu hỏi dễ
0,8 ≤ P ≤ 1 : Là câu hỏi rất dễ
4.3.1.2. Độ phân biệt (Difference)
Khi ra một câu hoặc một bài trắc nghiệm cho một nhóm thí sinh nào đó, người ta thường muốn phân biệt trong nhóm ấy những người có năng lực khác nhau: giỏi, trung bình, kém... Khả năng của câu trắc nghiệm thực hiện được sự phân biệt ấy được gọi là độ phân biệt. Muốn cho câu hỏi có độ phân biệt, khả năng trả lời của nhóm thí sinh giỏi và nhóm thí sinh kém đối với câu đó hiển nhiên phải khác nhau. Người ta thường thống kê các kết quả khác nhau đó để tính độ phân biệt.
Độ phân biệt của một câu hoặc một bài trắc nghiệm liên quan đến độ khó. Nếu một bài trắc nghiệm dễ đến mức mọi thí sinh đều làm tốt, các điểm số đạt được chụm ở phần điểm cao, thì độ phân biệt của nó rất kém, vì mọi thí sinh đều có kết quả như nhau đối với bài trắc nghiệm đó. Cũng vậy, nếu một bài trắc nghiệm khó đến mức mọi thí sinh đều làm không được, các điểm số
đạt được chụm ở phần điểm thấp, thì độ phân biệt của nó cũng rất kém. Từ các trường hợp giới hạn nói trên có thể suy ra rằng muốn có độ phân biệt tốt thì bài trắc nghiệm phải có độ khó ở mức trung bình. Khi ấy điểm số thu được của nhóm thí sinh sẽ có phổ trải rộng.
+ Độ phân biệt của một câu hỏi được tính bằng công thức: NH - NL
D = (-1 ≤ D ≤ 1) (NH - NL) Max
{NH - NL}MAX là hiệu số {NH - NL} khi nếu một câu hỏi được toàn thể học viên trong nhóm giỏi trả lời đúng và không một học viên nào trong nhóm kém trả lời đúng. [21]
D của phương án đúng càng dương thì câu hỏi đó càng có độ phân biệt cao. D của phương án nhiễu càng âm thì câu nhiễu đó càng hay vì lừa được nhiều học viên kém chọn.
Cũng có khi độ phân biệt còn được tính NH - NL
D = theo (NH + NL)/2
4.3.1.3.Tiêu chuẩn chọn câu tốt: các câu thoả mãn các tiêu chuẩn sau đây
được xếp vào các câu hỏi tốt.
- Độ khó nằm trong khoảng 0,4 ≤ P ≤ 0,6 - Độ phân biệt D ≥ 0,3
- Câu nhiễu có tính chất hiệu nghiệm tức là câu có độ khó phân biệt âm
4.3.2. Đánh giá một bài trắc nghiệm khách quan:
Một bài trắc nghiệm khách quan tin cậy để sử dụng KTĐGkhi gồm những câu hỏi tương đối đạt tiêu chuẩn va dựa vào những đặc điểm sau:
4.3.2.1. Trung bình cộng số câu đúng:
∑fi X = N
Với X: số câu hỏi
N: số học viên tham gia kiểm tra
fi: số học viên trả lời đúng câu hỏi thứ i
Trung bình cộng sô câu trả lời đúng phải vào khoảng X/2
4.3.2.2. Phương sai, độ lệch chuẩn của bài TNKQ:
- Phương sai có công thức ∑(Xi – X) ²
S² = N
Trong đó: X: Trung bình cộng số câu đúng
Xi : Số câu trả lời đúng của học viên thứ i N : Số học viên tham gia kiểm tra
- Độ lệch chuẩn có công thức: S = √S²
Độ lệch chuẩn cho ta biết mức độ khác nhau trong điểm số của một nhóm học viên.
Độ lệch chuẩn của toàn bài trắc nghiệm được định hoàn toàn do biến lượng của từng câu hỏi và mối tương quan giữa các câu hỏi ấy.
Độ lệch chuẩn của toàn bài trắc nghiệm sẽ lớn nhất khi mối tương quan giữa các câu hỏi lớn nhất, trong các điều kiện khác là hoàn toàn như nhau
Độ lệch chuẩn của toàn bài trắc nghiệm lớn nhất khi biến lượng điểm số của từng câu hỏi lớn nhất [5]
4.3.2.3. Độ tin cậy
Trắc nghiệm là một phép đo: dùng thước đo là bài trắc nghiệm để đo lường một năng lực nào đó của thí sinh. Độ tin cậy của bài trắc nghiệm chính là đại lượng biểu thị mức độ chính xác của phép đo nhờ bài trắc nghiệm.
Hay Độ tin cậy của bài TNKQ là số đo sự sai khác giữa điểm số bài TNKQ và điểm số thực của học viên. Tính chất tin cậy của bài TNKQ cho chúng ta biết mức độ chính xác khi thực hiện phép đo đối với dụng cụ đo đã
nhưng lại giảm độ giá trị. Vì vậy, một bài TNKQ có thể chấp nhận được nếu nó thoả đáng về nội dung và đó độ tin cậy 0,6 ≤TM ≤ 1,00.
Hay nói cách khác: Độ tin cậy là hệ số tương quan của tỉ lệ trả lời đúng/sai giữa các lần trắc nghiệm bằng các đề trắc nghiệm tương đương
Tóm lại: Một bài TNKQ tốt là:
- Bài TNKQ đó phải có giá trị tức là nó đo được những cái cần đo, định đo, muốn đo.
- Bài TNKQ phải có độ tin cậy, một bài TNKQ tốt nhưng có độ tin cậy thấp thì cũng không có ích, một bài TNKQ có độ tin cậy cao nhưng vẫn có thể có độ giá trị thấp, như vậy một bài TNKQ có độ tin cậy thấp thì không thể có độ giá trị cao.
Để đánh giá độ tin cậy cần chú ý đến sai số đo lường chuẩn, số học viên tham gia làm bài kiểm tra và đặc điểm thống kê sau khi làm bài của bài TNKQ.
4.3.2.4. Độ giá trị
Yêu cầu quan trọng nhất của bài trắc nghiệm với tư cách là một phép đo lường trong giáo dục là phép đo ấy đo được cái cần đo. Nói cách khác, phép đo ấy cần phải đạt được mục tiêu đề ra cho nó. Chẳng hạn, mục tiêu đề ra cho tuyển sinh đại học là kiểm tra xem thí sinh có nắm chắc những kiến thức và kỹ năng cơ bản được trang bị qua chương trình phổ thông trung học hay không để chọn vào học đại học. Phép đo bởi bài trắc nghiệm đạt được mục tiêu đó là phép đo có giá trị. Nói cách khác, độ giá trị của bài trắc nghiệm là đại lượng biểu thị mức độ đạt được mục tiêu đề ra cho phép đo nhờ bài trắc nghiệm.
Để bài trắc nghiệm có độ giá trị cao, cần phải xác định tỉ mỉ mục tiêu cần đo qua bài trắc nghiệm và bám sát mục tiêu đó trong quá trình xây dựng ngân hàng câu hỏi trắc nghiệm cũng như khi tổ chức triển khai kỳ thi. Nếu thực hiện các quá trình nói trên không đúng thì có khả năng kết quả của phép đo sẽ phản ánh một cái gì khác chứ không phải cái mà ta muốn đo nhờ bài trắc nghiệm.
Có thể xét độ giá trị của một bài trắc nghiệm dưới nhiều góc độ khác nhau, và cũng có các cách đánh giá định lượng gián tiếp độ tin cậy.
Qua định nghĩa về độ phân biệt và độ giá trị chúng ta có thể thấy rõ mối tương quan giữa chúng. Khi bài trắc nghiệm không có độ tin cậy, tức lá phép đo nhờ bài trắc nghiệm rất kém chính xác, thì chúng ta không thể nói đến độ giá trị của nó. Nói cách khác, khi bài trắc nghiệm không có độ tin cậy thì nó cũng không thể có độ giá trị.
Ngược lại, một bài trắc nghiệm có độ tin cậy cao thì có nhất thiết là có độ giá trị cao hay không? Câu trả lời là: không nhất thiết. Thật vậy, đôi khi