Trắc nghiệm khách quan Trắc nghiệm tự luận
Chấm bài nhanh, chính xác và khách quan Chấm bài mất rất nhiều thời gian, khó chính xác và khách quan
Có thể sử dụng các phƣơng tiện hiện đại trong chấm bài và phân tích kết quả kiểm tra
Khơng thể sử dụng các phƣơng tiện hiện đại trong chấm bài và phân tích kết quả kiểm tra. Cách chấm bài duy nhất là GV phải đọc bài làm của học sinh
Có thể tiến hành kiểm tra đánh giá trên diện rộng trong một thời gian ngắn
Mất nhiều thời gian kiểm tra trên diện rộng
Biên soạn khó, tốn nhiều thời gian, thậm chí sử dụng phần mềm trộn để
Biên soạn khơng khó khăn và tốn ít thời gian
Bài kiểm tra có rất nhiều câu hỏi nên có thể kiểm tra đƣợc một cách hệ thống và
Bài kiểm tra chỉ có một số rất hạn chế câu hỏi ở một số phần, số chƣơng nhất định
toàn diện kiến thức và kĩ năng của học sinh, tránh đƣợc tình trạng học tủ, dạy tủ
nên chỉ có thể kiểm tra đƣợc một phần nhỏ kiến thức và kĩ năng của học sinh, dễ gây ra tình trạng học tủ, dạy tủ
Tạo điều kiện để học sinh tự đánh giá kết quả học tập của mình một cách chính xác
HS khó có thể tự đánh giá chính xác bài kiểm tra của mình
Khơng hoặc rất khó đánh giá đƣợc khả năng diễn đạt, sử dụng ngôn ngữ và quá trình tƣ duy của HS để đi đến câu trả lời
Có thể đánh giá đƣợc khả năng diễn đạt, sử dụng ngơn ngữ và q trình tƣ duy của HS để đi đến câu trả lời. Thể hiện ở bài làm của HS
Khơng góp phần rèn luyện cho HS khả năng trình bày, diễn đạt ý kiến của mình. HS khi làm bài chỉ có thể chọn câu trả lời đúng có sẵn
Góp phần rèn luyện cho HS khả năng trình bày, diễn đạt ý hiểu theo một cách khoa học
Sự phân phối điểm trải trên một phổ rất rộng nên có thể phân biệt đƣợc rõ ràng các trình độ của HS
Sự phân phối điểm trải trên một phổ rất hẹp nên khó có thể phân biệt rõ ràng đƣợc trình độ của HS
Chỉ giới hạn sự suy nghĩ của HS trong một phạm vi nhất định, do đó hạn chế của việc đánh giá khả năng sáng tạo của HS
HS có điều kiện bộc lộ khả năng sáng tạo của mình một cách khơng hạn chế, do đó có điều kiện để đánh giá đầy đủ khả năng sáng tạo của học sinh
Đánh giá câu hỏi TNKQ. Để có thể đánh giá đƣợc chính xác kết quả học tập
của mỗi học sinh thì cần phải có bộ cơng cụ kiểm tra đánh giá đo lƣờng – các đề thi phải có sự đảm bảo về độ tin cậy và có tính giá trị cao, điều đó chỉ có thể thực hiện đƣợc khi các câu hỏi trắc nghiệm đƣợc thiết kế, thử nghiệm và đánh giá bằng khoa học đo lƣờng. Đánh giá câu hỏi trắc nghiệm dựa trên các tiêu chí sau:
Mục đích chính của kỳ thi – kiểm tra đánh giá và mục tiêu kiểm tra phải đƣợc xác định rõ rang trƣớc khi tiến hành kiểm tra.
Mỗi câu hỏi cần phải đạt đƣợc mục đích đề ra cho kỳ thi – kiểm tra.
Dạng thức câu hỏi phải phù hợp với ma trận đã định trƣớc của kỳ thi – kiểm tra.
Các câu hỏi trong đề phải đảm bảo tính đồng nhất (sự ổn định) và tính độc lập cục bộ (độ phân biệt).
Các câu hỏi của đề phải đƣợc diễn đạt rõ ràng, đúng chính tả.
Mỗi câu hỏi phải đảm bảo tính hợp pháp, phù hợp với văn hóa, đạo đức.
Phân tích câu hỏi TNKQ. Phân tích câu hỏi của đề kiểm tra – đề thi là cả một
quá trình xem xét chúng một cách kỹ lƣỡng theo cả phƣơng pháp định tính và định lƣợng, có phê phán. Phân tích câu hỏi KT nhằm làm tăng chất lƣợng của mỗi câu hỏi và loại bỏ những câu quá tồi, sửa chữa những câu chƣa đạt yêu cầu về nội dung và độ
19
Để phân tích câu hỏi TN có thể thực hiện theo hai phƣơng pháp: Phƣơng pháp chuyên gia và phƣơng pháp định lƣợng (phân tích số liệu).
Trong bài kiểm tra TN khách quan, giáo viên thƣờng quan tâm đánh giá câu hỏi qua hai đại lƣợng độ khó và độ phân biệt thơng qua kết quả phân tích đƣợc của câu trắc nghiệm. Trƣớc khi soạn một câu hỏi hoặc một bài TN ngƣời soạn chỉ có thể ƣớc lƣợng độ khó hoặc độ phân biệt của nó bằng cảm tính. Sau đó tiền hành thực nghiệm và kiểm tra mức độ của các đại lƣợng đó từ đó có sự điều chình và hồn thiện bộ đề hay câu hỏi trắc nghiệm.
Về độ khó. Ngƣời ta xác định độ khó của câu hỏi dựa vào tỷ số giữa điểm trung
bình các thí sinh trên tổng số điểm của câu hỏi:
R P
N
(1.1) (Trong đó : R là số thí sinh trả lời đúng câu i; N là tổng số thí sinh)
Để xét độ khó của tồn bài trắc nghiệm, ngƣời ta có thể đối chiếu điểm số trung bình của bài trắc nghiệm và điểm trung bình lý tƣởng của nó. Điểm trung bình lý tƣởng của bài TN là điểm số nằm giữa điểm tối đa mà ngƣời làm đúng toàn bộ nhận đƣợc và điểm mà ngƣời khơng biết gì có thể đạt do chọn bất kì. Nói chung, nếu điểm trung bình lý tƣởng nằm ở khoảng giữa phân bố các điểm quan sát đƣợc thì bài trắc nghiệm là vừa sức đối với đối tƣợng thí sinh, cịn khi điểm đó nằm ở phía trên hoặc phía dƣới phân bố điểm quan sát đƣợc thì bài trắc nghiệm tƣơng ứng là khó hơn hoặc dễ hơn so với đối tƣợng thí sinh:
X P
K
(1.2) (Trong đó X - là điểm trung bình của các thí sinh; K – tổng số điểm cao nhất của đề thi)
Ảnh hƣởng của độ khó:
- Phạm vi giá trị độ khó p là 0 < p <1 - Khi p = 0, mức độ khó thực tế lớn nhất - Khi p = 1, độ khó thực tế dễ nhất.
- Độ khó vừa phải trong khoảng 0,25 – 0,75. [9].
Về độ phân biệt. Khi ra một câu hỏi hoặc một bài TN cho một nhóm học sinh,
trung bình, kém với nhau , khả năng của câu trắc nghiệm thực hiện đƣợc sự phân biệt ấy gọi là độ phân biệt. Độ phân biệt của một câu hỏi đƣợc tính bằng cơng thức:
H L N N D N (1.3) Trong đó:
NH là số thí sinh trả lời đúng câu hỏi thuộc 27% thí sinh đạt điểm cao NL là số thí sinh trả lời đúng câu hỏi thuộc 27% thí sinh đạt điểm thấp N là số lƣợng thí sinh của một trong hai nhóm (27% tổng số) [9].
Độ phân biệt:
0 < D < 0,2: Độ phân biệt rất thấp giữa HS giỏi và HS kém. 0,2 < D < 0,4: Độ phân biệt thấp.
0,4 < D < 0,6: Độ phân biệt trung bình. 0,6 < D < 0,8: Độ phân biệt cao.
0,8 < D < 1: Độ phân biệt rất cao. Những câu có D > 0,32: Dùng đƣợc D từ 0,22 - 0,31: Nên thận trọng khi dùng. D < 0,22: Không dùng đƣợc.
Khi lựa chọn và biên soạn các câu hỏi TNKQ thƣờng chọn câu hỏi có độ phân biệt 0, 25D0, 75. Tuy nhiên cũng có thể xem xét các câu hỏi có D0, 2
Độ phân biệt của một câu hỏi TN có liên quan đến độ khó. Nếu một câu TN dễ đến mức mọi HS đều làm tốt, thì độ phân biệt của câu hỏi đó rất kém, vì mọi HS đều có chung một phản ứng nhƣ nhau với câu trắc nghiệm đó. Tƣơng tự, nếu một câu TN khó đến mức mọi HS đều không làm đƣợc, các điểm số đạt đƣợc chụm ở phần điểm thấp, thì độ phân biệt của nó cũng rất kém và cần có sự điểu chỉnh lại. Muốn có độ phân biệt tốt thì câu hỏi TN nên có độ khó ở mức trung bình.
Trong một đề thi – đề kiểm tra thì đại lƣợng quan trọng nhất để đánh giá chất lƣợng bài thi TN khách quan là độ tin cậy và độ giá trị của bài TN.
Về độ tin cậy: Độ tin cậy của bài TN là đại lƣợng biểu thị mức độ chính xác của
phép đo nhờ kết quả của bài TN. Các phƣơng pháp ƣớc lƣợng độ tin cậy là: Phƣơng pháp thi hai lần, dùng các TN tƣơng đƣơng, phƣơng pháp dùng phép tính phƣơng sai, phƣơng pháp phân đôi bài TN, phƣơng pháp Kuder – Richardson [8].
21
đƣợc mục tiêu đề ra khi tiến hành thực nghệm. Độ chính xác của bài TN là đại lƣợng biểu thị mức độ đạt đƣợc mục tiêu đề ra cho phép đo nhờ bài TN.Để bài trắc nghiệm có độ chính xác cao, cần xác định tỉ mỉ mục tiêu cần đƣa ra qua bài trắc nghiệm và phải bám sát mục tiêu đó trong q trình xây dựng các câu hỏi trắc nghiệm, ngân hàng câu hỏi trắc nghiệm cũng tổ chức kỳ thi. Nếu thực hiện khơng đúng qui trình trên thì có khả năng kết quả của phép đo sẽ phản ánh không đúng cái mà chúng ta cần đo qua bài TN. Một trong những phƣơng pháp xác định độ chính xác của kỳ thi là tính xem kết quả của kỳ thi đó trên một nhóm học sinh có tƣơng quan chặt chẽ tới kết quả học tập ở bậc cao hơn của nhóm học sinh đó hay khơng.
Tiêu chuẩn bài TNKQ dạng nhiều lựa chọn: Khi xây dựng câu hỏi, bài toán
TNKQ nhiều lựa chọn phải đảm bảo các tiêu chuẩn của nó thì mới đảm bảo độ giá trị và độ tin cậy khi sử dụng. Câu TNKQ nhiều lựa chọn có các tiêu chuẩn định tính và định lƣợng.
Tiêu chuẩn định lƣợng
Theo nhiều tác giả, các câu hỏi TNKQ nhiều lựa chọn dùng để đánh giá thành quả học tập thƣờng có độ khó trong khoảng 20 → 80%, tốt nhất nằm trong khoảng 40 → 60%, độ phân biệt từ 0,2 trở lên, độ tin cậy của bài trắc nghiệm phải từ 0,6 → 1,0, …
Tiêu chuẩn định tính
* Câu dẫn: cần bao hàm tất cả những thông tin cần thiết về vấn đề, đƣợc trình bày một cách rõ ràng, ngắn gọn, súc tích và hồn chỉnh.
* Các phƣơng án chọn: phƣơng án chọn phải bảo đảm là tính chính xác nhất. Câu nhiễu phải có tính hấp dẫn và có vẻ hợp lý đối với ngƣời chƣa nắm vững vấn đề. Các phƣơng án nhiễu khác phải tƣơng tự hoặc đồng nhất về mặt ngữ pháp với đáp án đúng.
1.2. Lý thuyết khảo thí hiện đại
Khoa học đo lƣờng trong giáo dục bắt đầu cách đây chỉ khoảng một thế kỉ (Thorndike,1904). Ở châu Âu và đặc biệt là ở Mĩ, lĩnh vực khoa học này phát triển mạnh vào thời kì từ trƣớc và sau thế chiến thứ hai với vài dấu mốc quan trọng nhƣ trắc nghiệm trí tuệ Stanford – Binet (xuất bản năm 1916), chấm trắc nghiệm bằng máy IBM năm 1935…
Tại Việt Nam trƣớc năm 1975, ở miền Bắc chỉ có một số nghiên cứu về đo lƣờng trong tâm lý, trong khi đó ở miền Nam có một vài chuyên gia đƣợc đào tạo ở Mĩ
về lĩnh vực này và kì thi tú tài 1974 đã triển khai bằng phƣơng pháp trắc nghiệm khách quan.
Cho đến thập niên 1990, sự phát triển khoa học về đo lƣờng trong giáo dục Việt Nam vẫn rất yếu. Để khắc phục tình hình trên, bộ GD – ĐT đã mời một số chuyên gia từ nƣớc ngoài sang tổ chức hội thảo, xuất bản sách, mặt khác cử một số giáo chức đi học ở nƣớc ngoài về khoa học này, và cho đến nay đã có hàng chục đề tài thạc sĩ, tiến sĩ về lĩnh vực liên quan.
Ngƣời ta phân chia lý thuyết TN ra làm hai loại đó là lý thuyết khảo thí cổ điển và lý thuyết khảo thí hiện đại với việc sử dụng lý thuyết hồi đáp IRT (viết tắt của Item Response Theory).
Chỉ đến thập niên 1970 thì các mơ hình đo lƣờng dựa trên IRT mới ra đời. Nhờ các phƣơng pháp tính tốn có tốc độ rất cao dựa vào máy tính, IRT phát triển nhanh và thu đƣợc những thành tựu trong 3 thập niên cuối thế kỉ 20 bƣớc sang thế kỉ 21.
IRT xây dựng mơ hình tính tốn để xử lý dữ liệu dựa trên việc nghiên cứu mọi cặp tƣơng tác nguyên tố thí sinh – câu hỏi khi triển khai TNKQ. Mỗi HS đứng trƣớc một câu hỏi sẽ đáp ứng nhƣ thế nào, điều đó phụ thuộc vào năng lực tiềm ẩn của HS và các đặc trƣng của câu hỏi. Trong giới hạn luận văn này chúng tôi quan tâm tới lý thuyết khảo thí hiện đại. Lý thuyết hồi đáp đƣợc xây dựng trên khoa học về xác suất và thống kê. IRT đã đạt những thành tựu quan trọng nâng cao độ chính xác của trắc nghiệm.
Hiện nay có 3 mơ hình tính tốn trong IRT: mơ hình 1 tham số (mơ hình RASCH) chỉ xét đến độ khó của câu hỏi, mơ hình 2 tham số có xét đến độ phân biệt của câu hỏi, và mơ hình xác định thêm mức độ đốn mị của HS khi trả lời câu hỏi. So với lý thuyết trắc nghiệm cổ điển, lý thuyết trắc nghiệm hiện đại với IRT có những ƣu quan trọng hơn.
Lý thuyết hồi đáp bao gồm một hệ thống các định đề liên quan đến từng cá nhân trả lời câu hỏi.
1 – Đại lƣợng cần đo đƣợc hình dung nhƣ một đƣờng nào đó (thẳng hoặc cong) và kết quả đo lƣờng đƣợc mô tả nhƣ một điểm đặt trên đƣờng đó. Do đó, đại lƣợng cần đo đƣợc giả thiết là phân bố liên tục. Tuy nhiên chƣa có một dạng phân bố cụ thể nào đƣợc chỉ ra.
23
2 – Điều kiện cốt yếu để thí sinh trả lời đƣợc câu hỏi đƣợc xem xét qua hai đại lƣợng:
+ Năng lực của thí sinh (tham biến năng lực hay tham biến thí sinh) + Độ khó của câu hỏi (tham biến độ khó hay tham biến câu hỏi)
3 – Lý thuyết hồi đáp quan tâm đến xác suất trả lời đúng đối với một câu hỏi. Xác suất đó đƣợc thể hiện là một hàm số của năng lực thí sinh và độ khó câu hỏi và có thể có thêm một số tham biến khác (ví dụ: mức độ đốn mị)
4 – Xác suất trả lời đúng một câu hỏi đƣợc biểu thị bằng một hàm số liên quan đến năng lực của thí sinh là hàm P( ) - một đƣờng cong đặc trƣng của câu hỏi (Item Characteristic Curves – ICC).
5 – Xác suất biểu thị hàm số độ khó câu hỏi cho đƣờng cong đặc trƣng thí sinh
là P( )(Person Characteristic Curves – ICC).
6 – Để IRT có thể áp dụng đƣợc với các bài kiểm tra, các câu hỏi phải là các đơn thứ nguyên (unidimensional).
7 – Nếu năng lực của thí sinh i đã đƣợc xác định, khi đó sự hiểu biết của thí sinh i để trả lời câu hỏi j khơng ảnh hƣởng đến khả năng có đƣợc câu trả lời đúng đối với câu hỏi khác.
xij 1,xik 1 P xij 1
P
Nếu điều đó sai, nghĩa là câu trả lời đối với câu hỏi j phụ thuộc vào điều gì đó ngồi năng lực . Sự không phụ thuộc này gọi là sự độc lập cục bộ hay sự độc lập có điều kiện, và là kết quả của tính đơn thứ ngun. Điều đó có nghĩa là:
I i ij ij i I P x x P 1 1 ,...., 2 , 1 , 1
8 – Hầu hết các mô hình lý thuyết hồi đáp sử dụng xác suất nhƣ một hàm số của sự khác nhau giữa năng lực và tham số độ khó , tức là - . Trong mơ hình logistic đơn giản (mơ hình Rasch):
Xác suất để thí sinh i trả lời đúng câu j là:
exp 1 exp 1 ij x P
9 – Các kết quả làm bài của thí sinh (kết quả trả lời câu hỏi) có đƣợc sau khi tổ chức làm một bài kiểm tra đƣợc sử dụng để tính tham biến năng lực và độ khó.
Phƣơng pháp sử dụng để tính các tham biến đó là phƣơng pháp có khả năng tối đa (Maximum likelihood)
10 – Sự tính tốn đã cố định những vị trí tƣơng đối của các tham số, nhƣng đó khơng phải là những vị trí thực