III. TỔNG QUAN
1.4.2.2.Tác dụng của việc phân tích câu hỏi thi, kiểm tra và các phƣơng
1.4.2.1. Khái niệm phân tích câu hỏi thi, kiểm tra
Một trong những ứng dụng của lý thuyết đánh giá cổ điển là phân tích câu hỏi thi kiểm tra. Phân tích câu hỏi thi kiểm tra là một quá trình xem xét chúng một cách kỹ lƣỡng và có phê phán. Phân tích câu hỏi thi kiểm tra nhằm làm tăng chất lƣợng của chúng, loại bỏ những câu hỏi quá tồi, sửa chữa những câu hỏi có thể sửa đƣợc và giữ lại những câu hỏi đáp ứng yêu cầu.
Phân tích câu hỏi thi kiểm tra có thể thực hiện bằng một trong hai phƣơng pháp:
- Phƣơng pháp chuyên gia (Phƣơng pháp bình phẩm, phê phán) bằng cách đề nghị một số chuyên gia cho ý kiến nhận xét về những câu hỏi thi kiểm tra cụ thể theo một số tiêu chí đề ra. Những ngƣời đƣợc hỏi có thể là các chuyên gia môn học, chuyên gia soạn thảo văn bản, thậm chí là một số thí sinh.
- Phƣơng pháp định lƣợng (Phân tích số liệu): Phân tích thống kê kết quả làm bài của thí sinh. Sau khi có kết quả, nhập dữ liệu để phân tích. Việc này thƣờng làm trong quá trình thử nghiệm các câu hỏi thi kiểm tra. Mục đích chính của thử nghiệm là thu thập dữ liệu để phân tích các câu hỏi thi kiểm tra, chỉ ra những câu hỏi thi kiểm tra cần phải sửa.
Các phƣơng pháp phân tích số liệu và bình phẩm, phê phán đều quan trọng để nâng cao chất lƣợng câu hỏi thi kiểm tra.
1.4.2.2. Tác dụng của việc phân tích câu hỏi thi, kiểm tra và các phƣơng pháp phân tích câu hỏi thi, kiểm tra tích câu hỏi thi, kiểm tra
a, Tác dụng
Công dụng trƣớc hết của việc phân tích câu hỏi thi kiểm tra là để làm tăng giá trị nội dung của câu hỏi thi kiểm tra. Chất lƣợng của câu hỏi thi kiểm tra có thể đƣợc làm tăng lên bằng cách thu thập các bằng chứng liên quan đến nội dung của câu hỏi thi kiểm tra. Có thể hỏi ý kiến về mức độ tƣơng thích và phù hợp (tƣơng hợp) giữa những câu hỏi thi kiểm tra cụ thể với nội dung mà chúng ta dự định kiểm tra đánh giá bằng chính những câu hỏi thi kiểm tra đó. Việc này đòi hỏi phải tập
50
hợp một nhóm chuyên gia để đánh giá mức độ phù hợp giữa câu hỏi thi kiểm tra với nội dung cần kiểm tra đánh giá theo một số tiêu chí đã đƣợc xác định.
b, Phương pháp
- Phƣơng pháp lấy ý kiến chuyên gia : hai phƣơng pháp chính để lấy ý kiến của chuyên gia về mức độ tƣơng hợp giữa nội dung cần kiểm tra đánh giá và câu hỏi thi kiểm tra là:
Phƣơng pháp thứ nhất: ngƣời đánh giá đƣợc cung cấp mục đích, nội dung của kỳ thi kiểm tra và các câu hỏi thi kiểm tra dự định dùng để kiểm tra đánh giá học sinh. Nhiệm vụ của ngƣời đánh giá là khẳng định các câu hỏi thi kiểm tra phù hợp hay không phù hợp với mục đích và nội dung dự định kiểm tra đánh giá học sinh
Phƣơng pháp thứ hai: (mạnh hơn và khó hơn) để thu thập sự nhất trí của các chuyên gia về sự tƣơng hợp giữa câu hỏi thi kiểm tra và mục đích của kỳ thi kiểm tra bằng cách yêu cầu họ chỉ ra những câu hỏi thi kiểm tra tƣơng hợp với những mục đích cụ thể của kỳ thi kiểm tra nhƣng không cho họ biết dự định của ngƣời viết câu hỏi thi kiểm tra. Ngƣời đánh giá sẽ lựa chọn những câu hỏi thi kiểm tra tƣơng hợp với từng mục đích của kỳ thi kiểm tra, theo ý kiến cá nhân của họ và ghi vào phiếu đánh giá. Ban thƣ ký sẽ tổng hợp lại ý kiến của các chuyên gia đánh giá. Ý kiến thống nhất của các chuyên gia đánh giá về sự tƣơng hợp giữa câu hỏi và mục đích cụ thể của kỳ thi kiểm tra là bằng chứng về giá trị nội dung của câu hỏi thi kiểm tra.
Định lượng kết quả đánh giá của chuyên gia
Sau khi các chuyên gia hoàn thành nhiệm vụ, cần thu thập kết quả đánh giá và lập thành cơ sở dữ liệu đánh giá câu hỏi thi kiểm tra, tiến hành phân tích và lý giải các kết quả thu đƣợc để xác định mức độ đồng nhất ý kiến của các chuyên gia về mỗi câu hỏi thi kiểm tra. Những ngƣời viết câu hỏi thi kiểm tra nhận các thông tin phản hồi về chất lƣợng câu hỏi thi kiểm tra để xác định liệu có đạt đƣợc những ý kiến thống nhất về việc các câu hỏi thi kiểm tra phù hợp với những mục đích của kỳ thi kiểm tra nhƣ dự định hay không. Mặc dù không có những con số qui định và chính xác, nhƣng các câu hỏi thi kiểm tra đƣợc xem là đƣợc đánh giá thống nhất nếu có ít nhất 4 trên 5 hay 8 trên 10 chuyên gia đồng ý (đạt ít nhất 80%).
51
- Phƣơng pháp phân tích thống kê các câu hỏi thi kiểm tra
Một số thống kê có thể chỉ ra những thuộc tính cụ thể của câu hỏi thi kiểm tra, qua đó chúng ta biết đƣợc những câu hỏi tốt và chƣa tốt. Các nhà nghiên cứu (Crocker & Algina, 1986) đã phân loại các chỉ số thƣờng đƣợc sử dụng nhƣ sau:
1. Những chỉ số mô tả sự phân bố trả lời của thí sinh về một câu hỏi cụ thể (trung bình cộng và phƣơng sai trả lời của thí sinh).
2. Những chỉ số mô tả mức độ của mối quan hệ giữa sự trả lời của thí sinh về một câu hỏi và những tiêu chí cụ thể đang đƣợc quan tâm.
3. Những chỉ số liên quan đến phƣơng sai của câu hỏi thi kiểm tra và mối liên hệ với những tiêu chí cụ thể.
Có một số thông số cơ bản dùng để đo các câu hỏi trắc nghiệm, từ đó làm cơ sở cho việc phân tích một bài trắc nghiệm. Sau khi chấm bài trắc nghiệm, cần phân tích, đánh giá hiệu quả của từng câu hỏi. Điều này đƣợc thực hiện bằng cách phân tích các câu trả lời của học sinh ở mỗi câu trắc nghiệm. Việc phân tích này đem lại hai mục đích:
- Kết quả bài kiểm tra cho biết mức độ đạt đƣợc của mục tiêu giảng dạy và mục tiêu đƣợc đề ra trƣớc khi thực hiện kiểm tra, từ đó kịp thời có biện pháp điều chỉnh thích hợp nhằm đạt đến một chất lƣợng giảng dạy cao hơn.
- Phân tích câu hỏi để biết mức độ học sinh hoàn thành câu hỏi nhƣ thế nào, từ đó xem xét các thông số cần thiết của câu hỏi, cân nhắc xem có cần sửa chữa hoặc loại bỏ không...
* Phân tích câu hỏi trắc nghiệm khách quan đa lựa chọn
Khi phân tích câu hỏi trắc nghiệm có hai chỉ số cần quan tâm đó là độ khó
của câu hỏi trắc nghiệm và độ phân biệt của câu hỏi trắc nghiệm.
* Độ khó (giá trị p) của câu hỏi trắc nghiệm là một chỉ số đo nói lên chất lƣợng của các câu hỏi trắc nghiệm, có hiệu nghiệm trong công tác phân tán điểm số. Nhƣ vậy, câu hỏi đặt ra là câu hỏi nên có độ khó nhƣ thế nào là thích hợp. Trong bài trắc nghiệm, khi các điều kiện khác nhau đƣợc đáp ứng nhƣ nhau thì điểm số sẽ có xu hƣớng phân tán nếu bài trắc nghiệm đó có độ khó trung bình.
52 (adsbygoogle = window.adsbygoogle || []).push({});
Độ khó của câu hỏi (giá trị p) đƣợc sử dụng rộng rãi đối với các câu hỏi đúng/ sai, đa lựa chọn. Giá trị p là tỷ lệ thí sinh trả lời đúng so với tổng số thí sinh tham gia trả lời câu hỏi đó.
Công thức tính độ khó của các câu hỏi trắc nghiệm nhƣ sau:
P =
Số ngƣời trả lời đúng trên câu hỏi N
P có giá trị từ 0,0 đến 1,0. Giá trị của P càng gần 0 thì độ khó của câu hỏi càng tăng. Ngược lại, giá trị của P càng gần 1 thì độ khó của câu hỏi càng giảm.
Theo dự án phát triển giáo dục của ASEAN và Trung tâm Phát triển giáo dục quốc gia Philippine đề nghị (1982) một thang tiêu chuẩn khác xác định cho chỉ số độ khó nhƣ sau:
*Thang tiêu chuẩn củaĐộ khó P
Khoảng giá trị: 0,05 - 0,95 Rất dễ 0,91 - 0,95 Dễ 0,76 - 0,90 Trung bình: 0,25 - 0,75 Khó: 0,10 - 0,24 Rất khó: 0,05 - 0,09
Các giá trị của P có thể dao động trong khoảng từ 0 đến 1, với 0 có nghĩa là không thí sinh nào trả lời đúng câu hỏi, còn 1 có nghĩa là toàn bộ số thí sinh đã trả lời đúng các câu hỏi. Phạm vi các giá trị của P có thể chấp nhận đƣợc là trong khoảng 0,05 - 0,95. Điều này có nghĩa là câu hỏi trắc nghiệm không quá khó hoặc quá dễ. P nhỏ hơn 0,05 hay lớn hơn 0,95 trên thực tế đã là bằng chứng xác nhận câu trắc nghiệm đó không phân biệt một cách đúng đắn giữa các nhóm cao và nhóm thấp, vì
Trong đó: P: Độ khó của câu hỏi
53
sự khác biệt giữa những ngƣời trả lời đúng câu hỏi trong cả hai nhóm sẽ nhỏ hơn 5% của N, đây là một khác biệt tối thiểu cần thiết đối với câu hỏi trắc nghiệm khó và dễ.
Đối với câu trắc nghiệm nhiều lựa chọn thì độ khó trung bình là: Số lựa chọn Độ khó trung bình
5 0,60
4 0,62
3 0,66
2 0,75
Đây là do yếu tố đoán mò làm giảm phạm vi giá trị của P. Nhƣ trong câu hỏi 4 lựa chọn thì xác suất để trả lời câu hỏi chính xác bằng cách đoán mò là 0,25, nói cách khác là 25% tổng số thí sinh sẽ trả lời chính xác câu hỏi đơn giản chỉ dựa vào phỏng đoán. Do đó phạm vi giá trị của P sẽ nằm trong khoảng từ 0,26 đến 1 bởi vậy giá trị trung bình sẽ là 0,62. Giá trị p của mỗi câu hỏi chƣa nói lên đƣợc câu hỏi đó tốt hay không, nhƣng nó nói lên độ khó tƣơng đối của câu hỏi đó đối với số thí sinh tham gia làm bài test. Nếu một nhóm thí sinh khác trả lời câu hỏi đó thì giá trị p có thể khác.
* Độ phân biệt (giá trị D) của câu hỏi trắc nghiệm
Khi ra một câu hoặc một bài trắc nghiệm cho một nhóm thí sinh nào đó, ngƣời ta thƣờng muốn phân biệt trong nhóm ấy những ngƣời có năng lực khác nhau (giỏi, trung bình, kém v.v). Khả năng của câu trắc nghiệm thực hiện đƣợc sự phân biệt ấy đƣợc gọi là độ phân biệt.
Độ phân biệt không chỉ giúp phân biệt những ngƣời có điểm số khác nhau mà còn nói lên tính hiệu lực của trắc nghiệm. Nếu bài trắc nghiệm và câu hỏi đo cùng một miền đo, cùng một đặc tính thì những ai có kết quả điểm thấp trên bài trắc nghiệm cũng là những ngƣời có kết quả điểm thấp trên câu hỏi trắc nghiệm và ngƣợc lại. Nhƣ vậy, chỉ số D dƣơng phù hợp với tiêu chuẩn này. Nếu một trắc nghiệm chỉ gồm toàn các câu hỏi có chỉ số D dƣơng, tức là chỉ số gồm toàn những
54
câu hỏi đo cùng một đặc tính với trắc nghiệm. Ngƣợc lại, một trắc nghiệm có những câu hỏi có chỉ số D âm, tức là trắc nghiệm gồm cả những câu hỏi không cùng đo một đặc tính với trắc nghiệm.
Công thức tính độ phân biệt: D C T n
Trong đó: C: số ngƣời trong nhóm cao trả lời đúng câu hỏi T: số ngƣời trong nhóm thấp trả lời đúng câu hỏi
n: tổng số học sinh tham gia trả lời của mỗi nhóm.
Việc chia nhóm chỉ là tƣơng đối. Đối với những lớp học có ít học sinh thì sai số thống kê là khá lớn, có thể dao động từ 27% đến 35% .Câu hỏi quá khó hoặc quá dễ không thể có độ phân biệt tốt. Câu hỏi có chỉ số phân biệt nhỏ hơn hoặc bằng 0 cần bị loại bỏ. Ebel (1956) đề xuất rằng các câu hỏi của bài test trong lớp học nên có chỉ số phân biệt bằng 0,30 hoặc cao hơn. Một số tác giả khác cho rằng chỉ số phân biệt nên nằm trong khoảng 0,25-0,75. Tuy nhiên các chỉ số thống kê chỉ có ý nghĩa tƣơng đối. Mục tiêu chính của hoạt động kiểm tra kết quả học tập của học sinh là đo lƣờng mức độ đạt đƣợc trong nhận thức của học sinh về mục tiêu, nội dung bài học. Vì vậy, việc so sánh nội dung của câu hỏi với mục tiêu dạy học mới có ý nghĩa quyết định [2]. Trên đây là hai thông số thƣờng sử dụng để phân tích câu hỏi trắc nghiệm. Riêng đối với bài trắc nghiệm còn có các thông số thông dụng khác đƣợc sử dụng để phân tích nhƣ độ giá trị, độ tin cậy và độ lệch chuẩn của bài trắc nghiệm.
* Phân tích bài trắc nghiệm khách quan nhiều lựa chọn
* Độ khó của bài trắc nghiệm phụ thuộc vào trình độ của học sinh. Một bài trắc nghiệm có thể dễ với học sinh khá và khó đối với học sinh kém. Độ khó của bài trắc nghiệm đƣợc tính theo công thức: (adsbygoogle = window.adsbygoogle || []).push({});
Độ khó của bài trắc nghiệm X 100%
K
55
X : Điểm trung bình của bài trắc nghiệm (điểm trung bình của bài trắc nghiệm là tỉ lệ giữa tổng điểm bài trắc nghiệm của từng thí sinh so với lƣợng thí sinh tham dự kiểm tra)
K: Tổng số câu hỏi trắc nghiệm
Độ khó vừa phải (ĐKVP) của bài trắc nghiệm (về mặt lý thuyết) đƣợc tính theo công thức:
TBLT
DKVP= 100%
K
Trong đó điểm trung bình về mặt lý thuyết (TBLT) đƣợc tính theo công thức:
K + T TBLT=
2
Trong đó T là điểm may rủi kỳ vọng (xác suất may rủi) bằng số câu hỏi của bài trắc nghiệm chia cho số lựa chọn của mỗi câu hỏi.
* Độ tin cậy của bài trắc nghiệm
Độ tin cậy của bài trắc nghiệm cho biết kết quả đo của một bài trắc nghiệm đáng tin đến đâu và ổn định đến mức nào?
Một trong những yêu cầu đặt ra khi tính độ tin cậy của bài trắc nghiệm là phải đảm bảo sai sót nhỏ nhất trong đo lƣờng đánh giá. Tuy nhiên, các công cụ đo lƣờng đánh giá trong giáo dục không thể chính xác một cách tuyệt đối vì vậy nhiều khi đo lƣờng đánh giá (điểm làm bài thi kiểm tra của học sinh) không phản ánh chính xác thực lực của học sinh. Giả sử một học sinh làm bài test n lần, có điểm trung bình là xtb, điểm làm bài lần thứ i là xi. Sai số đo lƣờng trong lần làm bài thứ i là xi - xtb. Sai số đo lƣờng đƣợc mô tả là độ lệch của kết quả làm bài so với mức điểm trung bình sau một số hữu hạn lần lặp. Số lần lặp càng lớn thì điểm trung bình càng gần với điểm thực của học sinh. Sai số đo lƣờng càng bé có nghĩa là đo lƣờng càng có độ chính xác cao.
Điểm thực của học sinh đƣợc trình bày nhƣ sau:
56
Trong thực tế, không có thí sinh nào phải làm một bài test n lần, nhƣng sai số vẫn có thể tính đƣợc bằng những phƣơng pháp riêng.
Về phƣơng diện lý thuyết thì điểm thực là trung bình cộng của kết quả làm bài của học sinh sau một số hữu hạn lần làm bài. Khi đó, điểm làm bài của thí sinh phân bố xung quanh điểm thực. Đo lƣờng đánh giá đƣợc coi là chính xác khi sai số đo lƣờng đánh giá không vƣợt qua phạm vi cho phép.
Độ tin cậy của bài trắc nghiệm đƣợc xác định bằng cách tính hệ số tin cậy của bài trắc nghiệm. Hệ số này có ý nghĩa cung cấp một chỉ số về độ đo tính ổn định của các điểm số trắc nghiệm để đo đƣợc cái mà ta dự định đo. Có ba phƣơng pháp tiến hành xác định độ tin cậy của một bài trắc nghiệm:
- Sự lặp lại của cùng một bài trắc nghiệm hay phép đo lƣờng. - Tiến hành dạng trắc nghiệm tƣơng đƣơng thứ hai
- Chia trắc nghiệm thành hai hay nhiều hơn các phần tƣơng đƣơng.
Bên cạnh đó các nhà nghiên cứu cho thấy cũng có thể sử dụng các công thức thống kê trong phân tích bài trắc nghiệm một lần để xác định hệ số tin cậy của bài trắc nghiệm.
Các công thức tính độ tin cậy của bài trắc nghiệm: (a) Công thức phân đôi
r r 1 2
trong đó, r là độ tin cậy của nửa bài test. (b) Công thức dự báo của Spearman – Brown