Vận dụng lý thuyết khảo thí cổ điển nhằm nâng cao chất lượng đề trắc nghiệm khách quan

Vận dụng lý thuyết khảo thí cổ điển nhằm nâng cao chất lượng đề trắc nghiệm khách quan

TRƯỜNG THPT CHUYÊN QUANG TRUNG

SÁNG KIẾN KINH NGHIỆM

VẬN DỤNG LÝ THUYẾT KHẢO THÍ CỔ ĐIỂN

NHẰM NÂNG CAO CHẤT LƯỢNG ĐỀ

Người thực hiện: Nguyễn Văn Nghiêm

BÌNH PHƯỚC - 2012

MỤC LỤC

A Tổng quan 1

1 Đặt vấn đề 1

2 Mục đích, nhiệm vụ của SKKN 2

3 Cấu trúc SKKN: 2

4 Giới thiệu về dữ liệu đề thi 2

B Nội dung 3

Chương 1 Cơ sở lý luận 3

1 Các tham số cơ bản của lý thuyết khảo thí cổ điển 4

1.1 Sai số 4

1.2 Điểm thực của thí sinh 4

1.3 Phương sai của điểm làm bài test 5

1.4 Đồng phương sai (covariance) 5

2 Phân tích câu hỏi thi theo lý thuyết khảo thí cổ điển 6

2.1 Phương pháp chuyên gia 6

2.2 Phân tích thống kê các câu hỏi thi kiểm tra 8

3 Kết luận chương 1 13

Chương 2 Phân tích đề thi bằng lý thuyết cổ điển 14

1 Độ khó của câu hỏi thi: 14

2 Các khả năng nhầm đáp án 16

3 Chất lượng của các phương án sai (mồi nhử) 16

4 Độ phân biệt của câu hỏi thi 19

5 Hệ số tương quan giữa điểm của câu hỏi thi với điểm toàn bài thi 20

6 Kết luận chương 2 21

Chương 3 Những ứng dụng thực tiễn và kết quả 23

1 Đánh giá và cho điểm 23

2 Xây dựng ngân hàng câu hỏi 23

3 Đánh giá công tác biên soạn đề 24

4 Kết luận chương 3 24

C Kết luận & kiến nghị 25

Tài liệu tham khảo 27

PHỤ LỤC 28

Nhận xét của hội đồng khoa học 32

DANH MỤC BẢNG BIỂU Bảng 1 Giá trị p của một câu hỏi trắc nghiệm 10

Bảng 2 Giá trị p của một câu hỏi trắc nghiệm kém chất lượng 10

Bảng 3 Giá trị p của một câu hỏi nhầm đáp án 12

Bảng 4 Giá trị p của các nhóm thí sinh đạt kết quả cao và kết quả thấp 12

Bảng 5 Độ khó câu hỏi thi 15

Bảng 6 Thống kê phân bổ độ khó 15

Bảng 7 Các câu có độ khó dươi 0.4 15

Bảng 8 Độ lệch giữa nhóm trên và nhóm dưới 19

Bảng 9 Phân bổ độ lệch của đáp án 19

Bảng 10 Độ phân biệt câu hỏi thi 20

Bảng 11 Thống kê phân bổ độ phân biệt 20

Bảng 12 Hệ số tương quan 21

Bảng 13 Thống kê HSTQ 21

DANH MỤC PHỤ LỤC Biểu mẫu 1 Phiếu đánh giá sự tương hợp giữa câu hỏi thi kiểm tra và mục đích của kỳ thi kiểm tra: 28

Biểu mẫu 2 Tổng hợp ý kiến của chuyên gia về sự tương hợp giữa câu hỏi thi kiểm tra và mục đích của kỳ thi kiểm tra: 30

A Tổng quan

1 Đặt vấn đề

Trên thực tế, học lực (năng lực) của học sinh Việt Nam vẫn còn được đánh giá thông qua điểm số thô, nghĩa là điểm có được từ các bài thi/kiểm tra chứ chưa áp dụng các phương pháp thống kê chuyển đổi các điểm số thô thành điểm chuẩn bằng việc sử dụng giá trị trung bình và độ lệch chuẩn, chẳng hạn như, t-scores, z-scores Vì vậy, sai số của đề thi là vấn đề rất cần được quan tâm Theo PGS.TS Nguyễn Phương Nga thì việc đánh giá năng lực học sinh “Có thể khái quát bằng công thức: Năng lực học sinh = Điểm thi + sai số chuẩn Sai số càng lớn thì mức độ đánh giá chính xác càng giảm Ra đề thi như hiện nay, nhiều học sinh sẽ trượt oan nhưng cũng nhiều học sinh đỗ oan.”

Để nâng cao chất lượng đề thi, thu nhỏ sai số chuẩn, thì việc đầu tiên cần quan tâm là việc viết câu hỏi thi và tổ hợp thành đề thi Người thiết kế đề thi phải dựa trên các chuẩn: chuẩn chương trình, chuẩn mục tiêu đào tạo của từng môn học, chuẩn kiến thức yêu cầu người học phải đạt được khi hoàn tất một lớp học, bậc học hay chương trình đào tạo Từ chuẩn mới có thể đo lường được bằng các yêu cầu cụ thể về kiến thức, kỹ năng để ra đề thi Đặc biệt, người thiết

kế đề thi phải được trang bị kiến thức về kiểm tra, đánh giá mới có thể làm việc một cách khoa học và như thế mới đánh giá đúng hơn năng lực của người học thông qua đề thi/kiểm tra

Vận dụng những kinh nghiệm công tác và kiến thức có được từ các môn học như: Cơ sở khoa học và thiết kế các loại hình kiểm tra đánh giá kết quả học tập, Lý thuyết đo lường và đánh giá, Mô hình Rasch và Phân tích dữ liệu bằng phần mềm QUEST,…; với mong muốn góp phần nâng cao chất lượng trong công tác kiểm tra đánh giá trong nhà trường, tác giả chọn đề tài sáng kiến kinh nghiệm: “Vận dụng lý thuyết khảo thí cổ điển nhằm nâng cao chất lượng đề trắc nghiệm khách quan” Rất mong nhận được ý kiến nhận xét, góp ý của cô và các bạn đồng nghiệp

2 Mục đích, nhiệm vụ của SKKN

Hệ thống hóa một số vấn đề lý luận về đo lường và đánh giá trong giáo dục, về các loại hình kiểm tra đánh giá kết quả học tập, phương pháp soạn đề thi-kiểm tra nhằm phục vụ công việc xây dựng đề thi kiểm tra

SKKN vận dụng lý thuyết khảo thí cổ điển nhằm đánh giá câu hỏi thi Qua đó có thể trả lời các câu hỏi nghiên cứu như:

- Đề thi có phù hợp với năng lực của nhóm thí sinh dự thi hay không?

Nếu chưa phù hợp thì cần điều chỉnh như thế nào?

- Có câu hỏi nào trong đề không phù hợp và cần chỉnh sửa hay loại bỏ hay không?

Những phân tích này là cơ sở để đánh giá, cho điểm bài thi/kiểm tra và lựa chọn câu hỏi đạt chất lượng xây dựng ngân hàng câu hỏi thi Đồng thời đưa

ra khuyến cáo cho công tác viết câu hỏi trắc nghiệm trong những lần ra đề sau này đạt chất lượng được tốt nhất, đề xuất một số gợi ý đối với cấp quản lý giáo dục và giáo viên về vấn đề kiểm tra, đánh giá

C Kết luận

4 Giới thiệu về dữ liệu đề thi

Bộ dữ liệu là kết quả làm bài kiểm tra học kỳ của học sinh lớp 11 trường THPT chuyên Quang Trung, năm học 2010 – 2011, môn Tin học với 50 câu hỏi trắc nghiệm (dạng 4 lựa chọn) gồm 210 thí sinh tham gia dự thi

File dữ liệu có 52 biến gồm: mahs, gioi, Cau1, , Cau50 Trong đó mahs

là mã số thí sinh (case), gioi là thông tin về giới tính (0 là nữ, 1 là nam) và các biến từ Cau1 đến Cau50 là kết quả trả lời của 50 câu trắc nghiệm (item)

B Nội dung

Chương 1 Cơ sở lý luận

Một trong những ứng dụng của lý thuyết đánh giá cổ điển là phân tích câu hỏi thi kiểm tra Phân tích câu hỏi thi kiểm tra là một quá trình xem xét chúng một cách kỹ lưỡng và có phê phán Phân tích câu hỏi thi kiểm tra nhằm làm tăng chất lượng của chúng, loại bỏ những câu hỏi quá tồi, sửa chữa những câu hỏi có thể sửa được và giữ lại những câu hỏi đáp ứng yêu cầu

Phân tích câu hỏi thi kiểm tra có thể thực hiện bằng một trong hai phương pháp:

(1) Phương pháp chuyên gia (Phương pháp bình phẩm, phê phán) bằng

cách đề nghị một số chuyên gia cho ý kiến nhận xét về những câu hỏi thi kiểm tra cụ thể theo một số tiêu chí đề ra Những người được hỏi có thể là các chuyên gia môn học, chuyên gia soạn thảo văn bản, thậm chí là một số thí sinh

Cách tiếp cận này có hai nguyên tắc:

 Người được hỏi phải là người có khả năng bình phẩm, phê phán các câu hỏi thi kiểm tra;

 các câu hỏi thi kiểm tra được viết theo một nguyên tắc đã được xác định và có các tiêu chí để bình phẩm, phê phán

(2) Phương pháp định lượng (Phân tích số liệu): Phân tích thống kê kết

quả làm bài của thí sinh Sau khi có kết quả, nhập dữ liệu để phân tích Việc này thường làm trong quá trình thử nghiệm các câu hỏi thi kiểm tra Mục đích chính của thử nghiệm là thu thập dữ liệu để phân tích các câu hỏi thi kiểm tra, chỉ ra những câu hỏi thi kiểm tra cần phải sửa

Các phương pháp phân tích số liệu và bình phẩm, phê phán đều quan trọng để nâng cao chất lượng câu hỏi thi kiểm tra

1 Các tham số cơ bản của lý thuyết khảo thí cổ điển

Vấn đề cốt lõi của lý thuyết khảo thí cổ điển được thể hiện bởi phương trình cơ bản sau:

xi = ti + ei [1]

Trong đó: x i là điểm làm bài test của thí sinh i

t i là điểm thực của thí sinh i

Vì sai số là đại lượng ngẫu nhiên nên:

- Với một số lượng thí sinh lớn, trung bình cộng của sai số ngẫu nhiên bằng 0

0 N

e e

N

1 i

- Sai số ngẫu nhiên phải không có mối tương quan với điểm thực

Mối tương quan giữa t và e = 0

- Mối tương quan của sai số giữa hai test = 0

1.2 Điểm thực của thí sinh

Điểm thực của thí sinh i, tức là t i được xác định như sau:

Khi thí sinh thực hiện k bài test đồng nhất thì

e t

k

x

k

s i i

k

s is

k i

a Điểm thực của mỗi thí sinh trong hai bài test phải tương đương nhau

b Phương sai của điểm quan sát được (điểm làm bài) của thí sinh trong hai bài test cũng phải tương đương nhau

c Tương quan của điểm làm bài của thí sinh trong hai bài test bất kỳ phải có cùng một giá trị

1.3 Phương sai của điểm làm bài test

Từ phương trình cơ bản (1) và tính chất của sai số ngẫu nhiên, ta có

var(x) = var(t) + var(e) [5]

Phương sai của điểm làm bài test của thí sinh có thể chia làm hai phần:

a Phương sai của điểm thực, và

b Phương sai của sai số ngẫu nhiên

Điều đó chứng tỏ phương sai của điểm làm bài test của thí sinh phải lớn bằng phương sai của điểm thực vì phương sai của sai số tự nhiên bằng 0 Một điều kiện để đánh giá bài test là tỷ lệ var(t)/var(x) gần bằng 1 (độ tin cậy của bài test)

1.4 Đồng phương sai (covariance)

Cho hai bài test đồng nhất 1 và 2

xi1 = ti1 + ei1

xi2 = ti2 + ei2

và ti1 = ti2

Đồng phương sai (covariance) của xi4 và xi2 là tổng của 4 phần:

a đồng phương sai giữa ti1 và ti2, chính là var(t)

b đồng phương sai giữa ti1 và ei2, bằng 0

c đồng phương sai giữa ei1 và ti2, bằng 0

d đồng phương sai giữa ei1 và ei2, bằng 0

Do đó cov(x1, x2) = var(t)

Mối tương quan giữa x1 và x2 = độ tin cậy của bài test

2 Phân tích câu hỏi thi theo lý thuyết khảo thí cổ điển

Cộng dụng trước hết của việc phân tích câu hỏi thi kiểm tra là để làm tăng giá trị nội dung của câu hỏi thi kiểm tra Chất lượng của câu hỏi thi kiểm tra có thể được làm tăng lên bằng cách thu thập các bằng chứng liên quan đến nội dung của câu hỏi thi kiểm tra từ đó loại bỏ hoặc điều chỉnh những câu hỏi chưa đạt yêu cầu

2.1 Phương pháp chuyên gia

Có thể hỏi ý kiến về mức độ tương thích và phù hợp (tương hợp) giữa những câu hỏi thi kiểm tra cụ thể với nội dung mà chúng ta dự định kiểm tra đánh giá bằng chính những câu hỏi thi kiểm tra đó Việc này đòi hỏi phải tập hợp một nhóm chuyên gia để đánh giá mức độ phù hợp giữa câu hỏi thi kiểm tra với nội dung cần kiểm tra đánh giá theo một số tiêu chí đã được xác định

Hai phương pháp chính để lấy ý kiến của chuyên gia về mức độ tương hợp giữa nội dung cần kiểm tra đánh giá và câu hỏi thi kiểm tra là:

Phương pháp thứ nhất: người đánh giá được cung cấp mục đích, nội

dung của kỳ thi kiểm tra và các câu hỏi thi kiểm tra dự định dùng để kiểm tra đánh giá học sinh Nhiệm vụ của người đánh giá là khẳng định các câu hỏi thi kiểm tra phù hợp hay không phù hợp với mục đích và nội dung dự định kiểm tra đánh giá học sinh Tất nhiên, cần có một mẫu phiếu để ghi lại các ý kiến của người đánh giá Phiếu đánh giá cho phép người đánh giá ghi lại 3 mức độ của sự tương hợp:

- Rất phù hợp

- Tương đối phù hợp hoặc không chắc chắn là phù hợp

- ít hoặc hoàn toàn không phù hợp

Ba mức này là đủ để đánh giá một câu hỏi thi kiểm tra Bên cạnh phần ghi kết quả đánh giá còn dành chỗ để ghi các ý kiến về lý do đưa ra các mức đánh giá đó Biểu mẫu 1 (xem phụ lục) là một ví dụ về phiếu đánh giá câu hỏi thi kiểm tra

Phương pháp thứ hai: (mạnh hơn và khó hơn) để thu thập sự nhất trí của

các chuyên gia về sự tương hợp giữa câu hỏi thi kiểm tra và mục đích của kỳ thi kiểm tra bằng cách yêu cầu họ chỉ ra những câu hỏi thi kiểm tra tương hợp với những mục đích cụ thể của kỳ thi kiểm tra nhưng không cho họ biết dự định của người viết câu hỏi thi kiểm tra Người đánh giá sẽ lựa chọn những câu hỏi thi kiểm tra tương hợp với từng mục đích của kỳ thi kiểm tra, theo ý kiến cá nhân của họ và ghi vào phiếu đánh giá Ban thư ký sẽ tổng hợp lại ý kiến của các chuyên gia đánh giá

Ý kiến thống nhất của các chuyên gia đánh giá về sự tương hợp giữa câu hỏi và mục đích cụ thể của kỳ thi kiểm tra là bằng chứng về giá trị nội dung của câu hỏi thi kiểm tra Biểu mẫu 2 (xem phụ lục) đưa ra một ví dụ về phiếu đánh giá theo phương pháp này Các biểu mẫu 1 và 2 (R.K Hambleton “Validating

the test scores” (p.225) in R.A Berk (Ed.) A Guide to Criterion-Referenced Test

Construction, 1984, Baltimore Xem phụ lục) có thể được điều chỉnh, sửa đổi để

phù hợp với từng trường hợp cụ thể

Để tăng thêm tính chính xác, các chuyên gia có thể được mời phản biện kín, họ không tiếp xúc với bộ phận viết câu hỏi thi kiểm tra, không biết những chuyên gia khác cũng được mời đánh giá Họ nhận nhiệm vụ và gửi ý kiến của

họ qua bưu điện, fax, email hoặc giao dịch qua điện thoại với Ban tổ chức Cách làm này đảm bảo các ý kiến của chuyên gia ít bị tác động bởi những người khác

Thông thường một nhóm 4-5 chuyên gia đủ để đánh giá từng câu hỏi thi kiểm tra Tuy nhiên, nếu có quá nhiều câu hỏi thi kiểm tra cần đánh giá thì có thể lập một số nhóm chuyên gia, mỗi nhóm có 4-5 người Với những đề thi kiểm tra quan trọng như các kỳ thi tuyển sinh, thi tốt nghiệp thì có thể lập mỗi nhóm gồm 10 thậm chí 15 chuyên gia để đánh giá các câu hỏi thi kiểm tra Không nên

để 1 người hoặc chính những người viết câu hỏi thi kiểm tra làm công việc này

để hạn chế tối đa các sai sót có thể xẩy ra

Mỗi nhóm chuyên gia nên có hai thành phần:

 Chuyên gia môn học,

 Chuyên gia được đào tạo để đánh giá các câu hỏi thi kiểm tra

Chuyên gia môn học phải là những người có uy tín chuyên môn và am hiểu việc tổ chức thi kiểm tra và có kinh nghiệm viết câu hỏi thi kiểm tra Các chuyên gia được đào tạo để đánh giá câu hỏi thi kiểm tra phải được đào tạo kỹ, được trao đổi nhiều kinh nghiệm khác nhau để có thể phát hiện nhanh các lỗi của câu hỏi thi kiểm tra

Định lượng kết quả đánh giá của chuyên gia

Sau khi các chuyên gia hoàn thành nhiệm vụ, cần thu thập kết quả đánh giá và lập thành cơ sở dữ liệu đánh giá câu hỏi thi kiểm tra, tiến hành phân tích

và lý giải các kết quả thu được để xác định mức độ đồng nhất ý kiến của các chuyên gia về mỗi câu hỏi thi kiểm tra Những người viết câu hỏi thi kiểm tra nhận các thông tin phản hồi về chất lượng câu hỏi thi kiểm tra để xác định liệu

có đạt được những ý kiến thống nhất về việc các câu hỏi thi kiểm tra phù hợp với những mục đích của kỳ thi kiểm tra như dự định hay không Mặc dù không

có những con số qui định và chính xác, nhưng các câu hỏi thi kiểm tra được xem

là được đánh giá thống nhất nếu có ít nhất 4 trên 5 hay 8 trên 10 chuyên gia đồng ý (đạt ít nhất 80%)

Mặc dù phương pháp lập bảng thống kê các ý kiến đồng ý của chuyên gia

là phương pháp được sử dụng rộng rãi, tuy nhiên nhiều phương pháp khác cũng được ưa dùng trong nhiều trường hợp, nhưng chưa được giới thiệu ở đây

2.2 Phân tích thống kê các câu hỏi thi kiểm tra

Một số thống kê có thể chỉ ra những thuộc tính cụ thể của câu hỏi thi kiểm tra, qua đó chung ta biết được những câu hỏi tốt và chưa tốt Các nhà nghiên cứu (Crocker & Algina, 1986) đã phân loại các chỉ số thường được sử dụng như sau:

1 Những chỉ số mô tả sự phân bố trả lời của thí sinh về một câu hỏi cụ thể (trung bình cộng và phương sai trả lời của thí sinh)

2 Những chỉ số mô tả mức độ của mối quan hệ giữa sự trả lời của thí sinh

về một câu hỏi và những tiêu chí cụ thể đang được quan tâm

3 Những chỉ số liên quan đến phương sai của câu hỏi thi kiểm tra và mối liên hệ với những tiêu chí cụ thể

Một số thống kê thường được sử dụng để mô tả các thông số trên của câu

hỏi thi kiểm tra là giá trị p, phương sai, một số chỉ số phân biệt như hệ số tương

quan point-biserial, hệ số tương quan biserial, hệ số tương quan phi Mỗi chỉ số thống kê này đều quan trọng với những mục tiêu cụ thể khi phân tích câu hỏi thi kiểm tra Dưới đây chỉ mới giới thiệu việc sử dụng giá trị p vào việc phân tích câu hỏi thi kiểm tra

2.1 Độ khó của câu hỏi thi kiểm tra:

Độ khó của câu hỏi (giá trị p) được sử dụng rộng rãi đối với các câu hỏi đúng/sai, đa lựa chọn Giá trị p là tỷ lệ thí sinh trả lời đúng so với tổng số thí

sinh tham gia trả lời câu hỏi đó Ví dụ: Giả sử 100 thí sinh tham gia trả lời 1 câu

hỏi nào đó và có 80 thí sinh trả lời đúng Khi đó giá trị p = 80/100 = 0.80, cho

biết có 80% thí sinh trả lời đúng Nếu có 300 thí sinh nhưng chỉ có 225 thí sinh

trả lời đúng thì giá trị p = 0.75 (vì 225/300 = 0.75)

Giá trị p của mỗi câu hỏi chưa nói lên được câu hỏi đó tốt hay không,

nhưng nó nói lên độ khó tương đối của câu hỏi đó đối với số thí sinh tham gia

làm bài test Nếu một nhóm thí sinh khác trả lời câu hỏi đó thì giá trị p có thể

khác

Khái niệm Sự phụ thuộc mẫu (sample dependence) thường được sử dụng

để phản ánh một số phương diện nào đó của một nhóm hay tập hợp thí sinh tham gia làm bài thi kiểm tra Ví dụ: một nhóm học sinh lớp ba và một nhóm

khác học sinh lớp 5 cùng làm một bài test Kết quả cho thấy giá trị p giữa hai nhóm sẽ rất khác nhau Khi đó, mỗi câu hỏi sẽ có hai giá trị p, một giá trị p chỉ

độ khó tương đối so với học sinh lớp 3 và một giá trị p khác - so với học sinh lớp 5 Như vậy, giá trị p phụ thuộc vào mẫu thí sinh tham gia làm bài test

2.2 Sử dụng giá trị p để phân tích câu hỏi thi kiểm tra

Giá trị p có ý nghĩa quan trọng đối với những người viết câu hỏi thi kiểm

tra trong quá trình phân tích câu hỏi Hiểu đúng ý nghĩa của giá trị p và lý giải

hợp lý các kết kết quả thu được, người viết câu hỏi có thể thấy được mức độ phù

hợp của các câu hỏi đó đối với nhóm thí sinh Ngoài ra, giá trị p còn giúp xác

định một số lỗi khác của câu hỏi để kịp thời điều chỉnh, sửa đổi hoặc rút kinh nghiệm cho lần sau Ví dụ: lỗi do dùng từ, hành văn làm thí sinh không hiểu câu hỏi, hiểu nhầm, bị đánh lừa hay có nhiều cách hiểu khác nhau; lỗi trong phần lựa chọn của câu hỏi trắc nghiệm; không có phương án trả lời đúng hay có nhiều

phương án trả lời đúng Giá trị p cũng có thể cho thấy kết quả làm bài của các

nhóm thí sinh khác nhau trong cùng một tập hợp (ví dụ: cũng là học sinh lớp 5 nhưng của những tỉnh có đặc trưng khác nhau như thành phố, nông thôn, miền núi )

Khi phân tích câu hỏi trắc nghiệm, giá trị p được tính cho từng phương án

trả lời, bằng tỷ lệ giữa số thí sinh lựa chọn từng phương án (ví dụ: số thí sinh chọn phương án A) với tổng số thí sinh (kể cả số thí sinh bỏ sót hay không trả lời câu hỏi đó)

Bảng 1 Giá trị p của một câu hỏi trắc nghiệm

Phương án trả lời A B C* D Bỏ sót Tổng

Số lượng 28 17 197 41 3 286 Giá trị p 0.10 0.06 0.69 0.14

Ghi chú: * ký hiệu phương án trả lời đúng

Trong ví dụ này, đa số thí sinh trả lời được câu hỏi này và đã lựa chọn phương án C Giá trị p = 0.69 cho thấy câu hỏi này không quá dễ và không quá khó đối với nhóm thí sinh này Tất cả các phương án đều thu hút được một số thí sinh lựa chọn, không có phương án nào có giá trị p = 0 Điều đó có nghĩa không một phương án nào bị thí sinh loại trừ Điều này chứng tỏ câu hỏi trắc nghiệm này có chất lượng, tuy nhiên, phương án B có giá trị p = 0.06 là quá bé chứng tỏ phương án này chỉ thu hút được một số ít thí sinh có năng lực thấp, với hầu hết những thí sinh có năng lực cao hơn thì phương án B là phương án sai tương đối

rõ, bị nhiều thí sinh loại trừ Phương án B cần được nghiên cứu thêm để giảm khả năng loại trừ quá lộ liễu

Một câu hỏi có thể quá dễ đối với nhóm thí sinh này và quá khó đối với nhóm thí sinh khác Người viết câu hỏi thi kiểm tra cần quan tâm đến giới hạn

thích hợp của giá trị p đối với một nhóm thí sinh nhất định Theo Osterlind

(1989), giá trị p nên nằm trong khoảng từ 0.40 đến 0.80 Dưới 0.4 nghĩa là câu hỏi quá khó và trên 0.80 là quá dễ đối với nhóm thí sinh Người viết câu hỏi thi kiểm tra cố gắng điều chỉnh để độ khó của câu hỏi rơi vào trong khoảng 0.4-0.8 cho phù hợp với đối tượng dự thi kiểm tra

Bảng 2 Giá trị p của một câu hỏi trắc nghiệm kém chất lượng

Trong ví dụ này, giá trị p chỉ ra một số lỗi trong câu hỏi thi kiểm tra Rõ ràng,

thí sinh bị nhầm lần khi trả lời câu hỏi này Phương án A (lựa chọn đúng) lại thu hút được ít thí sinh (27%) hơn phương án C (lựa chọn sai) Phương án B không thu hút được một thí sinh nào, chứng tỏ phương án này sai quá lộ liễu nên bị loại trừ Hơn nữa, khoảng 6% thí sinh không trả lời câu hỏi này cũng là một dấu hiệu

về sự sai sót của câu hỏi Những điều trên chỉ ra rằng, câu hỏi này sai rất nghiêm trọng, không chấp nhận được

Mặc dù những cách lý giải ở trên mới chỉ dựa trên lý thuyết đánh giá cổ điển, chưa hoàn toàn phù hợp với lý thuyết đánh giá hiện đại, nhưng những

thông tin do giá trị p đưa đến cũng rất bổ ích để suy xét chất lượng của câu hỏi

thi kiểm tra

Người đọc có thể thấy rằng câu hỏi có nhiều sai sót chắc chắn không phải

do những chuyên gia giỏi biên soạn và họ không phải là người biết làm việc nghiêm túc Người đọc cần lưu ý rằng các lỗi ẩn chứa trong mỗi câu hỏi không

dễ phát hiện ra trừ phi các câu hỏi đó được phân tích kỹ lưỡng Viết câu hỏi thi kiểm tra mới chỉ là việc làm bước đầu, nó đòi hỏi phải được thử nghiệm trước khi sử dụng và sau mỗi lần tổ chức thi kiểm tra cần được phân tích kỹ lưỡng để rút kinh nghiệm và đồng thời để lý giải được kết quả làm bài của thí sinh

2.3 Nhầm đáp án

Một thuộc tính bổ ích khác của giá trị p là giúp xác định những câu hỏi bị

nhầm đáp án Rất tiếc, nhầm đáp án là một hiện tượng khá phổ biến trong quá trình viết câu hỏi trắc nghiệm Trong nhiều trường hợp, những nhầm lẫn này có thể hiểu được Nhiều khi, sự đơn điệu và buồn tẻ trong việc viết câu hỏi thi kiểm tra làm các chuyên gia thiếu tập trung, dẫn đến nhầm đáp án Những lúc khác, sự

mơ hồ, thiếu rõ ràng trong việc hành văn, diễn đạt câu hỏi đã gây khó khăn cho việc xác định phương án trả lời đúng Khi viết những câu hỏi để đánh giá những

kỹ năng của quá trình nhận thức phức tạp, sự phức tạp về nội dung hoặc thuật ngữ có thể dẫn đến xác định sai đáp án

Những câu hỏi thi kiểm tra bị nhầm đáp án thường bị phát hiện khi người

soạn câu hỏi xem bảng giá trị p và thấy có sự khác biệt lớn giữa dự định và thực

tế trả lời của thí sinh Ví dụ: Bảng 3 cung cấp thông tin thống kê liên quan đến 1 câu hỏi trên cơ sở kết quả làm bài của thí sinh và cho thấy, người soạn câu hỏi này cho rằng phương án B là đáp án của câu hỏi nhưng thực tế đa số thí sinh đều

chọn phương án A Tuy đây là câu hỏi tốt vì các phương án B, C và D có giá trị

p tương đối gần nhau và cùng khác biệt với giá trị p của phương án A, nhưng

đây lại là một câu hỏi nhầm đáp án Người soạn câu hỏi cần nghiên cứu lại vì thông tin thống kê cho thấy phương án A mới là đáp án

Bảng 3 Giá trị p của một câu hỏi nhầm đáp án Phương án trả lời A B* C D Bỏ sót Tổng

Số lượng 202 31 28 25 0 286

Giá trị p 0.71 0.11 0.10 0.09

Ghi chú: * ký hiệu phương án trả lời đúng

2.4 So sánh các giá trị p giữa các nhóm đạt kết quả cao và kết quả thấp

Đôi khi cũng nên so sánh các nhóm thí sinh khác nhau để xác định các thuộc tính của câu hỏi thi kiểm tra Nhằm mục đích đó, hai nhóm thí sinh được chọn ra: một nhóm có kết quả cao và nhóm khác có kết quả thấp Cụ thể, nhóm thứ nhất bao gồm 27% số thí sinh làm bài test có tổng điểm bài test cao nhất Nhóm thứ hai bao gồm 27% số thí sinh làm bài test có tổng điểm bài test thấp nhất Kelly (1939) cho rằng con số 27 có thể cho một chỉ số ổn định về sự khác nhau giữa hai nhóm có năng lực cao và thấp Sự so sánh này nhằm làm rõ mức

độ khác biệt kết quả làm bài của hai nhóm thí sinh có năng lực khác nhau

Bảng 4 Giá trị p của các nhóm thí sinh đạt kết quả cao và kết quả thấp

Phương án trả lời A B* C D Bỏ sót Nhóm trên 0.29 0.61 0.08 0.02 1

Nhóm dưới 0.31 0.27 0.31 0.11 6

Sự khác nhau -0.2 0.34 -0.23 -0.9

Ghi chú: * ký hiệu phương án trả lời đúng

Bảng 4 cho thấy câu hỏi này không khó đối với nhóm trên nhưng khá khó đối với nhóm dưới Sự khác nhau giữa hai nhóm khi lựa chọn phương án B là khá lớn Sự khác nhau ở các phương án A, C và D cho thấy ít thí sinh ở nhóm trên lựa chọn các phương án này hơn so với nhóm dưới Tuy nhiên, sự khác nhau không đáng kể giữa hai nhóm khi lựa chọn phương án A là dấu hiệu có sự phân biệt không đáng kể giữa hai nhóm này Điều đó chỉ ra rằng phương án A cần được xem lại

3 Kết luận chương 1

Trên đây là cơ sở lý luận để ứng dụng lý thuyết khảo thí cổ điển vào việc phát hiện những câu hỏi thi kiểm tra kém chất lượng Trong khuôn khổ một SKKN chỉ có thể bàn về những ứng dụng cơ bản và cần thiết nhất mà lý thuyết khảo thí cổ điển có thể đem lại Việc nghiên cứu lý thuyết khảo thí cổ điển còn đưa lại nhiều ứng dụng khác giúp ích cho việc nâng cao chất lượng câu hỏi thi kiểm tra[3] Hơn thế nữa, ở mức cao hơn, lý thuyết đánh giá hiện đại còn có nhiều ứng dụng hơn và giúp chúng ta định cỡ câu hỏi thi kiểm tra, từ đó có thể so sánh kết quả làm bài của thí sinh ở những lần thi kiểm tra khác nhau

Chương 2 Phân tích đề thi bằng lý thuyết cổ điển

Phân tích đề thi bằng lý thuyết khảo thí cổ điển có 2 phương pháp như đã nói ở trên Mỗi phương pháp có những ưu điểm và nhược điểm riêng song chúng đề giúp nâng cao chất lượng đề trắc nghiệm Ta có thể chọn một phương pháp thuận tiện nhất để tiến hành phân tích hoặc kết hợp cả 2 phương pháo và phân tích đề thi

Xét về mặt kỹ thuật, phương pháp chuyên gia rất đơn giản và đã được trình bày chi tiết trong phần II chương 1 Trong chương này tác giả tập trung làm rõ thêm phương pháp phân tích thống kê thông qua ví dụ phân tích một đề thi (đã giới thiệu tại mục 4 phần Tổng quan)

1 Độ khó của câu hỏi thi:

Độ khó của câu hỏi thi (P) là tỷ lệ thí sinh trả lời đúng so với tổng số thí sinh tham gia trả lời câu hỏi đó Kết quả phân tích số liệu được thể hiện ở bảng thống kê dưới đây: