6. Phơng pháp nghiên cứu
1.4. Phơng pháp xác định các chỉ tiêu định lợng của câu trắc nghiệm, bà
câu trắc nghiệm, bài trắc nghiệm dạng MCQ
1.4.1. Xác định độ khó (hoặc độ dễ) của câu hỏi
Tỉ lệ thí sinh trả lời đúng cho ta số đo gần đúng về độ khó hoặc độ dễ của câu hỏi và thờng đợc ký hiệu là Fv (F value). Công thức tính độ khó đợc các tác giả thống nhất theo công thức sau:
Fv = x 100 (%) (Công thức 1.2)
Theo Quentin Stodola và Kalmer Stordahl, nếu độ khó của câu hỏi sẽ giúp cho việc phân tán điểm số vậy thì các câu hỏi nên khó đến mức nào? [38]. Nếu phần lớn các câu hỏi là quá dễ hay quá khó thì các điểm số sẽ có xu hớng là rất cao hoặc rất thấp và nh vậy điểm số sẽ không rãi đều ra (độ phân tán thấp). Mặt khác, nếu các câu hỏi nói chung ở mức độ khó trung bình và dới mức độ có độ phân biệt hoàn hảo (độ phân biệt hoàn hảo: mọi ngời đạt điểm cao trả lời đúng, mọi ngời đạt điểm thấp trả lời sai).
Số thí sinh làm đúng Tổng số thí sinh dự thi
Theo Patrick Griffin [15], thang phân loại độ khó (hoặc độ dễ) đợc quy ớc sơ bộ nh sau:
- Câu dễ: 70 đến 100% thí sinh trả lời đúng. - Câu tơng đối khó: 30 - 70% thí sinh trả lời đúng. - Câu khó: 0 - 30% thí sinh trả lời đúng.
Theo GS. Đinh Quang Báo, PGS. Lê Đình Trung và TS. Vũ Đình Luận [27], cần phân biệt độ khó chi tiết hơn và nên theo thang phân loại kết quả học tập nh sau:
- Câu dễ: 80 đến 100% thí sinh trả lời đúng. - Câu trung bình: 60 đến 79% thí sinh trả lời đúng. - Câu tơng đối khó: 40 đến 59% thí sinh trả lời đúng. - Câu khó: 20 đến 39% thí sinh trả lời đúng. - Câu rất khó: Dới 20% thí sinh trả lời đúng.
Trong KTĐG thờng dùng các câu trắc nghiệm có độ khó từ 20-80%. Những câu có độ khó dới 20% có thể khai thác để sử dụng với mục đích khác nhau [15], [38], [42]. Hiện nay, việc sử dụng trắc nghiệm thờng đi đôi với chơng trình cài đặt phần mềm vi tính nên việc lựa chọn câu hỏi trở nên đơn giản hơn, vì vậy việc phân loại 5 bậc theo thang phân loại KQHT nh trên sẽ hiệu dụng và chính xác hơn nhiều.
1.4.2. Kiểm định độ phân biệt của các câu hỏi
Theo Quentin Stodola và Kalmer Stordahl, một câu hỏi có thể gọi là phân biệt đợc theo ý nghĩa tích cực nếu những ai trả lời đúng thì có xu hớng đạt điểm cao theo một tiêu chí về điều mà bài trắc nghiệm có ý định đo lờng so với những ngời trả lời sai. Trong bài trắc nghiệm về thành tích học tập thờng là tổng số điểm bài trắc nghiệm có chứa nhiều câu hỏi, câu hỏi này sẽ đợc coi là có khả năng phân biệt nếu những ngời làm tốt toàn bộ bài trắc nghiệm cũng sẽ làm tốt câu hỏi đó hơn so với những ngời làm kém [38]. Theo Patrick Griffin độ phân biệt (chỉ số phân biệt: discrimination - DI) của các câu hỏi dùng để đo khả năng phân biệt rõ kết quả
làm bài của các nhóm thí sinh có năng lực khác nhau, tức là khả năng phân biệt đ- ợc nhóm học sinh giỏi và nhóm học sinh yếu [15].
Cũng theo Quentin Stodola [38] và một số tác giả khác [15], [42],...thì độ phân biệt của các câu hỏi (DI - Index of discrimination) đợc tính theo công thức 1.3:
DI =
Thang phân loại độ phân biệt đợc quy ớc nh sau:
- Tỉ lệ thí sinh nhóm khá và nhóm yếu làm đúng nh nhau thì DI = 0
- Tỉ lệ thí sinh nhóm khá làm đúng nhiều hơn nhóm yếu thì độ phân biệt là dơng (độ DI dơng nằm trong khoảng từ 0 - 1).
- Tỉ lệ thí sinh nhóm khá làm đúng ít hơn nhóm yếu thì DI âm. Những câu hỏi có DI > 0,2 là đạt yêu cầu sử dụng, loại bỏ những câu có DI âm.
1.4.3. Xác định độ tin cậy tổng thể của bài trắc nghiệm
Độ tin cậy thờng đợc định nghĩa nh là mức độ chính xác của phép đo. Về mặt lý thuyết, độ tin cậy có thể đợc xem nh là một số đo về sự sai khác giữa điểm số quan sát đợc và điểm số thực. Điểm số quan sát đợc là điểm số mà HS trên thực tế đã có đợc, còn điểm số thực là điểm số lý thuyết mà HS đó sẽ phải có, nếu không mắc phải những chỉ số trong đo lờng. Nh vậy, độ tin cậy của một bài trắc nghiệm có thể đợc định nghĩa nh là độ tơng quan giữa hai hay nhiều bộ điểm số của bài trắc nghiệm tơng đơng đối với cùng một nhóm ngời [38].
Trong kỹ thuật trắc nghiệm có rất nhiều phơng pháp xác định độ tin cậy nh: tiến hành bài trắc nghiệm đó hai lần cách nhau một khoảng thời gian ngắn (phơng pháp trắc nghiệm - trắc nghiệm lại) hoặc bằng cách sử dụng các điểm số từ hai bài trắc nghiệm đã đợc xây dựng sao cho chúng song trùng về nội dung (phơng pháp các dạng thức tơng đơng) hoặc bằng phơng pháp chia một bài trắc nghiệm thành các phần tơng đơng để so sánh điểm số điểm số của một phần với các điểm số của các phần khác (phơng pháp trắc nghiệm phân nhỏ hay phơng pháp phù hợp nội tại)
Số thí sinh khá làm đúng 27% - Số thí sinh yếu làm đúng 27% 27% tổng số thí sinh
[38]. Mỗi phơng pháp đều có u và khuyết điểm riêng, đồng thời cũng có công thức tính toán riêng biệt.
Trong đề tài nghiên cứu của mình, chúng tôi chọn phơng pháp xác định độ tin cậy dựa vào mức độ thuần nhất của câu hỏi và mối quan hệ nội tại của các câu hỏi trong bài TNKQ. Công thức này đợc hai tác giả: Kuder và Richrdson đề nghị năm 1937 và đợc phổ biến rộng trong các SGK viết về trắc nghiệm [42]. Theo Patrick Griffin, đối với các bài trắc nghiệm thuần nhất về mặt nội dung thì có mối quan hệ toán học rất gần gũi giữa mức độ khó của câu hỏi với độ tin cậy của bài trắc nghiệm [15]. Nếu bài trắc nghiệm các MCQ có độ khó khác nhau thì độ tin cậy (r- Reliability) tính theo công thức Kuder- Richrdson 20 (KR20):
r = 1 − k k −∑ = 2 1 1 σ k i pq (Công thức 1.4)
Nếu độ khó MCQ của bài trắc nghiệm gần bằng nhau thì độ tin cậy tính theo công thức Kuder- Richrdson 21(KR21):
r = 1 − k k − − 2 1 1 σ à à k (Công thức 1.5)
Trong đó: - p là tỉ lệ các câu trả lời đúng, q là tỉ lệ các câu trả lời sai. - k là số lợng câu hỏi trắc nghiệm.
- à là điểm trung bình của bài trắc nghiệm tổng thể.
- σ2là phơng sai bài trắc nghiệm, là biến lợng điểm số các bài kiểm tra.
Khi xác định độ tin cậy của các MCQ có độ khó khác nhau, chúng tôi sử dụng công thức KR20 tính r cho bài khảo sát, KR21 tính r cho tổng thể câu hỏi.
1.4.4. Xác định độ tin cậy tổng thể của bộ MCQ
Điểm trung bình của trắc nghiệm tổng thể từ một bài trắc nghiệm đợc tính theo công thức: i i i k X K.___ = à (Công thức 1.6)
Trong đó: - ài là điểm trung bình của trắc nghiệm tổng thể từ 1 bài trắc nghiệm con i.
- K là số câu hỏi của bài trắc nghiệm tổng thể. -
i
X____ là điểm trung bình của bài trắc nghiệm con i.
- ki là số câu hỏi của bài trắc nghiệm con i.
Xác định phơng sai của điểm trắc nghiệm tổng thể từ các bài trắc nghiệm con (δ2chung)
Phơng sai của điểm trắc nghiệm tổng thể từ các bài trắc nghiệm con đợc tính theo công thức sau:
i 2 δ = ( ) ( ) ( 1)( 1) 1 . 1 2 − − − − − ∑ = i i i k i i i i n k k V k K S K K ni i (Công thức 1.7)
Trong đó: - δ2i là phơng sai tổng thể từ bài trắc nghiệm con i.
- 2
i
S là phơng sai tổng thể của bài trắc nghiệm con i. - ∑ = i k i i V 1
là tổng phơng sai của từng câu hỏi trên bài trắc nghiệm con i. - K là số câu hỏi trong bài trắc nghiệm tổng thể.
- ki là số câu hỏi trong bài trắc nghiệm con i. - ni là số thí sinh dự bài trắc nghiệm con i, [17].
Để xác định phơng sai tổng thể từng bài trắc nghiệm nhỏ (si) đợc tính theo công thức s2= 1 . 2 1 ____ ∑ = − n i i X x n ni (công thức 1.8)
Trong đó: - n tổng số học sinh tham gia khảo sát - xi điểm số theo thang điểm 10 - ni số bài kiểm tra có điểm số là xi
-X điểm trung bình của một tập hợp
Tổng phơng sai của từng câu hỏi trên bài trắc nghiệm con i ( 2
i
S ): Khi chấm điểm các bài trắc nghiệm dạng MCQ chỉ có hai loại điểm: đúng (1 điểm) và sai (0 điểm) ứng với câu hỏi j sẽ là: Pj (1- Pj). Trong đó Pj là tỉ số thí sinh trả lời đúng câu hỏi j. Vì vậy: ( j) ki i j ki i i P P V =∑ − ∑ = = 1 1
1 (công thức 1.9) [Patrick Griffin ]
Từ kết quả điểm trung bình của các bài trắc nghiệm nhỏ, chúng tôi tính đợc phơng sai của trắc nghiệm tổng thể.
1.4.5. Mối quan hệ giữa độ giá trị và độ tin cậy
Trong kỹ thuật trắc nghiệm cần có sự phân biệt rõ hai khái niệm: “độ tin cậy” và “độ giá trị”.
Độ giá trị thông thờng phản ánh mức độ mà một bài trắc nghiệm đo đợc cái mà nó định đo và độ giá trị có ích nhất trong mỗi hoàn cảnh đã cho tuỳ thuộc vào mục đích vì nó mà ngời ta đã sử dụng bài trắc nghiệm [38].
Độ tin cậy là đại lợng phản ánh mức độ chính xác của phép đo nhờ bài trắc nghiệm [38], tuy nhiên giữa độ giá trị và độ tin cậy lại có liên quan với nhau thể hiện ở hai vấn đề sau:
Độ giá trị đòi hỏi phải có độ tin cậy: để có giá trị, một bài trắc nghiệm phải là tơng đối tin cậy bởi lẽ nếu một điểm trắc nghiệm quá kém chính xác, thì điểm đó không thể có giá trị và nh vậy để một bài trắc nghiệm có độ giá trị thì có độ tin cậy.
Độ tin cậy lại không đảm bảo cho độ giá trị: trong khi độ tin cậy là một điều kiện tiên quyết cần thiết cho độ giá trị, thì độ tin cậy lại không đảm bảo cho độ giá trị. Có thể có một bài trắc nghiệm có độ tin cậy hoàn hảo song lại có độ giá trị rất thấp hoặc không có giá trị, điều này phụ thuộc vào sự hợp lý và mục đích sử dụng bài trắc nghiệm đó. Chính vì mối quan hệ đó mà khi đánh giá một bài trắc nghiệm ngời ta xem xét rất kỹ hai yếu tố quan trọng này, sự ớc lợng về các đặc tr- ng thờng đợc nêu ra nh là các hệ số tơng quan. Khi đánh giá về độ giá trị thì sự phân tích về nội dung thờng quan trọng hơn là các số liệu thống kê, khi đánh giá về độ tin cậy thì nên xem xét đến sai số chuẩn của phép đo cũng nh là các chỉ số để đảm bảo độ tin cậy của bài trắc nghiệm.