Chƣơng 2 : PHƢƠNG PHÁP NGHIÊN CỨU
2.2. Phương pháp thực nghiệm
2.2.3.2. Phân tích định lượng
- Phương pháp phân tích
Kết quả làm bài của học sinh được phân tích định lượng bằng thống kê toán học theo mô hình Rasch với sự hỗ trợ của phần mềm ConQuest.
Việc phân tích các tính chất cơ bản của các câu hỏi và bài kiểm tra là một trong những ứng dụng của phần mềm ConQuest. Nó có thể được sử dụng để hoà hợp mô hình lôgic đơn giản của Rasch với các dữ liệu thu thập được của bài kiểm tra. Phần mềm ConQuest cũng có thể cho biết các số liệu thống kê về các câu hỏi kiểm tra theo truyền thống.
Các file được sử dụng trong mẫu phân tích này là:
run4.cqc -file lệnh
run4.lab - Các nhãn biến của các câu hỏi
run4.shw - Kết quả của phân tích theo mô hình Rasch
run4.itn - Các kết quả phân tích của câu hỏi theo truyền thống
Trong đó các file .cqc, .dat và .lab là các dữ liệu đầu vào để nhập vào phần mềm gồm có 40 câu hỏi và 170 học sinh tham gia trả lời. Kết quả phân tích được xuất đến 2 file là run4.shw và run4.itn.
- Kết quả phân tích
Với file .shw, dữ liệu có được như sau:
+1) Các tham số ước lượng cho mỗi câu hỏi cùng với sai số chuẩn và một số dự đoán về độ tương thích (hoà hợp) của nó với mô hình được thể hiện như sau:
================================================================================ ConConQuest: Generalised Item Response Modelling Software
TABLES OF RESPONSE MODEL PARAMETER ESTIMATES
================================================================================ TERM 1: item
---
VARIABLES UNWEIGHTED FIT WEIGHTED FIT --- --- ---
item ESTIMATE ERROR^ MNSQ CI T MNSQ CI T --- 1 Q1 -0.810 0.134 1.06 ( 0.79, 1.21) 0.6 1.01 ( 0.75, 1.25) 0.1 2 Q2 0.090 0.123 0.90 ( 0.79, 1.21) -0.9 0.92 ( 0.86, 1.14) -1.1 3 Q3 0.387 0.121 0.98 ( 0.78, 1.22) -0.2 0.99 ( 0.88, 1.12) -0.2 4 Q4 1.778 0.123 1.07 ( 0.78, 1.22) 0.7 1.04 ( 0.86, 1.14) 0.6 5 Q5 -0.005 0.124 1.31 ( 0.78, 1.22) 2.6 1.17 ( 0.85, 1.15) 2.1 6 Q6 1.379 0.121 0.97 ( 0.78, 1.22) -0.2 0.94 ( 0.88, 1.12) -1.0 7 Q7 -1.983 0.152 1.06 ( 0.79, 1.21) 0.6 0.98 ( 0.50, 1.50) 0.0 8 Q8 1.103 0.120 0.86 ( 0.78, 1.22) -1.3 0.87 ( 0.89, 1.11) -2.5 9 Q9 -1.296 0.142 0.78 ( 0.79, 1.21) -2.1 0.94 ( 0.67, 1.33) -0.3 10 Q10 1.671 0.123 0.93 ( 0.78, 1.22) -0.6 0.94 ( 0.87, 1.13) -0.9 11 Q11 -1.867 0.151 1.07 ( 0.79, 1.21) 0.6 1.02 ( 0.52, 1.48) 0.2 12 Q12 0.229 0.122 0.98 ( 0.79, 1.21) -0.2 1.00 ( 0.87, 1.13) -0.0 13 Q13 0.394 0.121 1.00 ( 0.79, 1.21) 0.1 1.00 ( 0.88, 1.12) -0.1 14 Q14 0.313 0.124 0.96 ( 0.78, 1.22) -0.3 0.99 ( 0.87, 1.13) -0.2 15 Q15 -2.610 0.160 0.85 ( 0.78, 1.22) -1.4 0.99 ( 0.27, 1.73) 0.1 16 Q16 -1.857 0.151 0.72 ( 0.78, 1.22) -2.8 0.97 ( 0.52, 1.48) -0.1 17 Q17 -2.163 0.155 0.66 ( 0.78, 1.22) -3.5 0.96 ( 0.43, 1.57) -0.0 18 Q18 0.267 0.123 1.00 ( 0.78, 1.22) 0.0 1.01 ( 0.87, 1.13) 0.1 19 Q19 -2.340 0.157 0.56 ( 0.79, 1.21) -4.8 0.94 ( 0.38, 1.62) -0.1 20 Q20 -0.393 0.132 1.07 ( 0.77, 1.23) 0.6 1.01 ( 0.79, 1.21) 0.1 21 Q21 1.005 0.121 1.22 ( 0.78, 1.22) 1.9 1.20 ( 0.89, 1.11) 3.5 22 Q22 -0.272 0.128 1.14 ( 0.78, 1.22) 1.2 1.05 ( 0.82, 1.18) 0.5 23 Q23 0.862 0.121 0.82 ( 0.78, 1.22) -1.7 0.84 ( 0.89, 1.11) -3.2 24 Q24 -0.120 0.125 0.84 ( 0.79, 1.21) -1.5 0.91 ( 0.84, 1.16) -1.2 25 Q25 0.900 0.121 1.18 ( 0.78, 1.22) 1.6 1.15 ( 0.90, 1.10) 2.7 26 Q26 -0.383 0.130 1.06 ( 0.78, 1.22) 0.6 1.03 ( 0.80, 1.20) 0.4 27 Q27 -0.462 0.131 0.96 ( 0.78, 1.22) -0.3 0.97 ( 0.79, 1.21) -0.2 28 Q28 -0.036 0.125 0.95 ( 0.78, 1.22) -0.4 0.98 ( 0.85, 1.15) -0.3 29 Q29 -1.549 0.146 0.70 ( 0.79, 1.21) -3.0 0.92 ( 0.61, 1.39) -0.4 30 Q30 0.491 0.121 1.08 ( 0.78, 1.22) 0.8 1.07 ( 0.88, 1.12) 1.1 31 Q31 -0.049 0.126 1.00 ( 0.78, 1.22) 0.0 0.99 ( 0.84, 1.16) -0.1 32 Q32 2.617 0.135 0.90 ( 0.78, 1.22) -0.8 0.97 ( 0.75, 1.25) -0.2 33 Q33 -0.706 0.133 0.92 ( 0.78, 1.22) -0.7 0.93 ( 0.77, 1.23) -0.5 34 Q34 2.976 0.139 2.26 ( 0.78, 1.22) 8.6 1.28 ( 0.69, 1.31) 1.7
35 Q35 1.329 0.121 1.02 ( 0.78, 1.22) 0.2 1.02 ( 0.89, 1.11) 0.3 36 Q36 0.128 0.124 0.89 ( 0.78, 1.22) -1.0 0.95 ( 0.86, 1.14) -0.7 37 Q37 0.033 0.124 0.89 ( 0.78, 1.22) -1.0 0.94 ( 0.85, 1.15) -0.8 38 Q38 0.860 0.122 0.93 ( 0.78, 1.22) -0.6 0.95 ( 0.89, 1.11) -0.9 39 Q39 -0.196 0.127 0.90 ( 0.78, 1.22) -0.9 0.95 ( 0.83, 1.17) -0.6 40 Q40 0.287* 0.820 1.08 ( 0.78, 1.22) 0.7 1.06 ( 0.87, 1.13) 0.9 ---
An asterisk next to a parameter estimate indicates that it is constrained Separation Reliability = 0.990 Chi-square test of parameter equality = 3294.17, df = 39, Sig Level = 0.000 ^ Quick standard errors have been used ================================================================================ * Nhận xét: + Độ tin cậy: 0,99 + Độ tương thích MNSQ: sự trùng khớp giữa số liệu thực nghiệm về độ khó của câu hỏi và mô hình toán nằm trong khoảng cho phép +) ước lượng về các tham số của mẫu. ================================================================================ ConConQuest: Generalised Item Response Modelling Software
TABLES OF POPULATION MODEL PARAMETER ESTIMATES ================================================================================ REGRESSION COEFFICIENTS Regression Variable CONSTANT 0.936 ( 0.060)
---
An asterisk next to a parameter estimate indicates that it is constrained =============================================== COVARIANCE/CORRELATION MATRIX Dimension Dimension 1 --- Variance 0.609 ( 0.066) ---
An asterisk next to a parameter estimate indicates that it is constrained =========================================== RELIABILITY COEFFICIENTS --- Dimension: (Dimension 1) ---
MLE Person separation RELIABILITY: Unavailable
WLE Person separation RELIABILITY: Unavailable
EAP/PV RELIABILITY: 0.793
---
* Nhận xét:
+ Độ ổn định năng lực thí sinh: 0.936 + Độ tin cậy: 0,793
+) các tham số đo độ khó câu hỏi
================================================================================ ConConQuest: Generalised Item Response Modelling Software
MAP OF LATENT DISTRIBUTIONS AND RESPONSE MODEL PARAMETER ESTIMATES
================================================================================ Terms in the Model (excl Step terms) +item --- 4 | | | | | | | | | | | | | | | | | | XXXXX| | 3 X|34 | X| | XXX| | X|32 | XXXXXXXXXX| | XXXXXXXXXXX| | XXXXXX| | XXXXXXXX| | XXXXXXXXXXXX| | 2 XXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXX|4 | XXXXXXXXXXXXXXXXXXXXX|10 | XXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXX|6 | XXXXXXXXXXXXXXXXXXXX|35 | XXXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|8 | 1 XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|21 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXX|23 25 38 | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX| | XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX|30 | XXXXXXXXXXXXXXXXXXXXXXXXXXXX|3 13 14 | XXXXXXXXXXXXXXXXXXXXXX|12 18 40 | XXXXXXXXXXXXXXX|36 | 0 XXXXXXXXXXXXXXXXX|2 37 | XXXXXXXXXXXXXXXXXXXXXXXXX|5 28 31 | XXXXXXXXXXXXXXXXXXXX|24 39 | XXXXXXXXX|22 | XXXX|20 26 | XX|27 | XX| | XXX|33 | XXXX|1 | XXXXX| | -1 X| | | | X| | |9 | | | |29 | | | | | |11 16 | | | -2 |7 | |15 17 19 | ======================================================================================= Each 'X' represents 0.3 cases
Ở cột bên phải thể hiện độ khó của câu hỏi từ thấp đến cao. Cột bên trái biểu diễn phân bố các năng lực tiềm tàng của thí sinh.
* Nhận xét:
Về độ khó của câu hỏi: bài kiểm tra phân bố câu hỏi từ dễ đến khó và có xu hướng theo phân bố chuẩn. Các câu hỏi tập trung xung quanh giá trị trung bình. o Các câu hỏi rất khó gồm: 32, 34 o Các câu hỏi khó gồm: 4, 10, 6, 35, 8, 21, 23, 25, 38, 30, 3, 13, 14, o Các câu trung bình gồm: 12,18,40,36,2,37,5, 28, 31, 24, 39, 22, 20, 26, 27 o Các câu hỏi dễ gồm: 33, 1, 9, 29, 11, 16 o Các câu hỏi rất dễ gồm: 15, 17, 19, 7
Về năng lực tiềm tàng của thí sinh: năng lực tiềm tàng của thí sinh được phân bố theo dạng phân bố chuẩn và có xu hướng dịch về phía trung bình khá. Dạng phân bố này có thể bị ảnh hưởng bởi một số yếu tố như: đối tượng học sinh thuộc các lớp có thành tích học tốt ở trường, ngoài ra, do số lượng học sinh đông nên trong quá trình làm bài một số học sinh vẫn trao đổi thảo luận được với nhau.
Với file Run4.itn, mỗi câu hỏi được phân tích với các chỉ số về độ khó, độ phân biệt và điểm nhị phân theo cách cổ điển.
VD. Với câu hỏi số 6
6. Trường hợp nào sau đây được xem là thể đột biến:
A. Người bị bệnh thiếu máu hồng cầu hình liềm
B. Người mang gen đột biến gây bệnh thiếu máu hồng cầu hình liềm C. Người bình thường sinh con bị bệnh
tem 6 ---
item:6 (Q6) Cases for this item 163 Discrimination 0.34 Item Threshold(s): 1.38 Weighted MNSQ 0.94 Item Delta(s): 1.38
---
Label Score Count % of tot Pt Bis t (p) PV1Avg:1 PV1 SD:1 --- 1 1.00 66 40.49 0.36 4.97(.000) 1.36 0.84 2 0.00 62 38.04 -0.27 -3.56(.000) 0.64 0.72 3 0.00 28 17.18 -0.08 -1.01(.313) 0.77 0.82 4 0.00 7 4.29 -0.09 -1.11(.268) 0.61 0.56 ==============================================================================
Các phương án A, B, C, D được gán nhãn là 1,2,3,4 với đáp án đúng là A (1). Cột “Score” cho biết điểm số gán cho từng đáp án (đúng = 1, sai = 0)
Cột “Count” cho biết số lượng thí sinh lựa chọn đáp án Cột “% of tot” cho biết tỉ lệ % thí sinh lựa chọn đáp án
Cột “Pt Bis” cho biết tương quan điểm nhị phân với mỗi mã. Theo cách tính cổ điển một câu hỏi có độ phân biệt cao thì tương quan điểm nhị phân của phương án sai nhỏ hơn 0 và của phương án đúng lớn hơn 0
Như vậy, câu hỏi số 6 là một câu hỏi tốt với độ khó 40,4 và độ phân biệt 0,36. Kết quả về độ phân biệt của các câu hỏi:
- Độ phân biệt cao (> 0.3): 2, 3, 6, 8, 9, 10, 12, 13, 14, 23, 24, 27, 28, 29, 32, 34, 36, 37, 38, 39
- Độ phân biệt trung bình (0.2 – 0.3): 1, 4, 16, 17, 18, 19, 20, 30, 31, 35 - Độ phân biệt thấp (<0.2): 5, 7, 11, 15, 21, 22, 25, 26, 40
Ngoài ra phần mềm ConQuest còn cung cấp dữ liệu về đường cong đặc tính câu hỏi (item characteristic curve) thông qua lệnh plot icc. Đường cong đặc tính câu hỏi cho phép so sánh giữa đường cong đặc tính theo thực tế (đường nét đứt) với đường cong đặc tính của mô hình (đường thẳng trơn).
Kết quả phân tích cho thấy các câu hỏi đều có đường cong đặc tính thực tế có sự phù hợp với đường cong đặc tính của mô hình. Sau đây là hình ảnh đặc tính câu hỏi của câu 6 như phân tích ở trên
Hình 2.1. đường cong ICC của câu hỏi số 6
Hình 2.1. thể hiện rằng câu hỏi số 6 có sự phù hợp tương đối cao giữa đường cong thực tế và đường cong của mô hình.
Chi tiết các số liệu phân tích chất lượng cho từng câu hỏi được thể hiện ở phụ lục đính kèm luận văn.
* Tiểu kết chƣơng 2:
Đề tài đã phối hợp sử dụng nhiều phương pháp nghiên cứu để giải quyết nhiệm vụ nghiên cứu đề ra. Phương pháp nghiên cứu lý thuyết đã tập hợp và hệ thống hóa các tài liệu đa dạng và cập nhật để làm rõ các khái niệm và xây dựng cơ sở lý luận cho đề tài. Phương pháp nghiên cứu thực nghiệm được triển khai với quy trình chặt chẽ. Đề tài luôn chú trọng đến vấn đề khảo sát định tính câu hỏi trước khi triển khai thực nghiệm lấy số liệu phân tích định lượng. Việc sử dụng công nghệ phần mềm ConQuest hiện khá mới mẻ ở Việt Nam và nền tảng về lý thuyết xác suất thống kê phức tạp của nó là một thách thức trong quá trình nghiên cứu. Nhưng đề tài đã khai thác được hiệu quả của chương trình này để đưa có được số liệu định lượng về chất lượng câu hỏi một cách chi tiết và đáng tin cậy.