Việc sử dụng hiệu quả hết các tính năng của IATA cần cả một quá trình dài, bài viết này hướng tới người mới bắt đầu và muốn sử dụng phần mềm một cách căn bản nhất. IATA có thể xử lý nhiều dạng dữ liệu khác nhau nhƣ Access Excel SPSS… với điều kiện dữ liệu đó đƣợc xây dựng đúng cấu trúc. Dữ liệu được tạo bởi các phần mềm như Access SPSS thường có cấu trúc phù hợp. Chúng tôi chọn phần mềm SPSSStatistics 18 để định dạng dữ liệu kết quả chấm bài thi trắc nghiệm của sinh viên.
Chúng tôi cần dữ liệu: đề thi TNKQ gồm 32 câu hỏi đƣợc sử dụng trong các kì thi được tổ chức tại trường Đại học Công nghiệp Thực phẩm Tp. Hồ Chí Minh thời gian gần đây (đề thi này đƣợc lấy từ ngân hàng đề thi TNKQ môn Toán cao cấp A1, trích từ phần mềm MC Bank), một file chứa trả lời câu hỏi TNKQ của sinh viên và một file đáp án của đề thi tương ứng.
Phòng Khảo thí và Đảm bảo chất lượng của trường cung cấp cho chúng tôi các đề thi file word, phần trả lời của sinh viên và đáp án của các đề thi tương ứng file excel. Chúng tôi xử lí các file excel nhận đƣợc theo đúng cấu trúc để có thể nhập vào phần mềm SPSS.
Ví dụ trong đề thi cuối học kì 1 năm học 2016 – 2017 có 1742 sinh viên dự thi, câu dễ nhất là câu số 11:
Câu 11: Cho . Tính
A. B. C. D.
Ở câu này, có 1492 SV trả lời đúng 72 SV trả lời B, 119 SV trả lời C và 59 SV trả lời D. Độ phân biệt của câu hỏi này là 0,38 chấp nhận đƣợc.
Câu khó nhất là câu số 8:
2 3 3 2
z x y x y z
x
2x 6xy 2x 3y y3 2x 3y2 3y 3y2 3x2
36 Câu 8: Xét tính liên tục của hàm số
A. trên B. trên C. tại (0;0) D. trên
Ở câu này, chỉ có 293 SV trả lời đúng; tuy nhiên độ phân biệt chỉ là 0,13. Vì vậy cần xem lại nội dung các phương án trả lời của câu hỏi này.
Câu hỏi có độ phân biệt lớn nhất là câu số 30 độ phân biệt là 0,53:
Câu 30: Tính tích phân với là đoạn thẳng nối từ đến
A. B. C. D.
Với câu hỏi này, có 933 SV trả lời đúng độ khó là 0,54.
Để có thể có các kết quả đó chúng tôi xử lí dữ liệu theo các bước dưới đây:
3.1. Nhập các thông tin của sinh viên và kết quả làm bài vào phần mềm SPSSStatistics18 theo định dạng sau và lưu file dưới dạng *.sav
3.2. File đáp án để định dạng excel nhƣ sau
2
2 2 ( , ) (0; 0) ( , )
0 ( , ) (0; 0)
xy x y
f x y x y
x y
2 2 \ {(0; 0)} \ {0}
2 ( )L
x dx xydy ( )L A(0; 0) B(1;1)
4 3
1 3
3 2
2 3
37
Nếu dữ liệu đƣợc định dạng bởi file excel thì cần chú ý vùng dữ liệu đƣợc tính từ ô đầu tiên (A1) của bảng dữ liệu và không đƣợc chứa các cột hay các dòng trống.
3.3. Vào menu chính của IATA, chọn thẻ “Response data analysis”. Chọn “Open File” nhập đường dẫn file TCC A1.sav, rồi chọn “Next”.
Nhấn “Open file” và nhập đường dẫn file đáp án key TCC A1.xlsx vào.
Rồi chọn “Next”. Chọn đánh dấu ô “Do Not Score”.
38 Rồi nhấn “Next”. Ta có kết quả phân tích:
3.4. Phần mềm IATA phân tích và phân loại chất lƣợng câu hỏi TNKQ theo các màu xanh, vàng và đỏ. Hình tròn màu xanh tương ứng với câu hỏi chấp nhận được. Hình thoi màu vàng tương ứng với những câu hỏi mà ta cần phải điều chỉnh dựa theo số liệu phần mềm IATA cung cấp như chỉnh sửa câu dẫn, chỉnh sửa các mồi nhử…Tam giác màu đỏ tương ứng với những câu hỏi có lỗi nghiêm trọng đó là các câu có thể quá dễ mà 100% thí sinh đều đánh trúng, hoặc là câu mà 100% thí sinh đánh sai. Các câu này cần phải đƣợc loại bỏ. Tiếp theo là 3 cột bên phải chứa các số liệu thống kê: các chỉ số phân biệt (Discr), hệ số tương quan_ biserial (PBis), và độ khó câu hỏi (PVal). Ba cột cuối cùng gồm: tham số độ dốc (a), các tham số vị trí (b) và tham số đoán mò (c). Độ khó câu hỏi (PVal) dao động giữa 0 và 1. Giá trị 0 chỉ ra rằng không có học sinh nào trả lời một cách chính xác, và giá trị 1 cho thấy rằng tất cả các học sinh đã trả lời một cách chính xác. Đối với chỉ số phân biệt và hệ số tương quan giá trị phải lớn hơn 0 2.