8. Bố cục luận văn
2.4. Thử nghiệm bộ công cụ
2.4.1. Kết quả thử nghiệm lần 1
Trong lần thửu nghiệm thứ 1 chúng tôi tiến hành khảo sát 4 mã đề với tổng 240 câu hỏi. Ở phần kết quả này, chúng tơi sẽ phân tích kĩ kết quả mã đề 101. Kết quả chạy phần mềm với mã đề 102, 103, 104 đƣợc trình bày trong phần phụ lục 5.
Kết quả mã đề 101 lần thử nghiệm 1:
Nhóm câu trả lời tốt gồm những hình trịn màu xanh (câu C2, C3, C4, C6, C7, C11, C14, C18, C29, C33, C34, C35, C38, C41, C43, C44, C50, C51, C53, C54, C56, C59).
Với câu hỏi số 2, ta thấy đây là câu hỏi có độ khóa q dễ p=0,95, nhìn vào đƣờng năng lực thì tồn bộ số học sinh ở mức năng lực cao đều trả lời đúng (100% học sinh lựa chọn phƣơng án A, tƣơng tự nhƣ vậy có đến 94,2% học sinh ở mức năng lực trung bình và 83,7% số học sinh ở mức năng lực thấp đều trả lời đúng câu hỏi này. Vì vậy câu hỏi chƣa có sự phân biệt năng lực giữa các thí sinh (d=0,16).
Hình 2.1: Kết quả chạy phần mềm IATA đề thử nghiệm 101.
Trong nhóm câu hỏi tốt, câu số 35 là câu hỏi có độ khó d=0,4, đây là câu hỏi có mức độ khó trung bình, nhìn vào đƣờng năng lực ta thấy đây là câu hỏi có thể phân biệt đƣợc năng lực của học sinh. Đáp án Đúng của câu hỏi là phƣơng án B, có 58,8% số thi sinh ở mức năng lực cao trả lời đúng, 34,7% số thí sinh wor mức năng lực trung bình lựa chọn và 0% số thí sinh ở mức năng lực thấp lựa chọn phƣơng án đúng này. Các phƣơng án nhiễu của câu hỏi tƣơng đối tối, các thí sinh phân vân và lựa chọn đồng đều.
Nhóm câu hỏi cần xem xét và chỉnh sửa (những câu hỏi hình thoi màu vàng: C9, C20, C30, C36, C40) đây là nhóm câu hỏi nếu chỉnh sửa đƣợc các phƣơng án thì sẽ có kết quả tốt hơn.
Với câu hỏi số 20, độ khó p=0,76 có thể chấp nhận đƣợc, tuy hiên độ phân biệt của câu hỏi tƣơng đối thấp d=0,2. Nhìn vào bảng số liệu ta có thể thấy với câu hỏi này số lƣợng học sinh ở mức năng lực cao lựa chọn phƣơng án đúng là 94,1%, mức năng luwjwc trung bình là 71,1%, tuy nhiên lại có đến 74,4% số học sinh ở mức năng lực thấp trả lời đúng. Vì vậy câu hỏi nên đƣợc xem lại đáp án trả lời đúng và phƣơng án nhiều C vì 0% số học sinh ở cả mức năng lực cao và thấp không lựa chọn phƣơng án này.
Hình 2.3. Biểu đồ chất lượng câu hỏi số 20
Nhóm câu hỏi cần loại bỏ (những câu hỏi có hình tam giác màu đỏ: C1, C5, C8, C10, C12, C13, C15, C16, C17, C19, C21, C22, C23, C24, C25, C26, C27, C28,C31, C32, C37, C39, C42, C45, C46, C47, C48, C49, C52, C55, C57, C58, C60.
Hình 2.4. Biểu đồ minh họa nhóm câu hỏi chưa tốt
Hình 2.5. Biểu đồ phân bố điểm mã đề 101
Nhìn vào dải điểm của đề khảo sát lần 1 ta nhận thấy điểm của thí sinh chủ yếu ở mức trung mình.
Hình 2.6.Biểu đồ phân bố chuẩn mã đề 101
Dựa vào kết quả th đƣợc, chúng tôi nhận thấy đề khảo sát chủ yếu đánh giá năng lực thí sinh ở mức thấp, khơng thể phân biệt nhóm thí sinh ở năng lực trung bình và cao. Tƣơng tự nhƣ vậy với ba mã đề cịn lại, kết quả đƣợc mơ tả ở phụ lục 6. Sau khi phân tích, chúng tơi thu đƣợc kết quả các mã đề đều mới chỉ đánh giá đƣợc năng lực của nhóm thí sinh ở mức thấp, các câu hỏi hầu hết có độ khó ở mức trung bình, thấp, độ phân biệt chƣa cao.