Một số hệ thống phần mềm hỗ trợ cách trộn đề theo từng nhóm câu hỏi. Mỗi nhóm câu hỏi có thể là một chương trong chương trình giảng dạy của một môn học. Từ những nhóm đó, mỗi nhóm định nghĩa số câu hỏi tương ứng, hệ thống tự sinh đề tự động ngẫu nhiên (như phần mềm EMP Test). Ví dụ ở hình 6 sau đây giải thích cho cách làm này.
Nhóm Số câu hỏi Số câu hỏi
1 30 5
2 20 4
… … …
n 50 10
Tổng cộng số câu hỏi trong một đề thi 50 câu hỏi
Bảng 6 Cách trộn đề ngẫu nhiên không phân cụm
Hình 7 Giao diện phần mềm EMP Test
Hình 7 là giao diện trộn đề của phần mềm EMP Test. Để có thể trộn được câu hỏi khó/dễ, gia tăng độ khó/dễ của đề thi, người dùng có thể dùng cách
Trang 20 chia nhỏ số chương/nhóm để thực hiện. Ví dụ: trước đây chỉ có nhóm chương 1, giờ có thể chia nhỏ thành 3 phần nhỏ khó, dễ và trung bình. Ví dụ cụ thể sau chỉ ra cách chuyển đổi này (cách biễu diễn dữ liệu từ bảng 6 sang)
- Nhóm câu hỏi chương 1 được chia thành: chương 1 – Khó, chương 1 – Trung bình, chương 1 – dễ.
- Nhóm câu hỏi chương 2 được chia thành: chương 2 – Khó, chương 2 – Trung bình, chương 2 – dễ.
- Tương tự cho các chương còn lại. Hạn chế của cách làm này:
- Quy định quá chi tiết, ví dụ nhóm chương 1 có 5 câu hỏi, bây giờ phải chia nhỏ thành 3 nhóm mỗi nhóm nhỏ như vậy phải quy định lại số câu hỏi sao cho tổng số là 5 câu hỏi.
- Phân nhóm theo bao nhiêu nhóm là đủ. Ví dụ trong tình huống này là khó, dễ, trung bình. Nếu muốn gia tăng hay giảm số nhóm phải thực hiện lại từ đầu. Khó khăn nhất là tăng số nhóm là độ khó của câu hỏi, khi phải quy định quá chi tiết.
- Định nghĩa là quy định câu hỏi là khó hay dễ như thế nào phụ thuộc hoàn toàn vào ý kiến chủ quan của người ra đề. Và cách phân loại này cũng tốn nhiều công sức.
- Ngoài ra, đối với cách làm này, người ra đề phải phân loại câu hỏi và tự đánh giá câu hỏi, không học được nội dung phản hồi của người dự thi.
- Có thể câu hỏi bị lặp lại do cách chọn ngẫu nhiên.
Cũng tương tự cách thức trộn đề này, trên cơ sở phân cụm và cách chọn câu hỏi sau phân cụm. Cách biểu diễn kiến trúc mới như sau (hình 7):
Nhóm Số câu hỏi Số câu hỏi
1 30 5
2 20 4
… … …
n 50 10
Tổng cộng số câu hỏi trong một đề thi 50 câu hỏi
Bảng 7 Cách trộn đề ngẫu nhiên có phân cụm
Phân cụm, và chọn câu hỏi sau phân cụm
Trang 21 Trong từng nhóm câu hỏi, việc phân cụm và lựa chọn câu hỏi sau phân cụm được thực hiện lần lượt như đã trình bày ở mục 3 chương 3. Với cách làm này, quá trình phân cụm là quá trình học không có giám sát sẽ giúp tự điều hòa số câu hỏi khó dễ trong cụm mà cách làm cũ không thực hiện được. Ưu điểm của kiến trúc mới:
- Độ khó được tự học 2 chiều từ chuyên gia và phản hồi của cộng đồng.
- Không phải quy định quá chi tiết số câu hỏi trong cụm cũng như phân loại câu hỏi theo các nhóm độ khó.
- Hạn chế tối đa sự trùng lắp câu hỏi. Hạn chế:
- Vẫn phải phân nhóm câu hỏi ban đầu
- Phân cụm chỉ chạy được trên từng nhóm câu hỏi
- Phải quy định số cụm cho từng nhóm câu hỏi
Với cách đề xuất mô hình trộn đề và chi tiết cách thực hiện như trên, người làm công tác khảo thí có thể sử dụng như một lựa chọn trong tình huống ngân hàng đề thi quá lớn. Tính hiệu quả của nghiên cứu được thể hiện chi tiết qua thực nghiệm và đánh giá kết quả ở chương 4.
Trang 22
Chương 4: Thực nghiệm và kết quả