Nghiên cứu mô hình biểu diễn kiến trúc đề thi và khai thác kết quả thi nhằm chuẩn hóa chất lượng đề thi tại trường đại học kinh tế TP HCM

Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG NGHIÊN CỨU MƠ HÌNH BIỂU DIỄN KIẾN TRÚC ĐỀ THI VÀ KHAI THÁC KẾT QUẢ THI NHẰM CHUẨN HÓA CHẤT LƯỢNG ĐỀ THI TẠI TRƯỜNG ĐẠI HỌC KINH TẾ TP.HCM MÃ SỐ: CS-2014-46 Chủ nhiệm: Đặng Thái Thịnh TP Hồ Chí Minh, tháng 3/2015 Trang i Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Trang ii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM NHẬN XÉT CỦA HỘI ĐỒNG NGHIỆM THU …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… Trang iii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Trang iv Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Danh mục hình ảnh đề tài Hình Khung châu Âu CEFR Hình Biểu diễn câu hỏi dạng vector 12 Hình Các câu hỏi học khơng có giám sát để phân tách cụm 13 Hình Ví dụ q trình phân cụm 14 Hình Phân cụm sử dụng K-means 15 Hình Các bước trình phân cụm 17 Hình Giao diện phần mềm EMP Test 19 Hình Hình Hình Hình Hình So sánh độ khó dựa ý kiến chuyên gia cộng đồng (chưa xếp) 27 So sánh độ khó dựa ý kiến chuyên gia cộng đồng (đã xếp) 27 10 Giao diện phần mềm làm thực nghiệm 27 11 Biểu đồ độ tương đồng đề thi (chuyên gia) 29 12 Biểu đồ độ tương đồng đề thi (cộng đồng) 29 Trang v Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Danh mục bảng biểu đề tài Bảng Bảng mô tả khung châu Âu CEFR Bảng Bảng so sánh chứng tiếng Anh 10 Bảng Ví dụ đánh giá độ khó câu hỏi 11 Bảng Ví dụ liệu trình thi 11 Bảng Ví dụ tỷ lệ trả lời câu hỏi 12 Bảng Cách trộn đề ngẫu nhiên không phân cụm 19 Bảng Cách trộn đề ngẫu nhiên có phân cụm 20 Bảng Bảng Bảng Bảng Bảng Bảng Lượt trả lời câu hỏi thực nghiệm 24 Tỷ lệ trả lời câu hỏi 25 10 Độ khó dựa chuyên gia đánh giá 26 11 Kết sinh đề thi 28 12 So sánh Pearson ý kiến chuyên gia đề thi 28 13 So sánh Pearson ý kiến cộng đồng đề thi 28 Trang vi Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Nội dung Tóm tắt Chương 1: Đặt vấn đề Tính cấp thiết nghiên cứu 2 Mục tiêu phạm vi nghiên cứu 3 Bố cục nghiên cứu: Chương 2: Các nghiên cứu liên quan Chương 3: Phương pháp thực 11 Dữ liệu đầu vào 11 Biểu diễn phân cụm 12 Phân bố câu hỏi sau phân cụm 18 Kiến trúc trộn đề đề xuất 19 Chương 4: Thực nghiệm kết 22 Sự tương đồng độ khó đề thi 22 Thực nghiệm 23 Đánh giá phương pháp thực hiện: 29 Chương 5: Kết luận 32 Tài liệu tham khảo 33 Trang vii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Tóm tắt Nghiên cứu nhằm áp dụng số phương pháp tin học để biểu diễn kiến trúc đề thi; nghiên cứu đề xuất cách thức khai thác kết thi nhằm chuẩn hóa, đánh giá lại ngân hàng đề thi; ứng dụng cơng tác khảo thí chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Cơng tác đề thi phụ thuộc hồn tồn vào ý chí chủ quan cá nhân giảng viên hội đồng đề thi Tuy nhiên, kết thực tế từ thí sinh phản ánh không qua điểm nhận xét trước người đề thi Nghiên cứu áp dụng ý kiến chuyên gia (phản hồi nhận xét từ giảng viên) ý kiến cộng đồng (người dự thi) nhằm đưa cách giải việc trộn đề thi từ cách phân bố ngẫu nhiên chuyển sang phân bố đề thi ngẫu nhiên có chủ đích nhằm đạt đến mục tiêu: là, phân bố ngẫu nhiên đảm bảo theo điều kiện cho trước phân bố theo trật tự, số câu hỏi, chương/mục/phần thỏa mãn tính bao quát đề thi; hai là, phân bố câu hỏi đảm bảo độ khó phân bố đề thi, nghĩa hai đề đề mà mang cho thí sinh dự thi có độ khó tương đương Cách thức trộn đề thi đề cập bắt đầu với liệu chun gia (vì chưa có liệu từ cộng đồng) bị liệu từ cộng đồng chi phối Nghĩa là, có kết hợp ý kiến chủ quan người đề ý kiến khách quan người dự thi qua nhiều lần Người đề tham khảo kết phân tích, thay đổi quan điểm Nghiên cứu giả định đề thi bảo mật sử dụng nhiều lần đối tượng khác Các yếu tố đề thi thi nhiều lần bị lộ, người dự thi biết trước kết trả lời, yếu tố khác nội dung câu hỏi làm ảnh hưởng đến tính phân loại độ khó đề thi bị loại bỏ Trang Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 1: Đặt vấn đề Tính cấp thiết nghiên cứu Hiện cách thức biểu diễn đề thi chủ yếu phụ thuộc vào phân cấp theo cây, node chứa nhiều câu hỏi Mỗi node tượng trưng cho nhóm câu hỏi, trộn đề người giảng viên chia tỷ lệ chọn lựa câu hỏi nhóm để có đề thi Quá trình lặp lặp lại thành nhiều đề thi Ưu điểm cách trộn đề thi giữ cấu trúc định nghĩa trước số lượng câu hỏi node (phần/chương/mục) Tuy nhiên với cách truyền thống này, việc chọn câu hỏi node mang tính chất ngẫu nhiên, vậy:  Khơng thể độ khó tương đương đề thi với  Sự trùng lắp nhiều câu hỏi đề thi xảy cách chọn ngẫu nhiên Một số cách thức xây dựng ngân hàng câu hỏi có phân loại theo mức độ “khó”, “dễ”, “trung bình”; hoăc phân loại theo nhóm câu hỏi thuộc “phân tích”, “kiến thức” hay “kỹ năng” tồn số sách nhà xuất Pearson tương tự cách đề cập nghĩa chia nhỏ số lượng node làm cho người giảng viên vất vả trình xác định số lượng câu hỏi phân hóa đề thi Nghiên cứu nhằm đưa cách tiếp cận kết hợp cách phân nhóm câu hỏi, đưa ý kiến chuyên gia vào câu hỏi với ý kiến thụ động đại đa số người dự thi nhằm tự động phân loại điều chỉnh cách thức chọn câu hỏi nhằm đạt đến mục tiêu giảm thiểu trùng lắp câu hỏi đề thi đảm bảo độ khó tương đương đề thi với Ứng dụng Trường Đại học Kinh tế TP.HCM, phương pháp vừa đề cập cách thức sử dụng Trường Ngoài ra, hệ thống thi trắc nghiệm trực tuyến Phịng Cơng nghệ thơng tin sử dụng có khả chọn lọc lưu trữ liệu lịch sử thi đủ thơng tin để q trình khai thác kết thi (mining) sử dụng để thực hóa nghiên cứu Hơn nữa, việc khai thác kết thi cung cấp cho giảng viên nhìn lại cách đánh giá qua ngân hàng đề thi Tính chủ quan sai, việc nhìn nhận liệu thật đối tượng dự thi khác Trang Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM giúp người đề nhiều thông tin để định lần sau, định có hỗ trợ máy móc báo cáo cho người định Mục tiêu phạm vi nghiên cứu Mục tiêu nghiên cứu nhằm đưa cách thức trộn đề thi từ cách thức khai thác kết thi từ hai nguồn liệu:  Ý kiến chuyên gia (người đề/hội đồng đề)  Ý kiến thụ động người dự thi Mơ hình áp dụng, nghiên cứu nhằm đạt đến mục tiêu phân bố ngẫu nhiên đảm bảo theo điều kiện cho trước phân bố theo trật tự, số câu hỏi, chương/mục/phần thỏa mãn tính bao quát đề thi; phân bố câu hỏi đảm bảo độ khó phân bố đề thi, nghĩa hai đề đề mà mang cho thí sinh dự thi có độ khó tương đương Nghiên cứu bị giới hạn yếu tố:  Thiếu ý kiến chuyên gia: việc đánh giá độ khó câu hỏi phụ thuộc vào vài chuyên gia, kết xác có nhiều chuyên gia thực đánh giá câu hỏi Việc làm phát sinh chi phí nhiều  Ý kiến nhiễu từ người dự thi: nghiên cứu giả định người dự thi đào tạo từ môn học lĩnh vực dự thi cố gắng làm hết khả Các mẫu nghiên cứu làm thi cách chọn ngẫu nhiên đáp án nhỏ không đáng kể  Các yếu tố khác nội dung câu hỏi dấu hiệu nhận biết câu trả lời câu hỏi loại bỏ  Ngân hàng đề thi bảo mật sử dụng nhiều lần đối tượng người dự thi khác  Nghiên cứu nhằm đạt mục tiêu độ khó tương đương đề thi, chưa quan tâm đến vấn đề làm rõ ràng thang điểm “đạt” cho người dự thi Nghĩa là, mục tiêu thi định nghĩa trước; đề thi tạo nhằm đáp ứng thí sinh đạt điểm đạt đề thi (có thể đáp ứng tối thiểu mục tiêu thi) Mức điểm ý kiến chuyên Trang Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM chia nhỏ số chương/nhóm để thực Ví dụ: trước có nhóm chương 1, chia nhỏ thành phần nhỏ khó, dễ trung bình Ví dụ cụ thể sau cách chuyển đổi (cách biễu diễn liệu từ bảng sang) - Nhóm câu hỏi chương chia thành: chương – Khó, chương – Trung bình, chương – dễ - Nhóm câu hỏi chương chia thành: chương – Khó, chương – Trung bình, chương – dễ - Tương tự cho chương lại Hạn chế cách làm này: - Quy định q chi tiết, ví dụ nhóm chương có câu hỏi, phải chia nhỏ thành nhóm nhóm nhỏ phải quy định lại số câu hỏi cho tổng số câu hỏi - Phân nhóm theo nhóm đủ Ví dụ tình khó, dễ, trung bình Nếu muốn gia tăng hay giảm số nhóm phải thực lại từ đầu Khó khăn tăng số nhóm độ khó câu hỏi, phải quy định chi tiết - Định nghĩa quy định câu hỏi khó hay dễ phụ thuộc hoàn toàn vào ý kiến chủ quan người đề Và cách phân loại tốn nhiều cơng sức - Ngồi ra, cách làm này, người đề phải phân loại câu hỏi tự đánh giá câu hỏi, không học nội dung phản hồi người dự thi - Có thể câu hỏi bị lặp lại cách chọn ngẫu nhiên Cũng tương tự cách thức trộn đề này, sở phân cụm cách chọn câu hỏi sau phân cụm Cách biểu diễn kiến trúc sau (hình 7): Nhóm … n Số câu hỏi 30 20 … 50 Tổng cộng số câu hỏi đề thi Số câu hỏi … 10 50 câu hỏi Bảng Cách trộn đề ngẫu nhiên có phân cụm Phân cụm, chọn câu hỏi sau phân cụm Trang 20 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Trong nhóm câu hỏi, việc phân cụm lựa chọn câu hỏi sau phân cụm thực trình bày mục chương Với cách làm này, trình phân cụm q trình học khơng có giám sát giúp tự điều hịa số câu hỏi khó dễ cụm mà cách làm cũ không thực Ưu điểm kiến trúc mới: - Độ khó tự học chiều từ chuyên gia phản hồi cộng đồng - Không phải quy định chi tiết số câu hỏi cụm phân loại câu hỏi theo nhóm độ khó - Hạn chế tối đa trùng lắp câu hỏi Hạn chế: - Vẫn phải phân nhóm câu hỏi ban đầu - Phân cụm chạy nhóm câu hỏi - Phải quy định số cụm cho nhóm câu hỏi Với cách đề xuất mơ hình trộn đề chi tiết cách thực trên, người làm cơng tác khảo thí sử dụng lựa chọn tình ngân hàng đề thi lớn Tính hiệu nghiên cứu thể chi tiết qua thực nghiệm đánh giá kết chương Trang 21 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 4: Thực nghiệm kết Sự tương đồng độ khó đề thi Mỗi đề thi đánh giá tương đồng độ khó Giả sử đề thi có n câu hỏi, câu hỏi có độ khó biểu diễn vector giá trị độ khó chuyên gia độ khó người dùng định nghĩa Biểu diễn vector đề thi có n câu sau: (u1, u2, u3, u4, … un), (e1, e2, e3, e4, … en) với ui: độ khó câu hỏi thứ i người dự thi định ei: độ khó câu hỏi thứ i chuyên gia (người đề thi) định Vậy vector có n giá trị miêu tả Sự tương đồng đề thi tính tính nhiều phương pháp như: Cosine similarity, Pearson correlation Ví dụ: cosin similarity (cơng thức 2) Cos 𝑆𝑖𝑚 (𝑥, 𝑦) = ∑𝑖 𝑥𝑖 𝑦𝑖 √∑𝑖 𝑥𝑖2 √∑𝑖 𝑦𝑖2 = 〈𝑥,𝑦〉 ||𝑥|| ||𝑦|| (công thức 2) Với đề thi mô tả: x1, x2, x3… xn (xi) Với đề thi mô tả: y1, y2, y3… yn (yi) Nếu tương đồng cao (giá trị tiến 1) nghĩa độ khó đề thi tương đương Phương pháp đánh giá lại kết sau q trình trộn đề thi hồn tất Cách đo khoảng cách vector cịn thực qua phương pháp tính khoảng cách sau: Inner product (công thức 3) 𝐼𝑛𝑛𝑒𝑟(x, y) = ∑ 𝑥𝑖 𝑦𝑖 = 〈𝑥, 𝑦〉 (công thức 3) 𝑖 Pearson correlation (công thức 4) Trang 22 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM 𝐶orr(x, y) = ∑𝑖(𝑥𝑖 − 𝑥̅ ) (𝑦𝑖 − 𝑦̅ ) √∑(𝑥𝑖 − 𝑥̅ )2 √∑(𝑦𝑖 − 𝑦̅)2 〈𝑥 − 𝑥̅ , 𝑦 − 𝑦̅〉 = || 𝑥 − 𝑥̅ || || 𝑦 − 𝑦̅ | = 𝐶𝑜𝑠𝑆𝑖𝑚 ( 𝑥 − 𝑥̅ , 𝑦 − 𝑦̅ ) (công thức 4) Các công thức đo khoản cách thực cho nghiên cứu Pearson sử dụng thực nghiệm Thực nghiệm Thực nghiệm lấy từ kết thi đánh giá xếp loại đoàn viên Đoàn niên – Hội sinh viên trường Đại học Kinh tế TP.HCM Cuộc thi thực học kỳ cuối năm 2014 với ngân hàng 150 câu hỏi xem cần phân loại vào nhóm nội dung thi Nội dung câu hỏi chủ đề kiến thức Đồn Hội Trung bình câu hỏi có 203.66 lượt trả lời Cụ thể, lượt trả lời câu hỏi bảng 8: Câu Lượt Câu Lượt Câu Lượt Câu Lượt Câu Lượt hỏi trả lời hỏi trả lời hỏi trả lời hỏi trả lời hỏi trả lời 200 31 219 61 206 91 230 121 229 199 32 217 62 211 92 206 122 235 193 33 201 63 174 93 235 123 222 187 34 207 64 209 94 232 124 233 195 35 221 65 202 95 238 125 209 192 36 189 66 208 96 233 126 228 200 37 216 67 212 97 224 127 234 191 38 223 68 203 98 223 128 222 190 39 203 69 209 99 197 129 234 10 194 40 223 70 213 100 234 130 214 11 198 41 222 71 207 101 219 131 235 12 199 42 220 72 214 102 234 132 231 13 199 43 188 73 198 103 226 133 232 14 197 44 207 74 217 104 219 134 215 15 196 45 196 75 214 105 225 135 207 16 175 46 220 76 212 106 231 136 234 17 197 47 196 77 211 107 195 137 213 18 194 48 204 78 202 108 221 138 218 19 196 49 189 79 208 109 228 139 225 20 176 50 193 80 203 110 225 140 229 21 184 51 184 81 195 111 213 141 214 Trang 23 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM 22 23 24 25 26 27 28 29 30 181 175 174 173 173 169 159 160 161 52 53 54 55 56 57 58 59 60 193 201 192 192 191 193 176 191 193 82 83 84 85 86 87 88 89 90 200 193 172 194 184 173 184 159 162 112 113 114 115 116 117 118 119 120 218 194 191 188 206 200 189 188 181 142 143 144 145 146 147 148 149 150 Bảng Lượt trả lời câu hỏi thực nghiệm Tỷ lệ câu hỏi trả lời sau (bảng 9) Câu hỏi 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 Tỷ lệ 0.875 0.587939698 0.518134715 0.497326203 0.497435897 0.234375 0.95 0.382198953 0.594736842 0.407216495 0.616161616 0.743718593 0.894472362 0.685279188 0.510204082 0.142857143 0.847715736 0.835051546 0.841836735 0.568181818 0.130434783 0.497237569 0.342857143 0.557471264 0.664739884 0.849710983 0.325443787 0.566037736 0.71875 Câu hỏi 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 Tỷ lệ 0.844748858 0.760368664 0.532338308 0.357487923 0.859728507 0.248677249 0.328703704 0.986547085 0.551724138 0.887892377 0.959459459 0.881818182 0.409574468 0.347826087 0.678571429 0.590909091 0.367346939 0.651960784 0.285714286 0.440414508 0.505434783 0.611398964 0.109452736 0.494791667 0.4375 0.230366492 0.279792746 0.153409091 0.77486911 Câu hỏi 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 Tỷ lệ 0.325242718 0.687203791 0.132183908 0.80861244 0.579207921 0.548076923 0.448113208 0.443349754 0.397129187 0.497652582 0.792270531 0.775700935 0.287878788 0.884792627 0.210280374 0.820754717 0.620853081 0.777227723 0.865384615 0.295566502 0.820512821 0.465 0.761658031 0.604651163 0.865979381 0.380434783 0.173410405 0.793478261 0.496855346 Trang 24 227 214 219 192 210 210 200 153 182 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM 30 0.788819876 60 0.865284974 90 0.524691358 Bảng Tỷ lệ trả lời câu hỏi Câu hỏi 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 Tỷ lệ 0.195652174 0.359223301 0.94893617 0.806034483 0.962184874 0.845493562 0.352678571 0.30044843 0.304568528 0.683760684 0.315068493 0.427350427 0.898230088 0.666666667 0.511111111 0.354978355 0.230769231 0.280542986 0.956140351 0.408888889 0.530516432 0.422018349 0.453608247 0.319371728 0.414893617 0.650485437 0.275 0.687830688 0.5 0.248618785 Câu hỏi 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 Tỷ lệ 0.676855895 0.45106383 0.531531532 0.862660944 0.387559809 0.135964912 0.752136752 0.454954955 0.854700855 0.621495327 0.863829787 0.333333333 0.918103448 0.693023256 0.599033816 0.952991453 0.732394366 0.444954128 0.702222222 0.257641921 0.710280374 0.850220264 0.182242991 0.447488584 0.21875 0.19047619 0.785714286 0.53 0.215686275 0.489010989 Kết phản ảnh, tỷ lệ cao nghĩa câu hỏi dễ, tỷ lệ thấp nghĩa câu hỏi khó Dựa tiêu chuẩn đó, kiến thức chuyên gia đánh giá câu hỏi sau (bảng 10) Câu Chuyên Câu Chuyên Câu Chuyên Câu Chuyên Câu Chuyên hỏi gia hỏi gia hỏi gia hỏi gia hỏi gia Trang 25 Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 0.9 0.8 0.5 0.7 0.5 0.1 0.7 0.6 0.5 0.5 0.9 0.7 0.9 0.9 0.8 0.1 0.9 0.9 0.8 0.3 0.1 0.6 0.6 0.6 0.8 0.7 0.2 0.6 0.4 0.9 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 0.8 0.9 0.5 0.3 0.6 0.1 0.6 0.9 0.4 0.8 0.9 0.9 0.6 0.1 0.4 0.5 0.2 0.4 0.3 0.7 0.3 0.3 0.2 0.2 0.2 0.1 0.5 0.2 0.9 0.9 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 0.2 0.5 0.3 0.9 0.8 0.6 0.7 0.2 0.1 0.8 0.5 0.9 0.1 0.9 0.3 0.7 0.8 0.9 0.9 0.6 0.9 0.5 0.9 0.8 0.9 0.2 0.3 0.9 0.4 0.7 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 0.1 0.7 0.9 0.6 0.9 0.9 0.2 0.1 0.3 0.6 0.5 0.3 0.9 0.8 0.8 0.5 0.1 0.3 0.9 0.5 0.2 0.2 0.7 0.6 0.2 0.9 0.6 0.9 0.6 0.2 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 Bảng 10 Độ khó dựa chun gia đánh giá Biểu đồ hình sau mô tả ý kiến chuyên gia ý kiến cộng đồng (trên tỷ lệ trả lời đúng), trục hoành diễn ta số câu hỏi Trang 26 0.7 0.4 0.3 0.8 0.2 0.1 0.9 0.2 0.9 0.8 0.8 0.2 0.9 0.8 0.7 0.7 0.4 0.7 0.7 0.2 0.9 0.9 0.4 0.3 0.1 0.2 0.9 0.6 0.4 0.8 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Hình So sánh độ khó dựa ý kiến chuyên gia cộng đồng (chưa xếp) Bây câu hỏi xếp theo giá trị chuyên gia chuyên gia tăng dần, ta có phân bố cộng đồng sau (hình 9): Hình So sánh độ khó dựa ý kiến chuyên gia cộng đồng (đã xếp) Nhận xét: nhìn chung xu hướng cộng đồng theo xu hướng đánh giá chuyên gia, liệu tương đối tốt cho thử nghiệm Kết sau chạy chọn đề thi sau: Số cụm = 5, số đề = 5, câu hỏi đề = 20 (như giao diện hình 10) Hình 10 Giao diện phần mềm làm thực nghiệm Danh sách câu hỏi đề thi (bảng 11): Trang 27 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Stt câu 10 11 12 13 14 15 16 17 18 19 20 Câu đề Câu đề Câu đề Câu đề Câu đề 43 123 130 124 140 20 77 131 120 22 51 84 31 146 119 39 19 61 23 52 25 129 27 110 89 65 142 132 10 144 104 17 36 82 122 134 60 37 102 135 96 107 148 111 121 79 56 114 48 11 40 97 50 54 105 85 73 138 128 116 145 67 45 15 18 58 68 139 42 98 113 55 14 74 108 106 112 70 81 49 66 115 118 13 91 46 90 103 47 92 150 64 75 Bảng 11 Kết sinh đề thi Đánh giá Pearson độ tương đồng đề thi sau sinh ra: Ý kiến chuyên gia (bảng 12): Đề Đề Đề Đề Đề Đề 0.972208 0.976262 0.97531 0.953814 Đề 0.972208 0.971808 0.961304 0.98156 Đề 0.976262 0.971808 0.984653 0.970552 Đề 0.97531 0.961304 0.984653 0.965235 Đề 0.953814 0.98156 0.970552 0.965235 Bảng 12 So sánh Pearson ý kiến chuyên gia đề thi Ý kiến cộng đồng (bảng 13): Đề Đề Đề Đề Đề Đề 0.974957 0.986603 0.975203 0.983579 Đề 0.974957 0.990853 0.984919 0.98317 Đề 0.986603 0.990853 0.978244 0.992197 Đề 0.975203 0.984919 0.978244 0.975544 Đề 0.983579 0.98317 0.992197 0.975544 Bảng 13 So sánh Pearson ý kiến cộng đồng đề thi Biểu đồ độ tượng đồng đề thi (hình 11 12) Trang 28 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Hình 11 Biểu đồ độ tương đồng đề thi (chuyên gia) Hình 12 Biểu đồ độ tương đồng đề thi (cộng đồng) Đánh giá phương pháp thực hiện: Về thuật toán phân cụm liệu: Nhược điểm k-means nhạy cảm với nhiễu phần tử ngoại lai liệu Hơn nữa, chất lượng phân cụm liệu thuật toán k-means phụ thuộc nhiều vào tham số đầu vào như: số cụm k k trọng tâm khởi tạo ban đầu Trong trường hợp trọng tâm khởi tạo ban đầu mà lệch so với trọng tâm cụm tự nhiên kết phân cụm k-means thấp, nghĩa cụm liệu khám phá lệch so với cụm thực tế Trên thực tế chưa có giải pháp tối ưu để chọn tham số đầu vào, giải pháp thường sử dụng thử nghiệm với giá trị đầu vào k khác sau chọn giải pháp tốt Đánh giá thuật toán K-Means:  Ưu điểm : - K-means có độ phức tạp tính tốn O(tkn) Trang 29 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM - K-means phân tích phân cụm đơn giản nên áp dụng tập liệu lớn -  Nhược điểm : K-means không khắc phục nhiễu giá trị k phải cho người dùng - Chỉ thích hợp áp dụng với liệu có thuộc tính số khám cụm có dạng hình cầu Ví dụ : Giả sử có tập đối tượng định vị hệ trục toạ độ X, Y Cho k =3 tức người dùng cần phân đối tượng vào cụm Theo giải thuật, ta chọn ngẫu nhiên trung tâm cụm ban đầu; sau đó, đối tượng phân vào cụm chọn dựa tâm cụm gần Sự trùng lặp câu hỏi đề thi: - Nếu câu hỏi bị trùng nhiều, nghĩa độ khó gần nhiều, cách khơng phải mục tiêu nghiên cứu - Giả sử ta tìm n đề thi, đề thi có c câu hỏi Với thuật tốn hạn chế trùng đề thi, cách chọn thực sở ưu tiên chọn câu hỏi Điểm mạnh nghiên cứu: - Nghiên cứu đề xuất phương pháp mô tả chi tiết lấy tri thức từ chuyên gia đề thi không nhiều thông tin phải cung cấp, đủ cho trình đánh giá phân loại đề thi - Nghiên cứu đưa mơ hình phân loại câu hỏi đựa kết thi từ cộng đồng kết hợp tri thức chuyên gia - Một phương pháp đánh giá trộn đề thi công đề thi, phương pháp trước mang nhiều ý kiến chủ quan, khơng có phân bố dựa độ khó mà dựa phân bố ngẫu nhiên Điểm yếu mơ hình: - Bài thi thí sinh phải nhiều câu hỏi, đánh giá có ý nghĩa - Ý kiến chuyên gia xem xét với ý kiến người dự thi, chưa Tuy nhiên, ý kiến chuyên gia có Trang 30 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM thể thay đổi quan điểm sau người đề xem xét liệu trả người dự thi Nhưng yếu tố khác tác động lên thi: thông tin cá nhân học thức người dự thi chưa xem xét mơ hình Ví dụ: thi TOEIC, TOEFL, IELTS yêu cầu khảo sát nhỏ trước thí sinh thực thi Trong họ có nghiên cứu yếu tố ảnh hưởng đến chất lượng thi dùng để phân loại câu hỏi sau Trang 31 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 5: Kết luận Nghiên cứu đưa cách tiếp cận dựa phương pháp phân cụm liệu, kết trình phân cụm chọn lọc để đưa vào đề thi Nghiên cứu tương đồng đề thi qua phương pháp đo khoảng cách vector trình bày Kết phương pháp áp dụng để cách trộn đề thi vừa phân bố mang yếu tố ngẫu nhiên vừa có độ khó tương đương đề thi Tuy nhiên cách giải chưa giải đưa tiêu chuẩn chung cho tiêu chuẩn (cut-score) mà chủ yếu vào kiến thức người chuyên gia để đưa mức điểm cho mức độ Tuy nhiên kết nghiên cứu giúp điểm thi cộng đồng có xu hướng phân bố rải rác độ khó phân bố đồng Điều hỗ trợ cho trình xác định định để xác định cut-score dễ dàng Đóng góp nghiên cứu thêm hỗ trợ dựa khai khai thác kết thi, có nhìn nhận đánh giá từ kiến thức chuyên gia (người đề thi) liệu cộng đồng đánh giá từ kết trắc nghiệm khách quan, cách tiếp cận định lượng Hạn chế nghiên cứu chưa xác định điểm dừng cho mức độ xác định cut-score Thực nghiệm thiếu nhiều liệu yếu tố khác ảnh hướng đến kết thi Để có liệu cộng đồng đủ lớn để giúp q trình đánh giá có ý nghĩa điều khó khăn Ban đầu hệ thống chạy với liệu chuyên gia hoàn toàn, sau thời gian liệu cộng đồng có nhiều kết hợp với chuyên gia để đánh giá Người đề sau có kết thi nhìn nhận lại cách đánh giá để xem xét có chủ quan đưa định ban đầu hay khơng Từ hệ thống điều chỉnh học cách làm liên tục Nghiên cứu mở rộng cách tăng giảm độ khó đề thi cách phân bố không vào cụm sau phân hoạch Tuy nhiên cách làm cần đánh giá lại việc phân loại cần phương pháp đánh giá khác Trang 32 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Tài liệu tham khảo Cizek, G J (2006) Standard setting In S M Downing & T M Haladyna Eds Handbook of test development Mahwah: Lawrence Erlbaum Associations Cizek, G J., & Bunch, M B (2007) Standard setting: A guide to establishing and evaluating performance standards on tests Thousand Oaks: SAGE Publications Cohen, A S., Kane, M T., & Crooks, T J (1999) A generalized examineecentred method for setting standards on achievement test Applied Measurement in Education, 12(4), 343-366 Ferdous, A A., & Plake, B S (2007) Item selection strategy for reducing the number of items rated in an Angoff standard setting study Educational and Psychological Measurement, 67(2), 193-206 Giraud, G., Impara, J C., & Buckendahl, C (1999/2000) Making the cut in school districts: alternative methods for setting cutscores Educational Assessment, 6(4), 291-304 Hambleton, R K., Jaeger, R M., Plake, B S., & Mills, C.(2000) Setting performance standards on complex educational assessments Applied Psychological Measurement, 24(4), 355-366 Hambleton, R K., & Pitoniak, M J (2006) Setting performance standards In R L Brennan (Ed.) Educational Measurement (4th ed.) Westport: American Council on Education & Praeger Publishers Hansche, L N (1998) Handbook for the development of performance standards: Meeting the requirements of Title I Washington: U.S Department of Education & The Council of Chief State School Officers Hurtz, G M., & Auerbach, M A (2003) A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus Educational and Psychological Measurement, 63(4), 584-601 Jaeger, R M (1989) Certification of student competence In R L Linn (Ed.) Educational Measurement (3rd ed.) New York: American Council of Education & McMillan Kane, M (1994) Validating the performance standards associated with passing scores Review of Educational Research, 64(3), 425-461 Kane, M (1998a) Choosing between examinee-centred and test-centred standard-setting methods Educational Assessment, 5(3), 129-145 Trang 33 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Kane, M (1998b) Criterion bias in examinee-centred standard setting: Some thought experiments Educational Measurement: Issues and Practice, 17(1), 23-30 Kane, M T (2001) So much remain the same: Conception and status of validation in setting standards In G J Cizek (Ed.) Setting performance standards Concepts, methods, and perspectives (pp 53-88) Livingstone, S A., & Zieky, M J (1982) Passing scores: A manual for setting standards of performance on educational and occupational tests Princeton: Educational Testing Services Livingstone, S A., & Zieky, M J (1989) A comparative study of standardsetting methods Applied Measurement in Education, 2(2), 121-141 Nguyễn Hoàng Tú Anh (2009) Khai thác liệu & ứng dụng (Data Mining), NXB ĐHQG TP.HCM Lê Ngọc Thạnh & Vũ Thị Phương Lan (2002) Phần mềm EMP Test (2002) Phần mềm triển khai Khoa Hệ thống thông tin kinh doanh, trường Đại học Kinh tế TP.HCM Các tài liệu đánh giá chuẩn tiếng Anh: Teacher’s Guide to the Common European Framework, Bản điện tử truy cập từ: http://lcci.hu/hun/wp-content/uploads/cefguide.pdf ngày 10/3/2015 Vũ Thị Phương Anh (2006) Khung trình độ chung châu Âu việc nâng cao hiệu đào tạo tiếng Anh ĐHQG HCM, Tạp chí phát triển KH&CN Bản điện tử truy cập từ http://www.vnulib.edu.vn:8000/dspace/bitstream/123456789/1892/1/sede v1006-03.pdf ngày 10/3/2015 The full Common European Framework document (in English) Bản điện tử, truy cập từ http://www.coe.int/t/dg4/linguistic/source/framework_en.pdf ngày 10/3/2015 Mapping the TOEIC and TOEIC Bridge Tests on the Common European Framework of Reference for Languages Bản điện tử, truy cập từ https://www.ets.org/s/toeic/pdf/toeic_cef_mapping_flyer.pdf ngày 10/3/2015 Trang 34 .. .Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP. HCM Trang ii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác. .. iii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP. HCM Trang iv Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác. .. đồng đề thi Biểu đồ độ tượng đồng đề thi (hình 11 12) Trang 28 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP. HCM Hình