(Luận văn) nghiên cứu mô hình biểu diễn kiến trúc đề thi và khai thác kết quả thi nhằm chuẩn hóa chất lượng đề thi tại trường đại học kinh tế tp hcm

Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC KINH TẾ TP HỒ CHÍ MINH chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad ju y th yi pl n ua al ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG n va NGHIÊN CỨU MƠ HÌNH BIỂU DIỄN KIẾN TRÚC ĐỀ THI VÀ KHAI THÁC KẾT QUẢ THI NHẰM CHUẨN HÓA CHẤT LƯỢNG ĐỀ THI TẠI ll fu oi m nh at TRƯỜNG ĐẠI HỌC KINH TẾ TP.HCM z z MÃ SỐ: CS-2014-46 k jm ht vb gm om l.c Chủ nhiệm: Đặng Thái Thịnh an Lu n va ey t re TP Hồ Chí Minh, tháng 3/2015 Trang i Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad ju y th yi pl n ua al n va ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang ii Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to NHẬN XÉT CỦA HỘI ĐỒNG NGHIỆM THU …………………………………………………… …………………………………………………… …………………………………………………… ng hi ep w n lo …………………………………………………… …………………………………………………… …………………………………………………… ad ju y th yi …………………………………………………… …………………………………………………… …………………………………………………… pl n ua al n va ll fu …………………………………………………… …………………………………………………… …………………………………………………… oi m at nh z …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… …………………………………………………… z k jm ht vb om l.c gm an Lu n ey t re Trang iii va …………………………………………………… …………………………………………………… …………………………………………………… Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad ju y th yi pl n ua al n va ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang iv Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to Danh mục hình ảnh đề tài Hình Khung châu Âu CEFR Hình Biểu diễn câu hỏi dạng vector 12 Hình Các câu hỏi học khơng có giám sát để phân tách cụm 13 ng hi ep Hình Ví dụ q trình phân cụm 14 Hình Phân cụm sử dụng K-means 15 w n Hình Các bước trình phân cụm 17 Hình Giao diện phần mềm EMP Test 19 lo ad So sánh độ khó dựa ý kiến chuyên gia cộng đồng (chưa xếp) 27 So sánh độ khó dựa ý kiến chuyên gia cộng đồng (đã xếp) 27 10 Giao diện phần mềm làm thực nghiệm 27 11 Biểu đồ độ tương đồng đề thi (chuyên gia) 29 12 Biểu đồ độ tương đồng đề thi (cộng đồng) 29 ju y th yi pl n ua al Hình Hình Hình Hình Hình n va ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang v Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to Danh mục bảng biểu đề tài Bảng Bảng mô tả khung châu Âu CEFR Bảng Bảng so sánh chứng tiếng Anh 10 Bảng Ví dụ đánh giá độ khó câu hỏi 11 ng hi ep Bảng Ví dụ liệu trình thi 11 Bảng Ví dụ tỷ lệ trả lời câu hỏi 12 w n Bảng Cách trộn đề ngẫu nhiên không phân cụm 19 Bảng Cách trộn đề ngẫu nhiên có phân cụm 20 lo ad Lượt trả lời câu hỏi thực nghiệm 24 Tỷ lệ trả lời câu hỏi 25 10 Độ khó dựa chuyên gia đánh giá 26 11 Kết sinh đề thi 28 12 So sánh Pearson ý kiến chuyên gia đề thi 28 13 So sánh Pearson ý kiến cộng đồng đề thi 28 ju y th yi pl n ua al Bảng Bảng Bảng Bảng Bảng Bảng n va ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang vi Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Nội dung t to Tóm tắt ng Chương 1: Đặt vấn đề hi ep Tính cấp thiết nghiên cứu Mục tiêu phạm vi nghiên cứu w n Bố cục nghiên cứu: lo ad Chương 2: Các nghiên cứu liên quan ju y th Chương 3: Phương pháp thực 11 yi Dữ liệu đầu vào 11 pl Biểu diễn phân cụm 12 ua al Phân bố câu hỏi sau phân cụm 18 n n va Kiến trúc trộn đề đề xuất 19 ll fu Chương 4: Thực nghiệm kết 22 oi m Sự tương đồng độ khó đề thi 22 at nh Thực nghiệm 23 z Đánh giá phương pháp thực hiện: 29 z Chương 5: Kết luận 32 ht vb k jm Tài liệu tham khảo 33 om l.c gm an Lu n va ey t re Trang vii Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to Tóm tắt ng hi ep Nghiên cứu nhằm áp dụng số phương pháp tin học để biểu diễn kiến trúc đề thi; nghiên cứu đề xuất cách thức khai thác kết w thi nhằm chuẩn hóa, đánh giá lại ngân hàng đề thi; ứng dụng cơng tác khảo thí chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM n lo ad y th Công tác đề thi phụ thuộc hồn tồn vào ý chí chủ quan ju yi cá nhân giảng viên hội đồng đề thi Tuy nhiên, kết thực tế từ thí sinh phản ánh khơng qua điểm nhận xét trước pl n ua al người đề thi Nghiên cứu áp dụng ý kiến chuyên gia (phản hồi nhận xét từ giảng viên) ý kiến cộng đồng (người dự thi) nhằm đưa cách giải việc trộn đề thi từ cách phân bố ngẫu nhiên chuyển sang phân bố đề thi n va ll fu ngẫu nhiên có chủ đích nhằm đạt đến mục tiêu: là, phân bố ngẫu nhiên đảm bảo theo điều kiện cho trước phân bố theo trật tự, số câu hỏi, chương/mục/phần thỏa mãn tính bao quát đề thi; hai là, phân bố câu hỏi đảm bảo độ khó phân bố đề thi, nghĩa hai đề đề mà mang cho thí sinh dự thi có độ khó tương đương oi m at nh z z vb ht Cách thức trộn đề thi đề cập bắt đầu với liệu chun gia (vì k jm chưa có liệu từ cộng đồng) bị liệu từ cộng đồng chi phối Nghĩa là, có kết hợp ý kiến chủ quan người đề ý kiến khách quan người dự thi qua nhiều lần Người đề tham khảo kết phân tích, thay đổi quan điểm om l.c gm an Lu Nghiên cứu giả định đề thi bảo mật sử dụng nhiều lần đối tượng khác Các yếu tố đề thi thi nhiều lần bị lộ, người dự thi biết trước kết trả lời, yếu tố khác n ey t re Trang va nội dung câu hỏi làm ảnh hưởng đến tính phân loại độ khó đề thi bị loại bỏ Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 1: Đặt vấn đề t to ng Tính cấp thiết nghiên cứu hi Hiện cách thức biểu diễn đề thi chủ yếu phụ thuộc vào phân cấp theo ep w cây, node chứa nhiều câu hỏi Mỗi node tượng trưng cho nhóm câu hỏi, trộn đề người giảng viên chia tỷ lệ chọn lựa câu hỏi n nhóm để có đề thi Q trình lặp lặp lại thành nhiều đề thi Ưu điểm cách trộn đề thi giữ cấu trúc định nghĩa trước số lượng câu hỏi node (phần/chương/mục) lo ad y th ju Tuy nhiên với cách truyền thống này, việc chọn câu hỏi node mang tính chất ngẫu nhiên, vậy: yi pl al  Khơng thể độ khó tương đương đề thi với n ua  Sự trùng lắp nhiều câu hỏi đề thi xảy cách chọn ngẫu nhiên va n Một số cách thức xây dựng ngân hàng câu hỏi có phân loại theo mức độ “khó”, “dễ”, “trung bình”; hoăc phân loại theo nhóm câu hỏi thuộc “phân ll fu oi m tích”, “kiến thức” hay “kỹ năng” tồn số sách nhà xuất Pearson tương tự cách đề cập nghĩa chia nhỏ số lượng node làm cho người giảng viên vất vả trình xác định số lượng at nh z câu hỏi phân hóa đề thi Nghiên cứu nhằm đưa cách tiếp cận kết hợp cách phân nhóm câu hỏi, đưa ý kiến chuyên gia vào câu hỏi với ý kiến thụ động đại đa z jm ht vb k số người dự thi nhằm tự động phân loại điều chỉnh cách thức chọn câu hỏi nhằm đạt đến mục tiêu giảm thiểu trùng lắp câu hỏi đề thi đảm bảo độ khó tương đương đề thi với Ứng dụng Trường Đại học Kinh tế TP.HCM, phương pháp vừa đề cập cách thức sử dụng Trường Ngoài ra, hệ thống thi trắc nghiệm trực tuyến Phịng Cơng nghệ thơng tin sử dụng có khả chọn lọc lưu trữ liệu lịch sử thi đủ thơng tin để q trình khai thác kết thi (mining) sử dụng để thực hóa nghiên cứu om l.c gm an Lu n ey t re Trang va Hơn nữa, việc khai thác kết thi cung cấp cho giảng viên nhìn lại cách đánh giá qua ngân hàng đề thi Tính chủ quan sai, việc nhìn nhận liệu thật đối tượng dự thi khác Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM giúp người đề nhiều thông tin để định lần sau, t to định có hỗ trợ máy móc báo cáo cho người định ng hi Mục tiêu phạm vi nghiên cứu ep Mục tiêu nghiên cứu nhằm đưa cách thức trộn đề thi từ cách thức khai thác kết thi từ hai nguồn liệu: w  Ý kiến chuyên gia (người đề/hội đồng đề) n lo ad  Ý kiến thụ động người dự thi Mơ hình áp dụng, nghiên cứu nhằm đạt đến mục tiêu phân bố ngẫu y th ju nhiên đảm bảo theo điều kiện cho trước phân bố theo trật tự, số câu yi hỏi, chương/mục/phần thỏa mãn tính bao quát đề thi; phân bố câu hỏi đảm bảo độ khó phân bố đề thi, nghĩa hai đề pl al n ua đề mà mang cho thí sinh dự thi có độ khó tương đương Nghiên cứu bị giới hạn yếu tố: va n  Thiếu ý kiến chuyên gia: việc đánh giá độ khó câu hỏi phụ thuộc vào vài chuyên gia, kết xác có nhiều chun gia thực đánh giá câu hỏi Việc làm phát sinh chi phí nhiều ll fu oi m nh at  Ý kiến nhiễu từ người dự thi: nghiên cứu giả định người dự thi đào tạo từ môn học lĩnh vực dự thi cố gắng làm hết khả Các mẫu nghiên cứu làm thi cách chọn ngẫu nhiên đáp án nhỏ z z k jm ht vb không đáng kể l.c gm  Các yếu tố khác nội dung câu hỏi dấu hiệu nhận biết câu trả lời câu hỏi loại bỏ om  Ngân hàng đề thi bảo mật sử dụng nhiều lần đối tượng người dự thi khác an Lu ey t re Trang n định nghĩa trước; đề thi tạo nhằm đáp ứng thí sinh đạt điểm đạt đề thi (có thể đáp ứng tối thiểu mục tiêu thi) Mức điểm ý kiến chuyên va  Nghiên cứu nhằm đạt mục tiêu độ khó tương đương đề thi, chưa quan tâm đến vấn đề làm rõ ràng thang điểm “đạt” cho người dự thi Nghĩa là, mục tiêu thi Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM chia nhỏ số chương/nhóm để thực Ví dụ: trước có nhóm t to chương 1, chia nhỏ thành phần nhỏ khó, dễ trung bình Ví dụ cụ thể sau cách chuyển đổi (cách biễu diễn liệu từ bảng sang) ng hi Nhóm câu hỏi chương chia thành: chương – Khó, chương – Trung bình, chương – dễ - Nhóm câu hỏi chương chia thành: chương – Khó, ep - w n chương – Trung bình, chương – dễ lo ad - Tương tự cho chương cịn lại Quy định q chi tiết, ví dụ nhóm chương có câu hỏi, phải chia nhỏ thành nhóm nhóm nhỏ phải quy định lại số câu hỏi cho tổng số câu hỏi ju - y th Hạn chế cách làm này: yi pl al Phân nhóm theo nhóm đủ Ví dụ tình khó, dễ, trung bình Nếu muốn gia tăng hay giảm số nhóm phải n ua - va n thực lại từ đầu Khó khăn tăng số nhóm độ khó câu hỏi, phải quy định chi tiết ll fu Định nghĩa quy định câu hỏi khó hay dễ phụ thuộc hoàn toàn vào ý kiến chủ quan người đề Và cách phân loại tốn nhiều cơng sức - Ngồi ra, cách làm này, người đề phải phân loại câu hỏi tự đánh giá câu hỏi, không học nội dung phản hồi người dự thi oi m - at nh z z jm ht vb k - Có thể câu hỏi bị lặp lại cách chọn ngẫu nhiên Cũng tương tự cách thức trộn đề này, sở phân cụm cách chọn câu hỏi sau phân cụm Cách biểu diễn kiến trúc sau (hình 7): an Lu n va Số câu hỏi … 10 50 câu hỏi om Số câu hỏi 30 20 … 50 Tổng cộng số câu hỏi đề thi l.c gm Nhóm … n ey t re Bảng Cách trộn đề ngẫu nhiên có phân cụm Phân cụm, chọn câu hỏi sau phân cụm Trang 20 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Trong nhóm câu hỏi, việc phân cụm lựa chọn câu hỏi sau phân cụm t to thực trình bày mục chương Với cách làm này, trình phân cụm trình học khơng có giám sát giúp tự điều hịa số câu hỏi khó dễ cụm mà cách làm cũ không thực ng hi ep Ưu điểm kiến trúc mới: Độ khó tự học chiều từ chuyên gia phản hồi cộng - w n đồng lo ad - y th yi Hạn chế: Hạn chế tối đa trùng lắp câu hỏi ju - Không phải quy định chi tiết số câu hỏi cụm phân loại câu hỏi theo nhóm độ khó pl Vẫn phải phân nhóm câu hỏi ban đầu - Phân cụm chạy nhóm câu hỏi - Phải quy định số cụm cho nhóm câu hỏi n ua al - va n Với cách đề xuất mơ hình trộn đề chi tiết cách thực trên, người làm cơng tác khảo thí sử dụng lựa chọn tình ngân hàng đề thi lớn Tính hiệu nghiên cứu thể chi tiết qua thực nghiệm đánh giá kết chương ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang 21 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 4: Thực nghiệm kết t to ng Sự tương đồng độ khó đề thi hi Mỗi đề thi đánh giá tương đồng độ khó Giả sử đề thi ep w có n câu hỏi, câu hỏi có độ khó biểu diễn vector giá trị độ khó chuyên gia độ khó người dùng định nghĩa Biểu diễn vector n đề thi có n câu sau: (u1, u2, u3, u4, … un), (e1, e2, e3, e4, … en) với ui: độ khó câu hỏi thứ i người dự thi định ei: độ khó câu hỏi thứ i chuyên gia (người đề thi) định lo ad y th ju Vậy vector có n giá trị miêu tả Sự tương đồng đề thi tính tính nhiều phương yi pl n ua al pháp như: Cosine similarity, Pearson correlation Ví dụ: cosin similarity (cơng thức 2) ∑𝑖 𝑥𝑖 𝑦𝑖 va Cos 𝑆𝑖𝑚 (𝑥, 𝑦) = n √∑𝑖 𝑥𝑖2 √∑𝑖 𝑦𝑖2 = 〈𝑥,𝑦〉 ||𝑥|| ||𝑦|| (công thức 2) ll fu m oi Với đề thi mô tả: x1, x2, x3… xn (xi) Với đề thi mô tả: y1, y2, y3… yn (yi) Nếu tương đồng cao (giá trị tiến 1) nghĩa độ khó đề thi tương đương Phương pháp đánh giá lại kết sau q trình trộn đề thi hồn tất at nh z z ht vb k jm Cách đo khoảng cách vector cịn thực qua phương pháp tính khoảng cách sau: Inner product (cơng thức 3) an Lu Pearson correlation (công thức 4) om 𝑖 (công thức 3) l.c gm 𝐼𝑛𝑛𝑒𝑟(x, y) = ∑ 𝑥𝑖 𝑦𝑖 = 〈𝑥, 𝑦〉 n va ey t re Trang 22 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM ∑𝑖(𝑥𝑖 − 𝑥̅ ) (𝑦𝑖 − 𝑦̅ ) 𝐶orr(x, y) = t to √∑(𝑥𝑖 − 𝑥̅ )2 √∑(𝑦𝑖 − 𝑦̅)2 〈𝑥 − 𝑥̅ , 𝑦 − 𝑦̅〉 = || 𝑥 − 𝑥̅ || || 𝑦 − 𝑦̅ | ng hi ep w = 𝐶𝑜𝑠𝑆𝑖𝑚 ( 𝑥 − 𝑥̅ , 𝑦 − 𝑦̅ ) (công thức 4) Các cơng thức đo khoản cách thực cho nghiên cứu n Pearson sử dụng thực nghiệm lo ad y th Thực nghiệm ju Thực nghiệm lấy từ kết thi đánh giá xếp loại đoàn viên Đoàn niên – Hội sinh viên trường Đại học Kinh tế TP.HCM Cuộc thi yi pl n ua al thực học kỳ cuối năm 2014 với ngân hàng 150 câu hỏi xem cần phân loại vào nhóm nội dung thi Nội dung câu hỏi chủ đề kiến thức Đoàn Hội Trung bình câu hỏi có 203.66 lượt trả lời va n Cụ thể, lượt trả lời câu hỏi bảng 8: ll fu oi m Câu Lượt Câu Lượt Câu Lượt Câu Lượt Câu Lượt hỏi trả lời hỏi trả lời hỏi trả lời hỏi trả lời hỏi trả lời 200 31 219 61 206 91 230 121 229 199 32 217 62 211 92 206 122 235 193 33 201 63 174 93 235 123 222 187 34 207 64 209 94 232 124 233 195 35 221 65 202 95 238 125 209 192 36 189 66 208 96 233 126 228 200 37 216 67 212 97 224 127 234 191 38 223 68 203 98 223 128 222 190 39 203 69 209 99 197 129 234 10 194 40 223 70 213 100 234 130 214 11 198 41 222 71 207 101 219 131 235 12 199 42 220 72 214 102 234 132 231 13 199 43 188 73 198 103 226 133 232 14 197 44 207 74 217 104 219 134 215 15 196 45 196 75 214 105 225 135 207 16 175 46 220 76 212 106 231 136 234 17 197 47 196 77 211 107 195 137 213 18 194 48 204 78 202 108 221 138 218 19 196 49 189 79 208 109 228 139 225 20 176 50 193 80 203 110 225 140 229 21 184 51 184 81 195 111 213 141 214 at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang 23 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n 181 175 174 173 173 169 159 160 161 lo 22 23 24 25 26 27 28 29 30 52 53 54 55 56 57 58 59 60 193 201 192 192 191 193 176 191 193 82 83 84 85 86 87 88 89 90 200 193 172 194 184 173 184 159 162 112 113 114 115 116 117 118 119 120 218 194 191 188 206 200 189 188 181 142 143 144 145 146 147 148 149 150 227 214 219 192 210 210 200 153 182 ad Bảng Lượt trả lời câu hỏi thực nghiệm ju pl n ua al va ll fu oi m nh z z Tỷ lệ 0.325242718 0.687203791 0.132183908 0.80861244 0.579207921 0.548076923 0.448113208 0.443349754 0.397129187 0.497652582 0.792270531 0.775700935 0.287878788 0.884792627 0.210280374 0.820754717 0.620853081 0.777227723 0.865384615 0.295566502 0.820512821 0.465 0.761658031 0.604651163 0.865979381 0.380434783 0.173410405 0.793478261 0.496855346 k jm ht vb om l.c gm an Lu n va ey t re Tỷ lệ 0.844748858 0.760368664 0.532338308 0.357487923 0.859728507 0.248677249 0.328703704 0.986547085 0.551724138 0.887892377 0.959459459 0.881818182 0.409574468 0.347826087 0.678571429 0.590909091 0.367346939 0.651960784 0.285714286 0.440414508 0.505434783 0.611398964 0.109452736 0.494791667 0.4375 0.230366492 0.279792746 0.153409091 0.77486911 Câu hỏi 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 at Câu hỏi 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 n Tỷ lệ 0.875 0.587939698 0.518134715 0.497326203 0.497435897 0.234375 0.95 0.382198953 0.594736842 0.407216495 0.616161616 0.743718593 0.894472362 0.685279188 0.510204082 0.142857143 0.847715736 0.835051546 0.841836735 0.568181818 0.130434783 0.497237569 0.342857143 0.557471264 0.664739884 0.849710983 0.325443787 0.566037736 0.71875 yi Câu hỏi 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 y th Tỷ lệ câu hỏi trả lời sau (bảng 9) Trang 24 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM 30 0.788819876 60 0.865284974 90 0.524691358 Bảng Tỷ lệ trả lời câu hỏi t to ng hi ep w n lo ad ju y th yi pl ua al va Tỷ lệ 0.676855895 0.45106383 0.531531532 0.862660944 0.387559809 0.135964912 0.752136752 0.454954955 0.854700855 0.621495327 0.863829787 0.333333333 0.918103448 0.693023256 0.599033816 0.952991453 0.732394366 0.444954128 0.702222222 0.257641921 0.710280374 0.850220264 0.182242991 0.447488584 0.21875 0.19047619 0.785714286 0.53 0.215686275 0.489010989 n ll fu oi m at nh z z k jm ht vb om l.c gm an Lu Tỷ lệ 0.195652174 0.359223301 0.94893617 0.806034483 0.962184874 0.845493562 0.352678571 0.30044843 0.304568528 0.683760684 0.315068493 0.427350427 0.898230088 0.666666667 0.511111111 0.354978355 0.230769231 0.280542986 0.956140351 0.408888889 0.530516432 0.422018349 0.453608247 0.319371728 0.414893617 0.650485437 0.275 0.687830688 0.5 0.248618785 Câu hỏi 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 n Câu hỏi 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 n va Kết phản ảnh, tỷ lệ cao nghĩa câu hỏi dễ, tỷ lệ thấp nghĩa câu hỏi khó Dựa tiêu chuẩn đó, kiến thức chuyên t re ey gia đánh giá câu hỏi sau (bảng 10) Câu Chuyên Câu Chuyên Câu Chuyên Câu Chuyên Câu Chuyên hỏi gia hỏi gia hỏi gia hỏi gia hỏi gia Trang 25 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad y th yi pl n ua va ll fu m 0.2 0.5 0.3 0.9 0.8 0.6 0.7 0.2 0.1 0.8 0.5 0.9 0.1 0.9 0.3 0.7 0.8 0.9 0.9 0.6 0.9 0.5 0.9 0.8 0.9 0.2 0.3 0.9 0.4 0.7 at nh z 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 z k jm ht vb 0.1 0.7 0.9 0.6 0.9 0.9 0.2 0.1 0.3 0.6 0.5 0.3 0.9 0.8 0.8 0.5 0.1 0.3 0.9 0.5 0.2 0.2 0.7 0.6 0.2 0.9 0.6 0.9 0.6 0.2 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 0.7 0.4 0.3 0.8 0.2 0.1 0.9 0.2 0.9 0.8 0.8 0.2 0.9 0.8 0.7 0.7 0.4 0.7 0.7 0.2 0.9 0.9 0.4 0.3 0.1 0.2 0.9 0.6 0.4 0.8 l.c gm Bảng 10 Độ khó dựa chuyên gia đánh giá 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 oi 0.8 0.9 0.5 0.3 0.6 0.1 0.6 0.9 0.4 0.8 0.9 0.9 0.6 0.1 0.4 0.5 0.2 0.4 0.3 0.7 0.3 0.3 0.2 0.2 0.2 0.1 0.5 0.2 0.9 0.9 n 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 al 0.9 0.8 0.5 0.7 0.5 0.1 0.7 0.6 0.5 0.5 0.9 0.7 0.9 0.9 0.8 0.1 0.9 0.9 0.8 0.3 0.1 0.6 0.6 0.6 0.8 0.7 0.2 0.6 0.4 0.9 ju 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 om Biểu đồ hình sau mơ tả ý kiến chuyên gia ý kiến cộng đồng (trên tỷ lệ trả lời đúng), trục hoành diễn ta số câu hỏi an Lu n va ey t re Trang 26 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad Hình So sánh độ khó dựa ý kiến chuyên gia cộng đồng (chưa xếp) y th ju Bây câu hỏi xếp theo giá trị chuyên gia chuyên gia tăng dần, ta có phân bố cộng đồng sau (hình 9): yi pl n ua al n va ll fu oi m at nh z Hình So sánh độ khó dựa ý kiến chuyên gia cộng đồng (đã xếp) z k jm ht vb Nhận xét: nhìn chung xu hướng cộng đồng theo xu hướng đánh giá chuyên gia, liệu tương đối tốt cho thử nghiệm om l.c gm Kết sau chạy chọn đề thi sau: Số cụm = 5, số đề = 5, câu hỏi đề = 20 (như giao diện hình 10) an Lu n va ey t re Hình 10 Giao diện phần mềm làm thực nghiệm Danh sách câu hỏi đề thi (bảng 11): Trang 27 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Stt câu t to ng hi ep w n lo Câu đề Câu đề Câu đề Câu đề 43 123 130 124 140 20 77 131 120 22 51 84 31 146 119 39 19 61 23 52 25 129 27 110 89 65 142 132 10 144 104 17 36 82 122 134 60 37 102 135 96 107 148 111 121 79 56 114 48 11 40 97 50 54 105 85 73 138 128 116 145 67 45 15 18 58 68 139 42 98 113 55 14 74 108 106 112 70 81 49 66 115 118 13 91 46 90 103 47 92 150 64 75 ad ju y th yi pl n ua al n va ll oi m Bảng 11 Kết sinh đề thi fu 10 11 12 13 14 15 16 17 18 19 20 Câu đề nh at Đánh giá Pearson độ tương đồng đề thi sau sinh ra: Ý kiến chuyên gia (bảng 12): z Đề 0.97531 0.961304 0.984653 0.965235 Đề 0.953814 0.98156 0.970552 0.965235 k jm ht Bảng 12 So sánh Pearson ý kiến chuyên gia đề thi ey Đề 0.983579 0.98317 0.992197 0.975544 t re Đề 0.975203 0.984919 0.978244 0.975544 n 0.974957 0.986603 0.975203 0.983579 Đề 0.986603 0.990853 0.978244 0.992197 va Đề Đề Đề Đề Đề Đề 0.974957 0.990853 0.984919 0.98317 an Lu Đề om Ý kiến cộng đồng (bảng 13): l.c gm 0.972208 0.976262 0.97531 0.953814 Đề 0.976262 0.971808 0.984653 0.970552 vb Đề Đề Đề Đề Đề Đề 0.972208 0.971808 0.961304 0.98156 z Đề Bảng 13 So sánh Pearson ý kiến cộng đồng đề thi Biểu đồ độ tượng đồng đề thi (hình 11 12) Trang 28 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to ng hi ep w n lo ad Hình 11 Biểu đồ độ tương đồng đề thi (chuyên gia) ju y th yi pl n ua al n va ll fu m oi Hình 12 Biểu đồ độ tương đồng đề thi (cộng đồng) at nh z Đánh giá phương pháp thực hiện: z vb jm ht Về thuật toán phân cụm liệu: Nhược điểm k-means nhạy cảm với nhiễu phần tử ngoại lai liệu Hơn nữa, chất k lượng phân cụm liệu thuật toán k-means phụ thuộc nhiều vào tham số đầu vào như: số cụm k k trọng tâm khởi tạo ban đầu Trong trường hợp trọng tâm khởi tạo ban đầu mà lệch so với trọng tâm cụm tự nhiên kết phân cụm k-means thấp, nghĩa cụm liệu khám phá lệch so với cụm thực tế Trên thực tế chưa có giải pháp tối ưu để chọn tham số đầu vào, giải pháp thường sử dụng thử nghiệm với giá trị đầu vào k khác sau chọn giải pháp tốt Đánh giá thuật toán K-Means: om l.c gm an Lu n ey t re - va  Ưu điểm : K-means có độ phức tạp tính tốn O(tkn) Trang 29 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM K-means phân tích phân cụm đơn giản nên áp dụng tập - t to liệu lớn ng hi  Nhược điểm : K-means không khắc phục nhiễu giá trị k phải cho ep - người dùng w - n Chỉ thích hợp áp dụng với liệu có thuộc tính số khám lo ad cụm có dạng hình cầu y th ju Ví dụ : Giả sử có tập đối tượng định vị hệ trục toạ độ X, Y Cho k =3 tức người dùng cần phân đối tượng vào cụm Theo giải thuật, ta chọn ngẫu nhiên trung tâm cụm ban đầu; sau đó, yi pl n ua al đối tượng phân vào cụm chọn dựa tâm cụm gần n va Sự trùng lặp câu hỏi đề thi: - Nếu câu hỏi bị trùng nhiều, nghĩa độ khó gần nhiều, cách khơng phải mục tiêu nghiên cứu - Giả sử ta tìm n đề thi, đề thi có c câu hỏi Với thuật toán hạn chế trùng đề thi, cách chọn thực sở ưu tiên chọn câu hỏi ll fu oi m at nh z z Điểm mạnh nghiên cứu: - Nghiên cứu đề xuất phương pháp mô tả chi tiết lấy tri thức từ chuyên gia đề thi không nhiều thông tin phải cung cấp, đủ cho trình đánh giá phân loại đề thi - Nghiên cứu đưa mơ hình phân loại câu hỏi đựa kết thi từ cộng đồng kết hợp tri thức chuyên gia - Một phương pháp đánh giá trộn đề thi công đề thi, phương pháp trước mang nhiều ý kiến chủ quan, khơng có phân bố dựa độ khó mà dựa phân bố ngẫu nhiên k jm ht vb om l.c gm an Lu n ey t re Trang 30 va Điểm yếu mơ hình: - Bài thi thí sinh phải nhiều câu hỏi, đánh giá có ý nghĩa - Ý kiến chuyên gia xem xét với ý kiến người dự thi, chưa Tuy nhiên, ý kiến chun gia có Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM t to thể thay đổi quan điểm sau người đề xem xét liệu trả người dự thi ng Nhưng yếu tố khác tác động lên thi: thông tin cá nhân học thức hi ep người dự thi chưa xem xét mơ hình Ví dụ: thi w TOEIC, TOEFL, IELTS yêu cầu khảo sát nhỏ trước thí sinh thực thi Trong họ có nghiên cứu yếu tố ảnh hưởng đến chất lượng n thi dùng để phân loại câu hỏi sau lo ad ju y th yi pl n ua al n va ll fu oi m at nh z z k jm ht vb om l.c gm an Lu n va ey t re Trang 31 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Chương 5: Kết luận t to Nghiên cứu đưa cách tiếp cận dựa phương pháp phân cụm liệu, kết trình phân cụm chọn lọc để đưa vào đề thi ng hi ep Nghiên cứu tương đồng đề thi qua phương pháp đo w khoảng cách vector trình bày Kết phương pháp áp dụng để cách trộn đề thi vừa phân bố mang yếu tố ngẫu nhiên vừa có n lo độ khó tương đương đề thi Tuy nhiên cách giải chưa giải đưa ad ju y th tiêu chuẩn chung cho tiêu chuẩn (cut-score) mà chủ yếu vào kiến thức người chuyên gia để đưa mức điểm cho mức độ Tuy nhiên kết yi pl nghiên cứu giúp điểm thi cộng đồng có xu hướng phân bố rải rác độ khó phân bố đồng Điều hỗ trợ cho trình xác định định để xác định cut-score dễ dàng n ua al va Đóng góp nghiên cứu thêm hỗ trợ dựa khai khai thác n kết thi, có nhìn nhận đánh giá từ kiến thức chuyên gia (người đề thi) liệu cộng đồng đánh giá từ kết trắc nghiệm khách quan, cách tiếp cận định lượng Hạn chế nghiên cứu chưa xác định điểm dừng cho mức ll fu oi m nh at độ xác định cut-score Thực nghiệm thiếu nhiều liệu yếu tố khác ảnh hướng đến kết thi Để có liệu cộng đồng đủ lớn để giúp trình đánh giá có ý nghĩa điều khó khăn Ban đầu hệ thống chạy với liệu chuyên gia hoàn toàn, sau thời gian liệu z z jm ht vb k cộng đồng có nhiều kết hợp với chuyên gia để đánh giá Người đề sau có kết thi nhìn nhận lại cách đánh giá để xem xét có q chủ quan đưa định ban đầu hay khơng Từ hệ thống điều chỉnh học cách làm liên tục Nghiên cứu mở rộng cách tăng giảm độ khó đề thi cách phân bố không vào cụm sau phân hoạch Tuy nhiên cách làm cần đánh giá lại việc phân loại cần phương pháp đánh giá khác om l.c gm an Lu n va ey t re Trang 32 Nghiên cứu mơ hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Tài liệu tham khảo t to ng Cizek, G J (2006) Standard setting In S M Downing & T M Haladyna Eds Handbook of test development hi ep Mahwah: Lawrence Erlbaum Associations Cizek, G J., & Bunch, M B (2007) Standard setting: A guide to establishing and evaluating performance standards on tests Thousand Oaks: SAGE Publications w n lo Cohen, A S., Kane, M T., & Crooks, T J (1999) A generalized examineecentred method for setting standards on achievement test Applied ad ju y th Measurement in Education, 12(4), 343-366 Ferdous, A A., & Plake, B S (2007) Item selection strategy for reducing the yi pl number of items rated in an Angoff standard setting study Educational and Psychological Measurement, 67(2), 193-206 Giraud, G., Impara, J C., & Buckendahl, C (1999/2000) Making the cut in n ua al va school districts: alternative methods for setting cutscores Educational n Assessment, 6(4), 291-304 Hambleton, R K., Jaeger, R M., Plake, B S., & Mills, C.(2000) Setting performance standards on complex educational assessments Applied Psychological Measurement, 24(4), 355-366 ll fu oi m at nh z Hambleton, R K., & Pitoniak, M J (2006) Setting performance standards In R L Brennan (Ed.) Educational Measurement (4th ed.) Westport: American Council on Education & Praeger Publishers Hansche, L N (1998) Handbook for the development of performance z jm ht vb k standards: Meeting the requirements of Title I Washington: U.S Department of Education & The Council of Chief State School Officers Hurtz, G M., & Auerbach, M A (2003) A meta-analysis of the effects of modifications to the Angoff method on cutoff scores and judgment consensus Educational and Psychological Measurement, 63(4), 584-601 Jaeger, R M (1989) Certification of student competence In R L Linn (Ed.) Educational Measurement (3rd ed.) New York: American Council of Education & McMillan om l.c gm an Lu n ey t re Trang 33 va Kane, M (1994) Validating the performance standards associated with passing scores Review of Educational Research, 64(3), 425-461 Kane, M (1998a) Choosing between examinee-centred and test-centred standard-setting methods Educational Assessment, 5(3), 129-145 Nghiên cứu mô hình biểu diễn kiến trúc đề thi khai thác kết thi nhằm chuẩn hóa chất lượng đề thi Trường Đại học Kinh tế TP.HCM Kane, M (1998b) Criterion bias in examinee-centred standard setting: Some t to thought experiments Educational Measurement: Issues and Practice, 17(1), 23-30 Kane, M T (2001) So much remain the same: Conception and status of ng hi ep validation in setting standards In G J Cizek (Ed.) Setting performance standards Concepts, methods, and perspectives (pp 53-88) w n Livingstone, S A., & Zieky, M J (1982) Passing scores: A manual for setting standards of performance on educational and occupational tests Princeton: lo ad ju y th Educational Testing Services Livingstone, S A., & Zieky, M J (1989) A comparative study of standardsetting methods Applied Measurement in Education, 2(2), 121-141 Nguyễn Hoàng Tú Anh (2009) Khai thác liệu & ứng dụng (Data Mining), NXB ĐHQG TP.HCM Lê Ngọc Thạnh & Vũ Thị Phương Lan (2002) Phần mềm EMP Test (2002) yi pl n ua al va n Phần mềm triển khai Khoa Hệ thống thông tin kinh doanh, trường Đại học Kinh tế TP.HCM ll fu oi m at nh Các tài liệu đánh giá chuẩn tiếng Anh: Teacher’s Guide to the Common European Framework, Bản điện tử truy cập từ: http://lcci.hu/hun/wp-content/uploads/cefguide.pdf ngày 10/3/2015 Vũ Thị Phương Anh (2006) Khung trình độ chung châu Âu việc nâng cao hiệu đào tạo tiếng Anh ĐHQG HCM, Tạp chí phát triển KH&CN z z jm ht vb k Bản điện tử truy cập từ http://www.vnulib.edu.vn:8000/dspace/bitstream/123456789/1892/1/sede v1006-03.pdf ngày 10/3/2015 The full Common European Framework document (in English) Bản điện tử, truy cập từ http://www.coe.int/t/dg4/linguistic/source/framework_en.pdf ngày 10/3/2015 Mapping the TOEIC and TOEIC Bridge Tests on the Common European Framework of Reference for Languages Bản điện tử, truy cập từ om l.c gm an Lu n ey t re Trang 34 va https://www.ets.org/s/toeic/pdf/toeic_cef_mapping_flyer.pdf ngày 10/3/2015