Tự động hóa lựa chọn và phối trộn đề thi tự luận

Hiện nay, Trường Đại học Kinh doanh và Công nghệ Hà Nội đang tiến hành chủ yếu hai hình thức thi: Tự luận và trắc nghiệm khách quan. Muốn đánh giá chính xác điểm thi của sinh viên cần chú trọng thực hiện tốt khâu ra đề thi, phối trộn và tổ chức thi kết thức học phần. Bài viết này, tác giả đề cập đến việc tự động hóa trong khâu lựa chọn và phối trộn đề thi tự luận.

NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội TỰ ĐỘNG HÓA LỰA CHỌN VÀ PHỐI TRỘN ĐỀ THI TỰ LUẬN Nguyễn An * Tóm tắt: Hiện nay, Trường Đại học Kinh doanh Công nghệ Hà Nội tiến hành chủ yếu hai hình thức thi: tự luận trắc nghiệm khách quan Muốn đánh giá xác điểm thi sinh viên cần trọng thực tốt khâu đề thi, phối trộn tổ chức thi kết thức học phần Bài viết này, tác giả đề cập đến việc tự động hóa khâu lựa chọn phối trộn đề thi tự luận Từ khóa: tự động hóa, phối trộn, thi tự luận Summary: Currently, Hanoi University of Business and Technology is conducting two main types of exams: essay and objective test To accurately assess the students’ test scores, it is necessary to focus on well performing the exam topic preparation stage, mixing and organizing final exams This article, the author discusses automating the selection and mixing of essay questions Keywords: automation, mixing, essay examination exam topic Mở đầu Muốn đánh giá xác điểm thi sinh viên cần trọng thực tốt khâu đề, phối trộn tổ chức thi kết thúc học phần Thời đại cách mạng công nghệ lần thứ tư với phương tiện kỹ thuật đại cho phép đẩy nhanh tốc độ, tăng cường độ xác việc tự động hóa khâu đề, phối trộn đề, quản lý đề thi, chấm thi quản lý điểm thi sinh viên Thực tốt khâu hạn chế tối đa tượng tiêu cực thi Thực trạng thi tự luận Trường Đại học Kinh doanh Công nghệ Hà Nội Hiện nay, Trường Đại học Kinh doanh Công nghệ Hà Nội tiến hành chủ yếu hai hình thức thi: tự luận trắc nghiệm khách quan * Phòng Khoa học Đảm bảo chất lượng, Trường ĐH KD&CN Hà Nội Trong thi tự luận, theo Quyết định số 634/QĐ-BGH Ban Giám hiệu ngày 15/12/2014, môn học/học phần cần biên soạn 30 câu hỏi cho tín Bộ câu hỏi chia thành hai rổ: rổ “trung bình” (phản ảnh nội dung cốt lõi mơn học) chiếm 60% số câu, rổ “khó” chiếm 40 % số câu Khi thi, sinh viên chọn ngẫu nhiên câu thuộc rổ trung bình câu thuộc rổ khó (học phần tín chỉ), câu thuộc rổ trung bình câu thuộc rổ khó (học phần tín chỉ) câu thuộc rổ trung bình câu thuộc rổ khó (học phần tín chỉ) Tuy nhiên, việc quy định khó thực hiện, nên ngày 14/2/2017, Ban Giám hiệu có văn số 708/QĐ-BGH sửa đổi quy định lại là: học phần thi tự luận phải soạn 10-20 đề cho tín chỉ, tối đa khơng q 30 đề Sau Tạp chí Kinh doanh Cơng nghệ Số 10/2020 58 Văn hóa - Xã hội Hội đồng Khoa học Đào tạo (KHĐT) trường nghiệm thu, đề thi lưu trữ Trung tâm Khảo thí trường Ban Giám hiệu yêu cầu trước kỳ thi Trung tâm Khảo thí cử cán bốc đề (một đề chẵn, đề lẻ) sao, đóng gói bảo mật, niêm phong Khi thi, giám thị phòng thi ký nhận phong bì đề thi để phát cho sinh viên phòng thi Hội đồng thi chấm thi tự luận chuyển cho Trung tâm Khảo thí kiểm tra, sau đó, Trung tâm Tin học nhập điểm vào máy chủ Thi tự luận nêu có số nhược điểm: học phần đề thi cố định; đề thi có dạng độc lập, rời rạc, phản ánh phần kiến thức học phần; thi, Trung tâm Khảo thí chọn xác suất đề cho lần/kỳ thi Điều chưa hợp lý, đề thi độc lập, nên gồm số câu hỏi phần kiến thức học phần Vì vậy, có lúc kỳ thi hỏi phần kiến thức nhỏ môn học Cách thức nảy sinh suy nghĩ sai trái, học lệch, học tủ sinh viên đánh giá thiếu công sinh viên dự thi Vì, thơng thường gặp đề dễ, sinh viên đạt điểm cao, gặp đề khó sinh viên đạt điểm thấp Cách tổ chức không khách quan, dễ phát sinh tiêu cực kỳ thi Mặt khác, đề thi người lựa chọn, nên không loại trừ khả lộ đề Việc chọn đề thi cho lần thi dễ phát sinh tượng quay cóp, trao đổi sinh viên dự thi Việc quy định soạn 10-30 đề thi cho tín chưa hợp lý Một số khoa soạn 30 đề thi cho môn học, nên hiển nhiên quay vịng vài lần thi lộ hết đề Vì thế, sinh viên mua “phao” đáp án đề thi, khơng cần học Mơ hình tự động hóa lựa chọn phối trộn đề thi tự luận NGHIÊN CỨU TRAO ĐỔI Trong mơ hình này, cần tiến hành công việc cụ thể sau: 3.1 Chuyển đổi ngân hàng đề thi tự luận thành ngân hàng câu hỏi thi tự luận Mỗi mơn học/học phần, thay xây dựng ngân hàng đề thi, thực xây dựng ngân hàng câu hỏi thi theo cấu trúc Tùy tính đặc thù mơn học, ngân hàng câu hỏi thi gồm câu từ đơn giản đến phức tạp, tập, phương trình, cơng thức tốn, hình vẽ (nếu có) Các câu hỏi phân thành nhóm theo chun mơn (chương/phần) mơn học Câu hỏi chương gồm hai mức trung bình khó (theo quy định 634/QĐ-BGH), kèm theo hệ số điểm (Bảng 1) Bảng Cấu trúc ngân hàng câu hỏi thi tự luận môn học/học phần Nội dung khoa học ngân hàng Hội đồng KHĐT Khoa Trường xét duyệt, nghiệm thu, sau lưu máy chủ Trung tâm Khảo thí Văn phòng khoa Số câu hỏi thi nên lớn 30 câu cho loại, để đảm bảo ngân hàng có tối thiểu 90120 câu Tạp chí Kinh doanh Công nghệ Số 10/2020 59 NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội Bảng Format mã hóa ngân hàng câu thi tự luận để nhập vào phần mềm phối trộn đề thi tự luận [] Nội dung câu 1…… [] Đáp án (điểm cho câu 1): … [] Nội dung câu … [] Đáp án (điểm cho câu 2): ,… [] Nội dung câu 3… v.v… Khi nhập ngân hàng câu hỏi thi tự luận vào phần mềm máy tính để quản lý, phối trộn, cần phải trình bày nội dung (mã hóa) ngân hàng theo format Bảng Trong đó: Các nhóm ký tự [] lời ghi công thức thích để nhập vào phần mềm quản lý ngân hàng câu hỏi thi, máy tính hiểu nhận quy tắc lựa chọn Với ký tự a=``: câu hỏi thi tự luận khơng có đáp cả; c=`02`: có nghĩa câu thuộc nhóm kiến thức số 02; d=`4`: độ khó câu mức khó (độ khó ‘1’ dễ; ‘2’ dễ; ‘3’ trung bình, ‘4’ khó; ‘5’ khó) Các câu hỏi ngăn cách nhóm ký tự [] Phần đáp án (điểm cho câu ) đáp án hướng dẫn thang điểm để chấm câu 3.2 Ma trận thuật toán lựa chọn, phối trộn đề thi tự luận Ma trận thuật toán lựa chọn, phối trộn đề thi (gọi tắt Ma trận chọn đề) bảng tập hợp tên gọi nhóm kiến thức số nguyên dùng để hướng dẫn máy tính thực quy cách thao tác lựa chọn câu hỏi từ ngân hàng câu hỏi, cho vừa đảm bảo đủ phân bố cần thiết số lượng câu hỏi chương, [] Nội dung câu 1…… [] Đáp án (điểm cho câu 1): … [] Nội dung câu … [] Đáp án (điểm cho câu 2): ,… [] Nội dung câu 3… v.v… [] v.v… phần mơn học, vừa đảm bảo trình độ khó, dễ vừa đồng số lượng câu hỏi trình độ mã đề thi tự luận khác với lần thi/kỳ thi Để có đề thi tự luận, phải sử dụng phần mềm tin học nhằm tự động lựa chọn, phối trộn câu hỏi thi xuất mã đề thi Muốn đạt mục tiêu đặt ra, đề thi phần mềm máy tính xuất phải đảm bảo điều kiện sau đây: - Phải bao hàm phần kiến thức học theo quy định đề cương chi tiết chuẩn đầu môn học; - Phải phân bổ kiến thức chương/phần; - Mỗi mã đề cho sinh viên dự thi phải đồng kiến thức chương, phần cần hỏi độ khó để đánh giá cơng sinh viên thi; Bảng Cấu trúc ma trận chọn đề thi tự luận Tạp chí Kinh doanh Cơng nghệ Số 10/2020 60 Văn hóa - Xã hội NGHIÊN CỨU TRAO ĐỔI - Phải đảm bảo chống tượng Bảng tiêu cực thi Bảng sau giải thích ý nghĩa Muốn vậy, phải xây dựng ma trận ký tự ký số ma trận chọn chọn đề phù hợp Cấu trúc ma trận mô tả đề thi tự luận Bảng Bảng Giải thích ký hiệu ký số Ma trận chọn đề thi tự luận C1, C2, , Cn Ký hiệu tên đơn vị kiến thức n1c1, n1c2, ,n1cn Số lượng câu loại khó thuộc đơn vị kiến thức C1, C2, Cn tương ứng n2c1, n2c2, n2cn Số lượng câu loại trung bình thuộc đơn vị kiến thức C1, C2, Cn tương ứng X1, X2, ,Xn Tổng số loại khó trung bình thuộc đơn vị kiến thức C1, C2, Cn tương ứng Xk, Xtb, X Tổng số câu khó, trung bình tổng số loại ngân hàng câu hỏi tự luận a1c1, a1c2, ,a1cn Số lượng câu loại khó để đưa vào mã đề thi chọn từ đơn vị kiến thức C1, C2, Cn tương ứng n2c1, n2c2, n2cn Số lượng câu loại trung bình để đưa vào mã đề thi chọn từ đơn vị kiến thức C1, C2, Cn tương ứng N1, N2, ,Nn Tổng số loại khó trung bình chọn để đưa vào mã đề thi từ đơn vị kiến thức C1, C2, Cn tương ứng Nk, Ntb, N Tổng số câu khó, trung bình tổng số loại mã đề thi chọn theo ma trận chọn đề Tùy theo yêu cầu chuyên môn, Chủ nhiệm môn khoa điền cụ thể số lượng hợp lý thông số vào ma trận chọn đề trước thi Khi vận hành phần mềm phối trộn, máy tính dựa vào đề xuất ma trận để lựa chọn phối trộn, xuất mã đề thi tự luận đảm bảo yêu cầu cho lần thi 3.3 Phần mềm tự động hóa lựa chọn, phối trộn, xuất mã đề thi máy in giấy Khi thi, Trung tâm Khảo thí cần lựa chọn đề xuất đề thi tự luận đảm bảo tính khoa học, khách quan, công với sinh viên dự thi Muốn phải sử dụng phần mềm để đọc vào, nhận dạng, lựa chọn, trộn, phân phối in mã đề thi tự luận đảm bảo phù hợp yêu cầu nêu Phần mềm hoạt động theo cấu trúc Bảng Ở lưu ý trình đọc, nhận dạng, lựa chọn, trộn phân phối câu thi cần xây dựng mềm dẻo, cho máy thực lệnh nêu phải tuân theo kịch ghi ma trận chọn đề Kịch nhằm đảm bảo yêu cầu chuyên môn giảng viên dạy học phần khoa đề xuất Số lượng câu, mức độ khó dễ yêu cầu loại đề thi đề kiểm tra khác Tạp chí Kinh doanh Công nghệ Số 10/2020 61 NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội Bảng Cấu trúc chế hoạt động bày trên, xin dẫn kết áp dụng phần mềm phối trộn đề thi tự luận đề tài cho ngân hàng đề tự luận học phần Hóa hữu (Khoa Dược) Bạn đọc muốn tham khảo kết áp dụng cho ngân hàng đề thi tự luận khác, xin xem Báo cáo Tổng kết nghiên cứu đề tài 4.2 Kết áp dụng cho ngân hàng đề thi tự luận học phần Hóa hữu Ngân hàng đề thi tự luận mơn Hóa hữu có 30 đề sử dụng cho sinh viên thi khóa 22, 23 24 Q trình áp dụng đề tài cho kết Các khoa cần thay đổi thông số sau đây: a) Chuyển ngân hàng đề thi thành ma trận chọn đề Ví dụ, theo yêu cầu chất lượng chuyên mơn trình độ ngân hàng câu hỏi thi mã hóa Thực cơng việc nhằm đảm bậc học, đề thi tự luận lần thi cần chọn chương 1, 2, n câu loại bảo nhập vào phần mềm máy tính Nội dung file mã hóa học phần trung bình, khó, để đưa vào mã đề thi Kết thử nghiệm phần mềm trình bày mục 4.1.2 Báo cáo ngân hàng câu hỏi thi số khoa kết nghiên cứu đề tài Trong file mã hóa, ngồi việc tn thủ u cầu trường 4.1 Vài nét kết áp dụng cho hướng dẫn Bảng Sau câu hỏi, đưa thêm phần đáp án để sử dụng chấm ngân hàng câu hỏi thi tự luận Đề tài áp dụng cho ngân hàng điểm cho kỳ thi Như vậy, ngân hàng đề thi tự luận sau: Hóa hữu 1, Hóa hữu có 90 câu, phân thành đơn vị kiến (Khoa Dược), Toán cao cấp Lý thức Mỗi câu có ghi hệ số điểm thuyết Điều khiển tự động (Khoa Điện kèm theo đáp án dùng cho chấm thi b) Xây dựng ma trận chọn đề - Điện tử) Đối với ngân hàng đề thi Dựa gợi ý PGS-TS Phạm học phần, đề tài hoàn Văn Thỉnh (Phó Chủ nhiệm Khoa Dược), thành cơng việc sau đây: i) Chuyển đổi ngân hàng đề thi thành nhóm đề tài xây dựng ma trận chọn đề hình 5: Theo đó, máy trộn ngân hàng câu hỏi thi; ii) Mã hóa ngân hàng câu hỏi thi để đơn vị kiến thức, đơn vị có 30 câu chọn lấy nhóm câu, nghĩa mã đề nhập vào phần mềm máy tính; iii) Xây dựng ma trận chọn đề cho tự luận có câu Trong có câu mức trung bình câu mức khó mã đề thi tự luận; iv) Vận hành phần mềm in số lượng tùy ý (theo yêu cầu kỳ thi) mã đề thi tự luận; v) Khi Hội đồng chấm thi yêu cầu, in mã đề thi có đáp án để dùng cho chấm thi Để minh họa nội dung trình Tạp chí Kinh doanh Công nghệ Số 10/2020 62 NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội c) Vận hành phần mềm để lựa chọn, phối trộn tự động xuất mã đề thi tự luận Sau khởi động phần mềm, khai báo tên kỳ thi nhập ngân hàng Hóa hữu (đã mã hóa) ma trận chọn đề vào máy tính, máy cho phép khai báo để tạo số lượng mã đề thi tự luận tùy ý (theo yêu cầu kỳ thi, thường đảm bảo sinh viên mã đề) Kết tên mã đề thi hiển thị hình (phía phải cửa sổ Bảng 6) Bảng Màn hình khai báo để xuất mã đề thi tự luận học phần Hóa hữu Tiếp theo, muốn dùng mã đề thi nào, cần nhấp chuột vào tên mã đề tương ứng nháy chuột vào In đề chuẩn, máy tiến hành in mã đề thi tự luận chọn (Bảng 7) Kết thực phần mềm xuất số lượng không hạn chế mã đề thi tự luận học phần Hóa hữu Để minh họa, xin dẫn kết xuất mã đề DE2 Bảng Ngoài ra, muốn in mã đề thi kèm theo đáp án để sử dụng Hội đồng chấm thi, ngân hàng mã hóa, ta cần thay đổi thứ tự phần Bảng Hiển thị in mã đề thi tự luận Hóa hữu giấy Đáp án nhóm ký tự thích [] tương ứng câu Sau nhập ngân hàng câu hỏi mã hóa thay đổi chọn câu hỏi cho đề thi chuẩn số câu có mã đề thi khơng có đáp án Cuối cùng, thay in mã đề thi dùng để thi, máy in mã đề thi có đáp án (Bảng 9) Bảng Hiển thị in mã đề thi tự luận DE2 (Hóa hữu 1) giấy Bảng In mã đề thi có đáp án DE2 để dùng chấm thi Tạp chí Kinh doanh Cơng nghệ Số 10/2020 63 NGHIÊN CỨU TRAO ĐỔI Văn hóa - Xã hội Kết luận Thi tự luận hình thức thi kết thúc học phần cần tồn Trường Đại học Kinh doanh Công nghệ Hà Nội, trường đa ngành, đa nghề, có hàng trăm mơn học tiến hành thi lúc Để nâng cao hiệu thi, cần có quy định chặt chẽ, có tính khoa học để thực Căn kết nghiên cứu đề tài thu được, xin đề nghị: - Mỗi học phần thi tự luận, thay quy định soạn ngân hàng gồm từ 10-30 đề thi/tín chỉ, soạn ngân hàng câu hỏi thi Ngân hàng có ba mức trình độ (dễ, trung bình khó); mức trình độ có 30 câu hỏi/tín Các câu hỏi kèm theo đáp án, thang điểm, phân bổ cho chương/phần có nội dung theo quy định đề cương chi tiết chuẩn đầu môn học - Ngân hàng câu hỏi thi sau nghiệm thu, sử dụng cơng khai làm tài liệu ơn tập cho sinh viên Nếu đề xuất trường chấp nhận, khơng cịn khái niệm lộ đề thi Ngân hàng câu hỏi cần mã hóa để nhập vào máy tính Trước thi, khoa đề xuất ma trận chọn đề phù hợp với cấp học thí sinh chuẩn đầu yêu cầu ngành học - Trung tâm Khảo thí nhập ngân hàng mã hóa vào máy chủ Trung tâm, tạo số mã đề thi tự luận cần thiết cho kỳ thi theo số liệu ma trận chọn đề khoa đề xuất Số mã đề thi tự luận tối thiểu số sinh viên dự thi phịng thi, đảm bảo sinh viên có mã đề khác nhau, tránh tượng tiêu cực thi - Khi chấm bài, tùy theo độ phức tạp môn học số người Hội đồng chấm thi, sử dụng phần mềm in mã đề có đáp án thang điểm tương ứng với mã đề thi dùng thi Một số kết nghiên cứu đề tài mơ hình tự động hóa lựa chọn, phối trộn đề thi tự luận nêu để cải tiến, hoàn thiện quy chế thi kết thúc học phần / Tài liệu tham khảo Trường Đại học Kinh doanh Công nghệ Hà Nội Quy chế thi kết thúc học phần (ban hành theo Quyết định số 634/QĐ ngày 15/12/2014 Ban Giám hiệu) Trường Đại học Kinh doanh Công nghệ Hà Nội Quy chế thi kết thúc học phần sửa đổi (ban hành theo Quyết định số 708/QĐ-BGH ngày 14/02/2017 Ban Giám hiệu) Trung tâm Khảo thí Trường Đại học Kinh doanh Công nghệ Hà Nội Sổ tay Nghiệp vụ thi Hà Nội, 2020 TS Nguyễn An Tự động hóa cơng tác lựa chọn, phối trộn đề thi/kiểm tra kết thúc học phần Báo cáo kết nghiên cứu đề tài Hà Nội, 2020 Ngày nhận bài: 20/05/2020 Tạp chí Kinh doanh Cơng nghệ Số 10/2020 64 ... độ mã đề thi tự luận khác với lần thi/ kỳ thi Để có đề thi tự luận, phải sử dụng phần mềm tin học nhằm tự động lựa chọn, phối trộn câu hỏi thi xuất mã đề thi Muốn đạt mục tiêu đặt ra, đề thi phần... số vào ma trận chọn đề trước thi Khi vận hành phần mềm phối trộn, máy tính dựa vào đề xuất ma trận để lựa chọn phối trộn, xuất mã đề thi tự luận đảm bảo yêu cầu cho lần thi 3.3 Phần mềm tự động. .. Văn hóa - Xã hội c) Vận hành phần mềm để lựa chọn, phối trộn tự động xuất mã đề thi tự luận Sau khởi động phần mềm, khai báo tên kỳ thi nhập ngân hàng Hóa hữu (đã mã hóa) ma trận chọn đề vào