một số biện pháp nâng cao hiệu quả ứng dụng phần mềm trắc nghiệm, đầu tư nâng cấp phần mềm, trang thiết bị CNTT, biện pháp tổ chức. thực trạng ứng dụng, ý kiến phản hồi của giảng viên, học viên một số biện pháp nâng cao hiệu quả ứng dụng phần mềm trắc nghiệm, đầu tư nâng cấp phần mềm, trang thiết bị CNTT, biện pháp tổ chức. thực trạng ứng dụng, ý kiến phản hồi của giảng viên, học viên
NÂNG CAO HIỆU QUẢ ỨNG DỤNG PHẦN MỀM TRẮC NGHIỆM TRONG LƯỢNG GIÁ KIẾN THỨC HỌC VIÊN TẠI HỌC VIỆN QUÂN Y Đại tá ThS Lê Trung Thắng Trưởng Ban CNTT – Học viện Quân y Tổng quan trắc nghiệm khách quan Trắc nghiệm có hai hình thức: trắc nghiệm khách quan (Objective Test) trắc nghiệm tự luận (Essay Test) Trong trắc nghiệm khách quan, hệ thống cho điểm hồn tồn khách quan, khơng chủ quan trắc nghiệm tự luận, kết chấm điểm không phụ thuộc vào người chấm Ứng dụng trắc nghiệm khách quan phần mềm làm tăng thêm tính khách quan phương pháp, loại bỏ sai số chủ quan nhầm lẫn chấm điểm, chép, tổng hợp kết thi… Hiện nay, Việt Nam, câu trắc nghiệm khách quan (sau gọi tắt trắc nghiệm) phân thành 05 loại sau: - Câu đa lựa chọn (Multiple Choice Questions) - Câu - sai (Yes/No Questions True/False Questions) - Câu ghép đơi gọi câu xứng hợp nối cột (Matching Items) - Câu điền khuyết (Supply Items Completion/Blank Filling) - Câu sử dụng hình vẽ, mơ hình (Picture Items) Trong bước triển khai trắc nghiệm xây dựng đánh giá câu trắc nghiệm quan trọng Một câu trắc nghiệm phải đáp ứng đồng thời 02 yếu tố số khó DF (Difficulty Factor) số phân biệt DI (Discrimination Index) đưa vào sử dụng Việc đánh giá câu trắc nghiệm dựa công thức thực phần mềm Trong ứng dụng lượng giá kiến thức, theo khuyến cáo khơng nên sử dụng loại câu đúng-sai (vì khả đốn mò đạt 50/50), khơng viết câu hỏi ngược (tìm câu sai), không viết câu hỏi kiểu đánh đố, đánh lừa bẫy thí sinh Khi ứng dụng trắc nghiệm phần mềm, không nên viết câu hỏi MCQ kiểu như: tất câu (vì phần mềm tự động đảo phương án chọn); khơng nên sử dụng loại câu điền khuyết nhiều thời gian thao tác để trả lời bàn phím biên soạn đáp án (vì thí sinh bỏ dấu tiếng Việt sai quy cách; ví dụ đáp án "Chuyển" phải biên soạn chấp nhận 03 phương án trả lời: Chuyển, Chủyên, Chuỷên) Thực trạng ứng dụng phần mềm trắc nghiệm lượng giá kiến thức Học viện Quân y 2.1 Hệ thống trắc nghiệm Năm 2002, Học viện đầu tư phòng 45 máy tính chun dùng thi trắc nghiệm Đến năm 2008, tiếp tục đầu tư nâng cấp phòng 86 máy tính hệ thống camera giám sát, kết nối trực tiếp với máy chủ đặt Buồng Quản trị mạng Học viện thông qua đường cáp quang Backbone dùng riêng Hệ thống phần mềm trắc nghiệm sản phẩm đề tài cấp Cục KHQS “Nghiên cứu xây dựng hệ thống phần mềm thi trắc nghiệm mơ hình mạng phục vụ huấn luyện đào tạo Học viện Quân y” Phòng KHQS – Học viện Quân y chủ trì thực năm 2001, sử dụng mơ hình Webbased Client/Server lớp, cơng nghệ ASP, ngơn ngữ lập trình JSP, CSDL SQL Server 2000 Năm 2007, Cục Nhà trường/BTTM lựa chọn đầu tư nâng cấp với mục tiêu nghiên cứu tạo sản phẩm phần mềm ứng dụng dùng chung nhà trường quân đội, sử dụng công nghệ ASP.NET, ngôn ngữ VB, MS SQL Server 2005 Năm 2008, công nhận "Sáng kiến cấp Học viện Quân y"; năm 2008, Bộ Tổng Tham mưu chứng nhận "Đạt tiêu chuẩn chất lượng Hội thi mơ hình học cụ, trang thiết bị huấn luyện tồn quân" Hệ thống bao gồm 07 phân hệ chức sau: - Quản trị hệ thống: cấp phát tài khoản phân quyền sử dụng cho cán bộ, giảng viên, học viên; thiết lập tham số hệ thống; bảo đảm an ninh mạng ATTT - Quản lý ngân hàng câu hỏi trắc nghiệm: quản lý ngân hàng câu trắc nghiệm theo Bộ môn với 03 cấp độ: Khoa, Môn học Chương; sử dụng 03 loại câu trắc nghiệm: câu đa lựa chọn đáp án, câu đa lựa chọn nhiều đáp án câu ghép đơi; câu hỏi sử dụng hình ảnh - Quản lý ngân hàng đề thi: tạo đề thi theo 03 phương pháp: đề tự động theo phương pháp lấy ngẫu nhiên; tự lựa chọn từ ngân hàng câu trắc nghiệm; tạo đề thi thông qua sửa chữa từ đề thi có Ngồi ra, có chức in đề thi giấy trường hợp tổ chức làm trắc nghiệm giấy - Tổ chức thi: thiết lập tham số cho buổi thi; lựa chọn danh sách thí sinh dự thi; lựa chọn số đề thi cho buổi thi (có thể sử dụng nhiều đề thi cho buổi thi); ghép đề thi với lớp nhóm thí sinh (sử dụng trường hợp buổi thi có nhiều lớp nhóm thí sinh thi mơn khác nhau) - Điều hành thi trực tuyến: + Các chức học viên: kiểm tra thơng tin thí sinh đăng nhập, thông báo quy chế bắt buộc xác nhận trước làm bài; tự động tính thời gian hiển thị đồng hồ đếm ngược; tự động đảo thứ tự câu chọn câu hỏi, đảo thứ tự câu hỏi thi để chống quay cóp, hỏi bài; tự động thơng báo “nhắc hết giờ” vào thời điểm phút trước hết giờ; tự động thu bài, chấm điểm, thông báo điểm hết giờ; in phiếu kết làm thi dạng ngắn gọn để học viên ký nhận; lưu tình trạng làm thi phục vụ khướu nại, khảo thí; chức khác trợ giúp trình làm bài: di chuyển nhanh đầu trang cuối trang, nút lệnh cho phép đánh dấu đổi mầu câu chưa làm để tránh bỏ sót + Các chức giám thị: giám sát tiến trình thi, tự động tổng hợp kết buổi thi theo mẫu qui định nhà trường, in biên coi thi - Quản lý điểm: tra cứu xem điểm thi theo tiêu chí khác nhau, bảng điểm tự động thống kê xếp hạng theo tỷ lệ phần trăm: xuất sắc, giỏi, khá, trung bình khá, trung bình, khơng đạt - Thống kê – báo cáo: thống kê câu trắc nghiệm, thống kê đề thi, thống kê điểm, kết xuất báo cáo theo mẫu biểu quy định nhà trường 2.2 Kết triển khai ứng dụng - Năm 2002, Học viện thức triển khai ứng dụng phần mềm trắc nghiệm lượng giá kiến thức học viên, số nhà trường Việt Nam triển khai trắc nghiệm phần mềm phạm vi toàn trường, đồng thời phần mềm mơ hình Webbased ứng dụng dùng chung Học viện - Công tác quản lý chủ trì triển khai giao cho Phòng Đào tạo, quan phối hợp gồm Phòng Khảo thí Ban CNTT Tại buổi thi, giám thị Bộ mơn thường xun có 01 cán Ban CNTT trực bảo đảm kỹ thuật - Cho đến nay, triển khai tập huấn 06 lớp hướng dẫn sử dụng phần mềm trắc nghiệm cho 200 cán - giảng viên Thời điểm ban đầu có 20 Bộ mơn – Khoa tham gia, 13 Bộ môn – Khoa thường xuyên sử dụng Về góc độ tâm lý, hầu hết cán bộ, giảng viên lúc đầu ngại sử dụng phần mềm Tuy nhiên, sau làm chủ cơng nghệ lại thường xuyên tổ chức trắc nghiệm, kể kiểm tra 15 phút (vì lý tiết kiệm thời gian công sức chấm bài) - Sau gần 15 năm triển khai ứng dụng, Bộ môn – Khoa xây dựng cập nhật 12.147 câu trắc nghiệm; tổ chức 1.827 buổi thi cho 89.985 lượt học viên dự thi Theo số liệu thống kê phần mềm, thông thường thi hết mơn trung bình khoảng 50 - 60 câu trắc nghiệm, thời gian làm khoảng 25-30 phút, thời gian thực câu trắc nghiệm trung bình 30 giây Tỷ lệ thi đạt loại xuất sắc: 20,48%, giỏi: 19,75%, khá: 20,90%, TB khá: 16,85%, TB: 11,08%, không đạt: 10,94% - Nhờ áp dụng đo lường lượng giá kiến thức phần mềm trắc nghiệm tiết kiệm nhiều thời gian, công sức, vật chất, kinh phí phòng tránh, hạn chế tiêu cực xảy ra; đặc biệt kết lượng giá kiến thức học viên bảo đảm xác, khách quan, minh bạch Qua đó, thúc đẩy học viên tự giác học tập, góp phần nâng cao chất lượng huấn luyện đào tạo Học viện Quân y 2.3 Một số hạn chế tồn - Cho đến thời điểm nay, số Bộ môn - Khoa ứng dụng phần mềm trắc nghiệm 65% so với thời điểm ban đầu (năm 2002) với lý phương pháp trắc nghiệm khách quan chưa phù hợp với số Bộ môn Khoa học bản, Bộ môn KHXHNV Y học lâm sàng - Vào thời điểm triển khai ứng dụng, vài giảng viên lúng túng sử dụng phần mềm giải vi phạm, chí “ỷ lại” vào phần mềm, có trường hợp cán coi thi không kiểm tra thẻ sinh viên, cho vào lộn xộn, dẫn đến xảy tượng thi hộ học viên làm nhiều lần Một số thí sinh chưa nắm rõ quy chế cố tình vi phạm: thi hộ, thi nhiều lần, có thí sinh "giả vờ" động chạm vào nút nguồn để khởi động lại máy tính rút dây mạng (rút để 2-3 phút sau cắm lại khiến phần mềm ngừng hoạt động) để làm lại thi Sau ban hành áp dụng quy chế gần khơng xảy tình trạng nêu - Một số lớp học viên có sỹ số nhiều số lượng máy tính có Phòng thi trắc nghiệm nên phải tổ chức làm 02 đợt, gây thời gian, công sức - Tại số buổi thi, số lượng máy tính bị hỏng chiếm tỷ lệ 10%, đặc biệt có vài lần hệ thống mạng bị treo khiến thí sinh khơng nộp (trong gần 15 năm xảy khoảng 3-5 lần) - Một số ý kiến đề xuất Ban CNTT cần tiếp tục bổ sung, nâng cấp chức phần mềm nhằm phòng chống, phát gian lận học viên Đề xuất số biện pháp nâng cao hiệu ứng dụng phần mềm trắc nghiệm lượng giá kiến thức Học viện Quân y - Chuyển giao Phòng Khảo thí chủ trì triển khai theo chức nhiệm vụ; kiện toàn quy chế, tăng cường - kiểm tra buổi thi trắc nghiệm, đôn đốc nhắc nhở cán coi thi học viên chấp hành nghiêm quy chế; kết hợp áp dụng hình thức giám sát hệ thống phần mềm trắc nghiệm qua hệ thống camera giám sát phòng thi; xử lý nghiêm trường hợp vi phạm quy chế - Hàng năm, tổ chức họp rút kinh nghiệm đơn vị: Phòng Khảo thí, Phòng Đào tạo đại học, Phòng Sau đại học, Ban CNTT, đại diện Bộ môn Hệ quản lý học viên Đầu năm học mới, Hệ quản lý học viên phối hợp với Phòng Khảo thí Ban CNTT để tổ chức giới thiệu, hướng dẫn làm thi phần mềm trắc nghiệm kết hợp phổ biến quy chế để học viên khơng bị lúng túng vơ tình vi phạm quy chế lần đầu làm trắc nghiệm phần mềm - Khuyến khích Bộ mơn - Khoa đẩy mạnh ứng dụng trắc nghiệm phần mềm, xây dựng bổ sung ngân hàng câu trắc nghiệm bảo đảm số lượng chất lượng Mở rộng đối tượng thi trắc nghiệm học viên sau đại học, nghiên cứu xem xét ứng dụng kỳ thi tuyển sinh đầu vào Tiếp tục mở lớp tập huấn nâng cao trình độ sử dụng phần mềm trắc nghiệm cho cán bộ, giảng viên, giáo viên Đưa nội dung ứng dụng phần mềm trắc nghiệm vào mục chấm điểm phục vụ bình xét thi đua khen thưởng hàng năm khối Bộ môn - Khoa - Tổng hợp ý kiến đóng góp để nâng cấp sửa chữa, bổ sung chức để phần mềm ngày hoàn thiện Nghiên cứu xây dựng chức phòng chống phát gian lận; chức đánh giá chất lượng câu trắc nghiệm nhằm tự động phát câu hỏi không bảo đảm độ khó, độ phân biệt để loại khỏi ngân hàng - Đầu tư bổ sung 01 phòng máy tính thi trắc nghiệm; thường xuyên kiểm tra, bảo dưỡng, sửa chữa kỹ thuật để bảo đảm số lượng máy tính hoạt động đạt tối thiểu ~ 95%; tổ chức lưu dự phòng liệu theo định kỳ; có máy chủ, máy tính dự phòng thay - Tăng cường bảo đảm an ninh mạng an tồn thơng tin số cho hệ thống trắc nghiệm, đặc biệt máy chủ phần mềm Tài liệu tham khảo Lê Trung Thắng Nghiên cứu xây dựng hệ thống phần mềm thi trắc nghiệm mơ hình mạng phục vụ huấn luyện đào tạo Học viện Quân y Báo cáo kết đề tài nghiên cứu khoa học cấp Ngành KHCN&MT Cục KHCN&MT – Bộ Quốc phòng 2001 2 Lâm Quang Thiệp Trắc nghiệm ứng dụng Nhà xuất Khoa học kỹ thuật 2007 Dương Thiệu Tống Trắc nghiệm đo lường thành học tập Nhà xuất Khoa học xã hội 1995 ... lý chủ trì triển khai giao cho Phòng Đào tạo, quan phối hợp gồm Phòng Khảo thí Ban CNTT Tại buổi thi, ngồi giám thị Bộ mơn thường xun có 01 cán Ban CNTT trực bảo đảm kỹ thuật - Cho đến nay, triển... đặc biệt kết lượng giá kiến thức học viên bảo đảm xác, khách quan, minh bạch Qua đó, thúc đẩy học viên tự giác học tập, góp phần nâng cao chất lượng huấn luyện đào tạo Học viện Quân y 2.3 Một số... y chủ trì thực năm 2001, sử dụng mơ hình Webbased Client/Server lớp, cơng nghệ ASP, ngơn ngữ lập trình JSP, CSDL SQL Server 2000 Năm 2007, Cục Nhà trường/BTTM lựa chọn đầu tư nâng cấp với mục