Thi trắc nghiệm có hỗ trợ của hệ chuyên gia

Trong các chương trình phục vụ thi trắc nghiệm và E-learning, các khía cạnh trên, tức là: Vấn đề xác định độ khó của câu hỏi, tỉ lệ câu khó trong một bài thi, các câu khó cần phải được gợi ý, vấn đề thưởng phạt khi gặp câu hỏi khó hoặc có dùng gợi ý,... vẫn chưa được nghiên cứu. Bài báo này nhằm giải quyết các điểm nói trên.

JOURNAL OF SCIENCE OF HNUE Interdisciplinary Sci., 2013, Vol 58, No 10, pp 67-74 THI TRẮC NGHIỆM CÓ HỖ TRỢ CỦA HỆ CHUYÊN GIA Lê Huy Thập1 , Lương Văn Nguyên2 Viện CNTT, Viện KH&CN Việt Nam; Trường Cao đẳng Kinh tế Kĩ thuật Hà Nội Tóm tắt Trắc nghiệm có ưu điểm nhanh chóng hiệu Tuy nhiên, trắc nghiệm không thực đưa kết đánh giá đắn số nguyên nhân: Các câu hỏi cho kiểm tra lựa chọn cách ngẫu nhiên Điều dẫn tới tình trạng, tất câu hỏi phiếu kiểm tra khó dễ, việc kiểm tra khơng cơng Trong chương trình E-learning, trắc nghiệm quan trọng, chúng giúp thí sinh tự kiểm tra kiến thức theo chủ đề định Để nâng cao hiệu trình tự kiểm tra đó, làm bài, sinh viên cần gợi ý, hỗ trợ hệ thống Báo trình bày giải pháp để bổ sung khuyết thiếu cách sử dụng hỗ trợ hệ thống chuyên gia Từ khóa: Thi trắc nghiệm, kiểm tra đánh giá, hệ chuyên gia, E-learning Mở đầu Thi trắc nghiệm hình thức kiểm tra kết học tập, trình độ chun mơn, thi tuyển vào cơng sở, cơng ti, xí nghiệp, thi tuyển vào trường đại học, cao đẳng, Các dạng thi trắc nghiệm Một câu hỏi có nhiều đáp án trả lời có đáp án đúng, thí sinh phải chọn đáp án có điểm (cũng có trường hợp chọn sai đáp án bị trừ điểm); Một câu hỏi có nhiều đáp án đúng, thí sinh chọn nhiều đáp án nhiều điểm Cũng có loại trắc nghiệm dùng để kiểm tra kiến thức lẫn ý niệm Tức là, câu hỏi đáp án bố trí thành cột, thí sinh cần tạo đường nối từ câu hỏi đến đáp án đúng, việc đánh dấu vào ô đáp án Ưu điểm thi trắc nghiệm Kiểm tra đánh giá trình độ thí sinh khách quan hơn, trung thực hơn, kiểm tra nhiều kiến thức hơn, tránh việc học tủ học vẹt, Ngày nhận bài:06/6/2012 Ngày nhận đăng: 15/6/2013 Liên hệ: Lê Huy Thập, e-mail: lhthap@ioit.ac.vn 67 Lê Huy Thập, Lương Văn Nguyên Trong E-learning, tự trắc nghiệm quan trọng, học viên tự kiểm tra mức độ nắm bắt nội dung môn học dựa vào hỗ trợ chương trình thơng qua câu hỏi đáp án sẵn có Vấn đề tồn thi trắc nghiệm Chưa phải hồn tồn cơng xác, đề thi câu hỏi chọn ngẫu nhiên Vì ngẫu nhiên mà thí sinh nhận đề thi với số câu hỏi khó nhiều số câu hỏi dễ ngược lại Đáp án mức “đúng”, “sai” mang tính tự luận, mang nặng tính ngẫu nhiên (sác xuất “đúng” “sai” 0.5), điều thiệt thịi cho học viên có tham gia học tập mơn học có lợi cho tham gia ít, chí không tham gia môn học tham gia thi Với E-learning (không phải Online), học viên thường gặp nhiều vấn đề cần gợi ý tự trắc nghiệm mà chương trình thi trắc nghiệm chưa có Hướng khắc phục tồn thi trắc nghiệm Để tăng tính cơng thi trắc nghiệm, cần đến hỗ trợ thêm số khía cạnh sau: Xác định độ khó (dễ) câu hỏi - khó (dễ) câu bình thường phần trăm, dựa vào độ khó (dễ) để cộng thêm (trừ bớt) điểm vào thi Trong N câu hỏi mà thí sinh phải trả lời, có số câu hỏi khó (dễ) tối đa Thí sinh dùng gợi ý nào, Khi dùng gợi ý, điểm câu hỏi bị trừ bớt theo mức độ gợi ý Câu hỏi không làm bị trừ điểm Trong chương trình phục vụ thi trắc nghiệm E-learning, khía cạnh trên, tức là: vấn đề xác định độ khó câu hỏi, tỉ lệ câu khó thi, câu khó cần phải gợi ý, vấn đề thưởng phạt gặp câu hỏi khó có dùng gợi ý, chưa nghiên cứu Bài báo nhằm giải điểm nói Nội dung nghiên cứu 2.1 Sơ đồ dòng liệu trắc nghiệm Sơ đồ dịng liệu trắc nghiệm thể Hình Trong phần thuộc vùng khung nét đứt dùng trường hợp Online 2.2 Các khối sơ đồ 2.2.1 Thí sinh - Đối tượng tham dự trắc nghiệm: Thí sinh tự thí sinh hội đồng thi tổ chức 68 Thi trắc nghiệm có hỗ trợ hệ chun gia Hình Sơ đồ luồng thi trắc nghiệm Thí sinh tự trường hợp chương trình thi mở, sử dụng mơn E-learnng Thí sinh hội đồng thi tổ chức trường hợp thi tuyển, thi nâng ngạch kiểm tra trình độ chun mơn cán bộ, nhân viên - Quản lí thi: Tự phụ thuộc hội đồng thi, trình bày phần 2.2.2 Chuyên gia lĩnh vực - Đối tượng: Cá nhân tập thể có chun mơn sâu có kinh nghiệm giảng dạy, đào tạo, môn học - Chức năng: + Kiểm duyệt tất câu hỏi thi Xem xét đắn, tính khả thi câu hỏi trắc nghiệm + Xem xét câu hỏi để đánh giá độ khó so với câu hỏi chuẩn, gán nhân tố chắn khó DCF(q) (Difficult Certainty Factor) cho câu hỏi q, tính theo tỉ lệ phần trăm dựa vào tỉ lệ để cộng thêm điểm + Xem xét câu hỏi để đánh giá độ dễ so với câu hỏi chuẩn, gán nhân tố chắn dễ ECF(q) (Easy Certainty Factor) cho câu hỏi q, tính theo tỉ lệ phần trăm dựa vào tỉ lệ để trừ bớt điểm + Xem xét mục gợi ý tỉ lệ gợi ý SCF(q,i) thứ i câu hỏi q để trừ bớt điểm kết + Hỗ trợ Online cho người dự thi trắc nghiệm phần nằm khung “chấm chấm” Vấn đề thêm bớt điểm, gợi ý tùy thuộc vào bối cảnh Online Câu hỏi trắc nghiệm phân loại từ khơng khó, khó, khó vừa, khó 69 Lê Huy Thập, Lương Văn Nguyên Độ khó, dễ khái niệm trừu tượng Vì vậy, câu hỏi phụ thuộc vào tập mờ, phần tử tập mờ gắn nhân tố chắn khó, dễ với DCF, ECF tương ứng xác định dựa sở chuyên gia lĩnh vực DCF(q), ECF(q), SEF(q,i) giá trị số thể mức độ tin cậy vào giả thuyết câu hỏi q chắn khó, dễ gợi ý phần trăm Dựa vào giá trị này, để tăng, giảm điểm câu hỏi q Việc gợi ý làm cho câu hỏi từ khó, trở nên khó vừa; từ khó vừa, trở nên khó ít; từ khó ít, trở nên khơng khó, chất lượng câu gợi ý khái niệm mờ, phần tử (câu gợi ý) tập mờ gắn nhân tố chắn SCF (Suggested Certainty Factor) xác định dựa sở chuyên gia lĩnh vực 2.2.3 Trợ giúp Xử lí yêu cầu thí sinh thực trắc nghiệm hệ thống xử lí trực tiếp đáp ứng u cầu thí sinh, cịn E-learning kết xử lí yêu cầu thí sinh trực tuyến đáp ứng sau với thời gian trễ cho phép 2.2.4 Kho đề thi Kho (hay ngân hàng) đề thi câu hỏi tác giả (giáo viên môn, chuyên gia lĩnh vực, ) soạn thảo với đáp án gợi ý Ngân hàng đề phải thẩm định đầy đủ chặt chẽ Các câu hỏi gắn với nhân tố chắn khó DCF đáp án gắn với gợi ý với nhân tố chắn dễ ECF Các vấn đề vừa nêu phải phận chuyên gia lĩnh vực thực 2.3 Thực trắc nghiệm Thí sinh nhận trắc nghiệm gồm n (n = 1, 2, tùy thuộc vào môn học hội đồng thi) câu hỏi chọn cách ngẫu nhiên Câu hỏi khó cộng thêm điểm thể DCF, câu hỏi dễ bị trừ bớt điểm thể ECF tương ứng với n câu hỏi chọn câu hỏi cho tổng số điểm của chúng xấp xỉ cho phép kì thi (ví dụ với 50 câu hỏi chuẩn - khơng khó khơng dễ, câu điểm điểm tối đa 100, n chọn nhỏ lớn 50 tổng số điểm phải không nhỏ 100) Mỗi câu hỏi gồm m phương án trả lời m = 1,2, , có phương án Mỗi phương án có k gợi ý, k = 0, 1, Khi dùng gợi ý i bị trừ di điểm Kết thi thơng báo hồn thành thi Tóm lại việc thi trắc nghiệm qua bước sau: Nhận đề thi, số lượng câu hỏi phụ thuộc vào số điểm tối đa mà hội đồng thi chuyên gia lĩnh vực đưa để chương trình tự lựa chọn cách ngẫu nhiên Thực thi Phương pháp xử lí song song sử dụng để xác định DCF, ECF, SCF câu hỏi lúc Cộng thêm điểm không, cộng thêm điểm phụ thuộc vào DCF, trừ 70 Thi trắc nghiệm có hỗ trợ hệ chuyên gia bớt điểm điểm tùy thuộc vào số lần dùng gợi ý dựa vào tham số ECF Trả lại kết thực Xử lí thi trắc nghiệm thể sơ đồ hệ chuyên gia Hình Hình Xử lí thi hệ chun gia - Khối tri thức lĩnh vực môn thi lưu tri thức chuyên sâu môn học bao gồm câu hỏi, đáp án, gợi ý, với luật (suy diễn, lựa chọn, ) Nội dung phần thuộc chức nhiệm vụ chuyên gia môn học - cung cấp thông tin; kĩ sư tri thức chịu trách nhiệm thu thập thông tin tạo luật suy diễn - Khối Motor suy luận mơ hình hóa theo cách lập luận - dựa vào khối tri thức, để xác định độ khó, dễ gợi ý cần thiết câu hỏi từ đưa định trừ, cộng thêm điểm cho phù hợp câu hỏi mà thí sinh nhận Đây vấn đề phức tạp, để giải cần có nhiều kiến thức nhiều chuyên ngành, nghiên cứu tương lai Trong phạm vi báo cáo này, thể việc tìm kiếm luật (trong khối tri thức) Motor suy luận dựa thông tin vào câu hỏi, gợi ý đáp án, (là kiện chắn) mà - Khối câu hỏi, đáp án gợi ý xem nhớ làm việc, dùng để lưu tạm thời câu hỏi trắc nghiệm, đáp án thí sinh yêu cầu gợi ý 2.3.1 Thuật toán sinh đề thi Sơ đồ thuật toán sinh đề thi, trình bày Hình 3, cho phép nhập câu hỏi trắc nghiệm, độ khó, dễ thẩm định phương pháp chuyên gia Nếu câu hỏi nhập (có sẵn từ trước) chưa thẩm định qua thuật toán để thẩm định lại tính đắn xác định lại tham số DCF, ECF, SCF Đáp án nhập với gợi ý Các đáp án gợi ý giải câu hỏi tạo thành luật suy dẫn đưa vào khối “Tri thức lĩnh vực” Mỗi câu hỏi có nhiều đáp án, có đáp án đúng, đáp án lại liên quan đến nhiều gợi ý, việc tạo thành luật suy dẫn quan trọng 71 Lê Huy Thập, Lương Văn Ngun Hình Sơ đồ thuật tốn sinh đề thi 2.3.2 Thuật tốn tính điểm thi Điểm thi tính cho câu hỏi, sau lấy tổng điểm đạt câu hỏi Nếu câu hỏi có quy định điểm d với nhân tố khó DCF, thí sinh trả lời nhận điểm d(1+DCF), không trả lời bị trừ d điểm Nếu câu hỏi có quy định điểm d với nhân tố dễ ECF, thí sinh trả lời nhận điểm d(1- ECF), khơng trả lời bị trừ d điểm Nếu thí sinh dùng gợi ý k câu hỏi q với nhân tố làm gợi ý SCF(q,k) bị trừ d*SCF(qk) Sơ đồ thuật tốn tính điểm trắc nghiệm thể Hình 72 Thi trắc nghiệm có hỗ trợ hệ chun gia Hình Sơ đồ tính điểm trắc nghiệm, với d điểm câu hỏi chuẩn Kết luận Hiện nay, chương trình thi trắc nghiệm sử dụng nhiều trường, trung tâm đào tạo, E-learning, Tuy nhiên chương trình trắc nghiệm nói trên, đáp án dừng sai, không phân biệt câu khó câu dễ, câu hỏi chưa có gợi ý giúp cho học viên tự học tự làm tập Vì vậy, chương trình chưa đáp ứng hết tất khía cạnh thi trắc nghiệm chương trình kiểu E-learning Bài báo đưa phương pháp khắc phục số vấn đề tồn nêu dựa vào hỗ trợ hệ chuyên gia thi trắc nghiệm E-learning để làm tăng hiệu thi trắc nghiệm đào tạo từ xa qua hệ thống mạng máy tính 73 Lê Huy Thập, Lương Văn Nguyên Tuy nhiên khối Motor suy luận chưa nghiên cứu đầy đủ đây, cách thể truy tìm so sánh kiện nhận với luật có sẵn khối tri thức Hướng phát triển Tập trung nghiên cứu sâu vào khối Motor suy luận để ứng dụng khối vào hệ chuyên gia hỗ trợ thi trắc nghiệm Áp dụng phương pháp phân mảnh phân tán, xử lí song song, lập trình song song tối ưu hóa câu vấn tin vào hệ thống trắc nghiệm, E-learning có hỗ trợ hệ chuyên gia nhằm làm tăng hiệu công tác đào tạo đào tạo từ xa TÀI LIỆU THAM KHẢO [1] Lê Huy Thập, 2008 Giáo trình kỹ thuật lập trình, tập Nxb Khoa học Tự nhiên Công nghệ [2] Robert Sedgewick, 2001 Cẩm nang thuật toán Vol.1-2, Nxb Khoa học Kỹ thuật [3] Nguyễn Đức Nghĩa, Nguyễn Tơ Thành, 2003 Tốn rời rạc Nxb Đại học Quốc gia Hà Nội [4] Kenneth H.Rosen Toán rời rạc ứng dụng Tin học Nxb Khoa học Kỹ thuật [5] Đoàn Văn Ban, Nguyễn Mậu Hân, 2006 Xử lí song song phân tán Nxb Khoa hoc Kĩ thuật, Hà Nội [6] Đỗ Trung Tuấn, 2000 Hệ chuyên gia Nxb Đại học Quốc gia, Hà Nội [7] Barry Wlkingson, Michael Allen, 1999 Parallel Programming, Technique and Applications Using Netwworked Workstations and Parallel Computers Prentice Hall New Jersey [8] Seyed H Roo, 1999 Parallel processing and Parallel Algorithms Theory and Computation, Springer ABSTRACT Test using the support of an expert Tests are convenient because they are quick and effective However, tests are imperfect The questions included in a test are randomly chosen and sometimes all of the questions are too difficult or all are too easy In E-learning programs, the test is very important because as the test is to enable the examinee to check his current knowledge about a given subject To get that target, there is a need to support the students some suggests for which, at present, to be not supported This paper presents ways to fill the gaps using the support of an expert 74 ... Thi trắc nghiệm có hỗ trợ hệ chuyên gia bớt điểm điểm tùy thuộc vào số lần dùng gợi ý dựa vào tham số ECF Trả lại kết thực Xử lí thi trắc nghiệm thể sơ đồ hệ chuyên gia Hình Hình Xử lí thi hệ. .. tốn tính điểm trắc nghiệm thể Hình 72 Thi trắc nghiệm có hỗ trợ hệ chuyên gia Hình Sơ đồ tính điểm trắc nghiệm, với d điểm câu hỏi chuẩn Kết luận Hiện nay, chương trình thi trắc nghiệm sử dụng... vào hệ chuyên gia hỗ trợ thi trắc nghiệm Áp dụng phương pháp phân mảnh phân tán, xử lí song song, lập trình song song tối ưu hóa câu vấn tin vào hệ thống trắc nghiệm, E-learning có hỗ trợ hệ chuyên