Đang tải... (xem toàn văn)
Bài viết trình bày cách xây dựng các ngân hàng câu hỏi dựa trên phương pháp trắc nghiệm cổ điển và đặc biệt sử dụng lí thuyết trắc nghiệm hiện đại IRT với các công cụ như: Hàm thông tin đề thi (Test Information Fuction), Đường cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation).
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR); Huế, ngày 07-08/6/2019 DOI: 10.15625/vap.2019.00072 D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆ ĐẠI IRT VÀ ỨNG DỤNG ĐH Thăng Long Email:ntichlang@yahoo.com TÓM TẮT: Ngân hàng câu hỏi công cụ đắc lực để thực kiểm tra sinh viên, đảm bảo tính khách quan, cơng bằng, khoa học việc đánh giá kết học tập o đ giới Việt am, g n h ng c u hỏi sử dụng ngày nhiều Tuy nhiên Việt Nam ngư i ta dựng đề kiểm tra cách trích xuất ngẫu nhiên số câu hỏi từ Ngân hàng, trộn câu, trộn phương án, tổ chức thi, chấm điểm… m chưa đưa c u hỏi thang đo cách phân tích câu hỏi theo lý thuyết trắc nghiệm đại, chưa đánh giá đề kiểm tra trước cho th sinh thi, đ c việc xây dựng đề kiểm tra tương đương… Trong báo này, chúng tơi trình bày cách xây dựng ngân hàng câu hỏi dựa phương pháp trắc nghiệm cổ điển v đặc biệt sử dụng lí thuyết trắc nghiệm đại IRT với công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation) Chúng minh chứng việc sử dụng lí thuyết trắc nghiệm đại IRT kết hợp với phương pháp cổ điển cho kết sát với thực tế v hiệu Chúng áp dụng cách làm vào việc xây dựng “Ngân hàng câu hỏi Tiếng Anh” trư ng Đại học Thăng Long I MỞ ĐẦU Ngân hàng câu hỏi (NHCH) tập hợp câu hỏi đánh giá, đưa thang đo chung phần mềm quản trị NHCH Trong lịch sử phát triển kiểm tra đánh giá, NHCH xuất t sớm c vai tr quan trọng NHCH có chức soạn thảo câu hỏi khả lưu trữ dung lượng lớn câu hỏi với âm thanh, hình ảnh Đề kiểm tra “thích ứng với lực” cho phép chọn câu hỏi “hồn tồn thơng minh” phù hợp với trình độ em học sinh Hình thức thi dựa vào máy tính loại bỏ hai loại giấy đề thi phiếu thi Có thể nói, NHCH công cụ đắc lực để thực giai đoạn phát triển kiểm tra: lưu trữ câu hỏi, chọn câu hỏi xây dựng đề kiểm tra phân phát đề Ngoài ra, cấp quản lý giảng viên, NHCH cịn góp phần giảm bớt số cơng việc quy trình xây dựng đề kiểm tra, đảm bảo tính khách quan, cơng bằng, khoa học việc đánh giá kết học tập sinh viên, chuẩn hóa cơng tác kiểm tra đánh giá, nâng cao chất lượng dạy học giảng viên sinh viên Chính vậy, NHCH sử dụng ngày nhiều giới Việt Nam Trên giới, đặc biệt nước phát triển, người ta nghiên cứu xây dựng nhiều NHCH [1, 2, 3, 4] Ở Việt Nam số trường đại học xây dựng NHCH Đại học Quốc gia Hà Nội, Đại học Vinh, Trường Đại học Y Hà Nội, Trường Đại học Khoa học Huế, Trường Đại học Hàng hải [5] Tuy nhiên, phần lớn NHCH Việt Nam trọng đến việc xây dựng đề kiểm tra cách trích xuất ngẫu nhiên số câu hỏi t Ngân hàng, trộn câu hỏi, trộn phương án, tổ chức thi, chấm điểm, lập áo cáo… mà chưa đưa câu hỏi thang đo, chưa đánh giá đề kiểm tra trước cho thí sinh thi, chưa xây dựng đề kiểm tra tương đương… Nhận thức tầm quan trọng NHCH đổi công tác kiểm tra đánh giá, năm 2016 Trung tâm Đảm bảo chất lượng Khảo thí, Bộ mơn Ngơn ngữ Anh Phịng Công nghệ thông tin Trường Đại học Thăng Long thực Đề tài “Xây dựng Ngân hàng câu hỏi tiếng Anh” Đề tài đánh giá tốt trình ứng dụng vào thực tiễn trường II KẾ QUẢ Trong phần này, chúng tơi trình bày kết nghiên cứu xây dựng ngân hàng câu hỏi dựa phương pháp trắc nghiệm cổ điển đặc biệt sử dụng lí thuyết trắc nghiệm đại IRT với công cụ như: H m thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation) Chúng áp dụng cách làm vào việc xây dựng “ Ngân hàng câu hỏi tiếng Anh” Trường Đại học Thăng Long Về thực chất, cách làm thể quy trình xây dựng ngân hàng câu hỏi uy trình mơ tả ằng Hình đây: 1: Xác định ục tiêu dạy học, Chuẩn đầu ra, Nội dung chương trình, hương pháp kiểm tra đánh giá, a trận môn học Ma trận môn học bảng chiều với cột chứa đựng phạm vi nội dung môn học c thể liệt kê theo chủ đề, theo chương; cột thứ hai phân loại mức độ mà sinh viên nắm vững nội dung, c thể theo thang Bloom Thêm nữa, ô bảng ghi lại “trọng số” tương ứng mà giảng viên cho nội dung D N N 562 NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG : Để xây dựng NHCH, n i chung cần loại phần mềm: - hần mềm quản trị Ngân hàng câu hỏi: C thể trường tự viết dùng phần mềm c s n Ch ng hạn Moodle, FastTEST, Mathematics Item Bank Project ) - hần mềm l thuyết trắc nghiệm đại T Conquest, PARSCALE, MULTILOG ) : Câu hỏi Đề tài c loại: Trắc nghiệm khách quan tự luận : Sau tác giả viết xong câu hỏi, Đề tài thẩm định lại câu hỏi phương pháp chuyên gia tiến hành sửa chữa cho hoàn thiện Mục tiêu, Chuẩn đầu Nội dung Chương trình a trận mơn học Phần mềm quản trị NHCH Phần mềm phân tích CH Viết câu hỏi Chuyên gia thẩm định CH (chuyên giá) Thử nghiệm câu hỏi Đánh giá hân tích CH Đá Định dạng cập nhật CH Nhập tham số CH Tìm kiếm thông tin Chọn câu hỏi Xây dựng đề kiểm tra Đá Tổ chức thi Báo cáo kết điểm số số liệu) Hình uy trình xây dựng NHCH Nguyễn Tích Lăng 563 Bước kiểm tra thử nghiệm câu hỏi Mục đích việc thử nghiệm là: - Đánh giá câu hỏi theo lý thuyết trắc nghiệm cổ điển IRT nhằm phát thiếu sót câu hỏi, góp để tác giả sửa chữa loại bỏ; - Phân tích câu hỏi để xác định tham số độ kh , độ phân biệt, tham số đoán m số đặc tính khác; - Quan sát ghi chép trình làm sinh viên để giúp cho Ban điều hành đề án tác giả điều chỉnh quy trình kiểm tra hồn thiện câu hỏi Sau thử nghiệm kết thúc, kết trả lời câu hỏi t ng thí sinh nhập vào máy tính đem phân tích Ph n t ch c u hỏi Cần tiến hành phân tích riêng cho t ng đề thử nghiệm theo lý thuyết trắc nghiệm cổ điển IRT Phân tích cổ điển câu hỏi Hình thí dụ phân tích câu hỏi theo lý thuyết trắc nghiệm cổ điển phần mềm CONQUEST ver4.0 Dựa thông tin này, chuyên gia nhận xét t ng câu hỏi, sai s t nhầm đáp án, yêu cầu không rõ ràng để giúp tác giả sửa chữa, hoàn chỉnh =================================================================================== De79 Wed Oct 11 10:20 2017 GENERALISED ITEM ANALYSIS Group All Students =================================================================================== Item item:1 (1) Cases for this item 318 Item-Rest Cor 0.21 Item-Total Cor 0.36 Item Threshold(s): -0.94 Weighted MNSQ 1.00 Item Delta(s): -0.94 Label Score Count % of tot Pt Bis t sig PV1Avg:1 PV1 SD:1 1 211 66.35 0.21 3.8 0.000 0.050 0.722 60 18.87 -0.09 -1.61 0.109 -0.364 0.673 47 14.78 -0.18 -3.23 0.001 -0.558 0.605 Hình hân tích cổ điển câu hỏi Phân tích IRT câu hỏi Tiếp theo, kết trả lời câu hỏi thí sinh phân tích theo mơ hình tham số (3PLM) để xác định độ phân biệt a (slope), độ khó b (location) tham số đốn mị c (guessing) ằng phần mềm PARSCALE ver4.0 Hình trích số liệu phân tích L : De22.PSL – A TEST WITH 75 MULTIPLE CHOICE ITEMS THREE–PARAMETER LOGISTIC AND GENERALIZED PARTIAL CREDIT MODEL GROUP 01 BLOCK Tham số a 20054 0.97791 0.00000 0.00000 0.00000 0.00000 BLOCK 20055 0.99725 0.00000 0.00000 0.00000 0.00000 BLOCK 20056 0.99886 0.00000 0.00000 0.00000 0.00000 Tham số b Tham số c 0.41060 0.95180 13.42533 0.19965 0.08717 0.46810 –2.93107 12.78632 0.19800 0.08230 0.47936 1.95564 6.47162 0.19880 0.08945 Hình hân tích T câu hỏi D N N 564 NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG 4.2 So câu hỏi Bởi đề kiểm tra thử nghiệm n i tiến hành nhóm thí sinh dự thi lấy mẫu t đối tượng khác tham số câu hỏi đề ước tính cách riêng biệt, đ tham số ước tính cho đề nói chung thang đo T khác Vì việc đưa tham số câu hỏi đề thang đo – hay gọi so câu hỏi (Equating) – việc làm cần thiết Giả sử c thang đo, J ; gọi lực thí sinh thang đo J thang đo Các giá trị thang đo c liên quan sau: = A + B, đ A B số hàm tuyến tính, gọi hệ số liên kết Các số A B xác định dựa vào số liệu thu đề thử nghiệm Ở đây, giới hạn đề thử nghiệm c câu hỏi neo (hay câu hỏi cầu) - non–equivalent groups anchor test NEAT - tập trung vào phương pháp so dựa IRT Bốn phương pháp so ằng T thường sử dụng là: trung bình/trung bình, trung bình/sigma, Stocking–Lord Haebara Hình so ằng câu hỏi đề thử nghiệm dùng phần mềm IRTEQATING Hình o ằng câu hỏi đề thử nghiệm : Về phần mềm quản trị Ngân hàng câu hỏi, nhiều trường dùng phần mềm tự viết, c nơi mua phần mềm thị trường ch ng hạn FastTEST, Mathematics Item Bank Project Đề tài chúng tơi chọn phần mềm Moodle Moodle phần mềm mã nguồn mở đáp ứng đẩy đủ tính hệ thống quản l Ngân hàng câu hỏi Moodle lựa chọn hàng đầu danh sách phần mềm tương tự Moodle xây dựng theo phân đoạn dễ dàng mở rộng cách thêm thành phần phụ Cấu trúc ản Moodle hỗ trợ thành phần phụ sau: Các hoạt động; Các nguồn tài nguyên; Các kiểu câu hỏi; Các trường liệu; Giao diện đồ họa; hương thức chứng thực; hương thức ghi danh Moodle cho phép quản lý NHCH dựa Ma trận môn học môn học Moodle hỗ trợ cách nhập câu hỏi vào hệ thống: nhập trực tiếp nhập ằng tệp văn ản Với quyền cấp phép, người dùng thực thao tác liên quan đến việc quản lý câu hỏi t Ngân hàng như: xem, sửa, xóa câu hỏi; chuyển câu hỏi t chủ đề sang chủ đề khác Ngân hàng Moodle quản lý NHCH theo yêu cầu tối thiểu lý thuyết trắc nghiệm đại Tuy nhiên số phần mềm quản lý khác, Moodle chưa thực số yêu cầu nâng cao, ví dụ việc đưa câu hỏi thang đo, việc chưa đánh giá đề kiểm tra trước cho thí sinh thi việc xây dựng đề kiểm tra tương đương Để khắc phục thiếu sót Moodle, nhóm phụ trách phần mềm đề tài thực phát triển thêm mơ đun tích hợp vào hệ thống, cho phép người quản lý thực thao tác nhằm đem lại kết mong đợi Nguyễn Tích Lăng 565 Hình Màn hình phần mềm Moodle 6: Khi xây dựng đề kiểm tra, trước hết phải vào mục tiêu dạy học, chuẩn đầu ra, nội dung dạy học, loại hình đánh giá, phương pháp đánh giá ma trận đề kiểm tra Ngoài điều kiện khác cần lưu ; thí dụ, độ dài kiểm tra phân phối câu hỏi liên quan đến kiểu câu hỏi N i chung phần mềm quản trị NHCH cho phép tìm kiếm câu hỏi theo trường ghi, thí dụ biến định danh ID, t khóa, mơ tả câu hỏi, độ phân biệt, độ khó, tham số đốn m hay kết hợp dạng tìm kiếm Người ta c n sử dụng “H m thông tin đề thi” đề kiểm tra: Nếu đề kiểm tra thuộc loại đánh giá đầu vào/chẩn đoán, đề kiểm tra để sàng lọc, phải có khả phân tách rõ rệt thí sinh c lực thấp mức đ thí sinh c lực cao mức đ Điểm phân cách điểm cắt (cut–off–score) hàm thông tin đề kiểm tra Cần đặt điểm nằm thang điểm thực đường cong đặc trưng đề kiểm tra với mức lực điểm cắt đ Các câu hỏi đề kiểm tra nên có độ khó b nằm lân cận với điểm cắt nói ột thí dụ khác sử dụng “Đư ng cong đặc trưng đề thi”: Nếu đề kiểm tra thuộc loại đánh giá tiến trình đánh giá tổng kết, đề kiểm tra để đo lực thí sinh dải rộng thang lực Cần đặt điểm nằm thang điểm thực đường cong đặc trưng đề kiểm tra với điểm dải lực cần đo ột phương pháp tốt sử dụng l thuyết “Đề kiểm tra thích ứng nh máy tính” (Computerized Adaptive Tests–CAT) Trong CAT, câu hỏi lựa chọn theo tuần tự, dựa theo trả lời thí sinh cho câu hỏi trước đ ột tiêu chuẩn lựa chọn câu hỏi phổ biến CAT tối đa hàm thông tin đề kiểm tra mức lực ước tính Ngồi cịn số tiêu chuẩn chọn câu hỏi khác phân tầng theo tham số a, chọn phù hợp với tham số b : Đá Trước cho thí sinh thi, việc đánh giá đề kiểm tra xem có phù hợp với mục đích u cầu đặt khơng cần thiết Một số công cụ thường sử dụng để đánh giá đề kiểm tra là: Hàm thông tin đề thi (Test Information Fuction), Đư ng cong đặc trưng đề thi (Test Characteristic Curve), Phương pháp Sinh (Generation) Ở Phương pháp Sinh (Generation), người ta dùng thuật tốn“sinh ra” nh m thí sinh c lực giống đối tượng dự thi,“làm” đề kiểm tra đ cho kết quả“điểm thô” gần với thực tế Hình thí dụ cho 10000 thí sinh lực c phân phối Chuẩn)“làm” đề kiểm tra ên phải kết ài làm kết 1) D N N 566 NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG Hình hương pháp inh Đ ki (hay nhiều) đề thi eneration) đánh giá đề kiểm tra : Người ta sử dụng kỹ thuật đánh giá đề kiểm tra vào kiểm tra tương đương Hình Đánh giá tương đương đề kiểm tra ằng hương pháp inh : Các chức áo cáo kết – á oodle hoàn toàn c thể thực đầy đủ việc tổ chức thi trực tuyến, chấm điểm : KẾT LUẬN Năm 2017, đề tài “Xây dựng Ngân hàng câu hỏi Tiếng Anh” nghiệm thu với kết “ uất sắc” trường Đại học Thăng Long Đề tài đạt kết sau đây: - Nâng cao nhận thức cán ộ quản l giảng viên NHCH vai tr NHCH đánh giá kết học tập sinh viên - ây dựng NHCH tiếng Anh: viết 27 câu hỏi, tiến hành thử nghiệm, so ằng câu hỏi, xây dựng đề thi, đánh giá đề trước cho thí sinh thi, tổ chức thi, chấm điểm lập áo cáo - Hình thành quy trình xây dựng NHCH hồn chỉnh, t đ triển khai cho mơn học khác trao đổi kinh nghiệm xây dựng NHCH với trường đại học khác Những kết chứng tỏ phương pháp xây dựng NHCH dựa l thuyết trắc nghiệm đại c hiệu thực tế so với l thuyết trắc nghiệm cổ điển: T hi thử nghiệm câu hỏi, đề tài kết hợp với phân tích T với phân tích cổ điển sử dụng kỹ thuật A để nâng cao chất lượng phân tích câu hỏi Đề tài thực so ằng câu hỏi Equating) đề thử nghiệm c câu hỏi cầu ằng phương pháp T xác so với phương pháp truyền thống thông thường Nguyễn Tích Lăng 567 Việc xây dựng đề kiểm tra ằng phương pháp “Đề kiểm tra th ch ứng nh má t nh” Computerized Adaptive Tests–CAT) nhanh ch ng hiệu Đánh giá đề kiểm tra ằng Phương pháp Sinh (Generation) cho kết giống với thực tế, trực quan Tuy nhiên trình thực Đề tài, chúng tơi thấy cịn số mặt hạn chế sau đây: - Do nhà trường học thi theo tín nên việc tiến hành thử nghiệm câu hỏi gặp nhiều kh khăn học kỳ c số lượng sinh viên tham gia trả lời câu hỏi - ự phối hợp ộ phận chưa tốt TÀI LIỆU THAM KHẢO [1] BRITISH COUNCIL, idp, Cabridge Assessement English, IELTS, 2019 [2] David J.Weiss, Manual for the FastTEST Professional Testing System, Assessment Systems Corporation 2233 University Avenue St.Paul, Minnesota, USA, 2008 [3] OECD, PISA Test, Programm or International Student Assessment, 2015 [4] Stephanie Vachalee, Kristin Bjordal and other, Item Bank Guidelines, EORTC, 2002 [5] EDTECH, Tài liệu hướng dẫn sử dụng phần mềm trắc nghiệm TE T L , Công ty THHH Công nghệ giáo dục xử l liệu, 2008 BUILDING A ITEM BANK BASED ON MODERN ITEM RESPONSES THEORY IRT AND APPLICATIONS Nguyen Tich Lang ABSTRACT Item Bank is an effective tool to take student tests, ensuring objectivity, fairness and science in assessing results herefore, in the world as well as in Vietnam, Item Bank is used more and more However, in Vietnam, people now build tests by randomly extracting a few questions from the Bank, mixing questions, mixing variances, organizing examinations, scoring without putting all questions together a scale by analyzing questions according to modern Item Response Theory IRT, has not assessed the test before exam candidates, including the equivalent of tests In this paper, we present how to build Item Bank based on classic methods and specifically using modern Item Response Theory IRT with tools such as: Test Information Function, Test Characteristic Curve, Generation Method We demonstrate the use of modern Item Response Theory IRT combined with classical methods for results close to reality and efficiency We have applied this approach to the construction of the "English Item Bank" at Thang Long University ...D N N 562 NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG : Để xây dựng NHCH, n i chung cần loại phần mềm: - hần mềm quản trị Ngân hàng câu hỏi: C thể trường tự viết dùng... kinh nghiệm xây dựng NHCH với trường đại học khác Những kết chứng tỏ phương pháp xây dựng NHCH dựa l thuyết trắc nghiệm đại c hiệu thực tế so với l thuyết trắc nghiệm cổ điển: T hi thử nghiệm câu. .. 6.47162 0.19880 0.08945 Hình hân tích T câu hỏi D N N 564 NH N C H D A TRÊN LÍ THUYẾT TRẮC NGHIỆM HIỆN ĐẠI IRT VÀ ỨNG DỤNG 4.2 So câu hỏi Bởi đề kiểm tra thử nghiệm n i tiến hành nhóm thí sinh dự