Module Soạn câu hỏi: cho phép giáo viên hoặc chuyên gia soạn thảo câu hỏi và tích hợp các câu hỏi vào ngân hàng câu hỏi trong cơ sở dữ liệu. Hiện tại,
CSDL Câu hỏi/ Thí sinh/ Kết quả thi
Module phân phối bài thi
(Delivery Module)
Module Quản trị (Administration
Module)
Module Soạn câu hỏi (Authoring
Tool Module)
Thí sinh Chuyên gia Giáo viên/
module này cho phép soạn thảo hai dạng câu hỏi phổ biến là multiple-choice và select point (kích chuột chọn một điểm hoặc một vùng trên ảnh).
Module Phân phối bài thi: cho phép phân phối bài thi đến các thí sinh thông qua môi trường Web. Bài thi được tạo thành nhờ việc chọn ngẫu nhiên các câu hỏi từ ngân hàng câu hỏi. Các thí sinh khác nhau có bài thi khác nhau. Kết quả thực hiện bài thi của thí sinh được cập nhật vào cơ sở dữ liệu, phục vụ cho việc truy vấn và quản trị. Hiện tại, việc áp dụng lý thuyết ứng đáp câu hỏi (IRT) trong hệ thống chỉ mang tính thử nghiệm nên việc tính điểm bài thi cho từng thí sinh được tính theo 2 cách:
(1)Điểm bài trắc nghiệm quy đổi từ điểm thô:
Từ điểm thô (raw score) là điểm tương ứng với số câu trả lời đúng của thí sinh của mỗi thí sinh, tính tỷ lệ trả lời đúng so với số câu hỏi trong bài trắc nghiệm và sau đó thực hiện phép quy đổi về thang điểm 10. Ví dụ: nếu thí sinh trả lời đúng 34 câu hỏi trên tổng số 40 câu hỏi của bài thi, khi đó, tỷ lệ trả lời đúng câu hỏi = 34/40 = 0.85 và quy đổi về thang điểm 10 là 8.5
(2)Tính điểm thực (true score) theo lý thuyết ứng đáp câu hỏi:
Trong trường hợp các tham số câu hỏi hoàn toàn đã được định cỡ (ước lượng các tham số độ khó, độ phân biệt, độ phỏng đoán) trước khi đưa vào ngân hàng câu hỏi, tính toán năng lực thí sinh dựa trên các tham số độ khó a, độ phân biệt b, độ phỏng đoán c và kết quả trả lời của thí sinh trên mỗi câu hỏi, từ đó tính được điểm thực TS(θ) của thí sinh có năng lực ước lượng được là θ
được tính theo công thức: TS(θ) = P1(θ) +P2(θ) + ... + Pn(θ) với Pi(θ) là xác suất trả lời đúng câu hỏi thứ i của thí sinh có năng lực ước lượng được là θ. Từ điểm thực thu được, tính tỷ lệ điểm thực so với điểm thực tối đa (khi xác suất trả lời tất cả các câu hỏi đều =1), sau đó thực hiện phép quy đổi về thang điểm 10 tương tự như cách tính theo điểm thô.
Trong hai cách tính điểm nêu trên, cách tính theo điểm thực đảm bảo chính xác hơn cách tính điểm quy đổi từ điểm thô (nếu việc ước lượng các tham số của câu hỏi và năng lực thí sinh đảm bảo độ tin cậy cao) vì: nếu xét theo cách tính điểm quy đổi từ điểm thô thì rõ ràng, hai thí sinh có cùng điểm thô (có cùng tổng số câu trả lời đúng) sẽ có điểm bài trắc nghiệm bằng nhau bất kể thí sinh thứ nhất trả lời đúng nhiều câu câu hỏi khó hơn thí sinh thứ hai hay các câu thí sinh thứ nhất trả lời đúng có độ phỏng đoán thấp hơn các câu thí sinh thứ hai trả lời đúng.
Module Quản trị: cho phép quản trị các thông tin về thí sinh, bài thi, câu hỏi, kết quả thi, lập các báo cáo tổng hợp về thí sinh và kết quả thi.
Về mức độ tuân thủ đặc tả QTI: Cho đến thời điểm hiện tại, hệ thống vẫn chưa hoàn toàn tuân thủ QTI. Tuy nhiên, hệ thống vẫn đang tiếp tục được phát triển và hoàn thiện.
Hệ thống được phát triển dựa trên công nghệ ASP, cài đặt trên máy chủ Windows 2000 Server.
4.2. Thử nghiệm ƣớc lƣợng các tham số câu hỏi và năng lực thí sinh
Các câu hỏi sau khi được soạn thảo và tích hợp thành ngân hàng câu hỏi lưu trữ trong cơ sở dữ liệu. Việc ước lượng các tham số độ khó, độ phân biệt, độ phỏng đoán được thực hiện đồng thời với ước lượng năng lực các thí sinh.
Việc ước lượng đồng thời các tham số câu hỏi và năng lực thí sinh (hay còn gọi là định cỡ - calibration) được thực hiện trên dữ liệu bài thi tốt nghiệp môn Tin học văn phòng của hệ đào tạo kỹ thuật viên của Viện Công nghệ Thông tin. Cụ thể, dữ liệu được phân tích trên kết quả trả lời của 315 thí sinh thực hiện bài thi gồm 40 câu hỏi, trong đó, phần lớn các câu hỏi ở dạng nhiều lựa chọn (multiple choice), ngoài ra một số câu hỏi ở dạng chọn điểm trên hình ảnh (select point). Trong bài thi của mỗi thí sinh, trật tự các câu hỏi được sắp xếp ngẫu nhiên, thứ tự các phương án trả lời của mỗi câu hỏi cũng được đảo ngẫu nhiên, điều này tránh trường hợp các thí sinh trao đổi hoặc nhìn bài của nhau.
Việc xử lý phương án trả lời câu hỏi của các thí sinh (nhằm phục vụ cho việc ước lượng các tham số của câu hỏi và năng lực thí sinh) như sau:
Sắp xếp lại các câu hỏi trong bài thi của các thí sinh theo cùng một trật tự câu hỏi. Đánh dấu kết quả trả lời câu hỏi của thí sinh bằng cách: nếu thí sinh chọn đúng phương án trả lời thì đánh dấu 1; nếu chọn sai phương án trả lời, đánh dấu 0; nếu bỏ qua câu hỏi, đánh dấu bằng ký tự trống. Sau đây là một đoạn trong file dữ liệu kết quả trả lời bài thi của các thí sinh.
Mã số thí sinh kết quả trả lời bài thi (40 câu hỏi)