Hệ thống trắc nghiệm của Viện Công nghệ Thông tin – Đại học Quốc gia Hà Nội được xây dựng trên nền ứng dụng Web với một số nhóm chức năng sau:
Hình 4.1: Mô hình hệ thống trắc nghiệm trực tuyến của Viện CNTT
Module Soạn câu hỏi: cho phép giáo viên hoặc chuyên gia soạn thảo câu hỏi và tích hợp các câu hỏi vào ngân hàng câu hỏi trong cơ sở dữ liệu. Hiện tại,
CSDL Câu hỏi/ Thí sinh/ Kết quả thi
Module phân phối bài thi
(Delivery Module)
Module Quản trị (Administration
Module)
Module Soạn câu hỏi (Authoring
Tool Module)
Thí sinh Chuyên gia Giáo viên/
module này cho phép soạn thảo hai dạng câu hỏi phổ biến là multiple-choice và select point (kích chuột chọn một điểm hoặc một vùng trên ảnh).
Module Phân phối bài thi: cho phép phân phối bài thi đến các thí sinh thông qua môi trường Web. Bài thi được tạo thành nhờ việc chọn ngẫu nhiên các câu hỏi từ ngân hàng câu hỏi. Các thí sinh khác nhau có bài thi khác nhau. Kết quả thực hiện bài thi của thí sinh được cập nhật vào cơ sở dữ liệu, phục vụ cho việc truy vấn và quản trị. Hiện tại, việc áp dụng lý thuyết ứng đáp câu hỏi (IRT) trong hệ thống chỉ mang tính thử nghiệm nên việc tính điểm bài thi cho từng thí sinh được tính theo 2 cách:
(1)Điểm bài trắc nghiệm quy đổi từ điểm thô:
Từ điểm thô (raw score) là điểm tương ứng với số câu trả lời đúng của thí sinh của mỗi thí sinh, tính tỷ lệ trả lời đúng so với số câu hỏi trong bài trắc nghiệm và sau đó thực hiện phép quy đổi về thang điểm 10. Ví dụ: nếu thí sinh trả lời đúng 34 câu hỏi trên tổng số 40 câu hỏi của bài thi, khi đó, tỷ lệ trả lời đúng câu hỏi = 34/40 = 0.85 và quy đổi về thang điểm 10 là 8.5
(2)Tính điểm thực (true score) theo lý thuyết ứng đáp câu hỏi:
Trong trường hợp các tham số câu hỏi hoàn toàn đã được định cỡ (ước lượng các tham số độ khó, độ phân biệt, độ phỏng đoán) trước khi đưa vào ngân hàng câu hỏi, tính toán năng lực thí sinh dựa trên các tham số độ khó a, độ phân biệt b, độ phỏng đoán c và kết quả trả lời của thí sinh trên mỗi câu hỏi, từ đó tính được điểm thực TS(θ) của thí sinh có năng lực ước lượng được là θ
được tính theo công thức: TS(θ) = P1(θ) +P2(θ) + ... + Pn(θ) với Pi(θ) là xác suất trả lời đúng câu hỏi thứ i của thí sinh có năng lực ước lượng được là θ. Từ điểm thực thu được, tính tỷ lệ điểm thực so với điểm thực tối đa (khi xác suất trả lời tất cả các câu hỏi đều =1), sau đó thực hiện phép quy đổi về thang điểm 10 tương tự như cách tính theo điểm thô.
Trong hai cách tính điểm nêu trên, cách tính theo điểm thực đảm bảo chính xác hơn cách tính điểm quy đổi từ điểm thô (nếu việc ước lượng các tham số của câu hỏi và năng lực thí sinh đảm bảo độ tin cậy cao) vì: nếu xét theo cách tính điểm quy đổi từ điểm thô thì rõ ràng, hai thí sinh có cùng điểm thô (có cùng tổng số câu trả lời đúng) sẽ có điểm bài trắc nghiệm bằng nhau bất kể thí sinh thứ nhất trả lời đúng nhiều câu câu hỏi khó hơn thí sinh thứ hai hay các câu thí sinh thứ nhất trả lời đúng có độ phỏng đoán thấp hơn các câu thí sinh thứ hai trả lời đúng.
Module Quản trị: cho phép quản trị các thông tin về thí sinh, bài thi, câu hỏi, kết quả thi, lập các báo cáo tổng hợp về thí sinh và kết quả thi.
Về mức độ tuân thủ đặc tả QTI: Cho đến thời điểm hiện tại, hệ thống vẫn chưa hoàn toàn tuân thủ QTI. Tuy nhiên, hệ thống vẫn đang tiếp tục được phát triển và hoàn thiện.
Hệ thống được phát triển dựa trên công nghệ ASP, cài đặt trên máy chủ Windows 2000 Server.
4.2. Thử nghiệm ƣớc lƣợng các tham số câu hỏi và năng lực thí sinh
Các câu hỏi sau khi được soạn thảo và tích hợp thành ngân hàng câu hỏi lưu trữ trong cơ sở dữ liệu. Việc ước lượng các tham số độ khó, độ phân biệt, độ phỏng đoán được thực hiện đồng thời với ước lượng năng lực các thí sinh.
Việc ước lượng đồng thời các tham số câu hỏi và năng lực thí sinh (hay còn gọi là định cỡ - calibration) được thực hiện trên dữ liệu bài thi tốt nghiệp môn Tin học văn phòng của hệ đào tạo kỹ thuật viên của Viện Công nghệ Thông tin. Cụ thể, dữ liệu được phân tích trên kết quả trả lời của 315 thí sinh thực hiện bài thi gồm 40 câu hỏi, trong đó, phần lớn các câu hỏi ở dạng nhiều lựa chọn (multiple choice), ngoài ra một số câu hỏi ở dạng chọn điểm trên hình ảnh (select point). Trong bài thi của mỗi thí sinh, trật tự các câu hỏi được sắp xếp ngẫu nhiên, thứ tự các phương án trả lời của mỗi câu hỏi cũng được đảo ngẫu nhiên, điều này tránh trường hợp các thí sinh trao đổi hoặc nhìn bài của nhau.
Việc xử lý phương án trả lời câu hỏi của các thí sinh (nhằm phục vụ cho việc ước lượng các tham số của câu hỏi và năng lực thí sinh) như sau:
Sắp xếp lại các câu hỏi trong bài thi của các thí sinh theo cùng một trật tự câu hỏi. Đánh dấu kết quả trả lời câu hỏi của thí sinh bằng cách: nếu thí sinh chọn đúng phương án trả lời thì đánh dấu 1; nếu chọn sai phương án trả lời, đánh dấu 0; nếu bỏ qua câu hỏi, đánh dấu bằng ký tự trống. Sau đây là một đoạn trong file dữ liệu kết quả trả lời bài thi của các thí sinh.
Mã số thí sinh kết quả trả lời bài thi (40 câu hỏi)
Hình 4.2: Ví dụ kết quả trả lời bài thi của các thí sinh
Sau khi có được file dữ liệu như đã mô tả ở trên, thực hiện module chương trình ước lượng đồng thời tham số các câu hỏi và năng lực thí sinh như đã trình bày trong Mục 2.2.6
Có thể biểu diễn các bước thực hiện thuật toán ước lượng đồng thời tham số câu hỏi và năng lực thí sinh theo sơ đồ sau:
Hình 4.3: Sơ đồ thuật toán ước lượng đồng thời câu hỏi và năng lực thí sinh
Thuật toán được cài đặt với một số đặc điểm sau:
- Tham số năng lực θ được làm chuẩn hoá về thang đo chuẩn (có gốc là 0 và đơn vị là 1) sau mỗi bước lặp, các giá trị năng lực biến đối từ -3 đến +3. - Điều kiện dừng của thuật toán được chọn là khi độ lệch của các tham số sau
mỗi giai đoạn lặp không vượt quá 0.001 hoặc số bước lặp >100. Đọc dữ liệu kết quả trả lời bài thi
Khởi tạo: ai0, bi0, ci0 cho mỗi câu hỏi Tính giá trị thô θj từ kết quả thi (j=1..M)
Ước lượng tham số ai, bi, ci cho từng câu hỏi (i=1..N) (theo thuật toán trong 2.4)
Ước lượng năng lực θj cho từng thí sinh (j=1..M) (theo thuật toán trong 2.5)
No Yes Begin |θj(t) –θj(t+1)|< 0.001 Print: ai, bi, ci (i=1..N) Print: θj (j=1..M) Print: θj End
Chuẩn hoá năng lực θj
θj0: = θj(t+1)
ai0: = ai
bi0: = bi
Thực hiện trên tập dữ liệu là kết quả trả lời 40 câu hỏi của 315 thí sinh. Kết quả sau khi thực hiện thuật toán ước lượng các tham số độ phân biệt a, độ khó b, độ phỏng đoán c được thể hiện trong bảng:
Mã
c.hỏi trả lời c.hỏiSố thí sinh a b c Saiso a Saiso b Saiso c
1 315 0.459 -1.785 0.075 0.05 0.209 0.086 2 315 2 1.629 0.072 0.989 0.223 0.027 3 315 0.459 -3.79 0 0.046 0.295 0.187 4 315 2 0.457 0.63 0.521 0.122 0.04 5 315 2 2.509 0.9 2.395 0.453 0.018 6 315 2 0.166 0.573 0.449 0.116 0.045 7 315 2 0.919 0.848 0.912 0.212 0.026 8 315 0.392 -0.202 0.625 0.106 0.384 0.047 9 315 0.288 -2.439 0 0.031 0.287 0.094 10 315 0.429 -0.636 0.871 0.17 0.638 0.032 11 315 0.455 1.054 0.645 0.174 0.386 0.037 12 315 0.141 4.774 0 0.017 0.544 0.032 13 315 0.595 0.395 0.077 0.108 0.182 0.046 14 315 0.647 -4.166 0 0.083 0.324 0.311 15 315 2 -1.49 0.949 0.456 0.427 0.029 16 315 2 -1.804 0.146 0.358 0.168 0.081 17 315 2 -2.64 0 0.261 0.106 0.133 18 315 0.335 -1.886 0.299 0.046 0.313 0.079 19 315 2 -0.465 0.686 0.464 0.171 0.049 20 315 0.534 2.11 0.844 0.371 0.702 0.024 21 315 2 0.086 0.702 0.514 0.145 0.042 22 315 2 0.82 0.884 0.962 0.238 0.024 23 315 0.308 -5 0.386 0.037 0.542 0.152 24 315 0.264 -0.555 0.794 0.115 0.751 0.038 25 315 0.162 -2.917 0 0.022 0.456 0.083 26 315 2 -3.907 0 0.223 0.298 0.986 27 315 2 0.759 0.405 0.443 0.093 0.039 28 315 2 1.322 0.613 0.693 0.143 0.033 29 315 0.135 -5 0.244 0.018 0.699 0.091 30 315 0.294 -4.172 0 0.027 0.36 0.145 31 315 2 2.595 0.47 1.021 0.181 0.03 32 315 0.382 1.805 0 0.048 0.204 0.026 33 315 0.273 -2.77 0 0.029 0.308 0.099 34 315 2 -1.368 0.885 0.459 0.323 0.041 35 315 2 2.105 0.443 0.71 0.152 0.031 36 315 2 -3.907 0 0.223 0.298 0.986 37 315 0.137 2.012 0 0.031 0.501 0.044 38 315 2 2.67 0.746 1.789 0.289 0.025 39 315 2 2.736 0.124 0.717 0.126 0.02 40 315 0.456 -2.799 0 0.045 0.235 0.126
Tham số năng lực của 315 thí sinh cũng được ước lượng cùng với các tham số a, b, c của các câu hỏi. Bảng sau đây là trích lược một số giá trị các năng lực () ước lượng được của 30 thí sinh đầu tiên (sắp xếp theo Mã thí sinh).
Giải thích các cột trong bảng kết quả dưới đây:
- Stt: Số thứ tự;
- Mã số thí sinh: Mỗi thí sinh có một mã khác nhau; - Năng lực: Giá trị ước lượng năng lực của thí sinh;
- Sai số năng lực: Sai số của năng lực ước lượng được, chẳng hạn, với thí sinh có mã 041-001, giá trị năng lực ước lượng được là 2.5503 và sai số là 0.4514. Điều này có nghĩ là, giá trị năng lực của thí sinh này thuộc trong khoảng từ 2.5503-0.4514 đến 2.5503+0.4514 hay thuộc khoảng (2.0989; 3.0017).
- Điểm thực: Điểm thực tính toán theo năng lực ước lượng được của thí sinh khi thực hiện bài trắc nghiệm;
- Điểm thô: tổng số câu hỏi thí sinh trả lời đúng;
- % Điểm thực: Tính tỷ lệ giữa phần trăm giữa điểm thực và điểm thực tối đa – nhằm quy đổi điểm thực về thang điểm 100; công thức tính điểm thực (true score) cho bài trắc nghiệm 40 câu hỏi của một thí sinh có năng lực j
như sau: 40 1 ( )j ( , , , )j i i i i TS P a b c
Với P( , , , )j a b ci i i được tính theo công thức của mô hình IRT 3 tham số.
- % Điểm thô: tỷ lệ phần trăm câu hỏi mà thí sinh trả lời đúng – nhằm quy đổi điểm thô về thang điểm 100.
Bảng 4.2: Kết quả ước lượng năng lực của 30 thí sinh đầu tiên trong danh sách
Nhận xét kết quả:
+ Nhận xét chung:
Mô hình IRT được sử dụng trong thuật toán ước lượng ở đây là mô hình 3 tham số. Trong số các kết quả ước lượng được, một số kết quả có sai số khá lớn (cả các ước lượng tham số câu hỏi và ước lượng năng lực thí sinh), do vậy, mức độ tin cậy của kết quả ước lượng được không thực sự cao. Sở dĩ có điều này vì tập các thí sinh tham gia thi trắc nghiệm chưa đủ lớn (có 315 thí sinh); do khối
Stt Mã thí sinh Năng lực Năng lựcSai số Điểm thực Điểm thô % Điểm thực % Điểm thô
1 041-001 2.5503 0.4514 36.416 35 91.041 87.5 2 041-003 0.8463 0.5155 32.707 32 81.768 80 3 041-004 2.1621 0.5474 35.500 34 88.751 85 4 041-005 0.3749 0.5434 31.503 30 78.756 75 5 041-007 1.1942 0.5582 33.516 31 83.789 77.5 6 041-009 1.4083 0.591 33.967 31 84.917 77.5 7 041-010 2.3859 0.4857 36.017 37 90.042 92.5 8 041-011 1.0443 0.5353 33.180 32 82.949 80 9 041-012 1.3103 0.5764 33.764 31 84.410 77.5 10 041-014 -1.6531 0.6727 27.439 26 68.597 65 11 041-016 1.7967 0.617 34.739 35 86.849 87.5 12 041-017 0.001 0.6442 30.580 28 76.449 70 13 041-019 -2.402 0.5316 25.795 23 64.486 57.5 14 041-023 1.407 0.5908 33.964 31 84.911 77.5 15 041-025 -1.8729 0.652 26.984 27 67.459 67.5 16 041-026 1.0637 0.538 33.224 31 83.061 77.5 17 041-029 -2.3938 0.5336 25.814 31 64.536 77.5 18 041-031 3 0.4869 37.413 35 93.533 87.5 19 041-036 0.5923 0.5181 32.064 30 80.159 75 20 041-037 0.3693 0.5443 31.488 30 78.720 75 21 041-039 0.1317 0.5997 30.891 28 77.228 70 22 041-040 3 0.4869 37.413 35 93.533 87.5 23 041-043 0.7671 0.5128 32.510 32 81.275 80 24 041-045 1.5364 0.6074 34.225 32 85.563 80 25 041-046 0.179 0.586 31.008 31 77.519 77.5 26 041-047 0.2511 0.5677 31.188 27 77.969 67.5 27 041-048 -3 0.507 24.313 25 60.781 62.5 28 041-049 2.1538 0.5497 35.482 35 88.705 87.5 29 041-051 0.5709 0.5197 32.008 30 80.021 75 30 041-056 3 0.4869 37.413 38 93.533 95
lượng tính toán lớn nên số bước lặp được đặt trong tập số liệu thử nghiệm ở đây là không vượt quá 100 bước.
+Về câu hỏi:
Trong số 40 câu hỏi được ước lượng (các câu hỏi được đánh số từ 1 đến 40 – xem chi tiết các câu hỏi này trong phụ lục 1), có một số trường hợp nên xem xét lại:
- Các câu hỏi sau khi ước lượng có tham số c lớn (chẳng hạn, c≥0.75) (thí sinh dễ dàng phỏng đoán ra đáp án đúng cho các câu hỏi này). Ở đây là các câu hỏi: 5, 7, 10, 15, 20, 22, 24, 34, 38 (xem phụ lục 1)
- Các câu hỏi có sai số của tham số của c lớn, trong trường hợp này là các câu: 26 (sai số c=0.986), câu 36 (sai số c=0.986).
- Các câu hỏi có sai số ước lượng của ước lượng a, b lớn: chẳng hạn, câu 38 (sai số a = 2.67, sai số b = 1.789)
+ Về năng lực thí sinh:
Năng lực thí sinh được đánh giá thông qua tham số theta () ước lượng được. Ở đây – trong chương trình này – các giá trị năng lực được chọn thang đo có gốc là 0, đơn vị là 1 và các giá trị năng lực biến đổi từ -3 đến +3.
Tuy nhiên, nhìn vào các giá trị năng lực (cột giá trị theta) ước lượng được, nói chung, khó hình dung một cách trực quan về kết quả bài trắc nghiệm. Việc chuyển đổi năng lực theta sang các giá trị điểm thực (true score) giúp giải quyết điều này.
Từ bảng kết quả ở ước lượng năng lực thí sinh cho thấy:
- Giá trị tối đa của điểm thực chính bằng số câu hỏi trong bài trắc nghiệm (khi đó xác suất trả lời tất cả các câu hỏi của bài trắc nghiệm đều =1). - So sánh giữa cột %Điểm thực và cột %Điểm thô trong bảng ta thấy có sự
chênh lệch, hoặc có những trường hợp các thí sinh có cùng số lượng câu trả lời đúng nhưng lại khác nhau về % Điểm thực và % Điểm thô, chẳng hạn, thí sinh: 041-007 và 041-009 có cùng số lượng câu trả lời đúng là 31 (do đó, có cùng tỷ lệ trả lời đúng là 77.5%), tuy nhiên, lại có điểm thực (quy đổi theo thang điểm 100) là 83.789 và 84.917. Sở dĩ có điều này vì: theo công thức tính điểm thực, điểm thực thu được phụ thuộc vào từng tham số câu
hỏi trong bài thi, trong khi đó, theo cách tính điểm thô (Raw Score) chỉ phụ thuộc vào số câu trả lời đúng.
- Mỗi năng lực ước lượng được có sai số khác nhau. Sai số thể hiện chính xác của phép ước lượng với từng năng lực.
- Trong kết quả ước lượng năng lực thí sinh thu được, nên xem xét lại năng lực của các thí sinh có sai số lớn (nếu có).
KẾT LUẬN
Luận văn tập trung trình bày về lý thuyết ứng đáp câu hỏi (IRT) và ứng dụng của lý thuyết ứng đáp câu hỏi trong việc phân tích các thuộc tính của câu hỏi và năng lực thí sinh (Chương 2). Bên cạnh đó, Chương 3 đề cập đến vấn đề xây dựng ngân hàng câu hỏi, cụ thể là đề xuất một quy trình xây dựng ngân hàng câu hỏi áp dụng riêng cho xây dựng ngân hàng câu hỏi kỹ năng Công nghệ Thông tin, đồng thời trong chương này cũng trình bày tóm lược về đặc tả QTI – một đặc tả mới của IMS Global – cho câu hỏi và bài trắc nghiệm. Việc xây dựng