Ứng dụng cụng nghệ thụng tin hỗ trợ xõy dựng bộ cõu hỏi trắc

nghiệm khỏch quan chủ đề Phương trỡnh lượng giỏc

Việc ứng dụng CNTT hỗ trợ xõy dựng bộ cõu hỏi TNKQ chủ yếu trong việc phõn tớch và chuẩn húa bộ cõu hỏi, đề thi TNKQ. Cú một số phần mềm được thiết kế để thực hiện việc này như WINSTEPS, BILOG-MG, MULTILOG, PARSCALE, FACETS,…

Chỳng tụi đó sử dụng phần mềm CONQUEST trong việc phõn tớch và chuẩn húa bộ cõu hỏi TNKQ chủ đề Phương trỡnh lượng giỏc đó xõy dựng ở trờn. CONQUEST là một chương trỡnh mỏy tớnh được xõy dựng bởi hội đồng nghiờn cứu giỏo dục Australia (ACER) để làm phự hợp cỏc cõu trả lời và cỏc mụ hỡnh tương quan ẩn. Nú cung cấp cỏc mụ hỡnh phõn tớch dữ liệu để rỳt ra cỏc tớnh chất đặc trưng của cõu hỏi cũng như của thớ sinh. Đặc điểm nổi bật của phần mềm CONQUEST là nú vận dụng được cỏc kết quả của lý thuyết trắc nghiệm hiện đại (mà cốt lừi là thuyết ứng đỏp cõu hỏi, IRT) trong việc

phõn tớch dữ liệu. Kết quả phõn tớch cho ta những kết quả định lượng cho cả người tham gia điều tra và cả bộ cụng cụ được sử dụng.

Trước khi sử dụng phần mềm CONQUEST, ta cần cú file dữ liệu kết quả của học sinh. Thụng thường file số liệu này được lưu dưới dạng file .DAT hoặc .txt. Cú nhiều cỏch để thu được file dạng này.

-Cỏch 1. Nhập trong Microsoft Office Excel. Kết quả làm bài của học sinh cú thể nhập vào phần mềm Excel, sau đú chọn Save As type là Text (Tab Delimited) và chọn SAVE.

-Cỏch 2. Sử dụng phần mềm SPSS. Kết quả làm bài của học sinh được nhập trong phần mềm SPSS, sau đú thực hiện như sau để thu được file số liệu .DAT. Chọn Save As type là Fixed ASCII (*.dat) rồi chọn SAVE.

- Cỏch 3. Nhập trực tiếp kết quả làm bài của học sinh (bao gồm cả phần mó húa ID thớ sinh, giới tớnh và cỏc thụng tin cần thiết khỏc (nếu cần thiết) sử dụng Notepad hoặc Wordpad.

Sau khi đó chuẩn bị xong dữ liệu, tiến hành lập file điều khiển trong phần mềm CONQUEST. Trong phần Input Window, ta cú thể sử dụng bàn phớm để nhập cỏc lệnh này. Sau đú, file điều kiển này được lưu lại (SAVE) trong cựng folder với file dữ liệu.

Trong đú:

- Data LOP11A13.dat: Data là lệnh. Khai bỏo file dữ liệu kết quả làm bài của học sinh đó được lưu lại sau bước chuẩn bị dữ liệu. Ở đõy file số liệu cú tờn là LOP11A13.dat

- Format id 1-40 responses 6-45: Format là lệnh. Khai bỏo định dạng của tập dữ liệu. Cụ thể, ở đõy, trong file dữ liệu LOP11A13.dat, vị trớ cột 1 đến 40 là mó (ID) của học sinh, từ cột 6 đến 45 là kết quả trả lời cõu hỏi của học sinh.

- Codes A, B, C, D, E, 9: Codes là lệnh. Khai bỏo cỏc mó cú giỏ trị trong phần mềm CONQUEST.

- Key DCD...CBD !1: Key là lệnh. Đõy là khai bỏo đỏp ỏn của đề kiểm tra. Ký hiệu !1 để chỉ rằng, mỗi cõu trả lời đỳng được chấm 1 điểm.

- Labels << lop11.lab: Lệnh gỏn nhón cho từng cõu hỏi. Cỏc nhón này được lưu trong file lop11.lap.

- Model item: Khai bỏo mụ hỡnh phõn tớch cõu hỏi. - Estimate: Lệnh ước tớnh cỏc tham số.

- Itanal >> lop11: Lệnh này cho phộp xuất file thống kờ cổ điển. Khi kết thỳc lệnh này, ta thu được một file (cú thể mở bằng Notepad hoặc Wordpad) cú tờn là lop11 nằm trong cựng thư mục (Folder) với file dữ liệu (LOP11A13.dat). Tờn file này cú thể được đặt theo ý chủ quan của người chạy chương trỡnh.

- Show!estimate=latent>> lop11show: Lệnh này xuất file thống kờ theo lý thuyết ứng đỏp cõu hỏi và cỏc thụng tin liờn quan. Khi kết thỳc lệnh này, ta thu được một file (cú thể mở bằng Notepad hoặc Wordpad) cú tờn là lop11show nằm trong cựng thư mục (Folder) với file dữ liệu (LOP11A13.dat). Tờn file này cú thể được đặt theo ý chủ quan của người chạy chương trỡnh.

- Show cases !estimate=WLE>> lop11wle: Lệnh này cung cấp file thụng tin về năng lực ước tớnh của cỏc thớ sinh. Khi kết thỳc lệnh này, ta thu được một file (cú thể mở bằng Notepad hoặc Wordpad) cú tờn là lop11wle nằm trong cựng thư mục (Folder) với file dữ liệu (LOP11A13.dat). Tờn file này cú thể được đặt theo ý chủ quan của người chạy chương trỡnh.

Sau khi khai bỏo đầy đủ, lựa chọn chức năng Run  Run All để chạy chương trỡnh. Khi lựa chọn Run All, CONQUEST hiểu là chạy tất cả cỏc lệnh cú trong file lệnh điều khiển. Chỳng ta cú thể lựa chọn chạy một phần cỏc lệnh bằng cỏch bụi đen cỏc lệnh cần chạy rồi chọn Run Selection.

Sau khi lựa chọn Run All, bảng trờn sẽ xuất hiện để thực hiện thủ tục lặp. Sau khi kết thỳc cỏc vũng lặp thỡ chương trỡnh CONQUEST dừng lại và ta thu được cỏc kết quả phõn tớch. Cỏc file lop11.txt, lop11show.txt và

lop11wle.txt nằm trong cựng Folder với file dữ liệu gốc. Cỏc file này cú thể đọc được bằng Notepad hoặc Wordpad.

File lop11.txt cung cấp cỏc thống kế cổ điển của từng cõu hỏi cũng như độ khú theo thuyết ứng đỏp cõu hỏi. Bờn cạnh đú, file này cũn cung cấp cỏc thụng tin liờn quan đến điểm trung bỡnh, độ lệch chuẩn, phương sai, cỏc sai số cựng một số thụng số khỏc liờn quan đến thống kờ.

Vớ dụ: Đối với cõu hỏi số 1 trong đề thi (là cõu 63 trong bộ cõu hỏi): Nghiệm của phương trỡnhsin6xcos6xsin4xcos4x là:

a) x  k b)  k 4 x c)   k2 2 x d) 2 k x 

Khi gặp phương trỡnh dạng này HS sẽ phải nghĩ đến việc sử dụng hằng đẳng thức, cụng thức hạ bậc,… để đưa phương trỡnh đó cho về dạng đơn giản hơn. Từ đú giải tỡm nghiệm phương trỡnh là:

2 k

x  (kZ).

Ta thu được thống kờ từ kết quả làm bài của HS như sau:

====================================================== Item 1

---

item:1 (CAU1) Cases for this item 40 Discrimination 0.24

Item Threshold(s): 0.79 Weighted MNSQ 0.98 Item Delta(s): 0.79

---

Label Score Count % of tot PtBis t (p) PV1Avg:1 PV1 SD:1 ---

A 0.00 15 37.50 -0.02 -0.12(.904) 0.19 0.61 B 0.00 3 7.50 0.00 0.02(.983) 0.26 0.42 C 0.00 7 17.50 -0.28 -1.82(.077) -0.16 0.69 D 1.00 15 37.50 0.24 1.52(.136) 0.39 0.42

Dựa vào thống kờ này, ta thấy đõy là cõu hỏi cú 04 phương ỏn lựa chọn. Căn cứ vào thống kờ, cú tất cả 40 học sinh tham gia thử nghiệm cõu hỏi này, trong đú cú 15 (37.50%) học sinh lựa chọn phương ỏn A, 3 (7.50%) học sinh lựa chọn phương ỏn B, 7 (17.50%) học sinh lựa chọn phương ỏn C, 15 (37.50%) học sinh lựa

chọn phương ỏn D (là phương ỏn đỳng) và khụng cú học sinh nào khụng làm cõu hỏi này. Độ phõn biệt của cõu hỏi này là 0.24, độ khú theo lý thuyết ứng đỏp cõu hỏi là 0.79. Chỉ số phự hợp (FIT) của cõu hỏi này là 0.98.

Tương tự: Cõu hỏi số 38 trong đề thi (là cõu 49 trong bộ cõu hỏi): Số nghiệm trờn 0;4của phương trỡnh:

1 x 2 sin ) x cos 2 ( x cos ) x sin 2 3 ( 2     là: a) 1 b) 2 c) Vụ nghiệm d) Vụ số nghiệm Với cõu hỏi này, đa số HS sẽ biết cỏch biến đổi để đưa về phương trỡnh: cos2 x3cosx20cosx1, từ đú kết luận phương trỡnh cú 3 nghiệm trờn 0;4. Tuy nhiờn HS đó khụng kiểm tra điều kiện của bài toỏn:

0 x cos ; 0 x sin 0 x 2

sin     , đõy chớnh là một trong những sai lầm mà HS

gặp trong quỏ trỡnh giải phương trỡnh lượng giỏc. Khi giải được nghiệm cosx =1 sinx = 0, khụng thoả món điều kiện của bài toỏn, từ đú kết luận đỳng phải là c).

Ta thu được thống kờ từ kết quả làm bài của HS như sau:

====================================================== item:38 (CAU38)

Cases for this item 40 Discrimination 0.11 Item Threshold(s): -0.31 Weighted MNSQ 1.07 Item Delta(s): -0.31

---

Label Score Count % of tot PtBis t (p) PV1Avg:1 PV1 SD:1 ---

A 0.00 4 10.00 -0.02 -0.11(.914) 0.17 0.22 B 0.00 4 10.00 -0.07 -0.41(.685) 0.13 0.51 C 1.00 25 62.50 0.11 0.70(.491) 0.30 0.55 D 0.00 7 17.50 -0.08 -0.47(.638) -0.04 0.77

Dựa vào thống kờ này, ta thấy đõy là cõu hỏi cú 04 phương ỏn lựa chọn. Căn cứ vào thống kờ, cú tất cả 40 học sinh tham gia thử nghiệm cõu hỏi này, trong

đú cú 4 (10.00%) học sinh lựa chọn phương ỏn A, 4 (10.00%) học sinh lựa chọn phương ỏn B, 25 (62.50%) học sinh lựa chọn phương ỏn C (là phương ỏn đỳng), 7 (17.50%) học sinh lựa chọn phương ỏn D và khụng cú học sinh nào khụng làm cõu hỏi này. Độ phõn biệt của cõu hỏi này là 0.11, độ khú theo lý thuyết ứng đỏp cõu hỏi là -0.31. Chỉ số phự hợp (FIT) của cõu hỏi này là 1.07.

Minh hoạ file lop11show, file này là file thống kờ theo lý thuyết ứng đỏp cõu hỏi và cỏc thụng tin liờn quan. Ngoài ra cũn cung cấp cỏc thụng tin về từng cõu hỏi theo lý thuyết ứng đỏp cõu hỏi như độ khú cõu hỏi, sai số ước tớnh, cỏc chỉ số về độ phự hợp giữa dữ liệu với mụ hỡnh, …

Ngoài ra, trong file này cũn cung cấp biểu đồ tương quan giữa cỏc học sinh và cỏc cõu hỏi trong đề kiểm tra khi xếp trờn cựng một thang đo chung.

Chẳng hạn, đối với đề kiểm tra minh họa, ta thu được biểu đồ sau:

Hỡnh 2.2: Biểu đồ tương quan

Sử dụng Lệnh Plot  Characteristic Curves by Score để thu được đường cong đặc trưng cỏc cõu hỏi trong đề kiểm tra.

Minh hoạ file lop11wle, file này cung cấp file thụng tin về năng lực ước tớnh của cỏc thớ sinh. Đõy là một cơ sở quan trọng trong việc phõn chia cỏc cấp độ kiến thức căn cứ vào độ khú của từng cõu hỏi.

Bảng 2.1.Năng lực ước tớnh của học sinh

STT Số cõu đỳng Số cõu đó làm Năng lực Sai số 1 19 40 -0.08871 0.35322 2 18 40 -0.21179 0.35504 3 24 40 0.52275 0.35639 4 21 40 0.15495 0.35201 5 24 40 0.52275 0.35639 6 21 40 0.15495 0.35201 7 23 40 0.39907 0.35407 8 16 40 -0.46338 0.36122 9 20 40 0.03333 0.35221 10 18 40 -0.21179 0.35504 11 20 40 0.03333 0.35221 12 23 40 0.39907 0.35407 13 20 40 0.03333 0.35221 14 26 40 0.77658 0.36392 15 22 40 0.27667 0.35262

Đối với nhiều nước trờn thế giới, trong cỏc đỏnh giỏ quan trọng, sau khi đảm bảo được sai số ước lượng chấp nhận được thỡ điểm năng lực này của học sinh sẽ được sử dụng thay cho điểm thụ trong cỏc kết luận đưa ra.

Một trong những ưu điểm nổi bật nữa của phần mềm CONQUEST là cú thể phõn tớch cỏc cõu hỏi tự luận cũng như cú thể phõn tớch cỏc đề kiểm tra kết hợp cả tự luận và trắc nghiệm khỏch quan. Đõy là một lợi thế ưu việt so

với một số phần mềm khỏc, đặc biệt là khi xu thế ngày nay là muốn kết hợp cỏc loại hỡnh cõu hỏi này trong đỏnh giỏ. Ngoài đề kiểm tra/đề thi thỡ đối với cỏc phiếu khảo sỏt cũng cú thể phõn tớch sử dụng cỏc phần mềm như SPSS, CONQUEST, … để thu được cỏc thụng tin cần thiết.

Một ứng dụng quan trọng nữa của phần mềm CONQUEST là so bằng

(equating) cỏc đề kiểm tra, hay núi cỏch khỏc là đưa cỏc cõu hỏi về một thang đo chung. Đõy là một trong những đặc trưng của lý thuyết ứng đỏp cõu hỏi thể hiện tớnh ưu việt hơn so với lý thuyết trắc nghiệm cổ điển. Khi cỏc cõu hỏi nằm trờn một thang đo chung thỡ cú thể so sỏnh dễ dàng cỏc cõu hỏi với nhau, tạo cơ sở cho việc thiết kế cỏc đề kiểm tra khỏc nhau nhưng vẫn cú thể đo chớnh xỏc năng lực của học sinh. Bằng phương phỏp kết nối cỏc đề kiểm tra thụng qua cỏc cõu hỏi chung (gọi là cõu hỏi cầu – anchor items), phần mềm này cho phộp định cỡ đồng thời cỏc cõu hỏi. Việc sắp xếp file dữ liệu phải tuõn theo một số nguyờn tắc và sau khi thiết kế cỏc lệnh trong file điều khiển, ta sẽ thu được cỏc tham số của từng cõu hỏi đó nằm trờn cựng một thang đo chung. Với ứng dụng này của phần mềm CONQUEST, cú thể thiết kế cỏc đề kiểm tra khỏc nhau cho cỏc học sinh khỏc nhau, trong đú chỉ cú một số cõu hỏi cầu mà vẫn đỏnh giỏ được kết quả học tập của cỏc học sinh một cỏch chớnh xỏc.