81 Phần II TRẮC NGHIỆM HIỆN ĐẠI LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 82 Chương 3 HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI Chương này dành để trình bày bước xuất phát trong tiến trình xây dựng.
Phần II TRẮC NGHIỆM HIỆN ĐẠI LÝ THUYẾT ỨNG ĐÁP CÂU HỎI 81 Chương HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI Chương dành để trình bày bước xuất phát tiến trình xây dựng Lý thuyết Ứng đáp Câu hỏi (Item Response Theory - IRT) Trước hết, quy trình thiết kế phép đo lường nói chung mơ tả, từ bước xây dựng thang đo, tạo thước đo, định cỡ thước đo tiến hành đo Để xây dựng thang đo khác số sử dụng với vai trò khác Một yêu cầu chung nhằm tăng độ xác phép đo xác định: đảm bảo cho thước đo đối tượng đo tách biệt độc lập với nhau, yêu cầu cụ thể hóa phép đo tâm lý giáo dục Sau xác định yêu cầu để thiết kế phép đo nói chung, quy trình thiết kế phép đo giáo dục cặp tương tác nguyên tố “thí sinh - câu hỏi”, tế bào IRT, mô tả bước cách xây dựng hàm đặc trưng CH theo mơ hình Rasch đơn giản (tức mơ hình đơn chiều, nhị phân, tham số) 3.1 VỀ CÁC PHÉP ĐO LƯỜNG 3.1.1 Về quy trình xây dựng phép đo lường Để thực phép đo lĩnh vực khoa học kỹ thuật cần thước đo tác động lên đối tượng đo, từ rút số đo đặc trưng cho đối tượng Bất kỳ phép đo thu số đo với độ xác đó, nghĩa phép đo có sai số Khi xây dựng phép đo, người ta thường phải tạo thang đo, sau thiết kế thước đo, cuối áp thước đo vào đối tượng cần đo 82 để so sánh nhằm đưa số giá trị đo xác định Để hình dung q trình lấy ví dụ cụ thể đơn giản việc thiết kế phép đo nhiệt độ thông thường Đầu tiên giả sử ta lấy nhiệt độ nước đá tan nhiệt độ nước sôi áp suất thường làm mốc, gọi tương ứng 00C 1000C, khắc độ chia khoảng nhiệt độ thu được: cách ta có thang đo Tiếp đến ta phải thiết kế thước đo nhằm đo đối tượng khoảng nhiệt độ đó, chẳng hạn đo thân nhiệt người Ta sử dụng hàng loạt ống thủy tinh có chứa thủy ngân rút hết khơng khí để làm thước đo Các ống thủy tinh muốn trở thành thước đo phải khắc độ, định cỡ (calibration): giả sử đặt chúng lên hai mẫu thử (sample) có nhiệt độ xác ổn định, mẫu 350, mẫu 450, đỉnh cột thuỷ ngân ống thuỷ tinh nâng lên mức tương ứng Từ mức ta đánh dấu vạch 35 450 ống thủy tinh chia khoảng độ 1/10 độ: ta biến ống thuỷ tinh thành thước đo (nhiệt kế) Cuối ta sử dụng thước đo định cỡ để đo thân nhiệt bệnh nhân Trong quy trình đo lường theo ví dụ nêu muốn phép đo xác phải đảm bảo hai điều Một trình định cỡ (khắc độ cho thước đo) phải đủ tin cậy, đặc biệt mẫu thử khác không ảnh hưởng lên kết định cỡ Hai là, dù đo thước đo (trong thước định cỡ) kết đo phải (trong phạm vi sai số chấp nhận được), tức kết đo không phụ thuộc vào thước đo cụ thể Yêu cầu nêu điều kiện để đảm bảo độ xác chung cho nhiều phép đo khác 3.1.2 Các số loại thang đo Nhiều nhà nghiên cứu đưa định nghĩa khác đo lường, nhìn từ góc độ khác Chúng ta lưu ý đến hai định nghĩa sau Theo Allen, M.J Yen, W.M (1979) [7]: “Đo lường gán số vào cá thể theo quy tắc có hệ thống để biểu diễn đặc tính cá thể đó” 83 Benjamin Wright (1979) [10] cho rằng: “Một số đo vị trí đường Đo lường trình cấu trúc đường định vị cá thể đường đó” Hai định nghĩa có ý chung đo lường gán số vào cá thể theo nguyên tắc đó, định nghĩa đầu khơng nêu rõ tính chất số, cịn định nghĩa sau xác định rõ số đường liên tục, tức số trục số thực Định nghĩa đầu rộng hơn, nhiên phản ánh phép đo có tính định lượng thấp hơn, định nghĩa sau phản ánh phép đo có tính định lượng cao Hai định nghĩa thể cách sử dụng số theo cấp độ khác Các số sử dụng theo cách sau: làm nhãn hiệu để phân loại, tạo thang đo theo thứ tự, thang đo theo khoảng cách thang đo theo giá trị Làm nhãn hiệu, định danh (nominal) để phân loại: Chữ số in áo cầu thủ có tác dụng nhãn hiệu Khi phân chia vật vật theo tính chất xác định sử dụng số để đánh dấu phân loại Trong hai ví dụ vừa nêu khơng thể làm phép tính số học số Tạo thang đo theo thứ tự (ordinal): Các số để thứ bậc thang đo, qua số thứ bậc biết cao thấp, Tuy nhiên khơng thể tính tốn độ lớn tính chất gán với thứ bậc so sánh độ lớn với Ví dụ học sinh xếp hạng thứ giỏi gấp đôi học sinh xếp hạng thứ 10 Tạo thang đo theo khoảng cách (interval): Ví dụ thang nhiệt độ C hay F Khoảng cách có ý nghĩa xác định, so sánh khoảng cách với áp dụng phép tính số học cộng trừ nhân chia Tuy nhiên thang chia theo khoảng cách khơng có số không tuyệt đối Tạo thang đo theo tỷ lệ (ratio): Thang đo có đặc điểm thang đo theo khoảng cách, có thêm tính chất quan trọng: có tồn số khơng tuyệt đối Ví dụ thang đo độ cao, khối lượng, số tiền… Vì có số khơng tuyệt đối nên tính tỷ lệ hai số 84 đo, chẳng hạn so sánh người có 10 đồng người có đồng nói người thứ có số tiền gấp lần người thứ hai Có thể thấy xếp loại thang đo mức độ định lượng tăng dần từ xuống Đo lường thành học tập giáo dục hiểu đo lường lực tiềm ẩn đối tượng Chúng ta cố gắng thiết kế phép đo cho có tính định lượng cao nhất, tức không đo thứ hạng cá thể (thang đo theo thứ tự), mà làm cho khoảng cách lực cá thể có ý nghĩa (thang đo theo khoảng cách) Đối với lực tiềm ẩn nói chung khơng có số khơng tuyệt đối, tức điểm ứng với lực tiềm ẩn không 3.1.3 Về phép đo lường tâm lý giáo dục Từ lâu chuyên gia đo lường tâm lý giáo dục bàn yêu cầu phép đo lường Chẳng hạn, Thurstone từ đầu kỷ (1904) [2] phát biểu: số đo phải tuyến tính ứng dụng phép tính số học Wright (1982) [10] có nêu bốn đặc trưng mà đo lường phải có là: hướng (direction), thứ tự (order), độ lớn (magnitude) đơn vị tái tạo (replicable units) Khi xÐt mét phép đo l-ờng cụ thể tâm lý giáo dục, th-ớc đo mt hoc mt hợp c©u hái đưa để thử phản ứng người đo, ®èi t-ợng đo thuộc tính mt ngi c o, chẳng hạn lực tim n ca ngi c o lĩnh vực tiện diễn đạt, từ sau ta quy ước gọi đưa để thử ứng đáp người đo (item) câu hỏi (CH) đối tượng đo nói chung thí sinh (TS) Cũng giống phép đo lường nói chung nêu 3.1.1, trắc nghiệm tâm lý giáo dục, Thurstone nêu đòi hỏi phép đo lường giáo dục, ngụ ý việc định cỡ CH không phụ thuộc vào mẫu TS dựng để định cỡ (sample-free) kết đo thuộc tính TS khơng phụ thuộc vào việc họ trả lời CH (item-free) Đó u cầu để đảm bảo tính khách quan phép đo 85 Tuy yêu cầu đo lường nhà tâm lý giáo dục nhìn thấy từ lâu, đến năm 60 - 70 kỷ XX có cơng trình lý thuyết đặt tảng khoa học vững để thỏa mãn yêu cầu khoa học đo lường tâm lý giáo dục 3.2 VỀ ĐƯỜNG CONG ĐẶC TRƯNG CÂU HỎI 3.2.1 Các mối tương tác nguyên tố tính đơn chiều Giả sử muốn đánh giá loại lực tiềm ẩn đó, chẳng hạn lực tiếng Anh, 200 TS nhờ đề trắc nghiệm có 100 CH Trong trường hợp ta có 200x100 = 20.000 mối tương tác khác TS CH trắc nghiệm Mơ hình tốn phép đo lường tâm lý giáo dục phải mối tương tác TS CH, gọi mối tương tác nguyên tố, tế bào để xây dựng Lý thuyết Ứng đáp Câu hỏi Trong tập sách từ chương đến chương 12 dành để giới thiệu lý thuyết trắc nghiệm áp dụng để đo loại lực TS Khi xây dựng mơ hình tốn nói chung, để đơn giản khả thi, người ta quan tâm đến mối quan hệ chất nhất, lược bỏ bớt yếu tố phụ phức tạp không chất Ở trường hợp chúng ta, để xây dựng mơ hình tốn phản ánh quan hệ mối tương tác nguyên tố TS-CH, TS ta xét đến loại lực (hoặc chiều lực) đo CH tạo nên đề trắc nghiệm (ĐTN) Đó giả định tính đơn chiều (unidimensionality) Trong thực tế thường có nhiều nhân tố ảnh hưởng lên việc làm trắc nghiệm (động cơ, hồi hộp, khả làm nhanh, xu hướng đoán nhận, kỹ nhận thức…) ngồi lực đo ĐTN Vậy, để đạt giả định tính đơn chiều cần xây dựng ĐTN cho khu biệt thành phần ảnh hưởng lên việc làm ĐTN Thành phần xem lực tiềm ẩn (latent trait) đo ĐTN Một khái niệm liên quan đến tính đơn chiều tính độc lập địa phương (local independent) Độc lập địa phương có nghĩa: giữ khơng đổi lực tác động lên việc làm ĐTN, ứng đáp TS hai CH độc lập với mặt thống kê Nói cách khác, khơng có 86 quan hệ ứng đáp TS CH khác Như vậy, lực xác định mơ hình yếu tố ảnh hưởng lên việc trả lời TS CH Tập hợp lực biểu diễn không gian lực tiềm ẩn (latent trait) đầy đủ Khi thỏa mãn tính đơn chiều, không gian lực tiềm ẩn đầy đủ chứa lực Khi giả định tính đơn chiều thỏa mãn, có tính độc lập địa phương Trên tinh thần hai khái niệm tương đương Tuy nhiên, có tính độc lập địa phương khơng có tính đơn chiều, cần không gian lực tiềm ẩn đầy đủ xác lập Nếu không gian không xác lập khơng có tính độc lập địa phương Chẳng hạn, TS kiểm tra mơn Tốn đồng thời phải biết đọc thạo tiếng Việt Khi có TS khơng đọc thạo tiếng Việt lực tiếng Việt ảnh hưởng đến việc làm kiểm tra Tốn, tính độc lập địa phương không thỏa mãn Khi TS đọc thạo tiếng Việt có tính độc lập địa phương Khi thỏa mãn tính đơn chiều, người ta giả định có Hàm đặc trưng câu hỏi (Hàm ĐTCH - Item Characteristic Function- ICF) phản ánh mối quan hệ thực biến không quan sát (năng lực TS) biến quan sát (việc trả lời câu hỏi) Biểu diễn đồ thị hàm đặc trưng câu hỏi Đường cong đặc trưng Câu hỏi (Đường cong ĐTCH - Item Characteristic Curve – ICC) Chúng ta tìm cách xác định đường cong ĐTCH 3.2.2 Xây dựng thang đo để biểu diễn tương tác Trước xét mối tương tác nguyên tố TS - CH cần xây dựng thang chung để biểu diễn mối tương tác Trước hết ta giả định TS có lực tiềm ẩn đó, giả thiết lực chiều, nói 3.2.1 Giả sử ta biểu diễn lực tiềm ẩn biến dọc theo trục liên tục, từ thấp đến cao, từ - đến + Khi xét phân bố lực tập hợp TS đó, ta chọn giá trị lực trung bình phân bố lực tập hợp TS làm điểm khơng (0) cho thang đo lực, độ lệch tiêu chuẩn phân bố lực làm đơn vị đo lực (=1) 87 Tiếp đến, CH có loạt tính biểu diễn tham số xác định, ta xem xét tiếp chương sau Trong tính CH, tính quan trọng độ khó CH Cũng giả thiết ta biểu diễn độ khó CH biến dọc theo trục liên tục, từ thấp đến cao, từ - đến + Khi xét phân bố độ khó tập hợp CH đó, ta chọn giá trị độ khó trung bình phân bố độ khó tập hợp CH làm điểm khơng (0) cho thang đo lực, độ lệch tiêu chuẩn phân bố độ khó CH làm đơn vị đo độ khó (=1) Để thực phép đo cách dùng ĐTN gồm nhiều CH nhằm đo lực tiềm ẩn TS thang đo lực tập hợp TS nói trên, ta cần làm so sánh lực TS độ khó CH Thơng thường hai đại lượng có thứ nguyên ý nghĩa hoàn toàn khác vậy, lực TS độ khó CH, so sánh với Tuy nhiên thấy mục sau, biến lực độ khó biểu diễn đại lượng tỷ đối khơng thứ ngun nên so sánh chúng với 3.2.3 Ví dụ mơ hình đường cong đặc trưng câu hỏi đơn chiều, nhị phân, tham số (mơ hình Rasch) Để làm ví dụ, trước hết chúng tơi trình bày cách xây dựng đường cong ĐTCH nhị phân, tham số CH nhị phân CH mà câu trả lời có mức: Chúng tơi chọn cách trình bày lưu ý đến tính logic sư phạm nhiều để bạn đọc dễ hiểu, không lưu ý đến lịch sử việc xây dựng mơ hình Ở cuối chương 3, theo dõi lịch sử phát triển mơ hình IRT dựa hai giả thiết: - Sự ứng đáp TS CH tiên đốn lực tiềm ẩn TS; - Quan hệ ứng đáp CH TS lực tiềm ẩn làm sở cho đáp ứng mơ tả ICF đồng biến Để xây dựng mô hình tốn diễn tả mối quan hệ phải xuất phỏt t mt tin no ú Nhà toán học Đan M¹ch, George Rasch, 88 xây dựng mơ hình ICF đơn giản sử dụng nhiều công nghệ trắc nghiệm Để biểu diễn CH, Rasch chọn tham số: độ khó CH Chúng ta theo dõi cách lập luận Rasch Phát biểu sau Rasch có giá trị tiền đề làm sở cho mơ hình ơng: “Một người có lực cao người khác xác suất để người trả lời câu hỏi phải lớn xác suất người sau, tương tự vậy, câu hỏi khó câu hỏi khác có nghĩa xác suất để người trả lời câu hỏi phải bé xác suất để trả lời câu hỏi sau” (Rasch, 1960, tr 117) [3] Rõ ràng mơ hình lý thuyết ứng đáp CH phải mơ hình có tính xác suất, khơng phải mơ hình tất định Chúng ta thấy rõ tính hợp lý logic tiền đề nêu Với tiền đề đó, đến kết luận: xác xuất để TS trả lời CH phụ thuộc vào tương quan lực TS độ khó CH Chúng ta chọn Θ để biểu diễn lực TS, β để biểu diễn độ khó CH Tuy nhiên, để đảm bảo khả so sánh lực độ khó nói mục 3.2.2, Θ β biểu diễn dạng tỷ số (lấy giá trị trung bình chúng làm đơn vị) Tóm lại, với tiền đề Rasch, xác suất P để trả lời CH phụ thuộc vào tương quan Θ β, tức ta biểu diễn: f (P) = Θ/β, (3.1) f hàm xác suất trả lời Vấn đề là: chọn hàm f(P) để có biểu diễn hợp lý nhất? Trước hết, vì, mối quan hệ cộng trừ đơn giản mối quan hệ nhân chia, nên Rasch lấy logarit tự nhiên (3.1): ln f (P) = ln [Θ/β] = lnΘ - lnβ = θ - b (3.2) Tiếp đến, để đơn giản, xét mơ hình trắc nghiệm nhị phân (dichotomous) Rasch chọn hàm f [P/(1-P)], biểu thức odds (mức thua) khả thực (likelyhood ratio), tức tỷ số khả xảy kiện khẳng định so với khả xảy kiện phủ định Như vậy: 89 ln [P/(1-P)] = θ - b, (3.3) ln [P/(1-P)] gọi logit (log odds unit) Từ viết: P/(1-P) = e (θ - b) Qua vài biến đổi đơn giản, ta thu được: P (θ) eθ b [1 e(θ b) ] (3.4) Hàm có dạng biểu thức (3.4) thuộc loại hàm logistic Biểu thức (3.4) hàm đặc trưng mơ hình ứng đáp CH tham số, hay cịn gọi mơ hình Rasch, biểu diễn Hình 3.1 (khi cho b=0): Hình 3.1 Đường cong ĐTCH tham số Trở lại ví dụ 3.2.1 trường hợp 200 TS làm ĐTN gồm 100 CH, có 20.000 mối tương tác nguyên tố TS - CH Từ có 20.000 giá trị xác suất trả lời CH biểu diễn sau: θ j b i Pi (θ j ) 90 e [1 e (θ j b i ) ], (3.5) TRẢ LỜI BÀI TẬP (Một số tập tập sách trích từ tài liệu tham khảo [11]) Chương Bài tập: Độ khó theo CTT: nhóm TS lực thấp p=3/15=0,20; nhóm TS lực cao p=12/15= 0,8 Độ phân biệt theo CTT (có thể tính theo Exel hệ số tương quan vectơ “điểm ứng đáp CH” “điểm từ ĐTN”): nhóm TS lực thấp r=0,68; nhóm TS lực cao r=0,39 Qua kết tính tốn rõ ràng tham số tính phụ thuộc mạnh vào mẫu TS Chương Bài tập 1: Theo giá trị a, b, c cho Bảng 4.1 tính giá trị P(θ) CH giá trị θ cho Kết trình bày Bảng 1: Bảng θ -3 -2 -1 0,000 0,000 0,002 0,045 0,500 0,955 0,998 0,008 0,027 0,085 0,233 0,500 0,767 0,915 0,250 0,250 0,252 0,284 0,625 0,966 0,998 0,205 0,236 0,412 0,788 0,964 0,995 0,999 0,000 0,006 0,045 0,265 0,735 0,955 0,994 0,165 0,239 0,369 0,550 0,731 0,861 0,935 CH 277 CH4 dễ từ mức θ = -1,0 trở xác suất ứng đáp cao CH khác CH6 có độ phân biệt thấp giá trị P(θ) tăng chậm theo θ TS với lực θ =0 có xác suất ứng đáp CH cao 0,788; xác suất ứng đáp sai 1-P(θ)=1-0,788=0,212 Bài tập 2: Ma trận 2x2 ứng đáp sai CH cho có dạng Bảng 2: Bảng CH Sai CH1 Đúng Sai 8(A) 20(B) 28 Đúng 8(C) 4(D) 12 16 24 40 Để kiểm nghiệm tính độc lập CH, từ bảng tính tham số thống kê χ2 : χ2 = N(AD-BC)2 / (A+B)(B+D)(D+C)(C+A)= 40(8.4 – 20.8)2 /(8+20)(20+4)(4+8)(8+8)=5,08 Đối chiếu với giá trị χ2 từ bảng: độ tự 2-1=1, mức ý nghĩa α=0,5 χ2=3,843 Như giá trị χ2 tính lớn lơn giá trị cho bảng, phủ định giả thiết độc lập CH với mức ý nghĩa 0,05 Kết luận số liệu không phù hợp với mơ hình đơn chiều Chương Bài tập: Độ khó cổ điển CH tính theo mẫu TS gồm dòng đầu Bảng 5.1 chương p=3/20=0,15; theo mẫu TS gồm dòng cuối bảng p = 17/20=0,85 Độ phân biệt cổ điển (tính theo Exel) CH tính theo mẫu TS gồm dịng đầu r= 0,612; theo mẫu TS gồm dòng cuối r= 0,44 278 Tính b a theo IRT dựa vào biểu thức (5.3): Từ mẫu TS gồm dòng đầu lập phương trình ứng với điểm đầu điểm cuối: ln(0,1/0,9) = a(-1,716) - ab ln (0,2/0,8) = a(-1,129) - ab, chúng cho nghiệm a= 1,381 b=-0,126; Từ mẫu TS gồm dòng cuối lập phương trình ứng với điểm đầu điểm cuối: ln(0,8/0,2)=a(0,919)-ab ln(0,9/0,1)=a(1,1516)-ab, chúng cho nghiệm a=1,358 b= 0,102 Rõ ràng tham số độ khó độ phân biệt cổ điển phụ thuộc mạnh vào mẫu TS, cịn tham số b a theo IRT biến đổi (tuy mẫu thử để tính nhỏ) Chương Bài tập: Các giá trị θ khoảng (-4,4) chuyển đổi thành thang bách phân, chẳng hạn: tuyến tính: y=100(4+θ) y phi tuyến: 100 n Pi ( ) n i 1 Chương Bài tập: Dựa vào biểu thức (7.4) (7.7) chương tính giá trị hàm thơng tin ĐTN gồm CH, trình bày Bảng 3: Bảng θ ĐTN(1,2,3) ĐTN(1,2,4) ĐTN(1,3,4) ĐTN(2,3,4) -2 0,219 0,219 0,187 0,054 -1 1,361 1,339 0,965 0,540 2,918 2,681 1,486 2,250 1,738 1,215 1,907 2,172 0,492 0,667 1,059 1,076 279 Từ giá trị thông tin ĐTN cho Bảng thấy khoảng lực θ=1,0 ĐTN gồm CH 2,3 cho giá trị thông tin lớn nhất, ĐTN tốt để đo mức đạt chuẩn điểm chuẩn θ=1,0 Chương 8: Bài tập 1: Hàm biến cố hợp lý cực đại TS có vectơ ứng đáp (1,0,1,0,0) L(u|)= P1 Q P3 Q 4Q5, dạng logarit: lnL(u|) = LnP1+ ln(1-P2)+lnP3+ln(1-P4)+ln(1-P5) Để xác định biểu thức trên, CH phải tuân theo giả thiết độc lập địa phương Đồ thị biểu diễn hàm lnL có dạng vẽ Hình 1: Hình Hàm lnL đạt cực đại giá trị cỡ -0,65, giá trị ước lượng θ theo biến cố hợp lý cực đại Bài tập 2: 280 a) I ( ) D (a PiQi ) , D2 = 1,72 = 2,89 Theo giá trị b a CH cho Bảng 8.4, tính giá trị I θ= 1,5: I (θ= 1,5) = 5,19 Từ đó: ( 1,5) =0,44 5,19 b) Khoảng tin cậy 95% giá trị θ: θ= 1,5 ± 1,96*0,44 = 1,5 ± 0,86 = (0,64, 2,36) Bài tập 3: Giả thiết ứng đáp TS với lực θ1, θ2, θ3 độc lập với nhau, ấy: P(U1, U2, U3 / θ1, θ2, θ3) = P(U1/ θ1)P(U2/ θ2)P(U3/ θ3) Từ lập hàm biến cố hợp lý ứng đáp TS (0,0,1): L= Q1 Q2P3 = 1, (1 b ) 1 e 1 e1, ( 1 b ) 1 e1, ( b ) e1, (1 b ) Từ tính L theo giá trị b, kết trình bày Bảng đây: Bảng b L 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 0,357 0,386 0,411 0,432 0,447 0,455 0,458 0,454 0,444 0,429 0,409 Theo Bảng 4, giá trị hàm L cực đại khoảng b~0,6, ước lượng b theo biến cố hợp lý cực đại Bài tập 4: a) Với mơ hình tham số, a=1, ước lượng giá trị độ khó b, hàm thơng tin sai số tiêu chuẩn viết sau: I(b)=D2 P(θ )Q(θ ) i i σ(b)= I(b) b) Với giá trị θ b tập 3, ta tính được: I(b) = 2,89(0,062.0,938 + 0,265.0,735 + 0,644.0,336) = 1,376 281 σ(b) = 0,85 Chương 9: Bài tập 1: Độ khó cổ điển mức lực: θ=-2: p=0,20; θ=-1: p=0,25; θ=0: p=0,40; θ=1: p=0,75; θ=2: p=0,90 Xác suất trả lời mức lực: P(θ=-2)=0,25; P(θ=-1)=0,27; P(θ=0)=0,38; P(θ=1)=0,72; P(θ=2)=0,95 Hàm đặc trưng thống kê cải tiến: m Q1 = j=1 + N j Pj -E(Pj ) 20(0,20-0,25) 20(0,25-0,27) 20(0,40-0,38) = + + 0,25 0,75 0,27 0,73 0,38 0,62 E(Pj ) 1-E(Pj ) 20(0,75-0,72) 20(0,90-0,95) + = 1,48; 0,72 0,28 0,95 0,05 Mức độ tự m-k=5-3=2 χ 22;0,5 (ở độ tự mức ý nghĩa 5%) = 5,99 (từ bảng χ 2) Vì giá trị tính tốn khơng vượt q giá trị tương ứng bảng, kết luận mơ hình tham số phù hợp với số liệu CH Bài tập 2: m a) Q1 = j=1 N j Pj -E(Pj ) E(Pj ) 1-E(Pj ) - Đối với mơ hình tham số: 1= 20(0,20-0,02)2 0,02 0,98 20(0,90-0,96) 0,96 0,04 + 20(0,25-0,12) 0,12 0,88 + = 38,52; Mức độ tự m-k=5-1=4 282 20(0,40-0,43) 0,43 0,57 + 20(0,75-0,80) 0,80 0,20 + - Đối với mơ hình tham số: Q1= + 20(0,20-0,11)2 20(0,25-0,25) 20(0,40-0,46) 20(0,75-0,69) + + + 0,11 0,89 0,25 0,75 0,46 0,54 0,69 0,31 20(0,90-0,85) = 2,67; 0,85 0,15 Mức độ tự m-2=5-1=3 Đối chiếu với số liệu Bảng χ ta có: mơ hình tham số χ 24;0,5= 9,488; mơ hình tham số χ 23;0,5= 7,815 Như mơ hình tham số khơng phù hợp với số liệu, cịn mơ hình tham số phù hợp với số liệu Trong mơ hình, mơ hình tham số phù hợp với số liệu tốt nhất, mơ hình tham số phù hợp khá, cịn mơ hình tham số khơng phù hợp Trong trường hợp này, xét đến mặt tiện lợi khác, chọn mơ hình tham số có lẽ thích hợp Chương 10: Bài tập 1: Giá trị thông tin “ĐTN” gồm CH lực θ=1,0: I(θ=1,0) =1,10+0,50+2,20 =3,8; Từ σ(θ=1,0) = =0,51 3,8 Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn có giá trị hàm thông tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Bài tập 2: Các giá trị thông tin “ĐTN” vị trí θ tính trình bày Bảng đây: Bảng Giá trị thông tin “ĐTN” θ “ĐTN” 0,0 1,0 2,0 (CH2, CH3) 0,35 1,6 0,65 (CH1, CH6) 0,6 2,35 0,48 283 b) Hiệu suất tỷ đối “ĐTN1” so với “ĐTN2” mức lực cho trình bày Bảng 6: Bảng Hiệu suất tỷ đối θ 0,0 1,0 2,0 0,58 0,68 1,35 Hiệu suất tỷ đối RE(θ)=I1(θ)/ I2(θ) “ĐTN1” có hiệu suất thấp “ĐTN2” mức lực θ=0,0 θ=1,0 (hiệu suất tỷ đối RE(θ) tương ứng cỡ 0,58 0,68); có hiệu suất cao mức lực θ = 2,0 (hiệu suất tỷ đối RE(θ) = 1,35) Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn đạt giá trị hàm thông tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Ở mức lực θ=1,0 “ĐTN2” cho giá trị thông tin cao “ĐTN1” lượng (2,35-1,60 = 0,75), cần thêm vào “ĐTN1” số CH cho thông tin tương tự CH5 (0,75/0,2) ~ Bài tập 3: Đối với “ĐTN” gồm CH ta có: I(θ=-1,0) = 1,45+0,60 = 2,05; σ(θ=-1,0)~0,70 Chương 11: Bài tập: Theo tập, có ĐTN, ĐTN có số CH chung bắc cầu, gọi ĐTN A Xc ĐTN B Yc Cho nhóm TS làm ĐTN q trình xác định tham số độ khó b nhờ Xc Yc cho giá trị trung bình tương ứng MX =4,2; MY=3,5 độ lệch chuẩn tương ứng sX =2,2 sY=1,8 Theo phương pháp trung bình sigma tính số chuyển thang đo: α = sY/sX=1,8/2,2= 0,82; β = MY - α MX= 3,5 – 0,82.4,2 = 0,06 Từ giá trị b a thang Y chuyển thang X: b*= 0,82.(-1,4) + 0,06 = -1,09; a*= 0,9/0,82=1,1 284 Chương 12: Bài tập: Theo tập, TS ứng đáp CH 3, 12, (theo Bảng 12.l) với vectơ ứng đáp tương ứng (1, 1, 0) Sau CH chọn để ứng đáp tiếp theo, TS ứng đáp sai, lực ước lượng θ=0,45 Có thể tính giá trị hàm thơng tin CH cịn lại mức lực θ đó, biểu diễn Bảng Bảng CH I(θ=0,45) 10 11 13 0,50 0,66 0,03 0,19 0,18 1,06 0,48 0,45 0,16 CH cho giá trị thông tin lớn mức θ=0,45 CH 9, chọn cho bước ứng đáp _ 285 BẢNG ĐỐI CHIẾU MỘT SỐ THUẬT NGỮ ANH VIỆT Affective domain Lĩnh vực cảm xúc, thái độ Automatic Test Asembly - ATA Tạo đề tự động Calibration Định cỡ Chi-square goodness-of-fit index Chỉ số trùng khớp tốt Chi-bình phương Classical Test Theory - CTT Lý thuyết trắc nghiệm cổ điển Cognitive domain Lĩnh vực nhận thức Computer Adaptive Test – CAT Trăc nghiệm thích ứng nhờ máy tính Computer-based-testing - CBT Trắc nghiệm nhờ máy tính Computerized Fixed Tests - CFT Các trắc nghiệm cố định nhờ máy tính Criterion-referenced Đánh giá theo tiêu chí Dichotomous Nhị phân Differential item functioning - DIF Ứng đáp câu hỏi khác biệt Difficuilty Độ khó Dimension Chiều Discrimination Độ phân biệt Equating So Essay test Trắc nghiệm tự luận Formative assessement Đánh giá tiến trình Generalised partial credit model -GPCM Mơ hình định giá phần tổng quát Invariant Tính bất biến Item banking Xây dựng ngân hàng CH Item Characteristic Curve - ICC Đường cong đặc trưng câu hỏi 286 Item Characteristic Function - ICF Hàm đặc trưng câu hỏi Item information function Hàm thông tin câu hỏi Item-free Không phụ thuộc vào câu hỏi Item Response Theory - IRT Lý thuyết Ứng đáp Câu hỏi Linear-on-the-Fly Test - LOFT Trắc nghiệm di chuyển thẳng nhờ máy tính Linking Kết nối Local independent Độc lập địa phương Matching item Câu ghép đôi Maximum likelyhood estimation - MLE Ước lượng theo biến cố hợp lý cực đại Multidimentionality Đa chiều Multiple choise question- MCQ Câu nhiều lựa chọn Norm-referenced Đánh giá theo chuẩn Objective test Trắc nghiệm khách quan Paper-and-pencil test - PAP Trắc nghiệm giấy Partial credit model - PCM Mơ hình định giá phần Polytomous Đa phân Psychomotor domain Lĩnh vực tâm lý vận động (kỹ năng) Questionnaire Bảng hỏi Rating scale model Mơ hình thang đánh giá Raw score Điểm thô Sample-free Không phụ thuộc vào mẫu Scaling Xác lập thang đo Short answer item Câu trả lời ngắn Student-produced response Thí sinh tự tạo ứng đáp 287 Summative assessment Đánh giá tổng kết Supply item Câu điền khuyết Structured Computer Adaptive Trắc nghiệm thích ứng nhờ máy tính Multistage Tests cấu trúc đa giai đoạn Test information function Hàm thông tin đề trắc nghiệm Testlet Phân đề True score Điểm thực Unidimentionality, unidimentional Đơn chiều, tính đơn chiều Yes/no question Câu sai 288 CÁC TÀI LIỆU DẪN VÀ THAM KHẢO CHÍNH Dương Thiệu Tống Trắc nghiệm đo lường thành học tập (phương pháp thực hành) Nhà xuất Khoa học Xã hội, 2005 Thurstone, L.L A method of scaling psychological and educational tests Journal of Educational Psychology, 16(7), 1925 Rasch, G Probablistic Models for Some Intelligence and Attainment Tests Copenhagen, Denmark: Danish Institute for Educational Research, 1960 Birnbaum, A Some latent trade models and their use in inferring an examinee's ability Trong F.M Lord and M.R Novick (Eds), Statistical Theories of Mental Test Scores Reading, M.A: AddisonWesley, 1968 Lord, F.M Applications of Item Response Theory to Practical Testing Problems Lawrence Erbaum Associates, Publishers, 1980 Lord, F.M.; Novick, M.R Statistical Theories of mental test scores Reading, MA: Addison-Wesley, 1968 Allen, M J.; Yen, W M Introduction to Measurement Theory Monterey, California: Brooks/Cole Publishing Company, 1979 Barker, F.B Item Response Theory - Parameter Estimation Techniques, Marcel Dekker, Inc, 1992 Haley, D.C Estimation of the dosage mortality relationship when the dose is subject to error, (Technical Report N0 15) Stanford, C.A: Stanford Univerrsity, Applied Mathematics and Statistics Labolatory, 1952 10 Wright, B D.; Mark H.S Best Test Design, University of Chicago, MESA PRESS, 1979 289 11 Hambleton, R.K.; Swaminathan, H.; Jane Roges, H Fundamentals of Item Response Theoty SAGE Publications, 1991 12 Van der Linden, W J.; Hambleton, R.K (editors) Handbook of Modern Item Response Theory Springer, 1997 13 Brenman, R L Educational Measurement, ACE/PRAEGER series on Higher Education, 2006 4th edition, 14 Yen, M.W Using simulation results to choose latent trait model Applied Psychological Measurement, 5, 1981 15 Linn R.L.; Harnisch D.L Interactions betweem item content and group membership on achievement test items Journal of Educational Measurement, 18 1981 16 Haebara, T Equating logistic ability scales by weighted least squares method Japanese Psychological Research, 22, 1980 17 Stocking M.L.; Lord, F.M Developing a common metric in item response theory, Applied Psychological Measurement, 7, 1983 18 Kolen, M.J.; Brennan, L (editors) Test Equating, Scaling and Linking, Spinger, 2004 19 Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng Phần mềm VITESTA việc phân tích số liệu trắc nghiệm Tạp chí Giáo dục, số 176, 11/2007 20 McDonald, R.P Non-linear factor analysis Psychometric Monograph, No 15, 1967 21 Samejima, F Estimation of latent ability using response pattern of graded scores Psychometric Monograph, No 17, 1969 22 Samejima, F Normal ogive model on the continious response level in the multidimentional latent space Psychometrika 39, 1974 23 Andersen, E B Sufficient statistics and latent trait models Psychometrica 42, 1977 24 Andrich, D A rating formulation for ordered response categories Psychometrica 43, 1978 290 25 Master, G.N A Rasch model for partial credit scoring Psychometrica 47, 1982 26 Muraki, E A generalised partial credit model: Application of an EM algorithm Psychometrica 16, 1992 27 Bock, R.D Estimating item parameters and latent ability when responses are scored in two or more nominal categories Psychometrika 37, 1972 28 Thissen D.;Steinberg L A response model for multiple choice items Psychometrica 49, 1984 29 Yen, W.M Scaling performance assessment: Strategies for managing local item dependence Journal of Educational Measurement, 30(3), 1993 30 http://assess.com/xcart/product.php?productid=220&cat=1&page=1 31 Wu, M.L.; Adams, R J., Wilson, M R.; Handane, S A “ACER CONQUEST, Version 2.0”, ACER Press, 2007 32 Bloom, B.S and Krathwohl, D R (1956) “Taxonomy of Educational Objectives”: The Classification of Educational Goals, by a committee of college and university examiners Handbook I: Cognitive Domain NY, NY: Longmans, Green 33 Anderson, L W and Krathwohl, D.R (Eds.) “A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives” Allyn & Bacon Boston, MA (Pearson Education Group), 2001 34 Bộ Giáo dục Đào tạo “Báo cáo khảo sát kết học tập mơn Tốn tiếng Việt học sinh lớp năm học 2006 - 2007” 291 ...Chương HÀM ĐẶC TRƯNG CÂU HỎI – TẾ BÀO CỦA LÝ THUYẾT ỨNG ĐÁP CÂU HỎI Chương dành để trình bày bước xuất phát tiến trình xây dựng Lý thuyết Ứng đáp Câu hỏi (Item Response Theory... lường tâm lý giáo dục phải mối tương tác TS CH, gọi mối tương tác nguyên tố, tế bào để xây dựng Lý thuyết Ứng đáp Câu hỏi Trong tập sách từ chương đến chương 12 dành để giới thiệu lý thuyết trắc... có Hàm đặc trưng câu hỏi (Hàm ĐTCH - Item Characteristic Function- ICF) phản ánh mối quan hệ thực biến không quan sát (năng lực TS) biến quan sát (việc trả lời câu hỏi) Biểu diễn đồ thị hàm đặc