Đo lường trong giáo dục lý thuyết và ứng dụng phần 2 (gs tskh lâm quang thiệp)

Chương ƯỚC LƯỢNG NĂNG LỰC CỦA THÍ SINH VÀ ĐỊNH CỠ ĐỀ TRẮC NGHIỆM Chương nêu cách ước lượng tham số CH trắc nghiệm dựa ứng đáp TS, nặng mô tả định tính Chương dành để trình bày vài phương pháp định lượng nhằm ước lượng giá trị lực TS, sau đưa cách ước lượng đồng thời tham số CH trắc nghiệm giá trị lực TS, tức thực thao tác thường gọi định cỡ ĐTN Tính bất biến lực TS ước lượng CH trắc nghiệm khác phân tích rõ Cuối chương, việc định cỡ ĐTN nhờ phần mềm VITESTA trình bày tỉ mỉ ví dụ cụ thể từ thực tiễn bước đầu áp dụng IRT hoạt động đánh giá nước ta Khi sử dụng IRT để triển khai trắc nghiệm TS mục đích quan trọng xác định vị trí TS thang đo lực Nếu thu số đo lực TS làm ĐTN đạt hai mục tiêu: đánh giá mức lực TS, hai so sánh lực TS với để tuyển chọn họ theo tiêu chuẩn 8.1 QUY TRÌNH ƯỚC LƯỢNG GIÁ TRỊ NĂNG LỰC CỦA THÍ SINH Trong chương xem xét quy trình ước lượng tham số CH trắc nghiệm giả thiết biết giá trị tham số lực TS Ngược lại, để ước lượng lực TS giả thiết biết giá trị tham số CH trắc nghiệm Chúng ta giả thiết ứng đáp TS CH thu dạng nhị phân, tức ứng đáp điểm, ứng đáp sai 137 điểm Từ đó, sau TS làm ĐTN, thu dãy trả lời N CH ĐTN, dãy gọi vectơ ứng đáp (các) CH TS Như nhiệm vụ đặt cho tốn sử dụng vectơ ứng đáp CH TS tham số CH biết để ước lượng tham số lực chưa biết 8.1.1 Các nguyên tắc chung quy trình Cũng giống trình ước lượng tham số CH trình bày chương 5, sử dụng quy trình biến cố hợp lý cực ước lượng lực TS Trước hết, ta gán giá trị tiên nghiệm cho lực TS sử dụng tham số biết CH ĐTN để tính xác suất ứng đáp CH TS chọn Sau sử dụng điều chỉnh giá trị ước lượng lực để làm tăng phù hợp xác suất ứng đáp CH tính với vectơ ứng đáp CH TS Quá trình điều chỉnh lặp lại nhiều lần có bước điều chỉnh cho giá trị đủ bé, tức không tạo thay đổi đáng kể giá trị lực ước lượng Kết ước lượng xem giá trị tham số lực TS Ở mục 8.2 cuối chương nêu quy trình ước lượng đồng thời giá trị lực TS, bước đầu trình bày cách ước lượng giá trị lực riêng rẽ TS Giả sử TS chọn cách ngẫu nhiên có lực  ứng đáp nhóm n CH nhị phân với kiểu ứng đáp biểu diễn vectơ U sau đây: U = (U1,U2, ,Uj, , Un /), Ui = ui =1 (ứng đáp đúng) Ui = ui = (ứng đáp sai) CH thứ i Với giả thiết tính độc lập địa phương (tức xác suất trả lời CH khơng phụ thuộc vào CH khác), biểu diễn xác suất ứng đáp nhóm CH TS có lực  tích xác suất trả lời CH: P(U1,U2, ,Uj, , Un|) = P(U1|) P(U2|) P(Uj|) P(Un|), 138 viết gọn dạng: n P(U|) =  P(U j θ) j=1 Vì Uj nên viết: n P(U|)=  U (1-U j ) P(U j θ) j [1-P(U j θ )] j=1 n P = U j (1-U j ) j Qj , (8.1) j=1 Pj = P(Uj|) Qj = 1- P (Uj |) Đẳng thức (8.1) biểu diễn xác suất kiểu ứng đáp nhóm CH nói Khi kiểu ứng đáp nhóm CH quan sát được, tức có giá trị Uj = u j, sử dụng từ xác suất khơng thích hợp nữa, nên xác suất gọi biến cố hợp lý (likelyhood) biểu diễn hàm L(u1,u2, ,uj, ,un|), uj ứng đáp CH thứ j, tức là: L(u1,u2, ,uj, ,un/ ) = n P u j (1-u j ) j Qj (8.2) j=1 Vì Pj Qj hàm  tham số CH nên L hàm tham số Việc tính tốn đơn giản nhiều logarit hóa biểu thức (8.2), ta được: lnL(u|) = n [u lnP +(1-u )ln(1-P )] , j j j j (8.3) j=1 u vectơ ứng đáp CH TS Giá trị  làm cho hàm biến cố hợp lý (hoặc tương ứng, ln hàm biến cố hợp lý) TS đạt cực đại định nghĩa ước lượng lực  theo biến cố hợp lý cực đại TS Việc tìm giá trị cực đại L lnL trình phức tạp có nhiều TS nhiều CH Giá trị tạo cực đại hàm tìm quy trình "search" nhờ máy tính Một cách tìm có hiệu 139 dựa vào tính chất đạo hàm bậc L lnL vị trí cực đại Người ta thiết lập phương trình từ tính chất giải giải phương pháp giải tích trực tiếp phương pháp xấp xỉ Một phương pháp xấp xỉ thường dùng quy trình Newton-Raphson mà bạn đọc dễ dàng tìm hiểu từ nguồn tư liệu tương ứng, chẳng hạn từ Wikipedia(*) Một khó khăn gặp phải đơi hàm L lnL khơng có cực đại giá trị  hữu hạn, TS trả lời CH không Lúc hàm biến cố hợp lý có cực đại giá trị  =+  = - Đôi mơ hình ứng đáp dị thường làm cho hàm biến cố hợp lý khơng có cực đại tuyệt đối giá trị  hữu hạn: điều thường xuất mơ hình tham số ứng với trường hợp TS trả lời CH khó trả lời sai CH dễ Đối với trường hợp mơ hình trả lời dị thường trả lời CH khơng người ta khắc phục quy trình ước lượng Bayes, nhiên việc mơ tả quy trình vượt ngồi mục tiêu tập sách Bạn đọc quan tâm kỹ thuật ước lượng tham số IRT tham khảo cơng trình [8] 8.1.2 Một ví dụ đơn giản ước lượng nhờ đồ thị Để minh họa cho trình ước lượng giá trị lực TS, theo dõi ví dụ có tính giáo khoa sau Hãy khảo sát ứng đáp TS CH trắc nghiệm xây dựng theo mơ hình tham số khảo sát chương (Hình 5.1) Các tham số CH vectơ ứng đáp TS mô tả Bảng 8.1 Thực tế có hai trường hợp riêng mơ hình tham số: CH3 mơ hình tham số, CH4 mơ hình tham số Hàm biến cố hợp lý TS xây dựng theo số liệu Bảng 8.1 (*) http: //en.wikipedia.org/wiki/Newton-Raphson 140 Bảng 8.1 Các tham số CH vectơ ứng đáp TS Các tham số CH Các vectơ ứng đáp thí sinh Câu hỏi aj bj cj -1 0,1 1 1 1,5 -0,5 0,2 0 1 0 0 0,5 0,5 0,00 0 1 0,15 0 Từ biểu thức (8.3) tính được: lnL1(u|1) = lnP1+ ln(1-P2)+ln(1-P3)+ ln(1-P4)+ln(1-P5), lnL2(u|2) = lnP1+ ln(1-P2)+lnP3+ln(1-P4)+ln(1-P5), lnL3(u|3) = lnP1+ lnP2+ln(1-P3)+lnP4+ln(1-P5), lnL4(u|4) = lnP1+ lnP2+ln(1-P3)+lnP4+lnP5 Hình 8.1 Các đường cong lnLj ứng với vectơ ứng đáp CH 141 Vì hàm Pj (và Qj) hàm ứng đáp CH nên tính chúng biết giá trị tham số CH giá trị xác định  với giá trị  thang đo Trên Hình 8.1 có vẽ riêng đường cong lnLj với tỷ xích khác Trên Hình 8.2 đường cong lnLj vẽ đồ thị với tỷ xích Theo cực đại đường cong xác định giá trị lực j TS Hình 8.2 Các đường cong lnLj vẽ đồ thị với tỷ xích Minh họa với việc vẽ đồ thị theo hàm giải tích sử dụng số TS số CH không lớn Bây xét phương pháp tổng quát sử dụng với ĐTN có nhiều CH mẫu thử nghiệm có đơng TS 8.1.3 Một ví dụ việc sử dụng phương pháp tính lặp để tìm cực đại Viết lại biểu thức (8.3) ln hàm biến cố hợp lý: n Λ(θ)=lnL(u/θ)=  [u lnP +(1-u )lnQ ] j j j j (8.4) j=1 Cực đại biểu thức đạt đạo hàm bậc không:  ' ( )  142 ( )   n  [u j 1 j Pj ] Pj  n  (1  u i 1 j )[ Qi = ] Q j  (8.5) Một cách tổng qt, giải phương trình (8.4) phương pháp tính lặp Newton-Raphson Đối với phương trình f(x)=0, ta có: f(x s ) , f (x s ) x s+1 =x s - (8.6) f (x) đạo hàm f(x), x s+1 giá trị nghiệm phương trình bước lặp thứ (s+1) tính theo nghiệm bước lặp thứ s trước Ứng dụng vào trường hợp hàm phương trình (8.5), ta có: Λ(θs ) , Λ(θs ) θs+1 = θ s - (8.7) Trong Λ’ Λ” biểu diễn đạo hàm bậc bậc Λ  Từ biểu thức P() mô hình tổng quát đường cong ĐTCH tham số biểu thức (8.5) (8.7) tính được: n θˆ s+1 =θˆ s +  j=1 n a j [u j -P j (θˆ s )] [P j (θˆ s )-c j ] (1-c j ) P (θˆ )  j-1 j s Q j (θˆ s )  P j (θˆ s )-c j    a 2j P j (θˆ s )  (1-c j )  =θˆ s +Δθ (8.8) Đối với mơ hình ĐTCH tham số, cj =0, ta có: n  a [u -P (θ )] i θs+1 =θs + i=1 n  i i s a i2 Pi (θˆ s )Qi (θˆ s ) =θs +Δθ (8.9) i=1 Quy trình tìm nghiệm  theo phương pháp tính lặp mơ tả sau Đầu tiên chọn giá trị ˆs cho biến số lực  vế phải Tính trị số hàm Pi () n CH giá trị ˆs thay vào số hạng thứ hai vế phải, ta thu trị số điều chỉnh Δ Cộng Δ vào ˆs thu ˆs 1 , giá trị ˆs 1 đóng vai trò ˆs bước lặp sau Lưu ý số hạng [ui - Pi( ˆs )] độ chênh ứng đáp CH TS với xác suất trả lời mức lực ˆs Vì ước lượng lực trở nên gần với lực thật TS nên tổng độ chênh 143 ui Pi( ˆs ) trở nên nhỏ Mục đích tìm ước lượng lực tạo nên giá trị Pi( ˆs ) CH đồng thời làm cực tiểu tổng số Khi điều xảy ra, số hạng Δ trở nên bé tốt giá trị ˆs 1 thay đổi không đáng kể sau lần lặp Giá trị ˆs 1 cuối dùng làm giá trị lực ước lượng TS Tùy theo yêu cầu quy định cỡ giá trị số gia Δ để lệnh dừng q trình tính tốn Chúng ta thử quy trình tìm nghiệm phương pháp tính lặp Newton-Raphson ví dụ có tính chất giáo khoa đơn giản ĐTN gồm CH xây dựng theo mô hình hai tham số TS có ứng đáp mô tả Bảng 8.2 Ở bước ta gán cho TS lực ˆ1 = 1, tính Pj ( ˆ1 ), Qj ( ˆ1 ) thay vào biểu thức Δ theo (8.9) Bước lấy ˆ2  ˆ1 + Δ lặp lại tính tốn bước Kết tính tốn theo bước mô tả Bảng 8.3 Bảng 8.2 Các tham số CH ứng đáp TS Ứng đáp CH a b TS 1 -2 1,5 -1 1.2 0.8 2 Bảng 8.3 Kết bước tính lặp Bước  P1 P2 P3 P4 P5 Δ 1,0000 0,9526 0,9526 0,7685 0,5000 0,1192 1,7884 2,7884 0,9917 0,9966 0.9660 0.8070 0,8287 -0.3408 2,4476 0,9884 0,9944 0.9497 0,7610 0,7100 0,5007 2,4977 0.9890 0,9948 0,9524 0.7682 0,7302 0,0011 2,4988 0,9890 0.9948 0.9525 0,7684 0,7306 0,5177x10-6 144 Từ Bảng 8.3 thấy với phép gán ban đầu ˆ1 =1, sau bước tính lặp ta xác định giá trị lực TS ứng đáp CH theo vectơ u(1,1,1,0,1) Giá trị lực TS xác định  =2,4988; với gia số Δ bước lặp thứ cỡ phần triệu 8.1.4 Về sai số ước lượng giá trị lực Cần lưu ý ước lượng lực đến mức gia số ước lượng lực qua bước ước lượng bé, nhiên khơng biết giá trị xác lực thật Dù may mắn thu sai số tiêu chuẩn lực ước lượng Nguyên tắc việc ước lượng sai số giả thiết TS làm ĐTN nhiều lần họ không nhớ việc làm trắc nghiệm lần trước Năng lực θˆ thu từ lần làm ĐTN Sai số tiêu chuẩn độ đo biến thiên giá trị θˆ xung quanh giá trị tham số  chưa biết Khi sai số tiêu chuẩn tính theo cơng thức nêu (7.8): ^ σ( θ )= n ˆ ˆ (θ)  a P (θ)Q j j (8.10) j j=1 Chú ý biểu thức dấu biểu thức mẫu số số gia Δ phương trình (8.6), sai số tiêu chuẩn thu q trình ước lượng lực: σ( θˆ ) = 0,9889742203 =0,994471830 Như ước lượng  khơng xác cho sai số tiêu chuẩn lớn Một nguyên nhân giá trị sai số tiêu chuẩn lớn ĐTN bao gồm CH Có hai trường hợp ứng đáp TS ước lượng lực trường hợp ứng đáp CH (giá trị lực tương ứng +) ứng đáp CH sai (giá trị lực tương ứng -) Chương trình máy tính phải loại bỏ trường hợp trước tính tốn 145 8.2 ĐỊNH CỠ ĐỀ TRẮC NGHIỆM: ƯỚC LƯỢNG ĐỒNG THỜI THAM SỐ CỦA CÂU HỎI VÀ NĂNG LỰC CỦA THÍ SINH 8.2.1 Về việc ước lượng tham số câu hỏi Trong chương nêu khái qt cách định tính quy trình ước lượng tham số CH Mục mô tả thuật tốn thực quy trình ước lượng lực TS với giả thiết biết tham số CH trắc nghiệm Quy trình ước lượng tham số CH biết lực TS thực theo thuật toán tương tự: từ việc ứng đáp N TS CH thu hàm biến cố hợp lý cực đại có dạng: L(u1,u2, ,uj, ,uN| ,a,b,c) = N P uj j (1 u j ) Qj , (8.11) j 1 a,b c tham số CH Điểm khác biệt hàm biến cố hợp lý CH so với hàm TS chỗ CH giả định tính độc lập địa phương khơng cần viện dẫn, cần giả định ứng đáp N TS CH độc lập, giả thiết tiêu chuẩn thống kê học Khi giá trị  biết, việc ước lượng tham số CH trực tiếp tương tự quy trình mơ tả Một khác biệt hàm biến cố hợp lý CH đa chiều, có biến số Do đó, để tìm biến cố hợp lý cực đại tham số a, b c cần tìm giá trị a, b c tương ứng với giá trị cực đại mặt chiều Điều thực cách tìm đạo hàm bậc hàm biến cố hợp lý tham số a, b c, đặt chúng khơng giải đồng thời hệ phương trình phi tuyến thu theo ẩn số (tất nhiên mơ hình tham số có tương ứng ẩn số) Chúng ta lại sử dụng phương pháp NewtonRaphson dạng đa biến giải theo phương pháp chung Khi giá trị lực TS biết, CH xem xét độc lập Như q trình ước lượng lặp lại n lần, lần CH 8.2.2 Ước lượng đồng thời tham số câu hỏi lực thí sinh: định cỡ đề trắc nghiệm Hàm biến cố hợp lý với N TS ứng đáp n CH, thỏa mãn tính độc lập địa phương, viết: 146 TRẢ LỜI BÀI TẬP (Một số tập tập sách trích từ tài liệu tham khảo [11]) Chương Bài tập: Độ khó theo CTT: nhóm TS lực thấp p=3/15=0,20; nhóm TS lực cao p=12/15= 0,8 Độ phân biệt theo CTT (có thể tính theo Exel hệ số tương quan vectơ “điểm ứng đáp CH” “điểm từ ĐTN”): nhóm TS lực thấp r=0,68; nhóm TS lực cao r=0,39 Qua kết tính tốn rõ ràng tham số tính phụ thuộc mạnh vào mẫu TS Chương Bài tập 1: Theo giá trị a, b, c cho Bảng 4.1 tính giá trị P(θ) CH giá trị θ cho Kết trình bày Bảng 1: Bảng θ -3 -2 -1 0,000 0,000 0,002 0,045 0,500 0,955 0,998 0,008 0,027 0,085 0,233 0,500 0,767 0,915 0,250 0,250 0,252 0,284 0,625 0,966 0,998 0,205 0,236 0,412 0,788 0,964 0,995 0,999 0,000 0,006 0,045 0,265 0,735 0,955 0,994 0,165 0,239 0,369 0,550 0,731 0,861 0,935 CH 277 CH4 dễ từ mức θ = -1,0 trở xác suất ứng đáp cao CH khác CH6 có độ phân biệt thấp giá trị P(θ) tăng chậm theo θ TS với lực θ =0 có xác suất ứng đáp CH cao 0,788; xác suất ứng đáp sai 1-P(θ)=1-0,788=0,212 Bài tập 2: Ma trận 2x2 ứng đáp sai CH cho có dạng Bảng 2: Bảng CH Sai CH1 Đúng Sai 8(A) 20(B) 28 Đúng 8(C) 4(D) 12 16 24 40 Để kiểm nghiệm tính độc lập CH, từ bảng tính tham số thống kê χ2 : χ2 = N(AD-BC)2 / (A+B)(B+D)(D+C)(C+A)= 40(8.4 – 20.8)2 /(8+20)(20+4)(4+8)(8+8)=5,08 Đối chiếu với giá trị χ2 từ bảng: độ tự 2-1=1, mức ý nghĩa α=0,5 χ2=3,843 Như giá trị χ2 tính lớn lơn giá trị cho bảng, phủ định giả thiết độc lập CH với mức ý nghĩa 0,05 Kết luận số liệu khơng phù hợp với mơ hình đơn chiều Chương Bài tập: Độ khó cổ điển CH tính theo mẫu TS gồm dòng đầu Bảng 5.1 chương p=3/20=0,15; theo mẫu TS gồm dòng cuối bảng p = 17/20=0,85 Độ phân biệt cổ điển (tính theo Exel) CH tính theo mẫu TS gồm dòng đầu r= 0,612; theo mẫu TS gồm dịng cuối r= 0,44 278 Tính b a theo IRT dựa vào biểu thức (5.3): Từ mẫu TS gồm dịng đầu lập phương trình ứng với điểm đầu điểm cuối: ln(0,1/0,9) = a(-1,716) - ab ln (0,2/0,8) = a(-1,129) - ab, chúng cho nghiệm a= 1,381 b=-0,126; Từ mẫu TS gồm dịng cuối lập phương trình ứng với điểm đầu điểm cuối: ln(0,8/0,2)=a(0,919)-ab ln(0,9/0,1)=a(1,1516)-ab, chúng cho nghiệm a=1,358 b= 0,102 Rõ ràng tham số độ khó độ phân biệt cổ điển phụ thuộc mạnh vào mẫu TS, tham số b a theo IRT biến đổi (tuy mẫu thử để tính nhỏ) Chương Bài tập: Các giá trị θ khoảng (-4,4) chuyển đổi thành thang bách phân, chẳng hạn: tuyến tính: y=100(4+θ) y phi tuyến: 100 n  Pi ( ) n i 1 Chương Bài tập: Dựa vào biểu thức (7.4) (7.7) chương tính giá trị hàm thông tin ĐTN gồm CH, trình bày Bảng 3: Bảng θ ĐTN(1,2,3) ĐTN(1,2,4) ĐTN(1,3,4) ĐTN(2,3,4) -2 0,219 0,219 0,187 0,054 -1 1,361 1,339 0,965 0,540 2,918 2,681 1,486 2,250 1,738 1,215 1,907 2,172 0,492 0,667 1,059 1,076 279 Từ giá trị thông tin ĐTN cho Bảng thấy khoảng lực θ=1,0 ĐTN gồm CH 2,3 cho giá trị thông tin lớn nhất, ĐTN tốt để đo mức đạt chuẩn điểm chuẩn θ=1,0 Chương 8: Bài tập 1: Hàm biến cố hợp lý cực đại TS có vectơ ứng đáp (1,0,1,0,0) L(u|)= P1 Q P3 Q 4Q5, dạng logarit: lnL(u|) = LnP1+ ln(1-P2)+lnP3+ln(1-P4)+ln(1-P5) Để xác định biểu thức trên, CH phải tuân theo giả thiết độc lập địa phương Đồ thị biểu diễn hàm lnL có dạng vẽ Hình 1: Hình Hàm lnL đạt cực đại giá trị cỡ -0,65, giá trị ước lượng θ theo biến cố hợp lý cực đại Bài tập 2: 280 a) I ( )  D  (a PiQi ) , D2 = 1,72 = 2,89 Theo giá trị b a CH cho Bảng 8.4, tính giá trị I θ= 1,5: I (θ= 1,5) = 5,19 Từ đó:  (  1,5)  =0,44 5,19 b) Khoảng tin cậy 95% giá trị θ: θ= 1,5 ± 1,96*0,44 = 1,5 ± 0,86 = (0,64, 2,36) Bài tập 3: Giả thiết ứng đáp TS với lực θ1, θ2, θ3 độc lập với nhau, ấy: P(U1, U2, U3 / θ1, θ2, θ3) = P(U1/ θ1)P(U2/ θ2)P(U3/ θ3) Từ lập hàm biến cố hợp lý ứng đáp TS (0,0,1): L= Q1 Q2P3 = 1, (1 b )  1    e  1  e1, ( 1 b )  1  e1, (  b )   e1, (1 b )    Từ tính L theo giá trị b, kết trình bày Bảng đây: Bảng b L 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0 0,357 0,386 0,411 0,432 0,447 0,455 0,458 0,454 0,444 0,429 0,409 Theo Bảng 4, giá trị hàm L cực đại khoảng b~0,6, ước lượng b theo biến cố hợp lý cực đại Bài tập 4: a) Với mơ hình tham số, a=1, ước lượng giá trị độ khó b, hàm thơng tin sai số tiêu chuẩn viết sau: I(b)=D2  P(θ )Q(θ ) i i σ(b)= I(b) b) Với giá trị θ b tập 3, ta tính được: I(b) = 2,89(0,062.0,938 + 0,265.0,735 + 0,644.0,336) = 1,376 281 σ(b) = 0,85 Chương 9: Bài tập 1: Độ khó cổ điển mức lực: θ=-2: p=0,20; θ=-1: p=0,25; θ=0: p=0,40; θ=1: p=0,75; θ=2: p=0,90 Xác suất trả lời mức lực: P(θ=-2)=0,25; P(θ=-1)=0,27; P(θ=0)=0,38; P(θ=1)=0,72; P(θ=2)=0,95 Hàm đặc trưng thống kê cải tiến: m Q1 =  j=1 + N j  Pj -E(Pj )  20(0,20-0,25) 20(0,25-0,27) 20(0,40-0,38) = + + 0,25 0,75 0,27 0,73 0,38 0,62 E(Pj ) 1-E(Pj )  20(0,75-0,72) 20(0,90-0,95) + = 1,48; 0,72 0,28 0,95 0,05 Mức độ tự m-k=5-3=2 χ 22;0,5 (ở độ tự mức ý nghĩa 5%) = 5,99 (từ bảng χ 2) Vì giá trị tính tốn khơng vượt giá trị tương ứng bảng, kết luận mơ hình tham số phù hợp với số liệu CH Bài tập 2: m a) Q1 = j=1 N j  Pj -E(Pj )  E(Pj ) 1-E(Pj )  - Đối với mơ hình tham số: 1= 20(0,20-0,02)2 0,02 0,98 20(0,90-0,96) 0,96 0,04 + 20(0,25-0,12) 0,12 0,88 + = 38,52; Mức độ tự m-k=5-1=4 282 20(0,40-0,43) 0,43 0,57 + 20(0,75-0,80) 0,80 0,20 + - Đối với mơ hình tham số: Q1= + 20(0,20-0,11)2 20(0,25-0,25) 20(0,40-0,46) 20(0,75-0,69) + + + 0,11 0,89 0,25 0,75 0,46 0,54 0,69 0,31 20(0,90-0,85) = 2,67; 0,85 0,15 Mức độ tự m-2=5-1=3 Đối chiếu với số liệu Bảng χ ta có: mơ hình tham số χ 24;0,5= 9,488; mơ hình tham số χ 23;0,5= 7,815 Như mơ hình tham số khơng phù hợp với số liệu, cịn mơ hình tham số phù hợp với số liệu Trong mơ hình, mơ hình tham số phù hợp với số liệu tốt nhất, mơ hình tham số phù hợp khá, cịn mơ hình tham số không phù hợp Trong trường hợp này, xét đến mặt tiện lợi khác, chọn mơ hình tham số có lẽ thích hợp Chương 10: Bài tập 1: Giá trị thông tin “ĐTN” gồm CH lực θ=1,0: I(θ=1,0) =1,10+0,50+2,20 =3,8; Từ σ(θ=1,0) = =0,51 3,8 Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn có giá trị hàm thơng tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Bài tập 2: Các giá trị thông tin “ĐTN” vị trí θ tính trình bày Bảng đây: Bảng Giá trị thông tin “ĐTN” θ “ĐTN” 0,0 1,0 2,0 (CH2, CH3) 0,35 1,6 0,65 (CH1, CH6) 0,6 2,35 0,48 283 b) Hiệu suất tỷ đối “ĐTN1” so với “ĐTN2” mức lực cho trình bày Bảng 6: Bảng Hiệu suất tỷ đối θ 0,0 1,0 2,0 0,58 0,68 1,35 Hiệu suất tỷ đối RE(θ)=I1(θ)/ I2(θ) “ĐTN1” có hiệu suất thấp “ĐTN2” mức lực θ=0,0 θ=1,0 (hiệu suất tỷ đối RE(θ) tương ứng cỡ 0,58 0,68); có hiệu suất cao mức lực θ = 2,0 (hiệu suất tỷ đối RE(θ) = 1,35) Khi σ(θ=-1,0)=0,40 có I(θ=-1,0) ~ 6,25 Muốn đạt giá trị hàm thông tin điểm θ=-1,0 cần (6,25/0,6) ~11 CH cho giá trị thông tin điểm θ=-1,0 giống CH5 Ở mức lực θ=1,0 “ĐTN2” cho giá trị thông tin cao “ĐTN1” lượng (2,35-1,60 = 0,75), cần thêm vào “ĐTN1” số CH cho thơng tin tương tự CH5 (0,75/0,2) ~ Bài tập 3: Đối với “ĐTN” gồm CH ta có: I(θ=-1,0) = 1,45+0,60 = 2,05; σ(θ=-1,0)~0,70 Chương 11: Bài tập: Theo tập, có ĐTN, ĐTN có số CH chung bắc cầu, gọi ĐTN A Xc ĐTN B Yc Cho nhóm TS làm ĐTN q trình xác định tham số độ khó b nhờ Xc Yc cho giá trị trung bình tương ứng MX =4,2; MY=3,5 độ lệch chuẩn tương ứng sX =2,2 sY=1,8 Theo phương pháp trung bình sigma tính số chuyển thang đo: α = sY/sX=1,8/2,2= 0,82; β = MY - α MX= 3,5 – 0,82.4,2 = 0,06 Từ giá trị b a thang Y chuyển thang X: b*= 0,82.(-1,4) + 0,06 = -1,09; a*= 0,9/0,82=1,1 284 Chương 12: Bài tập: Theo tập, TS ứng đáp CH 3, 12, (theo Bảng 12.l) với vectơ ứng đáp tương ứng (1, 1, 0) Sau CH chọn để ứng đáp tiếp theo, TS ứng đáp sai, lực ước lượng θ=0,45 Có thể tính giá trị hàm thơng tin CH cịn lại mức lực θ đó, biểu diễn Bảng Bảng CH I(θ=0,45) 10 11 13 0,50 0,66 0,03 0,19 0,18 1,06 0,48 0,45 0,16 CH cho giá trị thông tin lớn mức θ=0,45 CH 9, chọn cho bước ứng đáp _ 285 BẢNG ĐỐI CHIẾU MỘT SỐ THUẬT NGỮ ANH VIỆT Affective domain Lĩnh vực cảm xúc, thái độ Automatic Test Asembly - ATA Tạo đề tự động Calibration Định cỡ Chi-square goodness-of-fit index Chỉ số trùng khớp tốt Chi-bình phương Classical Test Theory - CTT Lý thuyết trắc nghiệm cổ điển Cognitive domain Lĩnh vực nhận thức Computer Adaptive Test – CAT Trăc nghiệm thích ứng nhờ máy tính Computer-based-testing - CBT Trắc nghiệm nhờ máy tính Computerized Fixed Tests - CFT Các trắc nghiệm cố định nhờ máy tính Criterion-referenced Đánh giá theo tiêu chí Dichotomous Nhị phân Differential item functioning - DIF Ứng đáp câu hỏi khác biệt Difficuilty Độ khó Dimension Chiều Discrimination Độ phân biệt Equating So Essay test Trắc nghiệm tự luận Formative assessement Đánh giá tiến trình Generalised partial credit model -GPCM Mơ hình định giá phần tổng qt Invariant Tính bất biến Item banking Xây dựng ngân hàng CH Item Characteristic Curve - ICC Đường cong đặc trưng câu hỏi 286 Item Characteristic Function - ICF Hàm đặc trưng câu hỏi Item information function Hàm thông tin câu hỏi Item-free Không phụ thuộc vào câu hỏi Item Response Theory - IRT Lý thuyết Ứng đáp Câu hỏi Linear-on-the-Fly Test - LOFT Trắc nghiệm di chuyển thẳng nhờ máy tính Linking Kết nối Local independent Độc lập địa phương Matching item Câu ghép đôi Maximum likelyhood estimation - MLE Ước lượng theo biến cố hợp lý cực đại Multidimentionality Đa chiều Multiple choise question- MCQ Câu nhiều lựa chọn Norm-referenced Đánh giá theo chuẩn Objective test Trắc nghiệm khách quan Paper-and-pencil test - PAP Trắc nghiệm giấy Partial credit model - PCM Mơ hình định giá phần Polytomous Đa phân Psychomotor domain Lĩnh vực tâm lý vận động (kỹ năng) Questionnaire Bảng hỏi Rating scale model Mô hình thang đánh giá Raw score Điểm thơ Sample-free Khơng phụ thuộc vào mẫu Scaling Xác lập thang đo Short answer item Câu trả lời ngắn Student-produced response Thí sinh tự tạo ứng đáp 287 Summative assessment Đánh giá tổng kết Supply item Câu điền khuyết Structured Computer Adaptive Trắc nghiệm thích ứng nhờ máy tính Multistage Tests cấu trúc đa giai đoạn Test information function Hàm thông tin đề trắc nghiệm Testlet Phân đề True score Điểm thực Unidimentionality, unidimentional Đơn chiều, tính đơn chiều Yes/no question Câu sai 288 CÁC TÀI LIỆU DẪN VÀ THAM KHẢO CHÍNH Dương Thiệu Tống Trắc nghiệm đo lường thành học tập (phương pháp thực hành) Nhà xuất Khoa học Xã hội, 2005 Thurstone, L.L A method of scaling psychological and educational tests Journal of Educational Psychology, 16(7), 1925 Rasch, G Probablistic Models for Some Intelligence and Attainment Tests Copenhagen, Denmark: Danish Institute for Educational Research, 1960 Birnbaum, A Some latent trade models and their use in inferring an examinee's ability Trong F.M Lord and M.R Novick (Eds), Statistical Theories of Mental Test Scores Reading, M.A: AddisonWesley, 1968 Lord, F.M Applications of Item Response Theory to Practical Testing Problems Lawrence Erbaum Associates, Publishers, 1980 Lord, F.M.; Novick, M.R Statistical Theories of mental test scores Reading, MA: Addison-Wesley, 1968 Allen, M J.; Yen, W M Introduction to Measurement Theory Monterey, California: Brooks/Cole Publishing Company, 1979 Barker, F.B Item Response Theory - Parameter Estimation Techniques, Marcel Dekker, Inc, 1992 Haley, D.C Estimation of the dosage mortality relationship when the dose is subject to error, (Technical Report N0 15) Stanford, C.A: Stanford Univerrsity, Applied Mathematics and Statistics Labolatory, 1952 10 Wright, B D.; Mark H.S Best Test Design, University of Chicago, MESA PRESS, 1979 289 11 Hambleton, R.K.; Swaminathan, H.; Jane Roges, H Fundamentals of Item Response Theoty SAGE Publications, 1991 12 Van der Linden, W J.; Hambleton, R.K (editors) Handbook of Modern Item Response Theory Springer, 1997 13 Brenman, R L Educational Measurement, ACE/PRAEGER series on Higher Education, 2006 4th edition, 14 Yen, M.W Using simulation results to choose latent trait model Applied Psychological Measurement, 5, 1981 15 Linn R.L.; Harnisch D.L Interactions betweem item content and group membership on achievement test items Journal of Educational Measurement, 18 1981 16 Haebara, T Equating logistic ability scales by weighted least squares method Japanese Psychological Research, 22, 1980 17 Stocking M.L.; Lord, F.M Developing a common metric in item response theory, Applied Psychological Measurement, 7, 1983 18 Kolen, M.J.; Brennan, L (editors) Test Equating, Scaling and Linking, Spinger, 2004 19 Lâm Quang Thiệp, Lâm Ngọc Minh, Lê Mạnh Tấn, Vũ Đình Bổng Phần mềm VITESTA việc phân tích số liệu trắc nghiệm Tạp chí Giáo dục, số 176, 11/2007 20 McDonald, R.P Non-linear factor analysis Psychometric Monograph, No 15, 1967 21 Samejima, F Estimation of latent ability using response pattern of graded scores Psychometric Monograph, No 17, 1969 22 Samejima, F Normal ogive model on the continious response level in the multidimentional latent space Psychometrika 39, 1974 23 Andersen, E B Sufficient statistics and latent trait models Psychometrica 42, 1977 24 Andrich, D A rating formulation for ordered response categories Psychometrica 43, 1978 290 25 Master, G.N A Rasch model for partial credit scoring Psychometrica 47, 1982 26 Muraki, E A generalised partial credit model: Application of an EM algorithm Psychometrica 16, 1992 27 Bock, R.D Estimating item parameters and latent ability when responses are scored in two or more nominal categories Psychometrika 37, 1972 28 Thissen D.;Steinberg L A response model for multiple choice items Psychometrica 49, 1984 29 Yen, W.M Scaling performance assessment: Strategies for managing local item dependence Journal of Educational Measurement, 30(3), 1993 30 http://assess.com/xcart/product.php?productid=220&cat=1&page=1 31 Wu, M.L.; Adams, R J., Wilson, M R.; Handane, S A “ACER CONQUEST, Version 2.0”, ACER Press, 2007 32 Bloom, B.S and Krathwohl, D R (1956) “Taxonomy of Educational Objectives”: The Classification of Educational Goals, by a committee of college and university examiners Handbook I: Cognitive Domain NY, NY: Longmans, Green 33 Anderson, L W and Krathwohl, D.R (Eds.) “A Taxonomy for Learning, Teaching, and Assessing: A Revision of Bloom's Taxonomy of Educational Objectives” Allyn & Bacon Boston, MA (Pearson Education Group), 2001 34 Bộ Giáo dục Đào tạo “Báo cáo khảo sát kết học tập mơn Tốn tiếng Việt học sinh lớp năm học 2006 - 2007” 291 ... 0.11319¦ ¦ 19¦ -0 .65378¦ 1. 124 69¦ 0.11 426 ¦ ¦ 20 ¦ -0 .10064¦ 0.50456¦ 0.09308¦ ¦ 21 ¦ -1 . 323 92? ? 1.09650¦ 0.13596¦ ¦ 22 ¦ -1 .1 526 9¦ 0.97690¦ 0. 122 40¦ ¦ 23 ¦ -0 .949 72? ? 1.17745¦ 0. 123 75¦ ¦ 24 ¦ -0 . 129 99¦ 0.88086¦... 0.88086¦ 0.1 026 1¦ ¦ 25 ¦ -0 .69608¦ 0.66 428 ¦ 0.10034¦ ¦ 26 ¦ -1 .1 827 9¦ 1.40695¦ 0.14395¦ ¦ 27 ¦ -0 .22 323 ¦ 0.79100¦ 0.10038¦ ¦ 28 ¦ -0 .08077¦ 0.97647¦ 0.10 524 ¦ ¦ 29 ¦ 2. 00 720 ¦ 0.13 027 ¦ 0.08908¦ ¦ 30¦ -0 .18945¦... 530 ¦ 825 170 321 9 ¦ -1 .23 353 ¦ 0.36880 ¦ 14/40 ¦ 3.15| ¦ 531 ¦ 825 170 322 1 ¦ -0 .17370 ¦ 0.35791 ¦ 24 /40 ¦ 5.64| ¦ 5 32 ¦ 825 170 322 3 ¦ -0 .0 929 5 ¦ 0.36065 ¦ 24 /40 ¦ 5.81| ¦ 533 ¦ 825 170 322 5 ¦ 0 .26 670