Tìm hiểu về các phương pháp tạo chỉ số thống kê và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN —————————————– Nguyễn Phương Ly TÌM HIỂU VỀ CÁC PHƯƠNG PHÁP TẠO CHỈ SỐ THỐNG KÊ VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2019 ĐẠI HỌC QUỐC GIA HÀ NỘI ĐẠI HỌC KHOA HỌC TỰ NHIÊN —————————————– Nguyễn Phương Ly TÌM HIỂU VỀ CÁC PHƯƠNG PHÁP TẠO CHỈ SỐ THỐNG KÊ VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 8460112.02 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: Hà Nội - Năm 2019 TS Trịnh Quốc Anh Lời nói đầu Trong bối cảnh hội nhập quốc tế nay, việc nâng cao lực đội ngũ cán yếu tố quan trọng cần trọng; vậy, giáo dục kiểm định đánh giá giáo dục phần then chốt giúp Việt Nam ta hiểu phân tích thơng tin để đối chiếu với mục tiêu, tiêu chuẩn đề ra, nhằm có định thích hợp để điều chỉnh, nâng cao chất lượng hiệu giáo dục Trong kiểm tra đánh giá lực, phản hồi thô học sinh có hai khía cạnh quan trọng độ xác thời gian phản hồi Từ trước đến nay, kiểm tra đánh giá người ta thường quan tâm đến độ xác câu trả lời dựa vào số câu sai để đánh giá lực học sinh Tuy nhiên gần đây, với phát triển máy tính cơng nghệ thơng tin, ta dễ dàng ghi lại thời gian phản hồi câu hỏi học sinh cho làm kiểm tra máy tính để từ đó, đưa kết xác lực học sinh Luận văn bước phát triển tiếp nối sau khóa luận em, nghiên cứu thêm yếu tố thời gian phản hồi đánh giá lực người học Luận văn gồm ba chương Chương 1: Kiến thức chuẩn bị Chương trình bày lại kiến thức chuẩn bị mơ hình ứng đáp câu hỏi, phân phối chuẩn, phân phối lognormal để làm tiền đề nghiên cứu mô hình phản hồi thời gian lognormal chương hai Các kiến thức suy luận Bayes, phương pháp xích Markov đặc biệt giải thuật Gibbs nhắc lại để giúp cho phần ước lượng tham số chương hai chương ba rõ ràng Chương 2: Mơ hình thời gian phản hồi ứng đáp câu hỏi lô-ga-rit chuẩn (Lognormal Item Response Theory) Chúng giới thiệu lại lịch sử phát triển mơ hình phản hồi thời gian, nói động lực để áp dụng mơ hình lơ-ga-rít chuẩn cho thời gian phản hồi thí sinh so sánh với mơ hình chuẩn cho thời gian phản hồi Phương Lời nói đầu pháp ước lượng tham số giải thuật Gibbs đưa phần Chương 3: Nghiên cứu thực nghiệm Phần trình bày lại rõ ràng nghiên cứu thực nghiêm áp dụng mô hình phản hồi thời gian lognormal cho phân tích liệu thi thích ứng Mỹ xếp mẫu, ước lượng tham số xem xét độ phù hợp mơ hình Luận văn hồn thành trường Đại học Khoa học tự nhiên - Đại học quốc gia Hà Nội, hướng dẫn TS Trịnh Quốc Anh Em chân thành cảm ơn thầy Trịnh Quốc Anh, nghiên cứu sinh học trị thầy Trong q trình nghiên cứu, nhiều sơ suất em thầy tận tình dạy dỗ, hướng dẫn, động viên em suốt thời gian làm viêc Ngoài em muốn gửi lời cám ơn sâu sắc đến thành viên nhóm seminar Xác suất thống kê, Đại học Khoa học tự nhiên góp ý nhiều trình em hồn thành luận văn Em xin bày tỏ lịng biết ơn thầy cán trường Đại học khoa học tự nhiên quan tâm giúp đỡ trình học tập nghiên cứu trường Em xin tỏ lòng biết ơn sâu sắc đến gia đình, bố mẹ, anh chị em anh Phạm Hồng Việt bên cạnh đồng hành, giúp đỡ, tạo điều kiện suốt trình em học tập làm luận văn thạc sĩ Cảm ơn hai thiên thần bé nhỏ Hồng Quân, Hồng Ngọc động lực to lớn giúp em cố gắng vượt qua khó khăn q trình nghiên cứu để hoàn thành luận văn Hà Nội, ngày 10 tháng 12 năm 2019 Nguyễn Phương Ly Mục lục Lời nói đầu Danh mục ký hiệu chữ viết tắt Kiến thức chuẩn bị 10 1.1 Mô hình IRT 10 1.2 Phân phối chuẩn 15 1.3 Phân phối lognormal 18 1.4 Suy luận Bayes 21 1.4.1 Suy luận Bayes cho biến ngẫu nhiên rời rạc 22 1.4.2 Suy luận Bayes cho biến ngẫu nhiên liên tục 23 Phương pháp xích Markov Monte Carlo (MCMC) 24 1.5.1 Phương pháp Monter Carlo 24 1.5.2 Phương pháp xích Markov Monte Carlo (MCMC) 26 Giải thuật Gibbs 28 1.6.1 Bài toán sinh mẫu 28 1.6.2 Thuật toán Gibbs giải toán sinh mẫu 29 1.5 1.6 Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal 33 2.1 Giới thiệu 33 2.2 Mơ hình thời gian phản hồi lognormal IRT - LNIRT 37 2.2.1 Giả thiết mơ hình 37 2.2.2 Mơ hình LNIRT 38 2.2.3 Mơ hình chuẩn 44 Ước lượng tham số 45 2.3.1 Phân bố tiên nghiệm 45 2.3.2 Phân bố hậu nghiệm 46 2.3.3 Giải thuật Gibbs 46 2.3.4 Áp dụng giải thuật Gibbs để ước lượng tham số 47 2.3 MỤC LỤC 2.3.5 Độ phù hợp Nghiên cứu thực nghiệm 48 50 3.1 Mô tả mẫu 51 3.2 Ước lượng tham số 52 3.3 Độ phù hợp mơ hình 55 KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 60 Danh sách hình vẽ [1] 1.1 Đường cong đặc trưng câu hỏi mơ hình tham số 1.2 Vị trí độ khó câu hỏi lực thí sinh trục lực/độ khó tương ứng với xác suất trả lời 0.5 1.3 [1] 12 13 Hàm đặc trưng câu hỏi năm câu hỏi mơ hình tham số.[1] 13 1.4 Hàm đặc trưng ba câu hỏi mơ hình hai tham số 1.5 Hàm đặc trưng câu hỏi mô hình ba tham số.[1] [1] 14 15 [wiki] 1.6 Hàm mật độ xác suất tuân theo phân phối chuẩn 16 1.7 Hàm mật độ xác suất tuân theo phân phối lognormal.wiki 19 1.8 Hàm phân phối xác suất tích lũy tuân theo phân phối lognormal 20 1.9 Minh họa thuật toán Gibbs 31 1.10 Sơ đồ khối giải thuật Gibbs 32 2.1 [wiki] Biểu đồ miêu tả mô hình phân cấp phản hồi thời gian phản hồi (RT) câu hỏi kiểm tra cáp tiếp cận thứ ba.[6] [6] 2.2 Ví dụ hai phép tính số học yêu cầu cường độ thời gian khác 2.3 Ảnh hưởng tham số phân biệt phân bố thời gian phản hồi 36 39 (phần trên) phân bố phản hồi (phần dưới) Bên trái hình với tham số phân biệt có giá trị nhỏ, phần bên phải có tham số phân biệt có giá trị lớn Diện tích phần trùng hai phân bố lớn giá trị tham số phân biệt lớn hơn.[4] 3.1 43 Biểu đồ phân tán với trung bình phương sai thời gian phản hồi tính theo giây cho 48 câu (ảnh trên) 2000 thí sinh mẫu (ảnh dưới).[4] 3.2 Phân bố thời gian phản hồi theo đơn vị giây câu hỏi (hình trên; N=760) câu hỏi 13 (hình dưới; N=490).[4] 3.3 53 54 Ước lượng cường độ thời gian (βi ) tham số độ phân biệt (αi ) mơ hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp khơng có ràng bc có ràng buộc αi [4] 54 DANH SÁCH HÌNH VẼ 3.4 Phân bố tham số tốc độ (τi ) ước lượng mơ hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp tham số αi khơng có ràng buộc có ràng buộc.[4] 3.5 55 Tổng quan độ phù hợp mô hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp tham số αi khơng có ràng buộc có ràng buộc Càng phù hợp đường cong gần với đường thẳng đơn vị y=x.[4] 3.6 56 Độ phù hợp mơ hình lơ-ga-rít chuẩn cho câu hỏi tốt câu hỏi tệ với hai trường hợp tham số αi khơng có ràng buộc có ràng buộc Càng phù hợp đường cong gần với đường thẳng đơn vị y=x[4] 56 Danh sách bảng 1.1 1.2 Định nghĩa giá trị tuân theo phân bố chuẩn: X ∼ N (µ, σ ).[wiki] 16 Định nghĩa giá trị tuân theo phân bố lognormal ln(X) ∼ N (µ, σ ) [wiki] 19 3.1 Số lượng câu hỏi thí sinh mẫu.[4] 52 3.2 Số thí sinh câu hỏi mẫu [4] 52 3.3 Tỷ lệ quan sát tỷ lệ kỳ vọng thí sinh có thời gian phản hồi nhỏ phân vị 10 phân bố hậu nghiệm trường hợp câu hỏi.[4] 3.4 57 Tỷ lệ quan sát tỷ lệ kỳ vọng thí sinh có thời gian phản hồi nhỏ phân vị 10 phân bố hậu nghiệm trường hợp câu hỏi.[4] 58 Danh mục ký hiệu chữ viết tắt Ω Không gian mẫu X, Y, Z Biến ngẫu nhiên F (x), FX (x) Hàm phân phối tích lũy, hàm phân phối tích lũy biến ngẫu nhiên X p(x), pX (x) Hàm mật độ xác suất, hàm mật độ xác suất biến ngẫu nhiên X X∈F Biến ngẫu nhiên X có hàm phân phối tích lũy F C(FX ) Tập hàm phân phối tích lũy liên tục E, EX Kì vọng (giá trị trung bình), giá trị kì vọng biến ngẫu nhiên X Var, VarX Phương sai, phương sai biến ngẫu nhiên X ϕ(t), ϕX (t) Hàm đặc trưng, hàm đặc trưng biến ngẫu nhiên X X∼Y Biến ngẫu nhiên X tương đương với biến ngẫu nhiên Y Φ(x) Hàm phân phối chuẩn tắc φ(x) Hàm mật độ chuẩn tắc N (µ, σ ) Phân phối chuẩn N (0, 1) Phân phối chuẩn tắc exp(a) Hàm e mũ Tham số độ phân biệt câu hỏi mơ hình IRT bi Tham số độ khó câu hỏi mơ hình IRT ci Tham số xác suất trả lời ngẫu nhiên câu hỏi mô hình IRT αi Tham số độ dao động thời gian câu hỏi mơ hình LNIRT βi Tham số cường độ thời gian câu hỏi mơ hình LNIRT exp(a) Hàm e mũ Chương Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal Phân bố tiên nghiệm cho tham số thí sinh τj chọn là: τj ∼ N (µτ , στ ); ∀ j, (2.19) với N (.) ký hiệu cho phân phối chuẩn Tiên nghiệm đồng thời cho tham số câu hỏi (αi , βi ) là: ν ν αi ∼ G( , ) ∀ i 2λ (2.20) βi |αi ∼ N µβ , (αi κ)−1 ∀ i (2.21) với G(.) ký hiệu cho phân phối gamma Tham số λ tiên nghiệm cận biên cho αi đại diện cho giá trị dự đoán tiên nghiệm tham số αi , ν thể độ mức độ tin tưởng ta vào dự đốn Tương tự, tiên nghiệm có điều kiện βi cho trước αi , tham số µβ giá trị tiên nghiệm ta dự đoán cho βi αi κ thể mức độ tin tưởng ta Mức độ tin tưởng đo lường nghịch đảo phương sai phân phối mẫu κ với thang cho log thời gian phản hồi 2.3.2 Phân bố hậu nghiệm Sau đó, phân bố hậu nghiệm đồng thời có mật độ: N n f (τ, α, β|t) ∝ f (tij ; τj , αi , βi )f (τj ; µτ , στ )f (βi |αi ; µβ , κ)f (αi ; ν, λ) (2.22) j=1 i=1 2.3.3 Giải thuật Gibbs Giải thuật Gibbs (Gelfand Smith, 1990) sử dụng để xấp xỉ phân bố hậu nghiệm cách lấy mẫu liên tiếp từ phân phối có điều kiện tham số cho giá trị vẽ trước cho tất tham số khác Ta luân phiên lấy mẫu tham số thí sinh τj tham số câu hỏi (αi , βi ) Ở bước thứ k, phân bố hậu nghiệm có điều kiện có dạng sau: (k−1) Nếu ta cố định tham số câu hỏi giá trị cho trước αi = αi (k−1) βi = βi , phương trình mật độ phân bố hậu nghiệm đồng thời phương trình (2.22) trở thành tích tiên nghiệm có phân bố chuẩn với phân bố hậu nghiệm cho trường hợp liệu chuẩn với phương sai biết trung bình chưa biết Vì tiên nghiệm liên hợp nên phân bố hậu nghiệm phân bố chuẩn Cụ thể hơn, xác định βi − ln tij , i = 1, , n liệu người j, hậu nghiệm τj cho liệu chuẩn với trung bình τj phương sai αi−2 Từ lý thuyết trường hợp (Gelman, (k) Carlin, Stern Rubin, 1995, Chương 2.6), ta tìm τj 46 từ phân bố chuẩn với Chương Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal trung bình στ−2 µτ + n (k−1) (k−1) αi βi − ln tij i=1 n (2.23) στ−2 + (α(k−1) ) i=1 Phương sai −1 n στ−2 + α (k−1) (2.24) i=1 (k) Tương tự, ta cố định tham số người giá trị biết τj = τj , phương trình (2.22) trở thành tích tiên nghiệm gamma chuẩn với phân bố hậu nghiệm cho liệu chuẩn với trung bình phương sai chưa biết Vì tiên nghiệm liên hợp nên phân bố hậu nghiệm tuân theo phân bố gamma chuẩn Với liệu ta cho câu hỏi i, xác định ln tij + τj , j = 1, N hậu nghiệm (αi , βi ) hậu nghiệm cho liệu chuẩn với trung bình βi phương sai αi−2 chưa biết Các tham số chưa biết tìm sau Đầu tiên, tìm αi2 thứ k từ phân bố gamma, G( Ψ2 , ω2 ) với tham số Ψ=ν+N N (k) ω = νλ−1 + ln tij − ln ti + τj − τ (k) (2.25) 2 + j=1 κN ln ti + τ (k) − µβ , κ+N (2.26) với N ln ti = N −1 ln tij (2.27) (k) (2.28) j=1 N τ (k) = N −1 τj j=1 (k) Thứ hai, βi tìm từ phân bố chuẩn với trung bình κµβ + N j=1 (ln tij (k) + τj ) κ+N , (2.29) phương sai (κ + N )(k) 2.3.4 (2.30) Áp dụng giải thuật Gibbs để ước lượng tham số Giải thuật Gibbs luân phiên hai tập liệu phần trước phân bố hậu nghiệm có điều kiện đến ổn đinh, số lần rút thêm cho tham số đươc xác định 47 Chương Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal trước K K lần rút sử dụng để tính trung bình phương sai hậu nghiệm biểu diễn hậu nghiệm để kiểm tra độ phù hợp liệu với câu hỏi thí sinh cách làm sau Để tiếp tục giữ dạng mơ hình sau vịng lặp tham số τj phải điều chỉnh lại dựa theo công thức ràng buộc phương trình (2.14) Vì ràng buộc nhận dạng nên hiển nhiên, giá trị bắt đầu tham số là: (0) τi =0 (2.31) N (0) βi = N −1 ln tij (2.32) j=1 N (0) (αi )2 = [N (0) (ln tij − βi )2 ]−1 −1 (2.33) j=1 Nếu ràng buộc αi = α phương trình (2.17) áp dụng, phân bố hậu nghiệm có Ψ ω điều kiện tham số trở thành phân bố gamma γ( , ) với tham số 2 phương trình (2.25) (2.26) thay bằng: Ψ = ν + nN, n ω = νλ −1 (2.34) N (k) ln tij − ln t + τj + − τ¯(k) + i=1 j=1 với n κnN ln t + τ¯(k) − µβ κ + nN (2.35) N ln t = (nN )−1 ln tij , (2.36) i=1 j=1 N (k) τ¯ =N (k) −1 τj (2.37) j=1 2.3.5 Độ phù hợp Để đánh giá độ phù hợp mơ hình với liệu thời gian phản hồi, ta đề xuất phương án kiểm tra thặng dư Bayes (Bayesian residuals) cho thí sinh câu hỏi Với thí sinh j câu hỏi i, ta định nghĩa mật độ dự đoán sau mật độ giá trị dự đoán cho ln tij biến số ln Tij cho trước liệu quan sát t = (tij ) Mật độ lấy trung bình mơ hình phân bố phương trình (2.5) cho tất hậu nghiệm đồng thời thí sinh câu hỏi: f ln tij |t = f (tij ; τj , αi , βi )f (τj , αi , βi |t)dτj dαi dβi 48 (2.38) Chương Mơ hình phản hồi thời gian ứng đáp câu hỏi lognormal Mật độ ước lượng số lần rút từ phân bố hậu nghiệm tham số giải thuật Gibbs Đặt k = 1, , K số lần rút người sau ổn định Mật độ phương trình (2.38) xấp xỉ K K (k) −1 (k) (k) f (ln tij ; τj , αi , βi ) (2.39) k=1 Thơng thường, kiểm tra dự đốn hậu nghiệm, ta muốn đánh giá xác suất quan sát thực tế ln tij mật độ dự đốn Ví dụ, ta muốn biết xác suất vượt vế trái thời gian phản hồi ln tij , xác suất ước lượng bằng: K P r ln tij < ln tij ≈K (k) −1 (k) Φ ln tij ; τjk , αi , βi (2.40) k=1 với φ(.) hàm phân phối chuẩn Xác suất bên phải ước lượng theo cách tương tự Xác suất gần với thể thời điểm khơng bình thường mơ hình Tổng hợp hết kết kiểm tra với câu hỏi thí sinh cho ta nhìn độ khớp mơ hình với câu hỏi thí sinh Ta kiểm tra mơ hình lơ-ga-rít chuẩn mơ hình chuẩn với với phiên có ràng buộc phương trình (2.17) cách sử dụng tỷ lệ likelihood biên chúng (nhân tố Bayes) (Gelman et al, 1995, chương 6.5) Kiểm tra u cầu mơ hình có phân phối biên thích hợp cho ln tij ví dụ thực nghiệm sau đây, ta tìm cách so sánh hay cho mẫu giá trị phương trình (2.40) 49 Chương Nghiên cứu thực nghiệm Các mơ hình luận văn sử dụng để phân tích liệu từ phần Suy luận số học kiểm tra CAT kỳ thi ASVAB kỳ thi đầu vào quân đội Mỹ Ngân hàng câu hỏi gồm 186 câu trắc nghiệm, thi có 15 câu Ta phân tích thời gian phản hồi cho mẫu ngẫu nhiên gồm 2000 thí sinh từ tập liệu ban đầu gồm 38357 thí sinh Ta dùng Schnipke Scram (1997) cho liệu tương tự để đánh giá độ phù hợp phân bố chuẩn phân bố lognormal cho thời gian phản hồi với tồn tập thí sinh Tất phân tích làm làm lại bốn lần cho mơ hình lơ-ga-rít chuẩn phương trình (2.5); mơ hình chuẩn phương trình (2.18), hai mơ hình thêm yếu tố ràng buộc phương trình (2.17) Phân bố hậu nghiệm tham số câu hỏi thí sinh ước lượng sử dụng giải thuật Gibbs miêu tả phần trước Ta biểu diễn giá trị tham số phân bố hậu nghiệm chọn từ nghiên cứu cho mơ hình chuẩn với thời gian đo giây; tham số cho mơ hình lơ-ga-rít chuẩn phương trình (2.5) chuyển đổi log thời gian Tiên nghiệm chung cho tham số thí sinh τj chọn phân bố chuẩn phương trình (2.19) với µτ = στ = 1, 000 Lựa chọn giá trị trung bình phương sai ràng buộc tham số τj phương trình (2.14) ta mong muốn sử dụng tiên nghiệm chứa thơng tin Với lý đó, tiên nghiệm chung cho tham số câu hỏi βi phân bố chuẩn phương trình (2.21) với tập µβ trung bình thời gian phản hồi mẫu, t¯ = 73.1, k = Tiên nghiệm gamma cho tham số αi chọn để có λ = 1222 (là nửa phương sai thời gian phản hồi mẫu) ν = Như vậy, véc tơ log thời gian phản hồi cho người j câu hỏi i ký hiệu tj = (ln t1j , , ln t186j ), j ∈ [1, 2000], ti = (ln ti1 , , ln ti2000 ), i ∈ [1, 186] 50 Chương Nghiên cứu thực nghiệm Ta sử dụng t = (ln tij ) để ký hiệu cho ma trận log thời gian phản hồi Cuối cùng, ta tổng hợp tất tham số cho thí sinh câu hỏi véc tơ τ = (τ1 , τ2000 ), α = (α1 , , α186 ) β = (β1 , β186 ) Phân bố tiên nghiệm cho tham số thí sinh τj chọn là: τj ∼ N (0, 10002 ); ∀ j, với N (.) ký hiệu cho phân phối chuẩn Tiên nghiệm đồng thời cho tham số câu hỏi (αi , βi ) là: 1 αi ∼ G( , ) ∀ i, 2444 βi |αi ∼ N 73.1, αi−2 ∀ i với G(.) ký hiệu cho phân phối gamma Giải thuật Gibbs bắt đầu giá trị khởi tạo cho tham số phương trình (2.22)-(2.24) Ta dùng 1500 vịng lặp để ổn định Vết cho ta thấy tham số ổn định sau số lần Việc tính tốn đại lượng sau phần dùng số vòng lặp K = 4500 3.1 Mô tả mẫu Để thực phân tích với lượng liệu hợp lý cho câu hỏi thí sinh, mẫu lấy từ liệu sau: Đầu tiên, ta loại bỏ tất câu hỏi có tỷ lệ tiếp xúc nhỏ 0.15 số câu hỏi cịn lại 48 Vì ta loại bỏ số câu hỏi nên có vài thí sinh ma trận liệu không trả lời đủ 15 câu Như vậy, ta chọn thí sinh trả lời đủ 15 câu hỏi; tiếp đến thí sinh trả lời 14 câu hỏi cuối thí sinh cịn lại tập 2000 thí sinh, người trả lời 13 câu Một phân tích mẫu cho thấy thí sinh trả lời đủ tất 15 câu dành 12.6 giây cho câu giây cho tất các câu cịn lại Hiển nhiên thí sinh trả lời bừa bãi Do đó, ta thay thí sinh thí sinh ngẫu nhiên khác lấy từ tập thí sinh trả lời 13 câu Cấu trúc mẫu tóm tắt Bảng 3.1 Bảng 3.2 Tuy số lượng câu hỏi thí sinh bị giới hạn độ dài kiểm tra, số lượng thí sinh cho câu hỏi q đủ để đảm bảo ước tính tham số câu hỏi ổn định Câu 16 có số thí sinh làm 61 thí sinh, câu 20 có nhiều thí sinh làm 1085 thí sinh 51 Chương Nghiên cứu thực nghiệm Số câu hỏi hồn thành 13 14 15 Tổng Số thí sinh 1138 695 167 2000 Bảng 3.1: Số lượng câu hỏi thí sinh mẫu.[4] Số thí sinh 0-100 101-200 201-300 301-400 401-500 501-600 601-700 701-800 801-900 901-1000 1001-1100 Số câu hỏi 1 10 10 3 Bảng 3.2: Số thí sinh câu hỏi mẫu.[4] Phân bố thời gian phản hồi mẫu tóm tắt biểu đồ phân tán Hình 3.1 Hình biểu diễn độ phân tán trung bình phương sai thời gian phản hồi cho câu hỏi, hình trung bình phương sai thời gian phản hồi cho thí sinh Thơng tin chi tiết thể Hình 3.2; hình ta biết phân bố cho thời gian phản hồi thí sinh với câu hỏi câu hỏi 13 Hai câu hỏi lựa chọn phân bố chúng phân bố đặc trưng tập liệu Ta quan sát thấy hai phân bố có độ lệch hướng bên phải Đặc trưng dường gợi ý cho ta tính chất để so sánh phân bố thời gian phản hồi cặp thí sinh-câu hỏi cố định mơ hình luận văn Tuy nhiên, kết không dựa vào Hình 3.2 Có tồn hàm phân phối "thí sinh-và-câu hỏi" thơng qua phân phối thời gian phản hồi câu hỏi Hàm phân phối "thí sinh-và-câu hỏi" có tham số tốc độ trả lời τ thí sinh 3.2 Ước lượng tham số Hình 3.3 cho ta hình phân tán phân bố hậu nghiệm kỳ vọng (EAP) để ước lượng hai tham số câu hỏi độ phân biệt (αi ) cường độ (βi ) cho bốn mô hình Với mơ hình chuẩn, biểu đồ mối tương quan âm hai ước lượng Xu hướng hoàn toàn floor effect tạo thang đo thời gian Chuyển đổi log thời gian loại bỏ hoàn toàn hiệu ứng Tham số phân biệt hai mơ hình có ràng 52 Chương Nghiên cứu thực nghiệm Hình 3.1: Biểu đồ phân tán với trung bình phương sai thời gian phản hồi tính theo giây cho 48 câu (ảnh trên) 2000 thí sinh mẫu (ảnh dưới).[4] buộc phương trình α = 1.875 cho log thời gian phản hồi α = 0.022 cho thời gian tính giây Tuy vậy, ràng buộc khơng có nhiều ảnh hưởng đến phân bố ước lượng βi Ước lượng αi mơ hình chuẩn tương đối thấp Điều cách lựa chọn đơn vị thời gian Nếu đo lường thời gian đơn vị lớn giây cho ta kết αi lớn Khoảng ước lượng αi [0.014, 0.039], tương ứng với phương sai nằm khoảng [25.6,71.4] Tuy nhiên, ước lượng αi thang đo log thời gian có đợn vị lớn nhiều Thực tế giá trị αi thực nghiệm gần với giá định mức thông thường cho trung bình phương sai tham số phân biệt mơ hình ba tham số Các phân bố tham số tốc độ τj tập mẫu thể Hình 3.4 Trong thang đo gốc, phân bố có độ lệch bên phải; sau chuyển đổi sang log thời gian phân bố có hình dạng đối xứng Cũng vậy, ràng buộc cho αi dường không gây ảnh hưởng nhiều đến ước lượng mơ hình 53 Chương Nghiên cứu thực nghiệm (a) Câu hỏi (b) Câu hỏi 13 Hình 3.2: Phân bố thời gian phản hồi theo đơn vị giây câu hỏi (hình trên; N=760) câu hỏi 13 (hình dưới; N=490).[4] Khơng ràng buộc Có ràng buộc Mơ hình lơ-ga-rít chuẩn Mơ hình chuẩn Hình 3.3: Ước lượng cường độ thời gian (βi ) tham số độ phân biệt (αi ) mơ hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp khơng có ràng bc có ràng buộc αi [4] 54 Chương Nghiên cứu thực nghiệm Không ràng buộc Có ràng buộc Mơ hình lơ-ga-rít chuẩn Mơ hình chuẩn Hình 3.4: Phân bố tham số tốc độ (τi ) ước lượng mơ hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp tham số αi khơng có ràng buộc có ràng buộc.[4] 3.3 Độ phù hợp mơ hình Để kiểm tra độ phù hợp cho mơ hình, ta sử dụng phân bố xác suất hậu nghiệm tích lũy phương trình 32 cho thời gian phản hồi 27029 câu hỏi-thí sinh mẫu Hình 3.5 biểu diễn phân bố tích lũy mơ hình Ta biết đường cong có độ phù hợp hồn hảo gần với đường thẳng y = x, hai đường cong mơ hình lơ-ga-rít chuẩn có độ phù hợp tương đối hồn hảo Cịn hình dáng đường cong hai mơ hình chuẩn cho thấy độ lệch hệ thống quan sát phía đuôi Một lần nữa, ràng buộc αi khơng tạo ảnh hưởng đến kết biểu diễn Vì mơ hình lơ-ga-rít chuẩn cho kết biểu diễn có độ phù hợp tốt nhiều nên ta tiếp tục phân tích sâu thêm mơ hình Độ phù hợp câu hỏi đánh giá cách lặp lại quy trình trước cho câu hỏi với phân bố xác suất tích lũy cho thí sinh trả lời câu hỏi Hình 3.6 ta biết câu hỏi có độ phù hợp tốt tệ tập liệu Thậm chí với câu hỏi có độ phù hợp tệ độ phù hợp dường thỏa mãn hầu hết mục đích thực tế Độ dài kiểm tra tập liệu ngắn nên sử dụng quy trình tương tự để kiểm tra độ phù hợp thí sinh Thay vào đó, ta đếm số 55 Chương Nghiên cứu thực nghiệm Không ràng buộc Có ràng buộc Mơ hình lơ-ga-rít chuẩn Mơ hình chuẩn Hình 3.5: Tổng quan độ phù hợp mơ hình lơ-ga-rít chuẩn mơ hình chuẩn cho hai trường hợp tham số αi khơng có ràng buộc có ràng buộc Càng phù hợp đường cong gần với đường thẳng đơn vị y=x.[4] Khơng ràng buộc Có ràng buộc Câu hỏi tốt Câu hỏi tệ Hình 3.6: Độ phù hợp mơ hình lơ-ga-rít chuẩn cho câu hỏi tốt câu hỏi tệ với hai trường hợp tham số αi khơng có ràng buộc có ràng buộc Càng phù hợp đường cong gần với đường thẳng đơn vị y=x[4] 56 Chương Nghiên cứu thực nghiệm thí sinh có thời gian phản hồi quan sát nhỏ đuôi lớn đuôi bách phân vị cho trước Sau ta so sánh tỷ lệ số lần vừa đếm với xác suất kỳ vọng tính theo phân bố nhị phân Ví dụ, với thí sinh làm 15 câu hỏi, ta kỳ vọng có tỷ lệ 15 x 0.005x 0.9515−x thí sinh có thời gian phản hồi nhỏ bách phân vị thứ ; có nghĩa giá trị có nhiều phần trăm thí sinh có thời gian phản hồi giá trị thời gian phản hồi Kết bách phân vị đuôi trái thể Bảng 3.3, bách phân vị đuôi phải thể Bảng 3.4 Kết luận rút từ hai bảng nhìn chung, số lượng thí sịnh khơng phù hợp lượng kỳ vọng tính xác suất Với ba loại kiểm tra có độ dài khác nhau, bách phân vị thứ 5, 10 Bảng 3.3 bách phân vị 90 95 Bảng 3.4, ta thấy tỷ lệ thí sịnh khơng có thời gian phản hồi lớn nhiều so với kỳ vọng tỷ lệ thí sịnh có thời gian phản hồi 1,2,3 câu thấp kỳ vọng Tỷ lệ thí sinh mơ hình lơ-ga-rít chuẩn chút so với mơ hình lơ-ga-rít chuẩn có ràng buộc, khơng có lý rõ ràng cho khác biệt Phân vị 0.05 0.05 0.05 0.05 0.05 0.05 0.10 0.10 0.10 0.10 0.10 0.10 Độ dài kiểm tra p 13 Quan sát 0.65 13 Kỳ vọng 0.51 14 Quan sát 0.64 14 Kỳ vọng 0.49 15 Quan sát 0.59 15 Kỳ vọng 0.46 13 Quan sát 0.37 13 Kỳ vọng 0.25 14 Quan sát 0.29 14 Kỳ vọng 0.23 15 Quan sát 0.28 15 Kỳ vọng 0.21 Ghi chú: Các cột ghi 0,1,2, ≥ Lognormal Lognormal+ràng buộc ≥3 ≥3 0.29 0.05 0.01 0.63 0.31 0.06 0.00 0.35 0.11 0.03 0.51 0.35 0.11 0.03 0.30 0.06 0.00 0.57 0.36 0.07 0.00 0.36 0.12 0.03 0.49 0.36 0.12 0.03 0.35 0.06 0.00 0.58 0.32 0.09 0.01 0.37 0.13 0.04 0.46 0.37 0.13 0.04 0.40 0.18 0.05 0.34 0.42 0.19 0.05 0.37 0.24 0.14 0.25 0.37 0.24 0.14 0.42 0.23 0.06 0.28 0.41 0.24 0.07 0.36 0.26 0.15 0.23 0.36 0.26 0.15 0.47 0.17 0.08 0.26 0.49 0.19 0.05 0.34 0.27 0.18 0.21 0.34 0.27 0.18 thể số lượng câu hỏi Bảng 3.3: Tỷ lệ quan sát tỷ lệ kỳ vọng thí sinh có thời gian phản hồi nhỏ phân vị 10 phân bố hậu nghiệm trường hợp câu hỏi.[4] Tóm lại, mơ hình lơ-ga-rít chuẩn rõ ràng vượt trội so với mơ hình chuẩn Vì thời gian phản hồi nhìn chung lớn (như Hình 3.2), nên việc ta kỳ vọng xuất tự nhiên số không ảnh hưởng đến độ phù hợp mơ hình chuẩn hóa lại lạc quan Rõ ràng, với kiểm tra thích ứng, ta cần mơ hình lơ-ga-rít chuẩn để phù hợp với độ lệch phân bố thời gian phản hồi Khía cạnh thống kê Bayes mơ hình giúp ta thuận tiện việc áp dụng giải thuật Gibbs loạt quy trình kiểm tra độ phù hợp dựa vào phân bố hậu nghiệm dự đốn "thí sinh-và-câu hỏi" Với tập liệu ví dụ thực nghiệm, 57 Chương Nghiên cứu thực nghiệm Phân vị 0.95 0.95 0.95 0.95 0.95 0.95 0.90 0.90 0.90 0.90 0.90 0.90 Lognormal Lognormal+ràng buộc Độ dài kiểm tra p ≥3 ≥3 13 Quan sát 0.63 0.29 0.08 0.00 0.59 0.32 0.08 0.01 13 Kỳ vọng 0.51 0.35 0.11 0.03 0.51 0.35 0.11 0.03 14 Quan sát 0.58 0.32 0.09 0.01 0.55 0.34 0.09 0.02 14 Kỳ vọng 0.49 0.36 0.12 0.03 0.49 0.36 0.12 0.03 15 Quan sát 0.61 0.26 0.10 0.03 0.59 0.29 0.10 0.02 15 Kỳ vọng 0.46 0.37 0.13 0.04 0.46 0.37 0.13 0.04 13 Quan sát 0.31 0.42 0.21 0.06 0.30 0.42 0.22 0.06 13 Kỳ vọng 0.25 0.37 0.24 0.14 0.25 0.37 0.24 0.14 14 Quan sát 0.27 0.38 0.26 0.09 0.26 0.37 0.28 0.09 14 Kỳ vọng 0.23 0.36 0.26 0.15 0.23 0.36 0.26 0.15 15 Quan sát 0.31 0.40 0.18 0.12 0.28 0.40 0.22 0.10 15 Kỳ vọng 0.21 0.34 0.27 0.18 0.21 0.34 0.27 0.18 Ghi chú: Các cột ghi 0,1,2, ≥ thể số lượng câu hỏi Bảng 3.4: Tỷ lệ quan sát tỷ lệ kỳ vọng thí sinh có thời gian phản hồi nhỏ phân vị 10 phân bố hậu nghiệm trường hợp câu hỏi.[4] tốc độ chạy PC 1.50GHz, 256M B RAM khoang 1000 vịng lặp giải thuật Gibbs chạy xấp xỉ tiếng Vì thời gian chạy liệu tỷ lệ thuận với số lượng thí sinh-câu hỏi nên ta dễ dàng tính tổng thời gian cần thiết để ước lượng tham số cho tập liệu Với kiểm tra máy tính, thời gian phản hồi tự động ghi lại thời gian làm kiểm tra nên khơng khó để ước lượng thêm tham số câu hỏi mơ hình phục vụ cho việc hiệu chỉnh câu hỏi 58 KẾT LUẬN Luận văn nghiên cứu phương pháp tạo số thống kê thời gian phản hồi kiểm tra đánh giá thích ứng dựa theo lý thuyết ứng đáp câu hỏi Trong luận văn thực cơng việc sau đây: - Tổng hợp trình bày cách rõ ràng mơ hình thời gian phản hồi, q trình phát triển mơ hình Đưa lý lại chọn mơ hình lơ-ga-rít chuẩn để đo thời gian phản hồi dựa vào việc lựa chọn tham số phù hợp so sánh độ khớp mơ hình lơ-ga-rít chuẩn với mơ hình chuẩn - Trình bày ví dụ thực nghiệm cho mơ hình thời gian phản hồi lơ-ga-rít chuẩn mơ hình phản hồi chuẩn, so sánh độ khớp hai mô hình liệu để rút số đánh giá lực người học dựa vào thời gian phản hồi Đồng thời rút kết luận coi số độ phân biệt số để giảm độ phức tạp mô hình mà khơng làm ảnh hưởng đến kết cuối Hướng tìm hiểu nghiên cứu luận văn đưa mơ hình phản hồi thời gian lơ-ga-rít chuẩn IRT vào mơ hình phân cấp Mơ hình phân cấp cho phép ta ước lượng phân bố mẫu tham số câu hỏi theo hai mơ hình Như ta sử dụng ví dụ thực tiễn phía để làm thêm bước ước lượng tham số IRT từ thời gian phản hồi Ngoài mơ hình thời gian phản hồi sử dụng để cập nhật lại, tăng thêm độ xác ước tính lực thí sinh kiểm tra thích ứng, đồng thời cải thiện trình thiết kế kiểm tra, lựa chọn câu hỏi Thực tế, mơ hình thời gian cho phép ta cải thiện quy trình kiểm tra đưa cho thêm nguồn thông tin quý giá để đánh giá lực người học 59 Tài liệu tham khảo [1] Đặng Hùng Thắng (2007), Q trình ngẫu nhiên tính tốn ngẫu nhiên, NXB Đại học Quốc gia Hà Nội [2] Fox, J.-P.(2018), Modeling Response Accuracy and Response Times [3] Roskam, E E (1997), Models for Speed and Time-limit tests In W J van der Linden & R K Hambleton (Eds.), Handbook of modern item response theory (pp 187–208) New York: Springer [4] van der Linden, W J.(2006), A Lognormal Model for Response Times on Test Items, Journal of Educational and Behavioral Statistics, 31, 181–204 [5] van der Linden, W J.(2008), Using Response Times for Item Selection in Adaptive Testing, Journal of Educational and Behavioral Statistics, 33, 5–20 [6] van der Linden, W J.(2009), Conceptual Issues in Response-time Modeling,Journal of Educational Measurement, 46, 247–272 [7] van der Linden, W J., and Klein Entink, R H., and Fox, J.-P (2010), Item Parameter Estimation with Response Times as Collateral Information Applied Psychological Measurement, 34, 327–347 [8] van der Linden (2019), Lognormal Response-Time Model In W J van der Linden, Handbook of Item Response Theory Volume one (p 261–282) Chapman and Hall/CRC 60 ... HỌC TỰ NHIÊN —————————————– Nguyễn Phương Ly TÌM HIỂU VỀ CÁC PHƯƠNG PHÁP TẠO CHỈ SỐ THỐNG KÊ VÀ ỨNG DỤNG Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 8460112.02 LUẬN VĂN THẠC SĨ KHOA... sử dụng ngày rộng rãi tong lĩnh vực đời sống Thống kê Bayes phương pháp thống kê dựa định lý Bayes nhằm củng cố quan điểm liệu đưa Điểm khác biệt thống kê Bayes thống kê tần suất thông thường thống. .. thơng tin • Thống kê Bayes sử dụng công cụ định lý Bayes, khác với thống kê tần suất sử dụng nhiều phương pháp khác • Thống kê Bayes dễ dàng giúp xử lý khó khăn tính tốn ước lượng tham số Định lý