THÔNG TIN TÀI LIỆU
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TRẦN VĂN TUÂN CÁC TIÊU CHUẨN LỰA CHỌN MƠ HÌNH CHUỖI THỜI GIAN Chun ngành: Lí thuyết xác suất thống kê Toán học Mã số: 60 46 01 06 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS TRẦN MẠNH CƯỜNG HÀ NỘI - 2015 z Mục lục Lời nói đầu Chương Giới thiệu số chuỗi thời gian dừng 1.1 Các khái niệm 1.1.1 Quá trình cấp 1.1.2 Hàm trung bình, hàm tự hiệp phương sai hàm tự tương 1.1.3 1.2 quan Quá trình dừng Một số trình dừng quan trọng 10 1.2.1 Quá trình trung bình trượt cấp 10 1.2.2 Quá trình trung bình trượt cấp q 11 1.2.3 Quá trình trung bình trượt cấp vô hạn 12 1.2.4 Quá trình tự hồi quy cấp 14 1.2.5 Quá trình tự hồi quy cấp 17 1.2.6 Quá trình tự hồi quy cấp p 20 1.2.7 Quá trình hỗn hợp ARMA(p,q) 21 Chương Một số tiêu chuẩn lựa chọn mơ hình 2.1 24 Tiêu chuẩn thông tin Akaike 24 2.1.1 Khoảng cách Kullback - Leibler 24 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback - Leibler 26 z 2.2 2.3 2.1.3 Định nghĩa AIC 32 2.1.4 AIC khoảng cách Kullback - Leibler 34 Tiêu chuẩn thông tin Bayesian (BIC) 40 2.2.1 Nguồn gốc BIC 40 2.2.2 Định ngĩa BIC 42 Xác định bậc mơ hình ARMA ACF PACF 47 2.3.1 AFC: Hàm tự tương quan 47 2.3.2 PACF: Hàm tự tương quan riêng 49 Chương Ứng dụng 55 3.1 Dữ liệu 55 3.2 Phân tích 55 3.3 Code R 59 Tài liệu tham khảo z 63 Lời nói đầu Lựa chọn mơ hình (Model selection) tốn thống kê nhiều nghành khoa học khác Theo R.A Fisher có tốn thống kê suy luận dự báo gồm - Xác định mơ hình (model specification) - Ước lượng tham số (estimation of model parameters) - Dự báo (prediction) Trước năm 1970 hầu hết nghiên cứu tập trung vào hai toán sau với giả thiết mơ hình biết Sau xuất cơng trình Akaike (1973) tốn lựa chọn mơ hình thu hút quan tâm cồng đồng làm thống kê Với liệu đưa ra, mơ hình tốt nhất? Để trả lời cho câu hỏi trên, người ta đưa tiêu chuẩn thông tin để lựa chọn mô hình phù hợp tiêu chuẩn thơng tin Akaike (AIC) tiêu chuẩn thông tin Bayesian (BIC), Việc lựa chọn mơ hình phù hợp trung tâm cho tất công tác thông kê với liệu Lựa chọn biến để sử dụng mô hình hồi quy ví dụ quan trọng Luận văn tơi trình bày hai tiêu chuẩn thơng tin quan trọng tiêu chuẩn thơng tin Akaike tiêu chuẩn thông tin Bayesian Luận văn gồm ba chương Chương Giới thiệu số chuỗi thời gian dừng Chương trình bày số khái niệm bản: trình cấp 2, hàm trung bình hàm tự hiệp phương sai trình ngẫu nhiên, trình dừng z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 số trình dừng quan trọng như: trình trung bình trượt cấp 1, cấp q, cấp vơ hạn; trình tự hồi quy cấp 1, cấp2, cấp p, trình hỗn hợp ARMA(p,q) Chương Một số tiêu chuẩn lựa chọn mơ hình Chương trình bày khái niệm khoảng cách Kullback - Leibler, mối liên hệ ước lượng hợp lý cực đại khoảng cách Kullback - leibler, định nghĩa AIC, mối liên hệ AIC khoảng cách Kullback - Leibler, nguồn gốc định nghĩa BIC Chương Ứng dụng Chương trình bày ứng dụng phần mềm thống kê R để vẽ đồ thị hàm tự tương quan tự tương quan riêng mơ hình liên quan đến liệu tổng thu nhập quốc dân Mỹ từ quý năm 1947 đến quý năm 2002 (được lấy website http://research.st louisfed.org/), xác định AIC BIC mơ hình ARMA(i,j) với i, j = 0, 1, 2, Do thời gian trình độ cịn hạn chế nên luận văn không tránh khỏi thiếu sót, tác giả mong nhận nhiều ý kiến đóng góp từ thầy giáo bạn đọc để luận văn hoàn chỉnh 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 LỜI CẢM ƠN Sau thời gian học tập khoa Toán - Cơ - Tin học, trường Đại học Khoa học Tự Nhiên, hướng dẫn bảo tận tình TS Trần Mạnh Cường, tơi hoàn thành luận văn thạc sỹ với đề tài ”Một số tiêu chuẩn lựa chọn mơ hình” Trong suốt q trình học tập triển khai nghiên cứu đề tài, nhận nhiều giúp đỡ thầy, cô môn Xác suất thống kê, thầy khoa Tốn - Cơ - Tin học trường Đại học Khoa học Tự Nhiên, Đại học Quốc gia Hà Nội, đặc biệt thầy Trần Mạnh Cường Tơi bày tỏ lịng biết ơn chân thành sâu sắc đến thầy Trần Mạnh Cường, người tận tình bảo giúp đỡ tơi nhiều q trình nghiên cứu làm đề tài Tơi gửi lời cảm ơn đến ban giám hiệu, phòng sau đại học, thầy khoa Tốn - Cơ - Tin học nói chung thầy, mơn Xác suất thống kê nói riêng tạo điều kiện thuận lợi để tơi hồn thành luận văn 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Chương Giới thiệu số chuỗi thời gian dừng 1.1 1.1.1 Các khái niệm Quá trình cấp Giả xử X (t), t ∈ T trình ngẫu nhiên Quá trình X (t), t ∈ T gọi trình cấp nếu: E|X (t)|2 < ∞, ∀t ∈ T 1.1.2 Hàm trung bình, hàm tự hiệp phương sai hàm tự tương quan Giả xử X (t), t ∈ T trình ngẫu nhiên Hàm trung bình, kí hiệu m(t) định nghĩa công thức sau m(t) = EX (t) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hàm tự hiệp phương sai, kí hiệu r(s, t) định nghĩa công thức sau r(s, t) = cov (X (s), X (t)) = E (X (s) − m(s))(X (t) − m(t)) = EX (s)X (t) − m(s)m(t) Vì V arX (t) = cov (X (t), X (t)) nên V arX (t) = r(t, t) 1.1.3 Quá trình dừng Định nghĩa 1.1.1 Giả sử X (t), t ∈ R trình cấp X (t) gọi trình dừng (yếu) hàm trung bình m(t) số (khơng phụ thuộc vào t) hàm tự hiệp phương sai r(s, t) phụ thuộc vào s − t Như X (t), t ∈ T trình dừng khi: a) m(t) = m = const b) Tồn hàm γ (t) cho r(s, t) = γ (s − t), ∀s, t ∈ R (hàm γ (t) gọi hàm tự hiệp phương sai trình dừng) Định nghĩa 1.1.2 Giả sử X (t), t ∈ R trình dừng với hàm tự hiệp phương sai γ (t) Hàm tự tương quan trình X (t) định nghĩa γ (h) ρ(h) = γ (0) Định nghĩa 1.1.3 Quá trình X (t), t ∈ R gọi trình dừng mạnh với ∀h ∈ R với t1 < t2 < < tn , phân phối đồng thời {X (t1 + h), X (t2 + h), , X (tn + h)} {X (t1 ), X (t2 ), , X (tn )} Nhận xét: trình dừng mạnh có moment cấp q trình dừng yếu Điều ngược lại nói chung khơng Nếu q trình dừng yếu q trình Gauss trình dừng mạnh phân phối hữu hạn chiều q trình Gauss hồn tồn xác định hàm trung bình hàm tự hiệp phương sai 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Ví dụ: Giả sử U V hai đại lượng ngẫu nhiên không tương quan với EU = EV = 0, EU = EV = σ Với λ số thực, xét trình X (t) = U cos λt + V sin λt Ta có: m(t) = cos λt.EU + sin λt.EV = r(s, t) = EX (s)X (t) = E [(U cos λs + V sin λs)(U cos λt + V sin λt)] = E [U cos λs cos λt + V sin λs sin λt + U V cos λs sin λt + U V sin λs cos λt] = σ (cos λs cos λt + sin λs sin λt) = σ cos λ(t − s) Vậy X (t) trình dừng với hàm tự hiệp phương sai γ (t) = σ cos λt Ví dụ: Tổng quát hơn, giả sử U1 , U2 , , Un V1 , V2 , , Vn đại lượng ngẫu nhiên có EUk = EVk = 0, EUk2 = EVk2 = σk2 , EUi Uk = (i 6= k ), EVi Vk = (i 6= k ), EUi Vj = Xét trình n X X (t) = (Uk cos λk t + Vk sin λk t) k=1 λ1 , λ2 , , λn số thực.Tương tự ví dụ 1.1 ta chứng minh X (t) trình dừng với m(t) = EX (t) = 0, γ (t) = n X σk2 cos λk t k=1 Ví dụ: Giả sử N (t), t ≥ trình Poisson với cường độ λ > L > số Ta xét trình sau X (t) = N (t + L) − N (t) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Như vậy, N (t) số biến cố xẩy khoảng thời gian (0, t) X (t) số biến cố xẩy khoảng thời gian có độ dài L tính từ thời điểm t Ta có: m(t) = EX (t) = E [N (t + L) − N (t)] = (t + L)λ − tλ = λL = const Bây ta tính hàm tự hiệp phương sai r(s, t) = cov (X (s), X (t)) X (t) Ta giả thiết ≤ s ≤ t phân biệt hai trường hợp: a) t > s + L: Trong trường hợp hai khoảng (s, s + L) (t, t + L) rời nhau, N (s + L) − N (s) N (t + L) − N (t) độc lập, không tương quan, tức r(s, t) = b) s ≤ t ≤ s + L: Trong trường hợp ta có r(s, t) = cov [N (s + L) − N (s), N (t + L) − N (t)] = cov [N (s + L) − N (t) + N (t) − N (s), N (t + L) − N (t)] = cov [N (s + L) − N (t), N (t + L) − N (t)] (vì N (t) − N (s) N (t + L) − N (t) độc lập) Lại có cov [N (s + L) − N (t), N (t + L) − N (t)] = = cov [N (s + L) − N (t), N (t + L) − N (s + L) + N (s + L) − N (t)] = cov [N (s + L) − N (t), N (s + L) − N (t)] = V ar[N (s + L) − N (t)] (vì N (s + L) − N (t) N (t + L) − N (s + L) độc lập) Vì r(s, t) = V ar[N (s + L) − N (t)] = λ(s + L − t) = λ[L − (t − s)] Tương tự với ≤ t ≤ s tính đối xứng, cuối ta r(s, t) = λ(L − |t − s|) |t − s| ≤ L 0 |t − s| > L Vậy X (t) trình dừng với hàm tự hiệp phương sai λ(L − |t|) |t| ≤ L γ (t) = 0 |t| > L 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 (Yt − µ) = φ1 (Yt−1 − µ) + φ2 (Yt−2 − µ) + εt (1.14) Nhân vế (1.14) với (Yt−j − µ) lấy kỳ vọng γj = φ1 γj−1 + φ2 γj−2 (1.15) Ta thấy hàm tự tương quan có dạng phương trình bậc tự hồi quy giống trình AR(2) Dễ dàng suy hàm hệ số tự tương quan thỏa mãn ρj = φ1 ρj−1 + φ2 ρj−2 (1.16) Xét trường hợp j = ta có ρ1 = φ1 + φ2 ρ1 tương đương với ρ1 = φ1 − φ2 Cho j = ta có ρ2 = φ1 ρ1 + φ2 Ta tính phương sai q trình tự hồi quy cấp cách nhân vế (1.14) với Yt − µ lấy kỳ vọng E (Yt − µ)2 = φ1 E (Yt−1 − µ)(Yt − µ) + φ2 E (Yt−2 − µ)(Yt − µ) + E (εt )(Yt − µ) Hay γ0 = φ1 γ1 + φ2 γ2 + σ Vì E (εt )(Yt − µ) = E (εt )[φ1 (Yt−1 − µ) + φ2 (Yt−2 − µ) + εt ] = φ1 + φ2 + σ Phương trình (1.17) viết γ0 = φ1 ρ1 γ0 + φ2 ρ2 γ0 + σ Thay ρ1 , ρ2 vào phương trình ta γ0 = [ φ21 φ2 φ21 + + φ22 ]γ0 + σ − φ2 − φ2 Hoặc γ0 = (1 − φ2 )σ (1 + φ2 )[(1 − φ2 )2 − φ21 ] 19 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z (1.17) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 1.2.6 Quá trình tự hồi quy cấp p Quá trình tự hồi quy cấp p, kí hiệu AR(p) định nghĩa Yt = c + φ1 Yt−1 + φ2 Yt−2 + + φp Yt−p + εt (1.18) Nếu nghiệm đa thức đặc trưng − φ1 z − φ2 z − − φp z p = nằm ngồi vịng trịn đơn vị, cách tương tự q trình biểu diễn dạng Yt = µ + ψ (L)εt (1.19) Trong ψ (L) = (1 − φ1 L − φ2 L2 − − φp Lp )−1 P∞ j =0 |ψj | < ∞ Ta giả sử tính dừng thỏa mãn, lấy kỳ vọng hai vế (1.18) (coi E (Yt ) = µ) suy µ = c + φ1 µ + φ2 µ + + φp µ Hay µ= c (1 − φ1 − φ2 − − φp ) (1.20) Sử dụng (1.20) phương trình (1.18) viết lại sau Yt − µ = φ1 (Yt−1 − µ) + φ2 (Yt−2 − µ) + + φp (Yt−p − µ) + εt (1.21) Tự hiệp phương sai tìm cách nhân vế (1.21) với (Yt−j − µ) γj = φ1 γj−1 + φ2 γj−2 + + φp γj−p với j = 1, 2, φ1 γ1 + φ2 γ2 + + φp γp + σ với j = Chia vế phương trình cho γ0 ta phương trình Yule - Walker ρj = φ1 ρj−1 + φ2 ρj−2 + + φp ρj−p với j = 1, 2, Vì hàm tự tương quan 20 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 hàm hệ số tự tương quan có dạng giống phương trình tự hồi quy Với nghiệm phân biệt dạng chúng γj = g1 λj1 + g2 λj2 + + gp λjp (λ1 , λ2 , , λp ) nghiệm phương trình λp − φ1 λp−1 − φ2 λp−2 − − φp = 1.2.7 Quá trình hỗn hợp ARMA(p,q) Một trình ARM A(p, q ) bao gồm số hạng tự hồi quy trung bình trượt, định nghĩa Yt = c + φ1 Yt−1 + φ2 Yt−2 + + φp Yt−p (1.22) + εt + θ1 εt−1 + θ2 εt−2 + + θq εt−q Hoặc dạng toán tử (1 − φ1 L − φ2 L2 − − φp Lp )Yt = c + (1 + θ1 L + θ2 L2 + + θq Lq )εt (1.23) Nghiệm phương trình − φ1 z − φ2 z − − φp z p = (1.24) nằm ngồi vịng trịn đơn vị Nhân hai vế (1.23) với (1 − φ1 L − φ2 L2 − − φp Lp ) ta Yt = µ + ψ (L)εt ψ (L) = + θ1 L + θ2 L2 + + θq Lq − φ1 L − φ2 L2 − − φp Lp ∞ X |ψj | < ∞ j =0 µ= c (1 − φ1 − φ2 − − φp ) 21 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Vì tính dừng trình ARM A(p, q ) phụ thuộc vào tham số tự hồi quy (φ1 , φ2 , , φp ) mà không phụ thuộc vào tham số trung bình trượt (θ1 , θ2 , , θp ) Ta thay c = µ(1 − φ1 − φ2 − − φp ) vào phương trình (1.22) biến đổi sau Yt − µ = φ1 (Yt−1 − µ) + φ2 (Yt−2 − µ) + + φp (Yt−p − µ) (1.25) + εt + θ1 εt−1 + θ2 εt−2 + + θq εt−q Hàm tự hiệp phương sai tìm cách nhân vế (1.25) với (Yt−j − µ) lấy kỳ vọng Cho j > q kết phương trình có dạng γj = φ1 γj−1 + φ2 γj−2 + + φp γj−p (1.26) j = q + 1, q + 2, Vì với giá trị sau q hàm tự hiệp phương sai (hàm hệ số tự tương qua) phương trình hồi quy cấp p với hệ số tham số tự hồi quy ARM A Chú ý (1.26) không tồn cho trường hợp j < q tương quan θj εt−j Yt−j Vì trình ARMA có hàm tự tương quan với j từ đến q phức tạp nhiều so với AR(p) tương ứng Cho j > q hệ số tự hồi quy phân biệt, hàm tự hiệp phương sai cho γj = h1 λj1 + h2 λj2 + + hp λjp (1.27) Điều giống cấu trúc hàm tự hiệp phương sai trình AR(p) Tuy nhiên tham số hk khơng giống gk Có vị thừa dư tham số hóa cho q trình ARMA Xét ví dụ q trình ồn trắng đơn giản Y t = εt (1.28) Nhân vế (1.28) với (1 − ρL) ta (1 − ρL)Yt = (1 − ρL)εt (1.29) Rõ ràng biểu diễn (1.28) tồn biểu diễn (1.29) tồn với giá trị ρ Vì (1.29) miêu tả trình ARM A(1, 1) với φ1 = ρ 22 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 θ1 = −ρ, điều quan trọng để tránh tham số hóa Mỗi xác định tham số hóa phát sinh mơ hình ARM A(p, q ) Xét phân tích đa thức tốn tử (1.23) (1 − λ1 L)(1 − λ2 L) (1 − λp L)(Yt − µ) (1.30) = (1 − η1 L)(1 − η2 L) (1 − ηq L) Chúng ta giả sử |λj | < cho j q trình dừng Nếu tốn tử tự hồi quy (1 − φ1 L − φ2 L2 − − φp Lp ) toán tử trung bình trượt (1 + θ1 L + θ2 L2 + + θq Lq ) có nghiệm chung λi = ηj vế (1.30) chia cho (1 − λi L) Hoặc (1 − φ∗1 L − φ∗2 L2 − − φ∗p−1 Lp−1 )(Yt − µ) = (1 + φ∗1 L + φ∗2 L2 (1.31) + + φ∗q−1 Lq−1 )εt Ở (1 − φ∗1 L − φ∗2 L2 − − φ∗p−1 Lp−1 ) = (1 − λ1 L)(1 − λ2 L) (1 − λi−1 L)(1 − λi+1 L) (1 − λp L) ∗ q−1 (1 + θ1∗ L + θ2∗ L2 + + θq− )= 1L (1 − η1 L)(1 − η2 L) (1 − ηj−1 L)(1 − ηj +1 L) (1 − ηq L) Tính dừng q trình ARM A(p, q ) thỏa mãn (1.23) rõ ràng đồng với tính dừng q trình ARM A(p − 1, q − 1) thỏa mãn (1.31) 23 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Chương Một số tiêu chuẩn lựa chọn mơ hình Dữ liệu mơ cách khác Có thể có phương pháp đơn giản mà có nhiều tham số Khi có nhiều covarian đo sử dụng tất chúng mơ hình, vài số chúng Với danh sách mơ hình ứng cử viên, lựa chọn mơ hình tốt nhất? Để lựa chọn mơ hình tốt người ta đưa tiêu chuẩn thông tin Trong chương trình bày hai tiêu chuẩn thơng tin quan trọng tiêu chuẩn thông tin Akaike tiêu chuẩn thông tin Bayesian 2.1 2.1.1 Tiêu chuẩn thông tin Akaike Khoảng cách Kullback - Leibler Trong lý thuyết xác suất lý thuyết thông tin, khoảng cách Kullblack Leibler "độ đo" không đối xứng dùng để đo khác hai phân bố P Q Cụ thể hơn, độ lệch Kullback - Leibler Q khỏi P ký hiệu KL(P || Q) độ đo lượng thông tin dùng Q để xấp xỉ P Chính xác khoảng cách Kullback - Leibler đo số bit trung bình dư để mã hóa mẫu 24 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 dùng Q thay dùng P Khái niệm xuất lý thuyết thông tin đưa Solomon Kullback Richard Leibler năm 1951 Định nghĩa 2.1.1 (i) Cho phân phối xác suất rời rạc P Q Khoảng cách Kullblack - Leibler Q từ P định nghĩa KL(P ||Q) = X P (i) ln i P (i) Q(i) (ii) Cho phân phối xác suất liên tục P Q Khoảng cách Kullback - Leibler Q từ P định nghĩa tích phân Z +∞ p (x) p(x) ln KL(P ||Q) = dx q (x) −∞ p q kí hiệu mật độ P Q (iii) Tổng quát hơn, P Q độ đo xác suất tập X Q liên tục tuyệt đối theo P, khoảng cách Kullblack - Leibler từ P tới Q định nghĩa Z KL(P ||Q) = ln X dP dP dQ dP đạo hàm Radon - Nikodym Q theo P dQ dP dQ Nếu µ độ đo X mà p = q = tồn tại, khoảng dµ dµ cách Kullback - Leibler từ P tới Q Z KL(P ||Q) = p p ln dµ q X Tính chất (i) KL(P ||Q) ≥ KL(P ||Q) = ⇔ P = Q hầu khắp nơi (ii) Khoảng cách Kullback - Leibler định nghĩa tốt cho phân phối liên tục bất biến phép biến đổi tham số (iii) Khoảng cách Kullback - Leibler cộng tính phân phối độc lập Nếu P1 , P2 phân phối độc lập với P (x, y ) = P1 (x).P2 (y ) Q(x, y ) = 25 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Q1 (x).Q2 (y ) KL(P ||Q) = KL(P1 ||Q1 ) + KL(P2 ||Q2 ) (iv) Khoảng cách Kullback - Leibler phân phối Q từ phân phối P khoảng cách thông thường, mà độ đo lượng thông tin dùng Q để xấp xỉ P 2.1.2 Ước lượng hợp lý cực đại khoảng cách Kullback - Leibler Mục tiêu phần tìm hiểu mối liên hệ phương pháp hợp lý cựa đại khoảng cách Kullback - Leibler hai trường hợp độc lập phân bố trường hợp truy hồi quy Trước hết, bắt đầu với minh họa đơn giản để thấy cách hoạt động phương pháp hợp lý cực đại, sử dụng liệu mơ hình tham số để cung cấp mơ hình ước lượng Ví dụ: Ước lượng liệu trọng lượng sinh thấp Trong liệu trọng lượng thấp (Hosmer and Lemeshow, 1999) có tổng n = 189 phụ nữ đứa trẻ sinh cách mà phương pháp hợp lý cực đại sử dụng để ước lượng tham số mơ hình đưa Các biến kết Y1 , , Yn độc lập biến ngẫu nhiên nhị phân (0 - 1), tức cho giá trị đứa trẻ sinh có trọng lượng thấp trường hợp ngược lại Các biến khác x2,i trọng lượng người mẹ; x3,i tuổi người mẹ; x4,i chủng tộc đen; x5,i chủng tộc khác Chúng ta có xi = (1, x2,i , x3,i , x4,i , x5,i )t Hầu hết mơ hình thơng thường cho tình mơ hình hồi quy logistic, cho cơng thức P (Yi = 1|xi ) = pi = 26 exp(xti θ) + exp(xti θ) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 với i = 1, , n; θ vectơ tham số chiều hàm hợp lý Ln (θ) tích số hạng pyi i (1 − pi )1−yi , dẫn đến loga hàm hợp lý có dạng `n (θ) = n X {yi ln pi + (1 − yi ) ln(1 − pi )} i=1 = n X yi xti θ − ln{1 + exp(xti θ)} i=1 Một ước lượng hợp lý cực đại cho θ tìm thấy cách cực đại `n (θ) theo θ, θˆ = (1.307, −0.014, −0.026, 1.004, 0.443)t Nhìn chung mơ hình mà xây dựng cho quan sát Y = (Y1 , , Yn ) chứa số tham số θ = (θ1 , , θp )T , kí hiệu f (y, θ) hàm mật độ đồng thời cho Y Khi hàm hợp lý Ln (θ) = f (yobs , θ), với yobs giá trị liệu quan sát Chúng ta thường làm việc với loga hàm hợp lý `n (θ) = log Ln (θ) thay hàm hợp lý Ước lượng hợp lý cực đại θ làm cực đại Ln (θ) θˆ = θˆM L = argmax(Ln ) = argmax(`n ) θ θ a Trường hợp độc lập phân phối Hàm hợp lý loga hàm hợp lý viết Ln (θ) = n Y f (yi , θ) `n (θ) = n X i=1 log f (yi , θ) i=1 Khoảng cách gắn liền với phương pháp hợp lý cực đại khoảng cách Kullback - Leibler Z KL(g, f (., θ)) = g (y ) log g (y ) dy f (y, θ) Z = (2.1) Z g (y ) log g (y )dy − g (y ) log f (y, θ)dy khoảng cách từ mật độ g tới xấp xỉ f (., θ) Áp dụng luật số lớn n a.s `n (θ) −−→ Z g (y ) log f (y, θ)dy = Eg log f (Y, θ) 27 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Ước lượng hợp lý cực đại θˆ mà cực đại `n (θ) có xu hướng hội tụ hầu chắn tới θ0 giá trị cực tiểu khoảng cách Kullback - Leibler từ mơ hình thật tới mơ hình xấp xỉ Như a.s θˆ −−→ θ0 = argmin{KL(g, f (., θ))} θ giá trị θ0 gọi sai số nhỏ xấp xỉ tốt Nhận xét: Như ước lượng hợp lý cực đại nhằm cung cấp xấp xỉ tham số tốt với mật độ g lớp tham số f (., θ) Nếu mơ hình tham số thật đầy đủ xác, g (y ) = f (y, θ0 ) cực tiểu khoảng cách Kullback Leibler Ta xác định u(y, θ) = ∂ log f (y, θ) ∂ log f (y, θ) I (y, θ) = ∂θ ∂θ∂θt u(y, θ) hàm vectơ p - chiều thường gọi vectơ điểm số mơ hình với ∂ log f (y, θ) thành phần với j = 1, , p; I (y, θ) ma trận cỡ p × p gọi ∂θj hàm ma trận thông tin mơ hình, thành phần đạo hàm ∂ log f (y, θ) cấp hai với j, k = 1, , p Chú ý tham số sai số nhỏ ∂θj ∂θk cực tiểu khoảng cách Kullback - Leibler nên Z Eg u(Y, θ0 ) = g (y )u(y, θ0 )dy = Chúng ta cần xác định J = −Eg I (Y, θ0 ) K = V arg u(Y, θ0 ) (2.2) Các ma trận cỡ p × p giống g (y ) với f (y, θ0 ), ∀y Trong trường hợp vậy, ma trận Z Z t J (θ0 ) = f (y, θ0 )u(y, θ0 )u(y, θ0 ) dy = − f (y, θ0 )I (y, θ0 )dy gọi ma trận thơng tin Fisher mơ hình 28 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z (2.3) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Dưới điều kiện quy khác nhau, chứng minh θˆ = θ0 + J −1 Un + Op (n−1/2 ) đó, Un = n−1 Pn i=1 u(Yi , θ0 ) Kí hiệu Zn = Op (n−1/2 ), nghĩa √ nZn = Op (1) hội tụ tới theo xác suất Từ định lý giới hạn trung tâm có hội tụ theo phân phối √ d nUn → − U ∼ Np (0, K ) Kết hợp với suy √ d n(θˆ − θ0 ) → − J −1 U = Np (0, J −1 KJ −1 ) b Trường hợp hồi quy Các mơ hình hồi quy bao gồm quan sát (xi , Yi ) Ký hiệu g (y|x) mật độ thật cho Y |x Mơ hình tham số sử dụng mật độ f (y|x, θ), loga hàm hợp lý `n (θ) = n X log f (yi |xi , θ) i=1 Giả sử xa có số phân phối covarian sở C mà tạo vectơ R Pn covarian x1 , , xn Khi a ( x ) hội tụ tới a(x)dC (x), với hàm a i i=1 n cho tích phân tồn loga hàm hợp lý Z Z `n (θ) → g (y|x) log f (y|x, θ)dydC (x) n Đối với vectơ covarian x cho, khoảng cách Kullback - Leibler xác định sau Z KLx (g (.|x), f (.|x, θ)) = g (y|x) log g (y|x) dy f (y|x, θ) Một cách đầy đủ khoảng cách Kullback - Leibler đạt tích phân KLx theo phân phối covarian Z Z KL(g, fθ ) = g (y|x) log 29 g (y|x) dydC (x) f (y|x, θ) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Ước lượng hợp lý cực đại θˆ có xu hướng hội tụ hầu chắn tới giá trị tham số sai số nhỏ mà cực tiểu KL(g, fθ ) Để đưa kết quả, ta cần hàm điểm số p × hàm ma trận thơng tin p × p mơ hình u(y|x, θ) = ∂ log f (y|x, θ) ∂ log f (y|x, θ) I (y|x, θ) = ∂θ ∂θ∂θt Cho θ0,n giá trị tham số sai số nhỏ liên quan với mật độ g (y|x) Xác định ma trận Jn = −n −1 Kn = n−1 n Z X g (y|xi )I (y|xi , θ0,n )dy, i=1 n X V arg u(Y |xi , θ0,n ); i=1 mơ hình hồi quy tương đồng J K Dưới điều kiện chất loại tuyến tính có hội tụ theo xác suất Jn Kn tới giới hạn J K √ nUn = n −1/2 n X u(Yi |xi , θ0,n ) i=1 hội tụ theo phân phối tới U ∼ Np (0, K ) Một đại diện quan trọng cho ước lượng hợp lý cực đại √ √ n(θˆ − θ0,n ) = Jn−1 nUn + Op (1) mà dẫn đến phân phối giới hạn chuẩn, chí mơ hình giả định khơng mơ hình thật, √ d n(θˆ − θ0,n ) → − J −1 U ∼ Np (0, J −1 KJ −1 ) Các ước lượng cho Jn Kn Jˆn = −n−1 ∂ `n (θˆ)/∂θ∂θt = −n−1 n X I (yi |xi , θˆ) i=1 Kˆn = n−1 n X u(yi |xi , θˆ)u(yi |xi , θˆ)t i=1 30 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z (2.4) 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Chú ý Jn = Kn mơ hình giả định với mơ hình thật trường hợp Jˆn Kˆn ước lượng ma trận Ví dụ: Hồi quy tuyến tính chuẩn Giả sử Yi = xti β + σεi với β vectơ p - chiều hệ số hồi quy, ε1 , , εn độc lập phân phối Hàm hợp lý − Ln (σ ) = √ e (σ 2π )n Pn t i=1 (yi −xi β ) 2σ Khi loga hàm hợp lý `n (σ ) = n X {− (yi − xti β )2 /σ − ln σ − i=1 ln(2π )} Giả sử εi khơng thiết chuẩn có trung bình 0, độ lệch chuẩn Sau tính toán dẫn đến P n 0 J= 2 σ P Kn = với P n = n−1 Pn t i=1 xi xi , k3 σ2 n k3 xtn k3 xn + k4 = Eε3i k4 = Eε4i − Ví dụ: Hồi quy Poisson Xem xét mơ hình hồi quy Poisson cho liệu độc lập Y1 , , Yn số hạng vectơ covarian p - chiều x1 , , xn mà Yi Poisson với tham số ξi = exp(xti β ) Ta có f (Yi |xi , β ) = 31 e−ξi (ξi )Yi Yi ! 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 ⇒ ln f (Yi |xi , β ) = −ξi + Yi ln ξi − ln Yi ! = − exp(xti β ) + Yi (xti β ) − ln Yi ! ⇒ u(Yi |xi , β ) = ∂ ln f (Yi |xi , β ) = −xti exp(xti β ) + Yi xti , ∂β ∂ ln f (Yi |xi , β ) = − exp(xti β )xi xti ∂β∂β ⇒ I (Yi |xi , β ) = − exp(xti β )xi xti ⇒ Jˆn = −n−1 n X I (Yi |xi , βˆ) = n−1 n X ξˆi xi xti , i=1 i=1 đó, ξˆi = exp(xti βˆ) Ước lượng cho Kn ˆ n = n−1 K = n−1 n X u(Yi |xi , βˆ)u(Yi |xi , βˆ)t i=1 n X (Yi − ξˆi )2 xi xti i=1 Khi mơ hình giả định mơ hình thật ma trận ước lượng 2.1.3 Định nghĩa AIC Đối với mơ hình tham số M, tiêu chuẩn thông tin Akaike (AIC) xác định sau AIC(M ) = 2`n (θˆ) − 2length(θ) = 2`n,max − 2length(θ) (2.5) length(θ) số tham số ước lượng mơ hình, `n,max cực đại loga hàm hợp lý Ví dụ: Phân phối mũ Weibull Mơ hình Weibull có hàm phân phối tích lũy F (y, θ, γ ) = − exp{−(θy )γ }, ∀y > 32 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Mật độ đạo hàm hàm phân phối tích lũy, f (y, θ, γ ) = exp{−(θy )γ }θγ γ.y γ−1 Hàm hợp lý Ln (y, θ, γ ) = e−θ γ Pn i=1 yiγ θnγ γ n Qn i=1 yiγ−1 ⇒ `n (y, θ, γ ) = ln Ln (y, θ, γ ) = −θγ n X yiγ + nγ ln θ + n ln γ + (γ − 1) n X ln yi i=1 i=1 ˆ γˆ) − ⇒ AIC(wei) = 2`n (y, θ, =2 n X ˆ i )γˆ + γˆ ln θˆ + ln γˆ + (ˆ {−(θy γ − 1) ln yi } − i=1 Chú ý với γ = tương ứng với mơ hình đơn giản mơ hình mũ Khi đó, ta có AIC (exp) = n X (ln θe − θeyi ) − i=1 ˆ γˆ) ước lượng θe ước lượng hợp lý cực đại cho θ mơ hình mũ, (θ, hợp lý cực đại mơ hình Weibull Mơ hình với giá trị lớn AIC chọn thích hợp cho liệu Ví dụ: Hồi quy tuyến tính Mơ hình hồi quy tuyến tính truyền thống cho phân tích liệu yi mối quan hệ với vectơ covarian xi = (xi,1 + + xi,p )t , với i = 1, , n đưa đến Yi = xi,1 β1 + + xi,p βp + εi với i = 1, , n; ε1 , , εn độc lập từ phân phối chuẩn N (0, σ ) β = (β1 , , βp )t vectơ hệ số hồi quy Thơng thường, xi,j nói 1, β1 tham số bị chặn Mơ hình viết gọn dạng ma trận Y = Xβ + ε, Y = (Y1 , , Yn )t ; ε = (ε1 , , εn )t X ma trận cỡ n × p, có 33 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 z
Ngày đăng: 05/09/2023, 01:02
Xem thêm: