Sự hội tụ của tổng các biến ngẫu nhiên và áp dụng cho mô hình hồi quy tuyến tính đơn

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TĂNG THỊ NGỌC QUỲNH SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU NHIÊN VÀ ÁP DỤNG CHO MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TĂNG THỊ NGỌC QUỲNH SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU NHIÊN VÀ ÁP DỤNG CHO MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN Chuyên ngành: Lý thuyết xác suất thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Tạ Công Sơn Hà Nội - Năm 2017 LỜI CẢM ƠN Em xin chân thành bày tỏ lòng biết ơn sâu sắc Thầy Cô giảng dạy cho em suốt trình em học tập trường Những kiến thức quý báu mà Thầy Cô trang bị cho em hành trang giúp em vững bước đường sau Đặc biệt em xin gửi lời cảm ơn sâu sắc tới Thầy giáo, Tiến sĩ Tạ Công Sơn, Thầy trực tiếp hướng dẫn em hoàn thành luận văn tốt nghiệp Em muốn gửi lời cảm ơn sâu sắc tới anh chị, bạn bè đặc biệt tới gia đình, người ln kịp thời hỗ trợ động viên em lúc khó khăn Mục lục Chương Kiến thức chuẩn bị 1.1 Một số khái niệm 1.2 Một số bổ đề quan trọng 1.3 Mơ hình hồi quy tuyến tính đơn 11 1.4 Mô hình hồi quy EV tuyến tính đơn 13 Ước lượng bình phương cực tiểu θ β Hiệu βˆn β, θˆn θ 14 1.4.1 1.4.2 Chương Định lý giới hạn 16 19 2.1 Sự hội tụ hoàn toàn tổng biến ngẫu nhiên NSD 19 2.2 Sự hội tụ hầu chắn tổng biến ngẫu nhiên NSD 31 Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy EV tuyến tính đơn 3.1 Áp dụng định lí hội tụ hồn tồn cho dãy NSD vào mơ hình hồi quy EV tuyến tính đơn 3.2 43 43 Áp dụng định lí hội tụ hầu chắn cho dãy NSD vào mơ hình hồi quy EV tuyến tính đơn Tài liệu tham khảo 53 68 LỜI MỞ ĐẦU Phân tích hồi quy phương pháp phân tích thống kê để dự đốn giá trị biến phụ thuộc (biến đáp ứng) theo tập hợp biến độc lập (các biến dùng để dự báo) Mơ hình hồi quy EV (sai số biến) Deaton (1985) đưa để sửa lại ảnh hưởng lỗi lấy mẫu thực tế mơ hình hồi quy bình thường Ý luận văn tính vững hồn tồn tính vững mạnh ước lượng βˆn θˆn cho tham số chưa biết β θ giả định hai dãy sai số {δi , i ≥ 1}, {εi , i ≥ 1} hai dãy biến ngẫu nhiên NSD Luận văn trình bày hội tụ tổng biến ngẫu nhiên áp dụng cho mơ hình hồi quy tuyến tính đơn Luận văn gồm chương: ❼ Chương Kiến thức chuẩn bị Nội dung chương bao gồm kiến thức liên quan tới đề tài : – Một số định nghĩa: Dãy NSD, dãy bị chặn ngẫu nhiên, định nghĩa hội tụ hoàn toàn hội tụ hầu chắn – Một số bổ đề quan trọng: Các tính chất dãy NSD, dãy bị chặn ngẫu nhiên – Mơ hình hồi quy tuyến tính đơn cổ điển – Mơ hình hồi quy EV tuyến tính đơn ❼ Chương Định lý giới hạn Tiếp theo nội dung Chương trình bày hai phần chính: – Định lý hội tụ hoàn toàn tổng biến ngẫu nhiên NSD – Định lý hội tụ hầu chắn tổng biến ngẫu nhiên NSD ❼ Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy đơn Chương cuối trình bày định lý áp dụng hội tụ tổng biến ngẫu nhiên NSD cho mô hình hồi quy EV tuyến tính đơn Cụ thể: – Chứng minh tính vững hồn tồn ước lượng bình phương tối thiểu cho tham số chưa biết β θ – Chứng minh tính vững mạnh ước lượng bình phương tối thiểu cho tham số chưa biết β θ Mục đích học viên tìm hiểu trình bày lại kiến thức hội tụ từ tài liệu báo khoa học trích dẫn trang cuối luận văn Vì hiểu biết thời gian cịn hạn chế, luận văn em khơng thể tránh khỏi thiếu sót Em mong nhận dẫn tận tình Thầy Cơ, ý kiến đóng góp bạn luận văn em hoàn thiện Hà Nội, ngày 31 tháng 10 năm 2017 Học viên Tăng Thị Ngọc Quỳnh Chương Kiến thức chuẩn bị 1.1 Một số khái niệm Cho (Ω, F, P) không gian xác suất {Xn , n ≥ 1} dãy biến ngẫu nhiên định nghĩa khơng gian xác suất Ta bắt đầu với số khái niệm Định nghĩa 1.1.1 ([9, trang 167]) Hàm φ : Rn → R gọi siêu cộng tính (superadditive) φ(x ∨ y) + φ(x ∧ y) ≥ φ(x) + φ(y) ∀x, y ∈ Rn , ∨ kí hiệu lấy giá trị lớn thành phần, ∧ kí hiệu lấy giá trị nhỏ thành phần Ví dụ 1.1.2 Các hàm đơn điệu (tăng, giảm) hàm siêu cộng tính Xét φ : R2 → R xác định sau: φ(x1 , x2 ) = x1 + x2 Khi với x = (x1 , x2 ) ∈ R2 , y = (y1 , y2 ) ∈ R2 cho x1 < y1 , x2 < y2 hàm φ hàm siêu cộng tính Định nghĩa 1.1.3 ([9, trang 167]) Véc-tơ ngẫu nhiên X = (X1 , X2 , , Xn ) gọi NSD (negatively superadditive dependent) Eφ(X1 , X2 , , Xn ) ≤ Eφ(X1∗ , X2∗ , , Xn∗ ) , (1.1) X1∗ , X2∗ , , Xn∗ độc lập cho Xi∗ Xi có phân bố với i φ hàm siêu cộng tính cho kì vọng (1.1) tồn Qua định nghĩa biến ngẫu nhiên NSD ta thấy dãy biến ngẫu nhiên độc lập dãy NSD Ví dụ 1.1.4 Cho {Zn , n ≥ 1} dãy biến ngẫu nhiên độc lập phân bố N (0, 1) Đặt Xn = Zn − Zn+1 với n ≥ Khi {Xn , n ≥ 1} dãy biến ngẫu nhiên phân bố N (0, 2) Ta thấy Cov(Zn − Zn+1 , Zn+1 − Zn+2 ) = E((Zn − Zn+1 )(Zn+1 − Zn+2 )) − E(Zn − Zn+1 )E(Zn+1 − Zn+2 ) = − EZn+1 = − (DZn+1 + (EZn+1 )2 ) = −1 < , suy {Xn , n ≥ 1} dãy biến ngẫu nhiên liên kết âm Do {Xn , n ≥ 1} dãy NSD Định nghĩa 1.1.5 ([9, trang 168]) Một dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi NSD với n ≥ 1, (X1 , X2 , , Xn ) NSD Một mảng biến ngẫu nhiên {Xni , i ≥ 1, n ≥ 1} gọi NSD theo hàng với n ≥ 1, {Xni , i ≥ 1} NSD Định nghĩa 1.1.6 ([9, trang 170]) Dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi bị chặn ngẫu nhiên biến ngẫu nhiên X tồn C > cho P (|Xn | > x) ≤ CP (|X| > x) Định nghĩa 1.1.7 ([9, trang 167]) Một dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi hội tụ hoàn toàn tới số θ ∞ P (|Xn − θ| > ε) < ∞, ∀ε > n=1 Định nghĩa 1.1.8 ([2, trang 81]) Cho dãy {Xn , n ≥ 1} biến ngẫu nhiên (i) Nếu P {ω : ∃ lim Xn (ω)} = ta nói dãy {Xn , n ≥ 1} hội tụ hầu n→∞ chắn (ii) Nếu X biến ngẫu nhiên P {ω : lim Xn (ω) = X(ω)} = ta n→∞ nói dãy {Xn , n ≥ 1} hội tụ hầu chắn tới X 1.2 Một số bổ đề quan trọng Bổ đề 1.2.1 ([2, trang 82]) (i) Điều kiện cần đủ để dãy {Xn , n ≥ 1} hội tụ hầu chắn với ε > lim P ( sup |Xm − Xk | > ε) = n→∞ (1.2) m,k≥n Điều kiện (1.2) tương đương với lim P ( sup |Xm − Xn | > ε) = n→∞ (1.3) m≥n (ii) Điều kiện cần đủ để dãy {Xn , n ≥ 1} hội tụ hầu chắn tới Xlà với ε > lim P ( sup |Xn − X| > ε) = n→∞ (1.4) m≥n Bổ đề 1.2.2 [Bổ đề Borel - Cantelli] Cho A1 , A2 , , An , dãy biến cố không gian xác suất Nếu tổng xác suất (An ) hữu hạn, tức ∞ P (An ) < ∞ xác suất để chúng xảy vơ hạn không, nghĩa n=1 ∞ P ( lim supAi ) = (hay P ( n→∞ i≥n Nhận xét 1.2.3 Ai ) = 0) n=1 i≥n ❼ Theo Định nghĩa 1.1.7, (ii) Bổ đề 1.2.1 Bổ đề Borel C - Cantelli ta suy Xn − → θ Xn → θ h.c.c Điều ngược lại Xn dãy biến ngẫu nhiên độc lập p C ❼ Qua định nghĩa dãy hội tụ hồn tồn, suy Xn − → θ Xn → − θ C Bổ đề 1.2.4 Cho dãy {Xn , n ≥ 1} biến ngẫu nhiên Nếu Xn − → an → C Xn + an − → Chứng minh Với ε > bất kỳ, ta cần chứng minh ∞ P (|Xn + an | > ε) n=1 Do an → nên ∃n0 , ∀n > n0 |an | < 2ε Từ đó, ta thấy |Xn + an | ≤ |Xn | + |an | ε < |Xn | + Vậy |Xn + an | > ε ⇒ |Xn | > ε Ta có ∞ ∞ n0 P (|Xn + an | > ε) = n=1 P (|Xn + an | > ε) + n=1 P (|Xn + an | > ε) n=n0 +1 ∞ ≤n0 + n=1 ε P (|Xn | > ) < ∞ Bổ đề 1.2.5 ([5, trang 134-135]) Giả sử (X1 , X2 , , Xn ) NSD Ta có (i) (−X1 , −X2 , , −Xn ) NSD (ii) Nếu g1 , g2 , , gn hàm khơng giảm, (g1 (X1 ), g2 (X2 ), , gn (Xn )) NSD Bổ đề 1.2.6 ([5, trang 134-135]) Giả sử X = (X1 , X2 , , Xn ) Z = (Z1 , Z2 , , Zn ) vectơ ngẫu nhiên độc lập Nếu X Z NSD (X1 + Z1 , X2 + Z2 , , Xn + Zn ) NSD Bổ đề 1.2.7 ([9, trang 169]) Giả sử X = (X1 , X2 , , Xn ) Z = (Z1 , Z2 , , Zn ) vectơ ngẫu nhiên độc lập Nếu X Z NSD đó: ∀β ∈ R : (X1 + βZ1 , X2 + βZ2 , , Xn + βZn ) NSD Chứng minh Ta xét ba trường hợp ❼ β = suy (X1 , X2 , , Xn ) NSD ❼ β > suy g(x) = βx hàm không giảm; từ (ii) Bổ đề 1.2.5 suy (βZ1 , βZ2 , , βZn ) NSD, từ Bổ đề 1.2.6 suy (X1 + βZ1 , X2 + βZ2 , , Xn + βZn )) NSD √ Sn ˆ h.c.c ( β − β) − −→ n nτ (3.28) n1−τ √ → 0, Sn (3.29) Trường hợp p > 2, ta có (3.28) Chứng √ minh Dựa vào (1.19) ta có Sn ˆ (βn − β) nτ = √ τ( Sn n n i=1 (xi − x¯n )(εi − βδi ) + n i=1 (δi n i=1 (ξi Sn − δ¯n )εi − β n i=1 (δi − δ¯n )2 ) − ξ¯n )2 Để chứng minh (3.28) ta ra: n √ Sn nτ √ Sn nτ √ Sn nτ h.c.c (δi − δ¯n )2 −−→ 0, (3.30) i=1 n h.c.c (δi − δ¯n )εi −−→ 0, (3.31) i=1 n h.c.c (xi − x¯n )(εi − βδi ) −−→ 0, (3.32) i=1 Sn n h.c.c (ξi − ξ¯n )2 −−→ (3.33) i=1 Trường hợp p = Bước 1: Để chứng minh (3.30), ta J1n =√ Sn nτ J2n =√ Sn nτ n h.c.c δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) −−→ (3.34) i=1 n h.c.c δi2 I(δi < 0) − Eδi2 I(δi < 0) −−→ (3.35) i=1 (theo Bổ đề 1.2.5 ta có {δn2 I(δn ≥ 0), n ≥ 1} {δn2 I(δn < 0), n ≥ 1} hai dãy NSD) 54 Vì {δi , i ≥ 1} dãy NSD, xét hàm gi (xi ) = x2i I(xi > 0) − hàm không giảm Áp dụng Bổ đề 1.2.7 ⇒ gi (δi ) = δi2 I(δi > 0) − dãy NSD ⇒ {δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0), i ≥ 1} dãy NSD Áp dụng phần (3) Định lí 2.2.1 với Xi = δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) bni = √ τ, Sn n giả thiết E|δ1 |p < ∞ với p ≥ (3.27): (i) E|X1 |2 ≤ CE|δ1 |4 < ∞; Thật vậy, áp dụng bất đẳng thức Jensen với hàm lồi f = x2 |X1 |2 = |δ12 I(δ1 ≥ 0) − Eδ12 I(δ1 ≥ 0)|2 ≤ C |δ1 |4 I(δ1 ≥ 0) + |Eδ12 I(δ1 ≥ 0)|2 ≤ C |δ1 |4 I(δ1 ≥ 0) + E|δ1 |4 I(δ1 ≥ 0) Do |δ1 |4 > nên E|δ1 |4 I(δ1 ≥ 0) ≤ E|δ1 |4 ⇒ E|X1 |2 ≤ 2CE|δ1 |4 I(δ1 ≥ 0) ≤ CE|δ1 |4 (ii) max |bni | = √ 1≤i≤n n1+γ n1−τ +γ 1 √ √ 1/2 = O(n−1/2 ); ≤ = √ τ τ Sn n Sn n n Sn n (iii) n n b2ni i=1 = i=1 n−2τ n−2τ = n Sn Sn ≤ n1+2γ n1−2τ √ γ n Sn = n1−τ +γ √ Sn = O(n−γ ) γ n với (γ > 0) Thấy điều kiện phần (3) Định lí 2.2.1 với p = thỏa mãn Từ ta có (3.34) Chứng minh hồn tồn tương tự ta có (3.35) Chú ý Eδ12 < ∞ E|δ1 |p < ∞ với p ≥ đó, ta có: √ Sn nτ n i=1 n (δi − δ¯n )2 = √ Sn nτ =√ n δi2 − 2δ¯n i=1 n Sn nτ i=1 δi2 − nδ¯n2 i=1 55 δi + nδ¯n2 ≤√ Sn nτ =√ Sn nτ n δi2 i=1 n (δi2 − Eδi2 ) + i=1 √ Sn nτ n Eδi2 i=1 n Eδ12 = J1n + J2n + √ τ Sn n Suy √ Sn nτ n i=1 n1−τ (δi − δ¯n )2 ≤ J1n + J2n + √ Eδ12 Sn (3.36) n1−τ → nên ∀ε > 0, Từ (3.27) suy √ Sn n1−τ ε √ Eδ1 < với n đủ lớn Sn (3.37) Từ (3.34)- (3.37), suy √ Sn nτ n h.c.c (δi − δ¯n )2 −−→ 0, i=1 chứng minh xong (3.30) Bước 2: Chứng minh (3.31) Tương tự ta chứng minh √ Sn nτ n h.c.c (εi − ε¯n )2 −−→ (3.38) i=1 Thật vậy, chứng minh (3.38) ta T1n =√ Sn nτ T2n =√ Sn nτ n h.c.c ε2i I(εi ≥ 0) − Eε2i I(εi ≥ 0) −−→ (3.39) i=1 n h.c.c ε2i I(εi < 0) − Eε2i I(εi < 0) −−→ (3.40) i=1 (theo Bổ đề 1.2.5 ta có {ε2n I(εn ≥ 0), n ≥ 1} {ε2n I(εn < 0), n ≥ 1} hai dãy NSD) Vì {εi , i ≥ 1} dãy NSD, xét hàm gi (xi ) = x2i I(xi > 0) − hàm không giảm Áp dụng Bổ đề 1.2.7 ⇒ gi (εi ) = ε2i I(εi > 0) − dãy NSD 56 ⇒ {ε2i I(εi ≥ 0) − Eε2i I(εi ≥ 0), i ≥ 1} dãy NSD Áp dụng phần (3) Định lí 2.2.1 với Xi = ε2i I(εi ≥ 0) − Eε2i I(εi ≥ 0) bni = √ τ, Sn n giả thiết E|ε1 |p < ∞ với p ≥ (3.27): (i) E|X1 |2 ≤ CE|ε1 |4 < ∞; Thật vậy, áp dụng bất đẳng thức Jensen với hàm lồi f = x2 |X1 |2 = |ε21 I(ε1 ≥ 0) − Eε21 I(ε1 ≥ 0)|2 ≤ C |ε1 |4 I(ε1 ≥ 0) + |Eε21 I(ε1 ≥ 0)|2 ≤ C |ε1 |4 I(ε1 ≥ 0) + E|ε1 |4 I(ε1 ≥ 0) Do |ε1 |4 > nên E|ε1 |4 I(ε1 ≥ 0) ≤ E|ε1 |4 ⇒ E|X1 |2 ≤ 2CE|ε1 |4 I(ε1 ≥ 0) ≤ CE|ε1 |4 n1+γ n1−τ +γ 1 ≤√ = O(n−1/2 ); (ii) max |bni | = √ √ = √ 1≤i≤n Sn nτ Sn nτ n Sn n1/2 (iii) n n b2ni i=1 = i=1 n−2τ n−2τ = n Sn Sn ≤ n1+2γ n1−2τ √ γ n Sn = n1−τ +γ √ Sn = O(n−γ ) nγ với (γ > 0) Thấy điều kiện phần (3) Định lí 2.2.1 với p = thỏa mãn Từ ta có (3.39) Chứng minh hồn tồn tương tự ta có (3.40) Chú ý Eε21 < ∞ E|ε1 |4p < ∞ với p > đó, ta có: √ Sn nτ n n (εi − ε¯n ) = √ Sn nτ n i=1 =√ Sn nτ ≤√ Sn nτ ε2i i=1 n i=1 ε2i − n¯ ε2n i=1 n ε2i i=1 57 εi + n¯ ε2n − 2¯ εn n =√ Sn nτ (ε2i − Eε2i ) + i=1 √ Sn nτ n Eε2i i=1 n Eε21 = T1n + T2n + √ Sn nτ Suy n √ Sn nτ i=1 n1−τ (εi − ε¯n )2 = T1n + T2n + √ Eε21 Sn (3.41) n1−τ → nên ∀ r > 0, Theo giả thiết √ Sn n1−τ r √ Eε1 < với n đủ lớn Sn (3.42) Từ (3.39)- (3.42), suy √ Sn nτ n h.c.c (δi − δ¯n )2 −−→ 0, i=1 chứng minh xong (3.38) Chú ý n n (δi − δ¯n )εi = i=1 n (δi − δ¯n )(εi − ε¯n ) i=1 (δi − δ¯n )¯ εn = ⇔ i=1 n δi − nδ¯n ) = ⇔ ε¯n ( i=1 n ⇔ ε¯n ( i=1 δi − n n n δi ) = (đúng) i=1 Áp dụng bất đẳng thức Cauchy ta có n n (δi − δ¯n )εi = i=1 (δi − δ¯n )(εi − ε¯n ) i=1 ≤ n n (δi − δ¯n ) + i=1 58 (εi − ε¯n )2 i=1 kết hợp (3.30) (3.38) ta chứng minh xong (3.31) Bước 3: Chứng minh (3.33) Áp dụng bất đẳng thức Cauchy, ∀r > 0, n n n |xi − x¯n | · |δi − δ¯n | ≤ (δi − δ¯n )2 (xi − x¯n ) · i=1 i=1 i=1 n r ≤ Sn + 2r (δi − δ¯n )2 i=1 Suy n n n (ξi − ξ¯n ) − Sn = (ξi − ξ¯n ) − i=1 i=1 n (xi − x¯n )2 i=1 (ξi − ξ¯n )2 − (xi − x¯n )2 = i=1 n (ξi − ξ¯n + xi − x¯n )(xi − x¯n − xi + x¯n ) = i=1 n (2xi − 2¯ xn + δi − δ¯n )(δi − δ¯n ) = i=1 n n (xi − x¯n )(δi − δ¯n ) + = i=1 ≤2 i=1 r Sn + 2r = rSn + (δi − δ¯n )2 r+1 r n n (δi − δ¯n )2 i=1 n (δi − δ¯n )2 + i=1 (δi − δ¯n )2 i=1 Vậy ta suy bất đẳng thức sau n i=1 r+1 (ξi − ξ¯n )2 − Sn ≤ rSn + r n (δi − δ¯n )2 i=1 √ Kết hợp nτ / Sn = O(1), (3.30) (3.43) ta có Sn n i=1 (ξi − ξ¯n )2 − = Sn n (ξi − ξ¯n )2 − Sn i=1 59 (3.43) r+1 ≤ rSn + Sn r n (δi − δ¯n )2 i=1 1 + r nτ √ √ =r+ r Sn Sn nτ n (δi − δ¯n )2 i=1 −→ r h.c.c Vậy, với r > bất kì, ta có Sn n h.c.c (ξi − ξ¯n )2 − −−→ ( chứng minh xong i=1 (3.33) ) Bước 4: Chứng minh (3.32) Kí hiệu xi − x¯n , bni = √ Sn nτ Xi = εi − βδi Vì {εi }i≥1 {δi }i≥1 dãy NSD nên theo Bổ đề 1.2.7 suy {Xi , i ≥ 1} dãy NSD Hơn nữa, ta có E|ε1 |p < ∞, E|δ1 |p < ∞ (p ≥ 2) nên với trường hợp p=2 |X1 |2 = |ε1 − βδ1 |2 ≤ C(|ε1 |2 + |βδ1 |2 ) ⇒ E|X1 |2 ≤ CE|ε1 |2 + CE|βδ1 |2 < ∞ Theo giả thiết định lí ta có xi − x¯n n−1/p max |bni | = max √ 1≤i≤n 1≤i≤n Sn nτ n−1/p |xi − x¯n | n−1/p = max √ 1≤i≤n Sn nτ −1/p = O n−1/p n n b2ni = i=1 i=1 = , (xi − x¯n )2 Sn n2τ 1 ≤ C = O(n−τ ), (τ > đó) 2τ τ n n Theo điều kiện Định lí 2.2.1 thỏa mãn Áp dụng Định lí 2.2.1 suy √ Sn nτ n h.c.c (xi − x¯n )(εi − βδi ) −−→ i=1 60 Chứng minh xong (3.32) Trường hợp p ∈ (2, 4] Bước 5: Chọn < γ < − 2 ta có < − τ + γ < − τ Từ (3.29), ta có p p n p −τ +γ √ → Sn Tồn γ1 > 0, chọn 2γ1 = γ, ta có p 2γ1 n p −τ + p √ →0 Sn 2γ1 ⇔ n p −τ + p √ Sn 2/p →0 p ⇔ n1− τ +γ1 p/4 →0 Sn p ⇔ Do n1− τ p Sn4 n−γ1 →0 p n1− τ p/4 Sn = o(n−γ1 ) (3.44) Với p ∈ (2, 4], áp dụng phần (3) Định lí 2.2.1 với p := p2 , < Xét Xi = δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) bni = √ τ, Sn n Thật vậy, áp dụng bất đẳng thức Jensen với hàm lồi f = xp/2 |X1 |p/2 = |δ12 I(δ1 ≥ 0) − Eδ12 I(δ1 ≥ 0)|p/2 ≤ C |δ1 |p I(δ1 ≥ 0) + |Eδ12 I(δ1 ≥ 0)|p/2 ≤ C (|δ1 |p I(δ1 ≥ 0) + E|δ1 |p I(δ1 ≥ 0)) ⇒ E|X1 |p/2 ≤ 2CE|δ1 |p I(δ1 ≥ 0) ≤ CE|δ1 |p < ∞ max |bni | = √ 1≤i≤n Sn nτ 61 ≤ giả thiết E|δ1 |p < ∞ với p ≥ (3.44) Kiểm tra điều kiện định lí Do |δ1 |p > nên E|δ1 |p I(δ1 ≥ 0) ≤ E|δ1 |p p p/2 ≤ 1/2 Sn nτ n1−2/p ≤ p p Sn4 n τ p n1− τ = p/4 2/p = O(n−2/p ) , n Sn n n p/2 (bni ) = i=1 i=1 = n p/2 √ Sn nτ p p Sn n τ p = n1− τ = o(n−γ1 ) = O(n−γ1 ) p/4 Sn Thấy điều kiện phần (3) Định lí 2.2.1 thỏa mãn Từ ta có V1n =√ Sn nτ n h.c.c δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) −−→ (3.45) i=1 Chứng minh hoàn toàn tương tự ta có V2n =√ Sn nτ n h.c.c δi2 I(δi < 0) − Eδi2 I(δi < 0) −−→ (3.46) i=1 Chú ý Eδ12 < ∞ E|δ1 |p < ∞ với p ≥ đó, ta có: √ Sn nτ n n (δi − δ¯n ) = √ Sn nτ n i=1 =√ Sn nτ ≤√ Sn nτ =√ Sn nτ δi2 δi + nδ¯n2 − 2δ¯n i=1 n i=1 δi2 − nδ¯n2 i=1 n δi2 i=1 n (δi2 − Eδi2 ) + i=1 n = V1n + V2n + √ Eδ12 Sn nτ 62 √ Sn nτ n Eδi2 i=1 Suy √ Sn nτ n1−τ Từ √ Sn n i=1 n1−τ 2 ¯ (δi − δn ) ≤ V1n + V2n + √ Eδ1 Sn (3.47) → nên ∀ε > 0, n1−τ ε √ Eδ1 < với n đủ lớn Sn (3.48) Từ (3.44)- (3.48), suy √ Sn nτ n h.c.c (δi − δ¯n )2 −−→ 0, i=1 chứng minh xong (3.30) Bước 6: Chứng minh (3.32) Kí hiệu xi − x¯n bni = √ , Sn nτ Xi = εi − βδi Vì {εi }i≥1 {δi }i≥1 dãy NSD nên theo Bổ đề 1.2.7 suy {Xi , i ≥ 1} dãy NSD Hơn nữa, ta có E|ε1 |p < ∞, E|δ1 |p < ∞ (p ≥ 2) nên với trường hợp p > Áp dụng phần (1) Định lí 2.2.1 |X1 |p = |ε1 − βδ1 |p ≤ C(|ε1 |p + |βδ1 |p ) ⇒ E|X1 |p ≤ CE|ε1 |p + CE|βδ1 |p < ∞ Theo giả thiết định lí ta có xi − x¯n n−1/p max |bni | = max √ 1≤i≤n 1≤i≤n Sn nτ n−1/p |xi − x¯n | n−1/p = max √ 1≤i≤n Sn nτ −1/p = O n−1/p n n b2ni = i=1 i=1 = , (xi − x¯n )2 Sn n2τ 1 ≤ C = o((logn)−1 )) 2τ τ n n Theo điều kiện Định lí 2.2.1 thỏa mãn √ Sn nτ n h.c.c (xi − x¯n )(εi − βδi ) −−→ i=1 63 Chứng minh xong (3.32) Kết hợp bước bước ta có √ Sn ˆ h.c.c (βn − β) −−→ τ n Trường hợp p > Bước 7: Để chứng minh (3.30), ta U1n =√ Sn nτ =√ Sn nτ U2n n h.c.c δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) −−→ (3.49) i=1 n h.c.c δi2 I(δi < 0) − Eδi2 I(δi < 0) −−→ (3.50) i=1 Áp dụng phần (1) Định lí 2.2.1 với Xi = δi2 I(δi ≥ 0) − Eδi2 I(δi ≥ 0) bni = √ τ, Sn n giả thiết E|δ1 |p < ∞, (p ≥ 2) (3.29): (i) E|X1 |p ≤ CE|δ1 |2p < ∞; Thật vậy, áp dụng bất đẳng thức Jensen với hàm lồi f = x2p , p > |X1 |p = |δ12 I(δ1 ≥ 0) − Eδ12 I(δ1 ≥ 0)|p ≤ C |δ1 |2p I(δ1 ≥ 0) + |Eδ12 I(δ1 ≥ 0)|p ≤ C |δ1 |2p I(δ1 ≥ 0) + E|δ1 |2p I(δ1 ≥ 0) Do |δ1 |2p > nên E|δ1 |2p I(δ1 ≥ 0) ≤ E|δ1 |2p ⇒ E|X1 |p ≤ 2CE|δ1 |2p I(δ1 ≥ 0) ≤ CE|δ1 |2p n1−1/p n1−τ (ii) max |bni | = √ ≤√ = √ 1/p = O(n−1/p ); τ τ 1≤i≤n Sn n Sn n Sn n n n b2ni (iii) i=1 = i=1 n−2τ n−2τ = n = Sn Sn n1−τ √ Sn = o((logn)−1 ) n Thấy điều kiện Định lí 2.2.1 thỏa mãn Từ ta có (3.49) Chứng minh hồn tồn tương tự ta có (3.50) Theo ta dễ dàng có (3.30) Kết hợp bước 2, bước bước ta ta có √ Sn ˆ h.c.c ( β − β) − −→ n nτ 64 Tiếp theo tính vững mạnh ước lượng bình phương cực tiểu cho tham số chưa biết θ Định lý 3.2.2 Dưới giả định Định lí 3.2.1, ta có h.c.c nν (θˆn − θ) −−→ , (3.51) ν ∈ (0; 1/2) thỏa mãn nτ +ν √ |¯ xn | = O(1) Sn (3.52) Chứng minh Ta có nν (θˆn − θ) = nν (β − βˆn )¯ xn + (β − βˆn )δ¯n + ε¯n − β δ¯n = nν (β − βˆn )¯ xn + nν (β − βˆn )δ¯n + nν (¯ εn − β δ¯n ) Để chứng minh định lí ta h.c.c nν (¯ εn − β δ¯n ) −−→ , (3.53) h.c.c nν (β − βˆn )¯ xn −−→ , (3.54) h.c.c nν (β − βˆn )δ¯n −−→ (3.55) Bước 1: Chứng minh (3.53) Ta thấy n (¯ εn − β δ¯n ) = −ν n ν = = n n 1 n−ν n i=1 n εi − β n n δi i=1 (εi − βδi ) i=1 n n1−ν (εi − βδi ) i=1 1 Vì < ν < , p ≥ nên − ν − > p Trường hợp p = Áp dụng phần (3) Định lí 2.2.1 với bni = n1−ν , Xi = εi − βδi 65 Kiểm tra điều kiện n−1/p −1/p n max |bni | = n1−ν n−1/p = 1−1/p−ν = O n−1/p n 1≤i≤n n , n a2ni = n2−2ν i=1 = n1−2+2ν = 1−2ν = O(n−ν ), n (ν > 0) Theo điều kiện Định lí 2.2.1 thỏa mãn, suy n i=1 h.c.c n1−ν (εi − βδi ) −−→ Trường hợp p > Áp dụng phần (1) Định lí 2.2.1 với bni = Vì < ν < n1−ν Xi = εi − βδi , nên − 2ν > Kiểm tra điều kiện phần (1) n a2ni = i=1 n n2−2ν = n1−2−2ν = 1−2ν = o (logn)−1 n Nhận thấy điều kiện định lí thỏa mãn, suy ta chứng minh xong (3.53) Bước 2: Chứng minh (3.54) Kết hợp giả thiết (3.52) Định lí 3.2.1, ∀ε > 0, nν (β − βˆn )¯ xn = √ Sn nτ (β √ ⇒ nν |(β − βˆn )¯ xn | = τ +ν n − βˆn ) √ Sn x¯n τ +ν Sn ˆn | n √ |β − β |¯ xn | nτ Sn 66 √ ⇒ ≤ nν |(β − βˆn )¯ xn | ≤ Sn |β − βˆn | nτ √ Vì Sn ˆ h.c.c ( β − β) − −→ ,theo nguyên lý kẹp, ta có n nτ h.c.c nν (β − βˆn )¯ xn −−→ Chứng minh xong (3.54) Bước 3: Chứng minh (3.55) Áp dụng Định lí 2.2.1 với Xi = δi , bni = n1−ν , E|δ1 |p < ∞ (p ≥ 2) Theo chứng minh bước {bni , i ≤ 1, n ≤ 1} thỏa mãn điều kiện định lí nên ta có n1−ν n h.c.c δi −−→ (3.56) i=1 Kết hợp (3.56) giả thiết Định lí 3.2.1, ∀ε > 0, √ Sn nτ n (β − βˆn )δ¯n = τ (β − βˆn ) √ 1−ν n Sn n n ν δi i=1 Suy √ τ Sn ˆn ) √n (β − β nτ Sn n1−ν Do 0≤ √ n δi ≤ C i=1 √ nν |(β − βˆn )δ¯n | ≤ C Sn |β − βˆn | τ n √ Vì Sn ˆ h.c.c (βn − β) −−→ ,theo nguyên lý kẹp, ta có τ n h.c.c nν (β − βˆn )δ¯n −−→ Chứng minh xong (3.55) 67 Sn (β − βˆn ) nτ Tài liệu tham khảo Tiếng Việt [1] Đặng Hùng Thắng (2012), Mở đầu lí thuyết xác suất ứng dụng, Nhà xuất Giáo dục [2] Đặng Hùng Thắng (2013), Xác suất nâng cao, Nhà xuất Giáo dục [3] Nguyễn Văn Hữu, Nguyễn Hữu Dư (2003), Phân tích thống kê dự báo, Nhà xuất Đại học Quốc gia Hà Nội Tiếng Anh [4] Allan Gut (2004), Probability: A Graduate Course, Springer [5] Hu TZ (2000), "Negatively superadditive dependence of random variables with application", Chin J Appl Probab Stat, 16, pp.133-144 [6] Jing BY, Liang HY (2008), "Strong limit theorems for weighted sums of negatively associated random variables", J Theor Probab, 21(4), pp 890909 [7] Miao Y, Zhao FF, Wang K, Chen YP (2013), "Asymptotic normality and strong consistency of LS estimators in the EV regression model with NA errors", Stat Pap, 54, pp 193-206 [8] Shao QM (2000), "A comparison theorem on moment inequalities between negatively associated and independent random variables", J Theor Probab, 13, pp 343-355 [9] Wang XJ, Shen AT, Chen ZY, Hu SH (2015), "Complete convergence for weighted sums of NSD random variables and its application in the EV regression model", TEST, 24, pp 166 - 184 68