ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TĂNG THỊ NGỌC QUỲNH SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội Năm 2[.]
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TĂNG THỊ NGỌC QUỲNH SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU NHIÊN VÀ ÁP DỤNG CHO MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN LUẬN VĂN THẠC SĨ KHOA HỌC Hà Nội - Năm 2017 z ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN TĂNG THỊ NGỌC QUỲNH SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN Chun ngành: Lý thuyết xác suất thống kê toán học Mã số: 60460106 LUẬN VĂN THẠC SĨ KHOA HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC TS Tạ Công Sơn Hà Nội - Năm 2017 z LỜI CẢM ƠN Em xin chân thành bày tỏ lịng biết ơn sâu sắc Thầy Cơ giảng dạy cho em suốt trình em học tập trường Những kiến thức quý báu mà Thầy Cô trang bị cho em hành trang giúp em vững bước đường sau Đặc biệt em xin gửi lời cảm ơn sâu sắc tới Thầy giáo, Tiến sĩ Tạ Công Sơn, Thầy trực tiếp hướng dẫn em hoàn thành luận văn tốt nghiệp Em muốn gửi lời cảm ơn sâu sắc tới anh chị, bạn bè đặc biệt tới gia đình, người ln kịp thời hỗ trợ động viên em lúc khó khăn z Mục lục Chương Kiến thức chuẩn bị 1.1 Một số khái niệm 1.2 Một số bổ đề quan trọng 1.3 Mơ hình hồi quy tuyến tính đơn 11 1.4 Mơ hình hồi quy EV tuyến tính đơn 13 Ước lượng bình phương cực tiểu θ β Hiệu βˆn β, θˆn θ 14 1.4.1 1.4.2 Chương Định lý giới hạn 16 19 2.1 Sự hội tụ hoàn toàn tổng biến ngẫu nhiên NSD 19 2.2 Sự hội tụ hầu chắn tổng biến ngẫu nhiên NSD 31 Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy EV tuyến tính đơn 3.1 Áp dụng định lí hội tụ hồn tồn cho dãy NSD vào mơ hình hồi quy EV tuyến tính đơn 3.2 43 43 Áp dụng định lí hội tụ hầu chắn cho dãy NSD vào mơ hình hồi quy EV tuyến tính đơn Tài liệu tham khảo 53 68 z LỜI MỞ ĐẦU Phân tích hồi quy phương pháp phân tích thống kê để dự đoán giá trị biến phụ thuộc (biến đáp ứng) theo tập hợp biến độc lập (các biến dùng để dự báo) Mơ hình hồi quy EV (sai số biến) Deaton (1985) đưa để sửa lại ảnh hưởng lỗi lấy mẫu thực tế mơ hình hồi quy bình thường Ý luận văn tính vững hồn tồn tính vững mạnh ước lượng βˆn θˆn cho tham số chưa biết β θ giả định hai dãy sai số {δi , i ≥ 1}, {εi , i ≥ 1} hai dãy biến ngẫu nhiên NSD Luận văn trình bày hội tụ tổng biến ngẫu nhiên áp dụng cho mơ hình hồi quy tuyến tính đơn Luận văn gồm chương: Chương Kiến thức chuẩn bị Nội dung chương bao gồm kiến thức liên quan tới đề tài : – Một số định nghĩa: Dãy NSD, dãy bị chặn ngẫu nhiên, định nghĩa hội tụ hoàn toàn hội tụ hầu chắn – Một số bổ đề quan trọng: Các tính chất dãy NSD, dãy bị chặn ngẫu nhiên – Mơ hình hồi quy tuyến tính đơn cổ điển – Mơ hình hồi quy EV tuyến tính đơn Chương Định lý giới hạn Tiếp theo nội dung Chương trình bày hai phần chính: – Định lý hội tụ hoàn toàn tổng biến ngẫu nhiên NSD – Định lý hội tụ hầu chắn tổng biến ngẫu nhiên NSD Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy đơn Chương cuối trình bày định lý áp dụng hội tụ tổng biến ngẫu nhiên NSD cho mơ hình hồi quy EV tuyến tính đơn Cụ thể: z – Chứng minh tính vững hồn tồn ước lượng bình phương tối thiểu cho tham số chưa biết β θ – Chứng minh tính vững mạnh ước lượng bình phương tối thiểu cho tham số chưa biết β θ Mục đích học viên tìm hiểu trình bày lại kiến thức hội tụ từ tài liệu báo khoa học trích dẫn trang cuối luận văn Vì hiểu biết thời gian cịn hạn chế, luận văn em khơng thể tránh khỏi thiếu sót Em mong nhận dẫn tận tình Thầy Cơ, ý kiến đóng góp bạn luận văn em hoàn thiện Hà Nội, ngày 31 tháng 10 năm 2017 Học viên Tăng Thị Ngọc Quỳnh z Chương Kiến thức chuẩn bị 1.1 Một số khái niệm Cho (Ω, F, P) không gian xác suất {Xn , n ≥ 1} dãy biến ngẫu nhiên định nghĩa không gian xác suất Ta bắt đầu với số khái niệm Định nghĩa 1.1.1 ([9, trang 167]) Hàm φ : Rn → R gọi siêu cộng tính (superadditive) φ(x ∨ y) + φ(x ∧ y) ≥ φ(x) + φ(y) ∀x, y ∈ Rn , ∨ kí hiệu lấy giá trị lớn thành phần, ∧ kí hiệu lấy giá trị nhỏ thành phần Ví dụ 1.1.2 Các hàm đơn điệu (tăng, giảm) hàm siêu cộng tính Xét φ : R2 → R xác định sau: φ(x1 , x2 ) = x1 + x2 Khi với x = (x1 , x2 ) ∈ R2 , y = (y1 , y2 ) ∈ R2 cho x1 < y1 , x2 < y2 hàm φ hàm siêu cộng tính Định nghĩa 1.1.3 ([9, trang 167]) Véc-tơ ngẫu nhiên X = (X1 , X2 , , Xn ) gọi NSD (negatively superadditive dependent) Eφ(X1 , X2 , , Xn ) ≤ Eφ(X1∗ , X2∗ , , Xn∗ ) , (1.1) X1∗ , X2∗ , , Xn∗ độc lập cho Xi∗ Xi có phân bố với i φ hàm siêu cộng tính cho kì vọng (1.1) tồn z Qua định nghĩa biến ngẫu nhiên NSD ta thấy dãy biến ngẫu nhiên độc lập dãy NSD Ví dụ 1.1.4 Cho {Zn , n ≥ 1} dãy biến ngẫu nhiên độc lập phân bố N (0, 1) Đặt Xn = Zn − Zn+1 với n ≥ Khi {Xn , n ≥ 1} dãy biến ngẫu nhiên phân bố N (0, 2) Ta thấy Cov(Zn − Zn+1 , Zn+1 − Zn+2 ) = E((Zn − Zn+1 )(Zn+1 − Zn+2 )) − E(Zn − Zn+1 )E(Zn+1 − Zn+2 ) = − EZn+1 = − (DZn+1 + (EZn+1 )2 ) = −1 < , suy {Xn , n ≥ 1} dãy biến ngẫu nhiên liên kết âm Do {Xn , n ≥ 1} dãy NSD Định nghĩa 1.1.5 ([9, trang 168]) Một dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi NSD với n ≥ 1, (X1 , X2 , , Xn ) NSD Một mảng biến ngẫu nhiên {Xni , i ≥ 1, n ≥ 1} gọi NSD theo hàng với n ≥ 1, {Xni , i ≥ 1} NSD Định nghĩa 1.1.6 ([9, trang 170]) Dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi bị chặn ngẫu nhiên biến ngẫu nhiên X tồn C > cho P (|Xn | > x) ≤ CP (|X| > x) Định nghĩa 1.1.7 ([9, trang 167]) Một dãy biến ngẫu nhiên {Xn , n ≥ 1} gọi hội tụ hoàn toàn tới số θ ∞ X P (|Xn − θ| > ε) < ∞, ∀ε > n=1 Định nghĩa 1.1.8 ([2, trang 81]) Cho dãy {Xn , n ≥ 1} biến ngẫu nhiên (i) Nếu P {ω : ∃ lim Xn (ω)} = ta nói dãy {Xn , n ≥ 1} hội tụ hầu n→∞ chắn (ii) Nếu X biến ngẫu nhiên P {ω : lim Xn (ω) = X(ω)} = ta n→∞ nói dãy {Xn , n ≥ 1} hội tụ hầu chắn tới X z 1.2 Một số bổ đề quan trọng Bổ đề 1.2.1 ([2, trang 82]) (i) Điều kiện cần đủ để dãy {Xn , n ≥ 1} hội tụ hầu chắn với ε > lim P ( sup |Xm − Xk | > ε) = n→∞ (1.2) m,k≥n Điều kiện (1.2) tương đương với lim P ( sup |Xm − Xn | > ε) = n→∞ (1.3) m≥n (ii) Điều kiện cần đủ để dãy {Xn , n ≥ 1} hội tụ hầu chắn tới Xlà với ε > lim P ( sup |Xn − X| > ε) = n→∞ (1.4) m≥n Bổ đề 1.2.2 [Bổ đề Borel - Cantelli] Cho A1 , A2 , , An , dãy biến cố không gian xác suất Nếu tổng xác suất (An ) hữu hạn, tức ∞ X P (An ) < ∞ xác suất để chúng xảy vơ hạn không, nghĩa n=1 P ( lim supAi ) = (hay P ( n→∞ i≥n Nhận xét 1.2.3 ∞ [ \ Ai ) = 0) n=1 i≥n Theo Định nghĩa 1.1.7, (ii) Bổ đề 1.2.1 Bổ đề Borel C - Cantelli ta suy Xn − → θ Xn → θ h.c.c Điều ngược lại Xn dãy biến ngẫu nhiên độc lập p C Qua định nghĩa dãy hội tụ hoàn toàn, suy Xn − → θ Xn → − θ C Bổ đề 1.2.4 Cho dãy {Xn , n ≥ 1} biến ngẫu nhiên Nếu Xn − → an → C Xn + an − → Chứng minh Với ε > bất kỳ, ta cần chứng minh ∞ X P (|Xn + an | > ε) n=1 Do an → nên ∃n0 , ∀n > n0 |an | < 2ε z Từ đó, ta thấy |Xn + an | ≤ |Xn | + |an | ε < |Xn | + Vậy |Xn + an | > ε ⇒ |Xn | > ε Ta có ∞ X P (|Xn + an | > ε) = n=1 n0 X P (|Xn + an | > ε) + n=1 ≤n0 + ∞ X P (|Xn + an | > ε) n=n0 +1 ∞ X n=1 ε P (|Xn | > ) < ∞ Bổ đề 1.2.5 ([5, trang 134-135]) Giả sử (X1 , X2 , , Xn ) NSD Ta có (i) (−X1 , −X2 , , −Xn ) NSD (ii) Nếu g1 , g2 , , gn hàm khơng giảm, (g1 (X1 ), g2 (X2 ), , gn (Xn )) NSD Bổ đề 1.2.6 ([5, trang 134-135]) Giả sử X = (X1 , X2 , , Xn ) Z = (Z1 , Z2 , , Zn ) vectơ ngẫu nhiên độc lập Nếu X Z NSD (X1 + Z1 , X2 + Z2 , , Xn + Zn ) NSD Bổ đề 1.2.7 ([9, trang 169]) Giả sử X = (X1 , X2 , , Xn ) Z = (Z1 , Z2 , , Zn ) vectơ ngẫu nhiên độc lập Nếu X Z NSD đó: ∀β ∈ R : (X1 + βZ1 , X2 + βZ2 , , Xn + βZn ) NSD Chứng minh Ta xét ba trường hợp β = suy (X1 , X2 , , Xn ) NSD β > suy g(x) = βx hàm không giảm; từ (ii) Bổ đề 1.2.5 suy (βZ1 , βZ2 , , βZn ) NSD, từ Bổ đề 1.2.6 suy (X1 + βZ1 , X2 + βZ2 , , Xn + βZn )) NSD z ... 2.1 Sự hội tụ hoàn toàn tổng biến ngẫu nhiên NSD 19 2.2 Sự hội tụ hầu chắn tổng biến ngẫu nhiên NSD 31 Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy EV tuyến tính đơn. .. chính: – Định lý hội tụ hoàn toàn tổng biến ngẫu nhiên NSD – Định lý hội tụ hầu chắn tổng biến ngẫu nhiên NSD Chương Áp dụng hội tụ tổng biến ngẫu nhiên cho mơ hình hồi quy đơn Chương cuối trình... 3.1 Áp dụng định lí hội tụ hồn tồn cho dãy NSD vào mơ hình hồi quy EV tuyến tính đơn 3.2 43 43 Áp dụng định lí hội tụ hầu chắn cho dãy NSD vào mô hình hồi quy EV tuyến tính