HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Gauss-Markov: Với các điều kiện của mô hình hồi quy1.1, các ước lượng bình phương cực tiểu b0 và b1 trong 1.10 là không chệch và có phương sai nhỏ nhất trong tất cả các ước lượng tuyến t

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

-PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH

HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Chuyên ngành: Lý thuyết Xác suất và Thống kê toán học

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - Năm 2015

Công trình được hoàn thành tại: Trường Đại học Khoa hoc Tự nhiên - Đại học Quốc gia Hà Nội

Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng

Hội đồng chấm luận văn:

• Chủ tịch: PGS.TS Phan Viết Thư - Đại học Khoa học Tự Nhiên - ĐHQGHN

• Phản biện 1: TS Nguyễn Mạnh Thế - Đại học Kinh Tế Quốc Dân

• Phản biện 2: TS Trịnh Quốc Anh - Đại học Khoa học Tự Nhiên - ĐHQGHN

• Thư ký: TS Trần Mạnh Cường - Đại học Khoa học Tự Nhiên - ĐHQGHN

• Ủy viên: TS Nguyễn Hồng Hải - Học Viện Kỹ Thuật Quân Sự

Luận văn đã được bảo vệ trước Hội đồng chấm luận văn thạc sĩ họp tại: Khoa Toán-Cơ-Tin học Trường Đại học Khoa học Tự nhiên (ĐHQGHN) vào 9h giờ 00 ngày

1 tháng 2 năm 2016

Có thể tìm đọc luận văn tại: - Trung tâm thư viện Đại học Quốc gia Hà Nội

1 HỒI QUY BỘI TUYẾN TÍNH 3

1.1 Nhắc lại hồi quy đơn tuyến tính 3

1.2 Các mô hình hồi quy bội 5

1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo 5

1.2.2 Mô hình bậc nhất với hai biến dự báo 5

1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo 6

1.2.4 Mô hình hồi quy tuyến tính tổng quát 6

1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát 10

1.4 Ước lượng các hệ số hồi quy 10

1.5 Ước lượng mẫu và phần dư 11

1.6 Các kết quả phân tích phương sai 12

1.7 Các kết luận về các tham số hồi quy 14

1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới 15

1.9 Chẩn đoán và biện pháp khắc phục 17

2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 21 2.1 Mô hình hồi quy tuyến tính và phi tuyến 21

2.2 Ước lượng các tham số hồi quy 23

2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến 24

2.3.1 Nghiệm của phương trình chuẩn 24

2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton 25

2.3.3 Các thủ tục tìm kiếm trực tiếp khác 26

2.4 Xây dựng và chẩn đoán mô hình 27

2.5 Các kết luận về tham số hồi quy phi tuyến 27

2.5.1 Ước lượng phương sai sai số 27

2.5.2 Định lí mẫu lớn 27

2.5.3 Khi nào định lý mẫu lớn dùng được? 27

2.5.4 Biện pháp khắc phục hậu quả 28

2.5.5 Khoảng ước lượng của γk 28

2.5.6 Khoảng tin cậy đồng thời cho một số γk 28

2.5.7 Kiểm tra tính liên quan của một tham số γk 29

2.5.8 Kiểm định đồng thời một số γk 29

2.6 Giới thiệu về mô hình mạng Nơ ron 29

2.6.1 Mô hình mạng Nơ ron 29

2.6.2 Mạng đại diện 30

2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính 31

2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized 32

2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron 33

3 Ứng dụng 34 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 34

3.1.1 Đặt bài toán 34

3.1.2 Các tính toán cơ bản 35

3.1.3 Ước lượng hàm hồi quy 36

3.1.4 Các ước lượng mẫu và phần dư 37

3.1.5 Phân tích sự phù hợp của mô hình 37

3.1.6 Phân tích phương sai 39

3.1.7 Ước lượng các tham số hồi quy 40

3.1.8 Ước lượng trung bình đáp ứng 41

3.1.9 Giới hạn dự báo cho các quan sát mới 42

3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện 43

3.3 Ứng dụng 3: Đường cong học tập 49

3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim 52

Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất trongcác phương pháp thống kê Hiện nay, các mô hình hồi quy được sửdụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật và xã hội,

y tế, khoa học và sinh học Các mô hình hồi quy rất đa dạng baogồm: hồi quy tuyến tính, hồi quy phi tuyến Các loại mô hình gồmnhiều dạng nhỏ khá phức tạp

Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quytuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng dụngvào các mô hình hữu ích trong thực tế

Bản luận văn được chia làm 3 chương:

Chương 1: Hồi quy bội tuyến tính

Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng hồiquy bội và các phân tích về các ước lượng hồi quy đó

Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron

Chương này trình bày một số mô hình hồi quy phi tuyến thườnggặp, các ước lượng của mô hình và việc phân tích, xây dựng chẩnđoán mô hình

Chương 3: Ứng Dụng

Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính vàhồi quy phi tuyến ngoài thực tế Trong mỗi ứng dụng có nhấn mạnhđến việc xây dựng mô hình, ước lượng tham số và đánh giá mô hình.Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và chủquan, nên trong quá trình chọn lọc tư liệu và trình bày nội dung khótránh khỏi những thiếu sót Vì vậy tôi rất mong nhận được những ýkiến chỉ bảo của thầy cô, sự góp ý chân thành của các bạn học viên

để luận văn được hoàn thiện hơn

HỒI QUY BỘI TUYẾN TÍNH

1.1.1 Mô hình dạng chuẩn

Mô hình được xây dựng như sau:

Yi= β0+ β1Xi+ εi (1.1)1.1.2 Các đặc trưng quan trọng của mô hình

1 Yi là biến ngẫu nhiên

2 Hàm hồi quy cho mô hình (1.1) là:

5 Đáp ứng Yi và Yj cũng không tương quan

6 Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất màtrung bình của nó là E{Yi} = β0 + β1Xi và phương sai của nó là σ2 và là như

nhau với mọi giá trị của X Hơn nữa, hai giá trị đáp ứng Yi và Yj là khôngtương quan.

1.1.3 Dạng biến đổi của mô hình hồi quy

Đặt X0 là hằng số có giá trị bằng 1 Khi đó mô hình (1.1) có thể được viếtnhư sau:

Yi= β0X0+ β1Xi+ εi X0≡ 1 (1.4)

Do vậy dạng mô hình biến đổi là:

Yi= β0∗+ β1(Xi− ¯ X) + εi (1.5)1.1.4 Ước lượng hàm hồi quy

Phương pháp bình phương cực tiểu

Tính chất của các ước lượng bình phương cực tiểu:

Định lí 1.1.1 (Gauss-Markov): Với các điều kiện của mô hình hồi quy(1.1), các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch

và có phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác.1.1.5 Ước lượng phương sai sai số σ2

s2= M SE = SSE

n − 2 =

Pn i=1 (Yi− ¯ Y )2

Pn i=1 e2i

1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo

Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một

số lượng các biến dự báo Một biến dự báo đơn lẻ trong mô hình không cungcấp sự mô tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đếnbiến đáp ứng theo các cách đặc biệt và quan trọng Vì vậy cần đưa ra mô hìnhnhiều hơn một biến dự báo

1.2.2 Mô hình bậc nhất với hai biến dự báo

Khi có hai biến dự báo X1 và X2 mô hình hồi quy:

Yi = β0+ β1Xi1+ β2Xi2+ εi (1.10)được gọi là mô hình bậc nhất với hai biến dự báo

Hàm hồi quy cho mô hình (1.23) là:

E{Y } = β0+ β1X1+ β2X2 (1.11)Hàm hồi quy (1.24) là một mặt phẳng Hình (1.1) đưa ra một phần mặtphẳng đáp ứng:

Hình 1.1: Hàm đáp ứng là một mặt phẳng

1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo

Mô hình hồi quy:

Yi = β 0 + β 1 Xi1+ β 2 Xi2+ + β p−1 Xip−1+ εi (1.13)được gọi là mô hình bậc nhất với p − 1 biến dự báo Hàm đáp ứng cho mô hình(1.27) là:

E{Y } = β0+ β1X1+ β2X2+ + βp−1Xp−1 (1.14)

1.2.4 Mô hình hồi quy tuyến tính tổng quát

Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai sốchuẩn như sau:

Yi = β0+ β1Xi1+ β2Xi2+ + βp−1Xip−1+ εi (1.15)Hàm đáp ứng cho mô hình hồi quy (1.29) là :

E{Y } = β0+ β1X1+ β2X2+ + βp−1Xp−1 (1.16)

Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng:

p-1 biến dự báo

Khi X1, , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tínhtổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữacác biến dự báo

Các biến dự báo định tính

Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến dựbáo định lượng mà còn bao gồm các biến dự báo định tính Chúng ta sử dụngcác biến chỉ số nhận giá trị 0 và 1 để định nghĩa các lớp giá trị của biến định tính

Hồi quy đa thức

Đây là mô hình hồi quy đa thức với một biến dự báo:

Yi = β0+ β1Xi+ β2Xi2+ εi (1.17)Nếu chúng ta cho Xi1= Xi và Xi2= Xi2 thì có thể viết (1.34) như sau:

Yi = β0+ β1Xi1+ β2Xi2+ εi

Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29)

Biến biến đổi

Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường congphức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát.Xét mô hình sau với biến biến đổi Y:

logYi= β0+ β1Xi1+ β2Xi2+ β3Xi3+ εi (1.18)Nếu đặt Yi0 = logYi ta có:

Yi0= β0+ β1Xi1+ β2Xi2+ β3Xi3+ εi

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng

là hàm logarit của Y

Nhiều mô hình khác có thể biến đổi được thành mô hình hồi quy tuyến tínhtổng quát Ví dụ mô hình:

Yi = β0+ β1Xi1+ β2Xi2+ β3Xi3+ εi

đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29)

Sự kết hợp của các trường hợp

Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và

ta vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát Xét mô hìnhhồi quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phươngcho mỗi biến và một điều kiện tương tác:

Hình 1.2: Ví dụ cộng tính của hàm đáp ứng

Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát

Điều kiện mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29)

là tuyến tính với các tham số, không phải đề cập đến hình dáng của mặt đáp ứng

Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể đượcviết dưới dạng:

Yi= ci0β0+ ci1β1+ ci2β2+ + cip−1βp−1+ εi (1.22)trong đó các giá trị ci0, ci1, là các hệ số liên quan đến biến dự báo

1.3 Dạng ma trận của mô hình hồi quy tuyến tính

Tiêu chuẩn bình phương cực tiểu:

Gọi Yˆ là véc tơ ước lượng mẫu Yˆi và e là véc tơ phần dư ei= Yi− ˆ Yi, ta có:

Tương tự vậy, véc tơ phần dư có thể được biểu diễn như sau:

1.6.1 Tổng bình phương và trung bình bình phương

Tổng bình phương cho phân tích phương sai dạng ma trận là:

1.6.2 Kiểm định F cho quan hệ hồi quy

Để kiểm định liệu có hay không quan hệ hồi quy giữa biến đáp ứng và cácbiến X: X 1, , X p−1, tức là lựa chọn giữa các giả thiết:

Hệ số xác định bội, ký hiệu R2, được định nghĩa như sau:

R2 = SSRSST O = 1 −

1.6.4 Hệ số tương quan bội

Hệ số tương quan bội R là căn bậc hai của R2:

R =

√

1.7 Các kết luận về các tham số hồi quy

Các ước lượng bình phương cực tiểu và hợp lý cực đại b là không chệch:

1.7.1 Ước lượng khoảng tin cậy cho βk

Đối với mô hình hồi quy sai số chuẩn (1.41), ta có:

bk − βks(bk) ∼ t(n − p) k = 0, 1, , p − 1 (1.54)nên khoảng tin cậy cho βk với độ tin cậy 1 − α là:

bk± t(1 − α/2; n − p)s{bk} (1.55)1.7.2 Kiểm định cho βk

Nếu g tham số cùng được ước lượng (g ≤ p), khoảng tin cậy với cùng độ tincậy 1 − α là:

1.8.1 Ước lượng khoảng tin cậy của E{Yh}

Định nghĩa véc tơ Xh như sau:

Ước lượng trung bình đáp ứng theo Xh kí hiệu là Yˆh:

s2{ ˆ Yh} = M SE(Xh0(X0X)−1Xh)) = Xh0s2{b}Xh (1.62)Giới hạn tin cậy 1 − α cho E{Yh} là:

ˆ

Yh± t(1 − α/2; n − p)s{ ˆ Yh} (1.63)1.8.2 Miền tin cậy cho mặt hồi quy

Các điểm giới hạn của miền tin cậy tại Xh có được từ:

ˆ

1.8.3 Khoảng tin cậy đồng thời cho một số trung bình đáp ứng

1 Sử dụng miền giới hạn tin cậy Working-Hotelling (1.81) cho các véc tơ Xh

Giới hạn dự báo 1 − α cho quan sát mới Yh(new) ứng với Xh là:

ˆ

Yh± t(1 − α/2; n − p)s{pred} (1.67)1.8.5 Dự báo trung bình của m quan sát mới tại Xh

Khim quan sát mới được lựa chọn với cùng mức Xh và trung bình của chúng

¯

Yh(new) được dự báo, khoảng dự báo 1 − α là:

ˆ

Yh± t(1 − α/2; n − p)s{predmean} (1.68)trong đó:

Khoảng dự báo đồng thời cho g quan sát mới tại g mức khác nhau của Xh

với độ tin cậy 1 − α được đưa ra bởi:

Hình 1.3: miền quan sát X 1 , X 2 và so sánh với phạm vi của X 1 , X 2

Hơn nữa, ma trận đồ phân tán rất hữu ích trong trường hợp ma trận tươngquan Định dạng của ma trận tương quan sau là của ma trận đồ phân tán:

1.9.2 Biểu đồ phân tán ba chiều

Một số gói thống kê tương tác đưa ra biểu đồ phân tán ba chiều hay đámmây điểm, và cho phép quay các biểu đồ này để người xem thấy đám mây điểm

từ các quan điểm khác nhau

1.9.3 Biểu đồ phần dư

Biểu đồ phần dư ứng với các ước lượng mẫu rất hữu ích cho việc đánh giá

sự phù hợp của hàm hồi quy bội và tính không đổi của phương sai các sai số,cũng như là việc cung cấp thông tin về các giá trị ngoại lai, giống như hồi quy

Hình 1.4: Ma trận đồ phân tán & ma trận tương quan

Hình 1.5: Biểu đồ phân tán ba chiều

đơn Tương tự như vậy, một biểu đồ phần dư đối với thời gian hoặc với một sốtrình tự khác cung cấp các thông tin chẩn đoán về sự tương quan giữa các sai

số trong hồi quy bội Biểu đồ hộp và các biểu đồ phân phối chuẩn của các phần

dư rất có ý nghĩa cho việc kiểm tra xem các sai số có phân phối chuẩn hay không.1.9.3 Kiểm định tương quan cho tính chuẩn

Kiểm định tương quan cho tính chuẩn của hồi quy bội áp dụng tương tự từhồi quy đơn

1.9.4 Kiểm định Brown-Forsythe cho phương sai sai số không đổi

Thống kê kiểm định Brown-Forsythe của hồi quy đơn cho giả định phươngsai sai số không đổi có thể được sử dụng một cách dễ dàng cho hồi quy bội khiphương sai sai số tăng hoặc giảm với một trong các biến dự báo.

1.9.5 Kiểm định Breusch-Pagan cho phương sai sai số không đổi

Kiểm định Breusch-Pagan cho phương sai sai số không đổi trong hồi quybội được áp dụng từ hồi quy đơn khi phương sai sai số tăng hoặc giảm với mộttrong các biến dự báo Các phần dư bình phương đơn giản là hồi quy đối vớicác biến dự báo được chứa trong tổng bình phương hồi quy SSR∗, và kiểm địnhtiến hành như trong hồi quy đơn, sử dụng tổng bình phương sai số SSE chotoàn bộ mô hình hồi quy bội

1.9.4 Kiểm định F cho sự không phù hợp

Kiểm định xem liệu hàm đáp ứng hồi quy bội:

E{Y } = β0+ β1X1+ + βp−1Xp−1

có mặt đáp ứng thích hợp hay không Do vậy, với việc kiểm định:

H0 : E{Y } = β0+ β1X1+ + βp−1Xp−1

Ha : E{Y } 6= β0+ β1X1+ + βp−1Xp−1 (1.89a)thống kê kiểm định thích hợp là:

Biện pháp khắc phục của hồi quy đơn tuyến tính đơn cũng có thể áp dụngcho hồi quy bội

HỒI QUY PHI TUYẾN VÀ MÔ

HÌNH MẠNG NƠ RON

2.1.1 Mô hình hồi quy tuyến tính

Các mô hình tuyến tính với các tham số biểu diễn bởi mô hình hồi quy tuyếntính tổng quát (1.29):

Yi = β0+ β1Xi1+ β2Xi2+ + βp−1Xip−1+ εi (2.1)Các mô hình hồi quy tuyến tính, bao gồm không chỉ mô hình bậc nhất của

p − 1 biến dự báo mà có thể phức tạp hơn:

Yi= β0+ β1Xi1+ β2Xi12 + β3Xi2+ β4Xi22 + β5X1Xi2+ εi (2.2)Các mô hình với các biến thay đổi:

log10Yi= β0+ β1pXi1+ β2exp(Xi2) + εi (2.3)Trường hợp tổng quát, ta có thể phát biểu một mô hình tuyến tính có dạng:

2.1.2 Mô hình hồi quy phi tuyến

Mô hình hồi quy phi tuyến:

Mô hình này không tuyến tính với các tham số γ0 và γ1

Một dạng hồi quy phi tuyến dạng mũ tổng quát hơn là:

Yi= γ0+ γ1exp(γ2Xi) + εi (2.8)Hàm đáp ứng cho mô hình này là:

f (X, γ) = γ0+ γ1exp(γ2X) (2.9)2.1.4 Mô hình hồi quy logistic

Y i = γ0

1 + γ1exp(γ2Xi) + εi (2.10)Hàm đáp ứng là:

f (X, γ) = γ0

1 + γ 1 exp(γ 2 X i ) (2.11)trong mô hình này, hàm đáp ứng là hàm không tuyến tính với các tham số γ0,

γ 1, γ 2

Hình 2.1: Hàm đáp ứng dạng mũ và logistic

2.1.5 Mô hình hồi quy phi tuyến dạng tổng quát

Dạng tổng quát của mô hình hồi quy phi tuyến được biểu diễn như sau:

Yi = f (Xi, γ) + εi (2.12)

Khi ước lượng các tham số của mô hình hồi quy phi tuyến thường sử dụngphương pháp bình phương cực tiểu hoặc phương pháp hợp lý cực đại Cũngnhư trong hồi quy tuyến tính, cả hai phương pháp ước lượng giá trị các tham

số khi sai số trong mô hình hồi quy phi tuyến (2.12) là độc lập cùng phân phốichuẩn và phương sai không đổi

Khác với mô hình hồi quy tuyến tính, thường không thể tìm thấy các biểuthức giải thích cho các ước lượng bình phương cực tiểu và hợp lý cực đại trong

mô hình hồi quy phi tuyến Thay vào đó, các thủ tục tìm kiếm số được sử dụngvới cả hai thủ tục dự đoán này, đòi hỏi phải tính toán chuyên sâu Do đó phântích mô hình hồi quy phi tuyến thường dùng các phần mềm máy tính chuyêndụng

2.3 Ước lượng bình phương cực tiểu trong hồi quy

2.3.1 Nghiệm của phương trình chuẩn

Đạo hàm riêng của Q đối theo γk là:

2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton

Phương pháp Gauss-Newton bắt đầu với các giá trị khởi đầu cho các tham

số γ0, γ1, , γp−1 Ta đặt các giá trị này là g(0)0 , g(0)1 , , gp−1(0) Xấp xỉ trungbình đáp ứng f (Xi, γ) cho n trường hợp bằng các điều kiện tuyến tính trong cáckhai triển Taylor quanh giá trị khởi đầu gk(0) Với trường hợp thứ i ta có:

Sau đó dùng các ước lượng bình phương cực tiểu này để hiệu chỉnh lại cácước lượng hệ số hồi quy g(1)k bằng công thức (2.19b):

g(1)k = g(0)k + b(0)k

Thủ tục hiệu chỉnh dạng ma trận như sau:

g(1) = g(0)+ b(0) (2.24)Đánh giá các hệ số hồi quy ban đầu g(0) là SSE(0):

Phương pháp Gauss-Newton làm việc hiệu quả trong nhiều ứng dụng hồiquy phi tuyến Tuy nhiên trong một số ví dụ, phương pháp này yêu cầu nhiềubước lặp trước khi hội tụ, và một số ít trường hợp có thể không hội tụ

2.3.3 Các thủ tục tìm kiếm trực tiếp khác

Bên cạnh phương pháp Gauss-Newton, hai thủ tục tìm kiếm trực tiếp khácthường được sử dụng là phương pháp giảm nhanh nhất và thuật toán Marquardt