HƯƠNG HỒI QUY BỘI TUYẾN TÍNHHỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Gauss-Markov: Với các điều kiện của mô hình hồi quy 1.1,các ước lượng bình phương cực tiểu b0 và b1 trong 1.10 là không chệch và cóphương sai nhỏ nhất trong tất cả các ước lượng tuyến tí

TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH

HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

HÀ NỘI - NĂM 2015

TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH

HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Chuyên ngành: LTXS & TKT

Mã số: 60460106

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:

GS TSKH ĐẶNG HÙNG THẮNG

HÀ NỘI - NĂM 2015

Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhấttrong các phương pháp thống kê Hiện nay, các mô hình hồi quyđược sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật

và xã hội, y tế, khoa học và sinh học Các mô hình hồi quy rất

đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến Các loại

mô hình gồm nhiều dạng nhỏ khá phức tạp Ứng dụng thành côngcủa các mô hình đòi hỏi một sự hiểu biết sâu về cả lý thuyết cơbản và những vấn đề thiết thực mà đang gặp phải trong việc sửdụng các mô hình trong các tình huống thực tế cuộc sống Anontừng viết "Cho con người 3 vũ khí: hệ số tương quan, hồi quytuyến tính và một cây bút, con người sẽ sử dụng cả 3" Là mộtgiảng viên trường cao đẳng, tôi muốn nghiên cứu sâu hơn về hồiquy tuyến tính và hồi quy phi tuyến nhằm nâng cao chuyên mônphục vụ cho quá trình giảng dạy, vậy nên tôi đã chọn đề tài làmluận văn thạc sĩ của mình là:

"Hồi quy bội tuyến tínhHồi quy phi tuyến và ứng dụng"

Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quytuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứngdụng vào các mô hình hữu ích trong thực tế

Bản luận văn được chia làm 3 chương:

Chương 1: Hồi quy bội tuyến tính

Trình bày các mô hình hồi quy bội tuyến tính, các ước lượnghồi quy bội và các phân tích về các ước lượng hồi quy đó

Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron

Chương này trình bày một số mô hình hồi quy phi tuyếnthường gặp, các ước lượng của mô hình và việc phân tích, xâydựng chẩn đoán mô hình

Chương 3: Ứng Dụng

Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính

và hồi quy phi tuyến ngoài thực tế Trong mỗi ứng dụng có nhấnmạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá

mô hình

Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan vàchủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nộidung khó tránh khỏi những thiếu sót Vì vậy tôi rất mong nhậnđược những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành củacác bạn học viên để luận văn được hoàn thiện hơn

Tôi xin được bày tỏ lòng kính trọng và lòng biết ơn sâu sắc đến GS.TSKH Đặng Hùng Thắng, người thầy đã tận tình giảng dạy, truyềnthụ những kiến thức bổ ích và tạo điều kiện để tôi hoàn thành luậnvăn này Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đápcác thắc mắc của tôi trong suốt quá trình tôi thực hiện đề tài.

Tôi xin gửi lời cảm ơn chân thành tới các thầy cô Khoa Toán - Cơ

- Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đạihọc Quốc gia Hà Nội; các thầy cô đã tham gia giảng dạy khóa cao học

2013 -2015; Ban giám hiệu và các đồng nghiệp trường Cao Đẳng Kinh

Tế Kỹ Thuật Thương Mại Hà Nội đã tạo điều kiện thuận lợi cho tôihoàn thành luận văn của mình

Cuối cùng, tôi xin chân thành cảm ơn gia đình đã luôn động viêntôi trong suốt quá trình học tập và nghiên cứu khoa học

Hà Nội, tháng 12 năm 2015

Học viênPhạm Thị Hương

1 HỒI QUY BỘI TUYẾN TÍNH 6

1.1 Nhắc lại hồi quy đơn tuyến tính 6

1.2 Các mô hình hồi quy bội 13

1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo 13

1.2.2 Mô hình bậc nhất với hai biến dự báo 14

1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo 17

1.2.4 Mô hình hồi quy tuyến tính tổng quát 17

1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát 23

1.4 Ước lượng các hệ số hồi quy 25

1.5 Ước lượng mẫu và phần dư 26

1.6 Các kết quả phân tích phương sai 26

1.7 Các kết luận về các tham số hồi quy 30

1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới 31

1.9 Chẩn đoán và biện pháp khắc phục 35

2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON 42 2.1 Mô hình hồi quy tuyến tính và phi tuyến 42

2.2 Ước lượng các tham số hồi quy 47

2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến 48

2.3.1 Nghiệm của phương trình chuẩn 49

2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton 50

2.3.3 Các thủ tục tìm kiếm trực tiếp khác 55

2.4 Xây dựng và chẩn đoán mô hình 56

2.5 Các kết luận về tham số hồi quy phi tuyến 57

2.5.1 Ước lượng phương sai sai số 57

2.5.2 Định lí mẫu lớn 57

2.5.3 Khi nào định lý mẫu lớn dùng được? 58

2.5.4 Biện pháp khắc phục hậu quả 60

2.5.5 Khoảng ước lượng của γk 60

2.5.6 Khoảng tin cậy đồng thời cho một số γk 61

2.5.7 Kiểm tra tính liên quan của một tham số γk 61

2.5.8 Kiểm định đồng thời một số γk 61

2.6 Giới thiệu về mô hình mạng Nơ ron 62

2.6.1 Mô hình mạng Nơ ron 62

2.6.2 Mạng đại diện 65

2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính 67

2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized 68

2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron 69

3 Ứng dụng 71 3.1 Ứng dụng 1: Dự báo doanh số bán hàng 71

3.1.1 Đặt bài toán 71

3.1.2 Các tính toán cơ bản 73

3.1.3 Ước lượng hàm hồi quy 75

3.1.4 Các ước lượng mẫu và phần dư 76

3.1.5 Phân tích sự phù hợp của mô hình 77

3.1.6 Phân tích phương sai 79

3.1.7 Ước lượng các tham số hồi quy 81

3.1.8 Ước lượng trung bình đáp ứng 82

3.1.9 Giới hạn dự báo cho các quan sát mới 83

3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi xuất viện 84

3.3 Ứng dụng 3: Đường cong học tập 95

3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim 99

HỒI QUY BỘI TUYẾN TÍNH

1.1 Nhắc lại hồi quy đơn tuyến tính

1.1.1 Mô hình dạng chuẩn

Xét mô hình hồi quy đơn tuyến tính (còn gọi là hồi quy tuyến tính đơn haygọi tắt là hồi quy đơn) với một biến dự báo và hàm hồi quy là tuyến tính Môhình được xây dựng như sau:

Trong đó:

Yi: Giá trị biến đáp ứng trong thử nghiệm thứ i

β0, β1: Tham số

Xi: Hằng số, giá trị biến dự báo trong thử nghiệm thứ i

εi: Sai số ngẫu nhiên với trung bìnhE{εi} = 0; phương saiσ2{εi} = σ 2;

εi và εj không tương quan

Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyếntính với biến dự báo "Đơn" ở đây là chỉ một biến dự báo

1.1.2 Các đặc trưng quan trọng của mô hình

1 Giá trị đáp ứng Yi trong thử nghiệm thứ i là tổng của hai thành phần: (1)điều kiện hằng số β0+ β1Xi và (2) là điều kiện ngẫu nhiên εi Do đó, Yi là biếnngẫu nhiên

2 Do E{ε i } = 0 nên

Vậy hàm hồi quy cho mô hình (1.1) là:

3 Giá trị đáp ứng Y i trong thử nghiệm thứ i sai khác với giá trị hàm hồi quymột lượng là sai số εi

4 Sai số εi được giả định là có phương sai không đổi σ2 nên đáp ứng Yi cũng

có phương sai không đổi:

1.1.3 Dạng biến đổi của mô hình hồi quy

Đôi khi mô hình hồi quy (1.1) được viết dưới dạng khác Đặt X0 là hằng số

có giá trị bằng 1 Khi đó mô hình (1.1) có thể được viết như sau:

Yi= β0X0+ β1Xi+ εi X0≡ 1 (1.5)

ở dạng này ứng với mỗi giá trị biến X đều có một hệ số hồi quy

Phép biến đổi sau được dùng cho độ lệch của biến dự báo Xi− ¯ X thay cho

Xi Từ (1.1) chúng ta có thể viết:

Yi= β0+ β1(Xi− ¯ X) + β1X + ε¯ i

= (β0+ β1X) + β¯ 1(Xi− ¯ X) + εi

= β0∗+ β1(Xi− ¯ X) + εi

Do vậy dạng mô hình biến đổi là:

Y i = β0∗+ β 1 (X i − ¯ X) + ε i (1.6)trong đó:

1.1.4 Ước lượng hàm hồi quy

Các dữ liệu quan sát hoặc thí nghiệm được sử dụng cho việc ước lượng cáctham số của hàm hồi quy bao gồm các quan sát của biến dự báo X và biến đápứng Y Với mỗi thử nghiệm, có một giá trị của quan sát X tương ứng một giátrị quan sát Y Chúng ta biểu diễn các quan sát(X, Y ) cho thử nghiệm thứ nhất

là (X1, Y1), cho thử nghiệm thứ hai là (X2, Y2) và tổng quát cho thử nghiệm thứ

i là (X i , Y i ) trong đó i = 1, 2, , n

Phương pháp bình phương cực tiểu

Để tìm các ước lượng "tốt" cho các tham số hồi quy β0 và β1 thường dùngphương pháp bình phương cực tiểu Đối với các quan sát (X i , Y i ), phương phápbình phương cực tiểu xem xét độ lệch của Yi với kì vọng của nó:

hàm tiêu chuẩn Q.

2 Các thủ tục phân tích thường được sử dụng để tìm các giá trị b0 và b1 màcực tiểu hóa hàm Q Phép phân tích gần đúng được thực hiện khi mô hình hồiquy không quá phức tạp

Khi áp dụng phân tích gần đúng đối với mô hình (1.1), các giá trị ước lượng

b0 và b1 cực tiểu hóa hàm Q thỏa mãn các phương trình sau:

X

Yi− b1XXi= ¯ Y − b1X¯

(1.10)

Trong đó, X¯ và Y¯ là các giá trị trung bình của các quan sát Xi và Yi

Tính chất của các ước lượng bình phương cực tiểu:

Định lí 1.1.1 (Gauss-Markov): Với các điều kiện của mô hình hồi quy (1.1),các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch và cóphương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác.Theo định lí ta thấy:

E{b0} = β0 E{b1} = β1

Hơn nữa, định lí cũng chỉ ra rằng các ước lượng b0 và b1 là chính xác hơn bất kìước lượng nào khác trong lớp các ước lượng không chệch mà là hàm tuyến tínhcủa các quan sát Y1, , Yn Ví dụ, từ (1.10) ta có:

là hàm tuyến tính đối với Yi.

Ước lượng điểm của trung bình đáp ứng

Từ các ước lượng b0 và b1 của các tham số trong hàm hồi quy (1.3):

E{Y } = β0+ β1X

ta ước lượng hàm hồi quy như sau:

ˆ

với Yˆ là giá trị ước lượng của hàm hồi quy ứng với giá trị X của biến dự báo

Gọi giá trị của biến đáp ứng là đáp ứng và E{Y } là trung bình đáp ứng nêntrung bình đáp ứng là trung bình phân phối xác suất của Y ứng với giá trịbiến dự báo X Yˆ là ước lượng điểm của trung bình đáp ứng khi giá trị biến dựbáo là X Định lí Gauss-Markov chỉ ra rằng Yˆ là ước lượng không chệch của

E{Y }và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch

Ta gọi Yˆi:

ˆ

Yi= b0+ b1Xi i = 1, , n (1.12)

là ước lượng mẫu cho thử nghiệm thứ i

Từ mô hình biến đổi (1.6) :

Tính chất của đường hồi quy mẫu

Đường hồi quy ước lượng (1.11) có một số tính chất quan trọng sau:

6 Đường hồi quy luôn luôn đi qua điểm ( ¯ X, ¯ Y )

1.1.5 Ước lượng phương sai sai số σ2

Đám đông duy nhất: Single population

Như chúng ta biết, phương sai σ2 của đám đông duy nhất được ước lượng bởiphương sai mẫu s2 Để có được phương sai mẫu s2, ta xem xét độ lệch giữa Yi

và trung bình ước lượng Y¯, bình phương độ lệch đó, và lấy tổng bình phươngcác độ lệch:

n

X

i=1 (Yi− ¯ Y )2

Tổng này được gọi là tổng bình phương Sau đó lấy tổng bình phương chiacho bậc tự do ứng với nó Ở đây bậc tự do đó là n − 1 vì một bậc tự do bị mất

do việc sử dụng Y¯ như là một ước lượng của trung bình đám đông µ Khi đó,

ta có:

s2=

Pn i=1 (Y i − ¯ Y )2

n − 1

là ước lượng không chệch của phương sai σ2

Mô hình hồi quy

Một cách logic để phát triển ước lượng σ2 cho mô hình hồi quy là tương tựnhư cho đám đông duy nhất Phương sai của mỗi quan sát Yi là σ2 và giống vớiphương sai sai số ε i Cần tính lại tổng các độ lệch bình phương, nhưng lúc này

Yi có phân phối xác suất khác nhau với các trung bình khác nhau phụ thuộcvào giá trị của Xi Do vậy, độ lệch của quan sát Yi phải được tính toán quanhtrung bình ước lượng Yˆ Do đó, độ lệch chính là phần dư:

n

X

i=1

trong đó, SSE là tổng bình phương sai số hay tổng bình phương phần dư

Tổng bình phương SSE có n − 2 bậc tự do Hai bậc tự do bị mất vì cả β0

và β1 có ước lượng trong ước lượng trung bình Yˆi Vì vậy, trung bình tổng bìnhphương, kí hiệu là MSE hay s2 là:

s2= M SE = SSE

n − 2 =

Pn i=1 (Yi− ¯ Y )2

Pn i=1 e2i

1.2 Các mô hình hồi quy bội

1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo

Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một

số lượng các biến dự báo Ta xét một mô hình mà biến đáp ứng là doanh thucủa một công ty và biến dự báo được quan tâm bao gồm chi phí cho quảngcảo và lương trả cho nhân viên tiếp thị Một mô hình khác mà biến đáp ứng làlương thu nhập của mỗi cá nhân và các biến dự báo liên quan là giới tính, Tuổi,

số con phải nuôi, trình độ học vấn Mặt khác, khi chúng ta nghiên cứu nhữngđứa trẻ thấp lùn thì biến đáp ứng là mức hormon lớn dần trong huyết tương,

và các biến dự báo gồm giới tính, tuổi, và các thông số cơ thể khác Trong tất

cả các ví dụ này, một biến dự báo đơn lẻ trong mô hình không cung cấp sự mô

tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến biến đáp ứngtheo các cách đặc biệt và quan trọng Hơn nữa, trong những tình huống này,chúng ta thường thấy rằng các dự báo của biến đáp ứng dựa vào mô hình chỉ

có một biến dự báo riêng lẻ là việc sử dụng không chính xác Vì vậy các môhình hồi quy bội tuyến tính (còn gọi là hồi quy tuyến tính bội hay gọi tắt làhồi quy bội) được đưa ra

Trong mỗi ví dụ vừa đề cập, sự phân tích đều dựa trên dữ liệu quan sát vìcác biến dự báo không được điều chỉnh, thường thì vì chúng không dễ để điềuchỉnh trực tiếp Phân tích hồi quy bội cũng rất hữu ích trong các trường hợpthí nghiệm mà người làm thí nghiệm có thể điều chỉnh các biến dự báo Mộtngười làm thí nghiệm sẽ muốn điều tra một số lượng các biến dự báo cùng mộtlúc vì hầu hết luôn luôn nhiều hơn một biến dự báo chìa khóa ảnh hưởng đếnbiến đáp ứng Ví dụ, trong nghiên cứu về năng suất của các đội làm việc, mộtngười làm thí nghiệm có thể muốn điều chỉnh trực tiếp cả quy mô của đội vàmức tiền thưởng Tương tự như vậy, khi nghiên cứu về phản ứng của một loạithuốc, người thử nghiệm có thể điều chỉnh cả liều lượng của thuốc và phươngpháp quản lý

Các mô hình hồi quy bội tuyến tính mà chúng ta mô tả bây giờ có thể được

sử dụng cho mỗi dữ liệu quan sát hoặc cho dữ liệu thí nghiệm từ các thiết kếhoàn toàn ngẫu nhiên

1.2.2 Mô hình bậc nhất với hai biến dự báo

Khi có hai biến dự báo X 1 và X 2 mô hình hồi quy:

Yi = β0+ β1Xi1+ β2Xi2+ εi (1.23)được gọi là mô hình bậc nhất với hai biến dự báo Yi biểu thị giá trị đápứng trong thử nghiệm thứ i, Xi1 và Xi2 là các giá trị của hai biến dự báotrong thử nghiệm thứi Các tham số trong mô hình làβ 0,β 1,β 2và các sai số làε i.Giả định rằng E{εi} = 0, hàm hồi quy cho mô hình (1.23) là:

E{Y } = β0+ β1X1+ β2X2 (1.24)Với mô hình hồi quy đơn tuyến tính, hàm hồi quy E{Y } = β 0 + β 1 X 1 là mộtđường thẳng Ở đây, hàm hồi quy (1.24) là một mặt phẳng Hình (1.1) đưa ramột phần mặt phẳng đáp ứng:

Thông thường, trong hồi quy bội, hàm hồi quy được gọi là mặt hồi quy haymặt đáp ứng Trong hình (1.1), mặt đáp ứng là một mặt phẳng nhưng trongcác trường hợp khác mặt đáp ứng có thể phức tạp hơn

Ý nghĩa của các tham số hồi quy

Với mặt đáp ứng (1.25), tham số β0 = 10 là giá trị chặn của Y Nếu xét tại

X1 = 0, X2 = 0 thì β0 = 20 biểu thị cho giá trị trung bình tương ứng của E{Y }

tại X1 = 0, X2 = 0 Ngoài ra, β0 không có một ý nghĩa đặc biệt nào trong mô

Hình 1.1: Hàm đáp ứng là một mặt phẳng

hình hồi quy

Tham số β1 chỉ ra sự biến đổi của giá trị trung bình đáp ứng E{Y } khi X1

thay đổi và X2 được giữ cố định Giống như vậy,β2 chỉ ra sự biến đổi của giá trịtrung bình E{Y } khi X2 biến đổi và X1 được giữ cố định Để thấy rõ điều này,trong ví dụ ta cố định X2 = 2 Hàm hồi quy (1.25) bây giờ là:

E{Y } = 10 + 2X 1 + 5(2) = 20 + 2X 1 X 2 = 2 (1.26)Chú ý rằng, hàm đáp ứng là một đường thẳng với hệ số dốc β1 = 2 Điều nàyvẫn đúng với bất kỳ giá trị khác của X2; chỉ giá trị chặn của hàm đáp ứng làkhác nhau Do đó, β 1 = 2 chỉ ra rằng trung bình đáp ứng tăng lên 2 lần đơn vịtăng của X1 khi X2 được cố định, không phụ thuộc vào giá trị của X2 Vì vậychúng ta thừa nhận rằng β1 chỉ sự biến đổi của E{Y } khi X1 thay đổi và X2

được cố định

Tương tự, β 2 = 5 trong hàm hồi quy (1.25) chỉ ra rằng trung bình đáp ứng

E{Y } tăng 5 lần đơn vị tăng của X2 khi X1 được cố định

Khi ảnh hưởng của X1 trong trung bình đáp ứng không phụ thuộc vào giá trị

củaX2 và ảnh hưởng của X2 không phụ thuộc vào giá trị củaX1 thì hai biến dựbáo được nói là có ảnh hưởng cộng tính (additive effects) hay không tương tác(not to interact) Vậy nên mô hình hồi quy bậc nhất (1.23) được thiết kế chocác biến dự báo không có ảnh hưởng tương tác của chúng lên trung bình đáp ứng.

Tham số β1, β2 đôi khi được gọi là hệ số hồi quy cục bộ vì chúng chỉ phảnánh ảnh hưởng cục bộ của một biến dự báo khi biến kia trong mô hình đượccoi như là hằng số

Ví dụ: Mặt đáp ứng (1.25) được chỉ ra trong hình (1.1) là cho mô hìnhhồi quy liên quan đến việc kiểm tra doanh thu bán hàng (Y, đơn vị 10 nghìn

đô la) tại các điểm bán hàng trực tiếp (X1, đơn vị nghìn đô la) và bán hàngqua TV (X2, đơn vị nghìn đô la) Vì β1 = 2 nên nếu cố định điểm bán hàng

TV, điểm bán hàng trực tiếp tại một địa phương tăng 1 đơn vị là 1 nghìn

đô la thì kỳ vọng doanh thu sẽ tăng 2 đơn vị là 20 nghìn đô la Tương

tự, vì β2 = 5 nếu cố định điểm bán hàng trực tiếp, điểm bán hàng TV tăng

1 đơn vị là 1 nghìn đô la thì kỳ vọng bán hàng sẽ tăng 5 đơn vị là 50 nghìn đô la

Bình luận:

1 Một mô hình hồi quy với mặt đáp ứng là một mặt phẳng có thể được sửdụng trong trường hợp riêng khi nó là phù hợp hoặc xấp xỉ đến một mặt đápứng phức tạp hơn Nhiều mặt đáp ứng phức tạp có thể được xấp xỉ tốt bởi mộtmặt phẳng với các hạn chế của X1 và X2

2 Dễ dàng chứng minh ý nghĩa của β1 và β2 bằng tính toán Lấy đạo hàmriêng của mặt đáp ứng (1.24) theo X 1, X 2 ta có:

1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo

Bây giờ chúng ta xem xét trường hợp có p − 1 biến dự báo X 1, ,X p−1 Môhình hồi quy:

Yi = β0+ β1Xi1+ β2Xi2+ + βp−1Xip−1+ εi (1.27)được gọi là mô hình bậc nhất với p − 1 biến dự báo Cũng có thể viết:

và có hình dáng không giống với mặt đáp ứng trong trường hợp mô hình cóhai biến dự báo (hình 1.1) Tuy nhiên, ý nghĩa của các tham số là giống nhau.Tham số βk chỉ sự thay đổi của trung bình đáp ứng E{Y } với 1 đơn vị tăngtrong biến dự báo Xk khi tất cả các biến dự báo còn lại được coi là hằng số.Chú ý rằng, với mô hình (1.27), ảnh hưởng của biến dự báo bất kỳ trong trungbình đáp ứng là như nhau khi các biến dự báo khác được cố định Do đó, môhình hồi quy bậc nhất (1.27) được thiết kế cho các biến dự báo mà ảnh hưởngcủa nó trên trung bình đáp ứng là cộng tính hay không có tương tác

Bình luận:

Khi p − 1 = 1, mô hình hồi quy (1.27) là:

Yi = β0+ β1Xi1+ εi

đây là mô hình hồi quy đơn tuyến tính

1.2.4 Mô hình hồi quy tuyến tính tổng quát

Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai sốchuẩn như sau:

Yi = β0+ β1Xi1+ β2Xi2+ + βp−1Xip−1+ εi (1.29)

Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng.Bây giờ chúng ta xem xét một số vấn đề trong số những tình huống đó:

p-1 biến dự báo

Khi X1, , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tínhtổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữacác biến dự báo Ví dụ trong hình (1.1) liên quan đến mô hình bậc nhất với haibiến dự báo

Các biến dự báo định tính

Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến

dự báo định lượng mà còn bao gồm các biến dự báo định tính, ví dụ giới tính(nam, nữ) hay trạng thái khuyết tật (không khuyết tật, khuyết tật một phần,khuyết tật toàn phần) Chúng ta sử dụng các biến chỉ số nhận giá trị 0 và 1 để

định nghĩa các lớp giá trị của biến định tính.

Xét một phân tích hồi quy dự đoán thời gian nằm viện (Y) dựa vào tuổi (X1)

và giới tính (X 2) của bệnh nhân Chúng ta định nghĩa X 2 như sau:

X2 =



1 Nếu bệnh nhân là nữ

0 Nếu bệnh nhân là nam

Mô hình hồi quy bậc nhất là:

Y i = β 0 + β 1 X i1 + β 2 X i2 + ε i (1.31)Trong đó:

X i1: tuổi của bệnh nhân

Xi2 =



1 Nếu bệnh nhân là nữ

0 Nếu bệnh nhân là nam

Hàm đáp ứng cho mô hình hồi quy (1.31) là:

E{Y } = β0+ β1X1+ β2X2 (1.32)Đối với bệnh nhân nam, X2= 0, ta có:

Tổng quát, chúng ta biểu diễn một biến định tính với c lớp là c − 1 biến chỉ

số Ví dụ, nếu trong ví dụ về thời gian nằm viện, biến định tính chỉ tình trạngkhuyết tật được thêm vào như một biến dự báo khác, nó có thể được biểu diễnbởi hai biến chỉ số X3, X4 như sau:

X3=



1 Nếu bệnh nhân không khuyết tật

X4 =



1 Nếu bệnh nhân khuyết tật một phần

Mô hình bậc nhất với các biến dự báo: tuổi, giới tính và tình trạng khuyết tậtnhư sau:

Yi = β0+ β1Xi1+ β2Xi2+ β3Xi3+ β4Xi4+ εi (1.33)

1 Nếu bệnh nhân không khuyết tật

Xi4 =



1 Nếu bệnh nhân khuyết tật một phần

Hồi quy đa thức

Các mô hình hồi quy đa thức là trường hợp đặt biệt của mô hình hồi quytuyến tính tổng quát Nó chứa các điều kiện bình phương hoặc mũ cao hơn củacác biến dự báo, khi đó hàm đáp ứng là một đường cong Đây là mô hình hồiquy đa thức với một biến dự báo:

Yi = β0+ β1Xi+ β2Xi2+ εi (1.34)Mặc dù hàm đáp ứng của mô hình hồi quy (1.34) là đường cong nhưng nó chỉ

là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát (1.29) Nếuchúng ta cho Xi1= Xi và Xi2= Xi2 thì có thể viết (1.34) như sau:

Yi = β0+ β1Xi1+ β2Xi2+ εi

Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).(1.34) minhhọa một mô hình hồi quy tuyến tính mà hàm đáp ứng là phương trình bậc hai,các mô hình với hàm đáp ứng đa thức bậc cao hơn cũng là trường hợp đặc biệtcủa mô hình hồi quy tuyến tính tổng quát

Biến biến đổi

Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường congphức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát.Xét mô hình sau với biến biến đổi Y:

logYi= β0+ β1Xi1+ β2Xi2+ β3Xi3+ εi (1.35)

Ở đây mặt đáp ứng khá phức tạp, mô hình (1.35) vẫn có thể đưa về mô hìnhhồi quy tuyến tính tổng quát Nếu đặt Yi0 = logYi ta có:

Yi0= β0+ β1Xi1+ β2Xi2+ β3Xi3+ εi

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng

Yi= β0+ β1Xi1+ β2Xi2+ β3Xi1Xi2+ εi (1.37)Với trường hợp này, hàm đáp ứng khá phức tạp do điều kiện tương tácβ3Xi1Xi2

Mô hình (1.37) vẫn là một trường hợp đặc biệt của mô hình hồi quy tuyến tính(1.29) Đặt X i3 = X i1 X i2 và viết lại (1.37) như sau:

Yi= β0+ β1Xi1+ β2Xi12 + β3Xi2+ β4Xi22 + β5Xi1Xi2+ εi (1.38)

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).

Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm nhiều mô hình phứctạp, một số mô hình có thể rất phức tạp Hình 1.2 minh họa cho hai mặt đápứng phức tạp có hai biến dự báo, đó có thể được biểu diễn bởi mô hình hồi quytuyến tính tổng quát (1.29)

Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát

Ý nghĩa này cần thể hiện rõ ràng từ các ví dụ khác nhau của mô hình tuyếntính tổng quát (1.29) không giới hạn đến mặt đáp ứng tuyến tính Điều kiện

mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính vớicác tham số, không phải đề cập đến hình dáng của mặt đáp ứng

Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể đượcviết dưới dạng:

Yi= ci0β0+ ci1β1+ ci2β2+ + cip−1βp−1+ εi (1.39)trong đó các giá trị c i0,c i1, là các hệ số liên quan đến biến dự báo Ví dụ trong

mô hình bậc nhất (1.1) với hai biến dự báo:

Yi = β0+ β1Xi1+ β2Xi2+ εi

là tuyến tính với các tham số, trong đó c i0 = 1, c i1 = X i1, c i2 = X i2

Mô hình:

Yi = β0exp(β1Xi) + εi

là mô hình hồi quy phi tuyến vì nó không thể đưa về dạng (1.29)

1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát

Mô hình hồi quy tuyến tính tổng quát (1.29) có thể được biểu diễn dướidạng ma trận Mô hình này gồm nhiều trường hợp khác nhau, các kết quả dướidạng ma trận phải thể hiện được hết các trường hợp đó

Một tính chất đáng chú ý của ma trận đại số là các kết quả cho mô hình hồiquy tuyến tính tổng quát (1.29) ở dạng ma trận cũng giống như mô hình hồiquy đơn tuyến tính Chỉ bậc tự do, các hằng số liên quan đến số lượng các biến

X và kích thước của ma trận là khác Do đó, chúng ta có thể biểu diễn các kếtquả này rất chính xác

Để đơn giản, các ký hiệu ma trận có thể ẩn lượng lớn các tính toán phức tạp

Ví dụ, tìm nghịch đảo của một ma trận cấp 10 × 10 đòi hỏi một lượng lớn cáctính toán, để đơn giản biểu diễn là A−1 Lý do cho việc nhấn mạnh ma trận đại

số là để chỉ ra các bước định nghĩa trong lời giải Trong tất cả các trường hợpđơn giản nhất, các tính toán thực tế được làm bởi máy tính Do đó, không quantrọng khi tìm ma trận nghịch đảo của các ma trận cấp 2 × 2 hay cấp 10 × 10.Điều quan trọng là biết ma trận nghịch đảo đại diện cho cái gì

Để biểu diễn cho mô hình hồi quy tuyến tính tổng quát (1.29):

ε: véc tơ các biến ngẫu nhiên độc lập cùng phân phối chuẩn với kỳ vọngE{Y } = 0

và ma trận hiệp phương sai:

1.4 Ước lượng các hệ số hồi quy

Tiêu chuẩn bình phương cực tiểu (1.8) được tổng quát hóa cho mô hình hồiquy tuyến tính tổng quát (1.29) như sau:

Các ước lượng bình phương cực tiểu là các giá trị của β0, β1, ,βp−1 làm cựctiểu hóa Q Chúng ta biểu diễn véc tơ ước lượng các hệ số hồi quy b0, b1, ,

n

X

i=1 (Y i − β 0 − β 1 X i1 − · · · − β p−1 X i,p−1 )2

#(1.48)

Các ước lượng của β0, β1, , βp−1 làm cực đại hàm hợp lý này được đưa ratrong công thức (1.47) Các ước lượng này là ước lượng bình phương cực tiểu và

là ước lượng hợp lý cực đại và có tính chất: các ước lượng phương sai cực tiểukhông chệch, ước lượng vững và ước lượng đủ

1.5 Ước lượng mẫu và phần dư

Gọi Yˆ là véc tơ ước lượng mẫu Yˆi và e là véc tơ phần dư ei= Yi− ˆ Yi, ta có:

1.6 Các kết quả phân tích phương sai

1.6.1 Tổng bình phương và trung bình bình phương

Tổng bình phương cho phân tích phương sai dạng ma trận là:

SST O = Y0Y −

1 n

Bảng 1.1 chỉ ra các kết quả phân tích phương sai, cũng như trung bình bìnhphương M SR và M SE:

biến X: X1, , Xp−1, tức là lựa chọn giữa các giả thiết:

nhưng SST O luôn luôn là như nhau cho mỗi tập các đáp ứng đưa ra Do R2

thường lớn hơn bởi lượng lớn hơn các biến dự báo nên đôi khi cho rằng nó là

một độ đo thay đổi được dùng để nhận ra số lượng các biến dự báo trong mô hình.

Hệ số xác định bội hiệu chỉnh, ký hiệu R2a, điều chỉnh R2 bằng cách chia mỗitổng bình phương cho bậc tự do của nó:

R2a = 1 −

SSE n−p SST O n−1

1.6.4 Hệ số tương quan bội

Hệ số tương quan bội R là căn bậc hai của R2:

1.7 Các kết luận về các tham số hồi quy

Các ước lượng bình phương cực tiểu và hợp lý cực đại b là không chệch:

1.7.1 Ước lượng khoảng tin cậy cho βk

Đối với mô hình hồi quy sai số chuẩn (1.41), ta có:

bk − βks(bk) ∼ t(n − p) k = 0, 1, , p − 1 (1.71)nên khoảng tin cậy cho βk với độ tin cậy 1 − α là:

bk± t(1 − α/2; n − p)s{bk} (1.72)1.7.2 Kiểm định cho βk

Kiểm định cho βk được thiết lập theo cách thông thường Để kiểm định:

trong đó:

1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới

1.8.1 Ước lượng khoảng tin cậy của E{Yh}

Các giá trị của X1, X2, ,Xp−1 được kí hiệu là Xh1, Xh2, ,Xh,p−1, trungbình đáp ứng được kí hiệu là E{Yh} Định nghĩa véc tơ Xh như sau:

Khi đó, trung bình đáp ứng được ước lượng là:

số hồi quy:

σ2{ ˆ Yh} = Xh0σ2{b}Xh (1.78a)

Từ (1.78a) ta thấy phương saiσ2{ ˆ Yh} là một hàm của phương sai σ2{bk} và củahiệp phương sai σ{bk; bk0 }, giống như hồi quy tuyến tính đơn Các ước lượngphương sai s2{ ˆ Yh} được tính như sau:

s2{ ˆ Yh} = M SE(Xh0(X0X)−1Xh)) = Xh0s2{b}Xh (1.79)Giới hạn tin cậy 1 − α cho E{Yh} là:

ˆ

Yh± t(1 − α/2; n − p)s{ ˆ Yh} (1.80)1.8.2 Miền tin cậy cho mặt hồi quy

Miền tin cậy 1 − α cho toàn bộ mặt hồi quy được một mở rộng từ khoảng tincậy Working Hotelling cho đường hồi quy trong trường hợp có một biến dự báo.Các điểm giới hạn của miền tin cậy tại Xh có được từ:

1.8.3 Khoảng tin cậy đồng thời cho một số trung bình đáp ứng

Để ước lượng đồng thời một số trung bình đáp ứng E{Y } tương ứng với cácvéc tơ Xh khác nhau với cùng độ tin cậy 1 − α dùng hai điểm cơ bản sau:

1 Sử dụng miền giới hạn tin cậy Working-Hotelling (1.81) cho các véc tơ Xh

2 Sử dụng khoảng tin cậy đồng thời Bonferroni Khi thực hiện g ước lượngkhoảng, khoảng tin cậy Boferroni là:

Giới hạn dự báo 1 − α cho quan sát mới Yh(new) ứng với Xh là:

ˆ

Yh± t(1 − α/2; n − p)s{pred} (1.84)trong đó:

s2{pred} = M SE + s2{ ˆ Yh} = M SE(1 + Xh0(X0X)−1Xh) (1.84a)

và s2{ ˆ Yh} được xác định bởi (1.79).

1.8.5 Dự báo trung bình của m quan sát mới tại Xh

Khi m quan sát mới được lựa chọn với cùng mức Xh và trung bình của chúng

¯

Yh(new) được dự báo, khoảng dự báo 1 − α là:

ˆ

Yh± t(1 − α/2; n − p)s{predmean} (1.85)trong đó:

Khoảng dự báo đồng thời cho g quan sát mới tại g mức khác nhau của Xh

với độ tin cậy 1 − α được đưa ra bởi:

ˆ

trong đó:

S2 = gF (1 − α; g, n − p) (1.86a)

và s2{pred} được xác định bởi (1.84a)

Có thể dùng khoảng dự báo đồng thời Bonferroni để đưa ra khoảng tin cậyđồng thời 1 − α cho g dự báo mới:

Khi ước lượng trung bình đáp ứng hoặc dự đoán quan sát mới trong hồi quybội, cần đặc biệt cẩn thận khi ước lượng hoặc dự báo không nằm ngoài phạm

vi của mô hình Tất nhiên, vấn đề là mô hình có thể không thích hợp khi mởrộng miền quan sát Trong hồi quy bội, rất dễ mất quan sát miền này vì địnhnghĩa miền dựa vào sự kết hợp mức của X1, , Xp−1 Do vậy, người ta khôngđơn thuần chỉ nhìn vào miền của mỗi biến dự báo

Hình 1.3: miền quan sát X 1 , X 2 và so sánh với phạm vi của X 1 , X 2

Trong hình 1.3, miền bóng mờ là miền quan sát của một ứng dụng hồi quybội với hai biến dự báo và các điểm chấm biểu diễn các giá trị (Xh1, Xh1) chobiến dự báo được thực hiện Điểm chấm tròn là phạm vi của biến dự báo X1 và

X2 riêng lẻ nằm ngoài miền quan sát Rất dễ để phát hiện các ngoại suy nàykhi chỉ có hai biến dự báo, nhưng nó trở nên khó khăn hơn khi số lượng biến dựbáo lớn hơn

1.9 Chẩn đoán và biện pháp khắc phục

Chẩn đoán đóng vai trò quan trọng trong sự phát triển và đánh giá các môhình hồi quy bội Hầu hết các thủ tục chẩn đoán cho mô hình hồi quy đơn cũng

áp dụng được với hồi quy bội Các thủ tục chẩn đoán hiện nay cũng như cácbiện pháp khắc phục hậu quả cho hồi quy đơn cũng có thể áp dụng cho hồi quybội Các chẩn đoán chuyên biệt và biện pháp khắc phục hậu quả cho hồi quybội cũng được phát triển.

1.9.1 Ma trận đồ phân tán

Biểu đồ hộp, biểu đồ trình tự, biểu đồ thân lá cành và biểu đồ điểm cho mỗibiến dự báo và biến đáp ứng có thể rất hữu ích vì nó đưa ra thông tin sơ bộ vềcác biến này Biểu đồ phân tán của biến đáp ứng ứng với mỗi biến dự báo cóthể hỗ trợ trong việc xác định bản chất và độ mạnh của mối quan hệ giữa mỗibiến dự báo với biến đáp ứng và trong việc xác định những khoảng trống trongcác điểm dữ liệu cũng như các điểm nằm ngoài dữ liệu Biểu đồ phân tán củamỗi biến dự báo đối với biến dự báo khác là hữu ích cho việc nghiên cứu quan

hệ giữa hai biến trong các biến dự báo và cho việc tìm kiếm các khoảng trống

và phát hiện các giá trị ngoại lai

Phân tích được dễ dàng hơn nếu các biểu đồ phân tán được lắp ráp trongmột ma trận đồ phân tán, ví dụ hình 1.4:

Hình 1.4: Ma trận đồ phân tán & ma trận tương quan

Trong ma trận đồ phân tán, biến Y có tên nằm trên hàng và biến X có tênnằm trên cột Do vậy, ma trận đồ phân tán trong hình 1.4 chỉ ra trong hàng đầutiên các biểu đồ của Y (SALES) đối vớiX1 (TARGETPOP) vàX2(DISPOINC),các biểu đồ củaX1 đối với Y vàX2trong hàng thứ hai, và các biểu đồ củaX2 với

Y và X1 trong hàng thứ 3 Một cách khác, bằng cách xem cột đầu tiên, người ta

có thể so sánh biểu đồ củaX1 và X2 đối với Y, và tương tự cho hai cột khác Một

ma trận đồ phân tán tạo điều kiện cho việc nghiên cứu mối quan hệ giữa các biếnbằng cách so sánh các biểu đồ phân tán trong cùng một cột hoặc cùng một hàng

Hơn nữa, ma trận đồ phân tán rất hữu ích trong trường hợp ma trận tươngquan Ma trận chứa các hệ số tương quan đơn rY 1, rY 2, , rY,p−1 giữa Y và cácbiến dự báo, cũng như là các hệ số tương quan đơn giữa các biến dự báo, r12

giữa X 1 và X 2, r 13 giữaX 1 và X 3, Định dạng của ma trận tương quan sau làcủa ma trận đồ phân tán:

Một số gói thống kê cho phép người dùng sử dụng brushing với các ma trận

đồ phân tán Trong mỗi biểu đồ phân tán, khi một điểm được loại bỏ nó đượcxuất hiện trên màn hình máy tính Brushing cũng hữu dụng khi xem mộttrường hợp ở cách xa trung tâm trong một biểu đồ phân tán có xa trung tâmtrong một số hay tất cả các biểu đồ phân tán khác hay không

1.9.2 Biểu đồ phân tán ba chiều

Một số gói thống kê tương tác đưa ra biểu đồ phân tán ba chiều hay đámmây điểm, và cho phép quay các biểu đồ này để người xem thấy đám mây điểm

từ các quan điểm khác nhau Điều này có thể rất hữu ích cho việc xác định môhình mà chỉ có thể làm rõ từ những quan điểm nhất định

1.9.3 Biểu đồ phần dư

Hình 1.5: Biểu đồ phân tán ba chiều

Biểu đồ phần dư ứng với các ước lượng mẫu rất hữu ích cho việc đánh giá

sự phù hợp của hàm hồi quy bội và tính không đổi của phương sai các sai số,cũng như là việc cung cấp thông tin về các giá trị ngoại lai, giống như hồi quyđơn Tương tự như vậy, một biểu đồ phần dư đối với thời gian hoặc với một sốtrình tự khác cung cấp các thông tin chẩn đoán về sự tương quan giữa các sai

số trong hồi quy bội Biểu đồ hộp và các biểu đồ phân phối chuẩn của các phần

dư rất có ý nghĩa cho việc kiểm tra xem các sai số có phân phối chuẩn hay không

Hơn nữa, nên vẽ biểu đồ giữa phần dư và mỗi biến dự báo Mỗi biểu đồ này

có thể cung cấp nhiều thông tin hơn về sự phù hợp của hàm hồi quy đối đối vớibiến dự báo đó và về sự thay đổi có thể trong độ lớn của phương sai sai số liênquan đến biến dự báo này

Cũng nên vẽ biểu đồ giữa phần dư và các biến dự báo quan trọng đã bị loại

bỏ khỏi mô hình, để xem liệu các biến bị loại bỏ có tác dụng bổ sung đáng kểđến biến đáp ứng mà chưa được ghi nhận trong mô hình Nên vẽ biểu đồ giữaphần dư với các điều kiện tương tác cho các ảnh hưởng tương tác tiềm năng

mà không được bao gồm trong mô hình hồi quy, ví dụ đối với X1X2, X1X3, và

X2X3, để xem liệu có hay không một số hay tất cả các điều kiện tương tác này

là cần thiết với mô hình