PPT HỒI QUI BỘI VÀ HỒI QUI PHI TUYẾN TÍNH

Hồi qui thường được xếp vào loại bài toán tối ưu vì chúng ta nỗ lực để tìm kiếm mộtgiải pháp để cho sai số và phần dư là tốt nhất. Phương pháp sai số chung nhất được sửdụng là phương pháp bình phương cực tiểu: phương pháp này tương ứng với một hàmhợp lý dạng Gauss của các dữ liệu quan sát khi biết biến ngẫu nhiên (ẩn). Về một mặtnào đó, bình phương cực tiểu là một phương pháp ước lượng tối ưu OLS.Để giải quyết bài toán tối ưu trong hồi qui thường dùng các giải thuật như giải thuậthạ bậc gradient gradient descent, giải thuật GaussNewton, và giải thuật LevenbergMarquardt.Các giải thuật xác suất như RANSAC có thể được dùng để tìm một phù hợptốt cho tập mẫu, khi cho trước một mô hình tham số hóa của hàm đường cong.Hồi qui có thể được biểu diễn bằng phương pháp hàm hợp lý ước lượng các tham số củamột mô hình nào đó. Tuy nhiên, với một lượng nhỏ dữ liệu, ước lượng này có thể có phươngsai lớn (high variance). Các phương pháp Bayesian có thể được sử dụng để ước lượng cácmô hình hồi qui. Các tham số có một phân phối điều kiện được giả định trước, nó baogồm mọi thông tin thống kê đã biết trước về các biến. (Ví dụ, nếu một tham số được biếtlà không âm thì một phân phối không âm sẽ được gán cho nó.) Phân phối được giả địnhtrước này sau đó được áp dụng cho vector tham số. Phương pháp Bayes có ưu điểm là khai1thác được toàn bộ các thông tin đã có và nó là ước lượng chính xác, không phải ước lượngchệch và do đó rất tốt cho các tập số liệu nhỏ. Trong thực hành, người ta sử dụng phươngpháp MAP maximum a posteriori, phương pháp này đơn giản hơn phân tích Bayes đầy đủ.Trong khuôn khổ của bài viết này, phần đầu tác giả đặc biệt chú trọng trình bày vềhồi qui bội và những vấn đề liên quan gồm phương pháp ước lượng bình phương cực tiểuOLS, các điều kiện giả thiết mô hình hồi qui, các đặc trưng thông kế OLS, ý nghĩa quantrọng của các hệ số xác định, hệ số tương quan của mô hình, các loại kiểm định giả thuyếtcủa hồi qui bội, dự báo. Ở phần sau là những giới thiệu về các mô hình hồi qui phi tuyếnthường gặp và những phương pháp ước lượng nhằm tuyến tính hóa chúng. Trong quátrình làm việc dù đã rất cố gắng nhưng không thể tránh những sai sót, hi vọng nhận đượcnhững ý kiến đóng góp chân thành từ bạn đọc.

BÀI THUYẾT TRÌNH MÔN XÁC SUẤT THỐNG KÊ 2

 I HỒI QUI BỘI

 Mô hình hồi qui bội

 Phương pháp bình phương cực tiểu OLS

 Các điều kiện giả thiết, đặc trưng thống kê OLS

 Hệ số xác định, hệ số xác định điều chỉnh

 Kiểm định (mô hình tổng thể, hệ số hồi qui riêng)

 Khoảng tin cậy của các hệ số hồi qui

 Dự đoán trong phân tích hồi qui bội

2

NỘI DUNG CHÍNH

 II HỒI QUI PHI TUYẾN

 Mô hình hồi qui phi tuyến

 Hồi qui phi tuyến dạng tích

 Hồi qui phi tuyến dạng đa thức

 Phương pháp OLS trong hồi qui phi tuyến

3

NỘI DUNG CHÍNH

Giới thiệu

4

Hồi qui bội dùng để xem xét mối liên hệ tuyến tính giữa các biến ngẫu nhiên độc lập (biến ảnh hưởng) với biến ngẫu

nhiên phụ thuộc (biến chịu ảnh hưởng)

Mục tiêu phân tích hồi qui nhằm mô hình hóa mối liên hệ, nghĩa là từ các dữ liệu mẫu thu thập được từ ta cố gắng xây

dựng một mô hình toán học nhằm thể hiện một cách tốt nhất mối liên hệ giữa các biến độc lập với biến phụ thuộc Kết

quả của phân tích hồi qui được dùng để dự đoán

I HỒI QUI BỘI

VÍ DỤ

Mô hình hồi qui bội là mô hình trong đó biến phụ thuộc chịu ảnh hưởng của ít nhất hai biến độc lập

(biến giải thích).

Các dạng mô hình gồm:

- Mô hình hồi qui bội tổng thể

- Mô hình hồi qui bội mẫu.

6

1 MÔ HÌNH HỒI QUI BỘI

1.1 MÔ HÌNH HỒI QUI BỘI TỔNG THỂ

 

12

x

9

1.2 MÔ HÌNH HỒI QUI BỘI MẪU

11

,

 

13

2 PHƯƠNG PHÁP

BÌNH PHƯƠNG CỰC TIỂU (OLS)

)

17

VÍ DỤ 4

Liệu rằng các biến X_1,X_2, ,X_k có ảnh hưởng lẫn nhau ?

Hiện tượng đa cộng tính này dẫn đến việc chỉ khảo sát sự ảnh hưởng của các biến độc lập đến Y trong mô hình hồi qui không đầy đủ.

Câu hỏi đặt ra

 Ý tưởng giải pháp cho vấn đề này là các biến độc lập ảnh hưởng chỉ tương quan với biến phụ thuộc

chịu ảnh hưởng nhưng không có tương quan với nhau (many-to-one).

 Và còn nhiều vấn đề khác về giả thiết ảnh hưởng đến ý nghĩa của mô hình hồi qui bội Do đó ta cần

phải có các điều kiện xác định như sau

22

3 CÁC ĐIỀU KIỆN GIẢ THIẾT

 Khi các giả thiết trên được thỏa mãn thì các hệ số ước lượng thu được theo phương pháp bình phương tối tiểu OLS sẽ là các ước lượng tuyến tính, không chệch và có phương sai nhỏ nhất trong lớp các ước lượng không chệch.

 Nói cách khác khi các giả thiết này được đảm bảo thì các ước lượng tính được bằng phương pháp OLS là các ước lượng tốt nhất và hiệu quả nhất của hàm hồi qu tổng thể.

 Ta nói, ước lượng OLS là ước lượng BLUE (Best Linear Unbiased Estimator).

24

ĐỊNH LÝ GAUSS-MARKOV

25

TÍNH CHẤT ƯỚC LƯỢNG OLS

PHƯƠNG SAI VÀ ĐỘ LỆCH CHUẨN

CỦA ƯỚC LƯỢNG OLS

28

Mô hình hồi qui tuyến tính được xây dựng để giải thích sự biến thiên biến phụ thuộc với biến độc lập

• Nhưng mô hình này đã thể hiện tốt nhất mối liên hệ giữa chúng hay chưa ?

• Bao nhiêu phần trăm biến thiên của biến phụ thuộc được giải thích bởi các

biến ngẫu nhiên độc lập?

Câu hỏi đặt ra

31

SST=SSR+SSE

4 HỆ SỐ XÁC ĐỊNH

VÍ DỤ 5 Tìm hệ số tất định của mô hình trong ví dụ 4

5 HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNH

HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNH

VÍ DỤ 6

SST n

6 HỆ SỐ HỒI QUI TỪNG PHẦN

7 KIỂM ĐỊNH GIẢ THUYẾT CỦA MÔ HÌNH

HỒI QUI BỘI ĐỐI VỚI HỆ SỐ HỒI QUI

42

VÍ DỤ 7

VÍ DỤ 8

Một công ty muốn mở rộng thị trường tại một thành phố nên đả

nghiên cứu thị trường bằng cách tiến hành quảng cáo và chào bán

sản phẩm của mình Thu thập số liệu trong 10 tuần về số sản phầm

bán được trong một tuần(Y), giá sản phầm là X_1(ngàn đồng) chí

phí quảng cáo là X_2 (ngàn đồng), ta có bảng số liệu sau:

48

VÍ DỤ 8

8 KIỂM ĐỊNH GIẢ THUYẾT ĐỒNG THỜI CỦA MÔ HÌNH HỒI QUI

51

Với mức ý nghĩa α=5% hãy kiểm định tổng quát ý nghĩa mô hình hồi qui VD6

VÍ DỤ 9

0.128 0.67 0.756 0.753

Y = + X − X + X

55

9 KHOẢNG TIN CẬY CỦA CÁC

HỆ SỐ HỒI QUI

VÍ DỤ 10 Xét ví dụ 6 Tìm ước lượng khoảng của hệ số hồi qui riêng với độ tin cậy 95%

NX: kiểm định hệ số bằng khoảng tin cậy

0.128 4.303*0.415

4.303*0.045

4.

3 ( )

3 3

59

9 DỰ ĐOÁN TRONG PHÂN TÍCH HỒI QUI

VÍ DỤ 11

II HỒI QUI PHI TUYẾN

MÔ HÌNH HỒI QUI PHI TUYẾN

65

MỘT SỐ DẠNG HỒI QUI PHI TUYẾN

1 HÀM HỒI QUI PHI TUYẾN DẠNG TÍCH

68

2 HÀM HỒI QUI PHI TUYẾN ĐA THỨC

71

3 PHƯƠNG PHÁP OLS CHO HỒI QUI PHI TUYẾN

75

VÍ DỤ

X là số ngày nằm viện

Y là chỉ số dự đoán cho sự hồi phục lâu dài sau xuất viện

78

CẢM ƠN CÔ

VÀ CÁC BẠN

ĐÃ CHÚ Ý LẮNG NGHE