Hồi qui thường được xếp vào loại bài toán tối ưu vì chúng ta nỗ lực để tìm kiếm mộtgiải pháp để cho sai số và phần dư là tốt nhất. Phương pháp sai số chung nhất được sửdụng là phương pháp bình phương cực tiểu: phương pháp này tương ứng với một hàmhợp lý dạng Gauss của các dữ liệu quan sát khi biết biến ngẫu nhiên (ẩn). Về một mặtnào đó, bình phương cực tiểu là một phương pháp ước lượng tối ưu OLS.Để giải quyết bài toán tối ưu trong hồi qui thường dùng các giải thuật như giải thuậthạ bậc gradient gradient descent, giải thuật GaussNewton, và giải thuật LevenbergMarquardt.Các giải thuật xác suất như RANSAC có thể được dùng để tìm một phù hợptốt cho tập mẫu, khi cho trước một mô hình tham số hóa của hàm đường cong.Hồi qui có thể được biểu diễn bằng phương pháp hàm hợp lý ước lượng các tham số củamột mô hình nào đó. Tuy nhiên, với một lượng nhỏ dữ liệu, ước lượng này có thể có phươngsai lớn (high variance). Các phương pháp Bayesian có thể được sử dụng để ước lượng cácmô hình hồi qui. Các tham số có một phân phối điều kiện được giả định trước, nó baogồm mọi thông tin thống kê đã biết trước về các biến. (Ví dụ, nếu một tham số được biếtlà không âm thì một phân phối không âm sẽ được gán cho nó.) Phân phối được giả địnhtrước này sau đó được áp dụng cho vector tham số. Phương pháp Bayes có ưu điểm là khai1thác được toàn bộ các thông tin đã có và nó là ước lượng chính xác, không phải ước lượngchệch và do đó rất tốt cho các tập số liệu nhỏ. Trong thực hành, người ta sử dụng phươngpháp MAP maximum a posteriori, phương pháp này đơn giản hơn phân tích Bayes đầy đủ.Trong khuôn khổ của bài viết này, phần đầu tác giả đặc biệt chú trọng trình bày vềhồi qui bội và những vấn đề liên quan gồm phương pháp ước lượng bình phương cực tiểuOLS, các điều kiện giả thiết mô hình hồi qui, các đặc trưng thông kế OLS, ý nghĩa quantrọng của các hệ số xác định, hệ số tương quan của mô hình, các loại kiểm định giả thuyếtcủa hồi qui bội, dự báo. Ở phần sau là những giới thiệu về các mô hình hồi qui phi tuyếnthường gặp và những phương pháp ước lượng nhằm tuyến tính hóa chúng. Trong quátrình làm việc dù đã rất cố gắng nhưng không thể tránh những sai sót, hi vọng nhận đượcnhững ý kiến đóng góp chân thành từ bạn đọc.
1 BÀI THUYẾT TRÌNH MƠN XÁC SUẤT THỐNG KÊ HỒI QUI BỘI & HỒI QUI PHI TUYẾN NỘI DUNG CHÍNH I HỒI QUI BỘI Mơ hình hồi qui bội Phương pháp bình phương cực tiểu OLS Các điều kiện giả thiết, đặc trưng thống kê OLS Hệ số xác định, hệ số xác định điều chỉnh Kiểm định (mơ hình tổng thể, hệ số hồi qui riêng) Khoảng tin cậy hệ số hồi qui Dự đoán phân tích hồi qui bội NỘI DUNG CHÍNH II HỒI QUI PHI TUYẾN Mơ hình hồi qui phi tuyến Hồi qui phi tuyến dạng tích Hồi qui phi tuyến dạng đa thức Phương pháp OLS hồi qui phi tuyến I HỒI QUI BỘI Giới thiệu Hồi qui bội dùng để xem xét mối liên hệ tuyến tính biến ngẫu nhiên độc lập (biến ảnh hưởng) với biến ngẫu nhiên phụ thuộc (biến chịu ảnh hưởng) Mục tiêu phân tích hồi qui nhằm mơ hình hóa mối liên hệ, nghĩa từ liệu mẫu thu thập từ ta cố gắng xây dựng mơ hình tốn học nhằm thể cách tốt mối liên hệ biến độc lập với biến phụ thuộc Kết phân tích hồi qui dùng để dự đốn VÍ DỤ MƠ HÌNH HỒI QUI BỘI Mơ hình hồi qui bội mơ hình biến phụ thuộc chịu ảnh hưởng hai biến độc lập (biến giải thích) Các dạng mơ hình gồm: - Mơ hình hồi qui bội tổng thể - Mơ hình hồi qui bội mẫu 1.1 MƠ HÌNH HỒI QUI BỘI TỔNG THỂ x12 1.2 MƠ HÌNH HỒI QUI BỘI MẪU 10 PHƯƠNG PHÁP OLS CHO HỒI QUI PHI TUYẾN 74 75 76 X số ngày nằm viện VÍ DỤ Y số dự đoán cho hồi phục lâu dài sau xuất viện 77 78 79 80 81 82 83 84 85 86 87 CẢM ƠN CÔ VÀ CÁC BẠN ĐÃ CHÚ Ý LẮNG NGHE 88 ... số hồi qui riêng) Khoảng tin cậy hệ số hồi qui Dự đoán phân tích hồi qui bội NỘI DUNG CHÍNH II HỒI QUI PHI TUYẾN Mơ hình hồi qui phi tuyến Hồi qui phi tuyến dạng tích Hồi qui phi tuyến. .. Hồi qui phi tuyến dạng đa thức Phương pháp OLS hồi qui phi tuyến I HỒI QUI BỘI Giới thiệu Hồi qui bội dùng để xem xét mối liên hệ tuyến tính biến ngẫu nhiên độc lập (biến ảnh hưởng) với... MƠ HÌNH HỒI QUI BỘI Mơ hình hồi qui bội mơ hình biến phụ thuộc chịu ảnh hưởng hai biến độc lập (biến giải thích) Các dạng mơ hình gồm: - Mơ hình hồi qui bội tổng thể - Mơ hình hồi qui bội mẫu