Bài giảng mô hình hồi quy tuyến tính

Seminar ngày 5/10/09 MÔ HÌNH HỒI QUI TUYẾN TÍNH VÕ ĐÌNH BẢY Hồi qui tuyến tính Hồi qui tuyến tính Mục tiêu hồi qui tiên đoán giá trị hay nhiều biến (liên tục) mục tiêu t cho trước giá trị vector D-chiều x. x Đơn giản sử dụng công thức dạng y = ax + b. b Công thức hồi qui đơn giản (1) Công thức hồi qui đơn giản (1) Công thức: y = ax + b. b Khi ấy, với X = {x1, x2, …xN} T = {t1, t2, …, tN}. } Ta tìm công thức hồi qui sau: N N (ti − yi ) = ∑ [ti − (axi + b)] Xé hàm Xét hà lỗi SE = ∑ i =1 i =1 Cực tiểu hàm lỗi để nhận hệ số a, b. Công thức hồi qui đơn giản (2) Công thức hồi qui đơn giản (2) Cực tiểu hàm lỗi để nhận hệ số a, a b. b N Ta có: ∂SE d da = −2∑ [ti − (axi + b)]xi i =1 N ∂SE = −2∑ [ti − (axi + b)] db i =1 Công thức hồi qui đơn giản (3) Công thức hồi qui đơn giản (3) Giải hệ với biến a, a b: N ⎧ ( xi − mean X )(ti − meanT ) ∑ ⎪ i =1 ⎧N ⎪ a = N ⎪⎪∑ [ti − (axi + b)]xi = ⎪⎪ i =1 ( x − mean ) ∑ i X ⎨N ⇒⎨ i =1 ⎪∑ [ti − (axi + b)] = N N ⎪ ⎪⎩ i =1 ti xi ⎪ ∑ ∑ ⎪b = i =1 − a i =1 = mean − a * mean T X ⎪⎩ N N Trong meanX, meanT giá trị trung bình X T. T Công thức hồi qui đơn giản (4) Công thức hồi qui đơn giản (4) Ví dụ: X 0.2 05 0.5 0.6 T 0.3 0.8 0.9 01 0.01 N ⎧ ( xi − mean X )(ti − meanT ) ∑ ⎪ ⎪a = i =1 = −0.295 N ⎪⎪ ( x − mean ) ∑ i X ⇒⎨ i =1 N N ⎪ ti xi ⎪ ∑ ∑ ⎪b = i =1 − a i =1 = mean − a * mean = 0.738 T X ⎪⎩ N N Hayy phương p g trình là: y = -0.295x+0.738! Công thức hồi qui đơn giản (4) Công thức hồi qui đơn giản (4) X 0.2 0.5 0.6 T 0.3 0.8 0.9 0.01 Hàm dự đoán: y = -0.295x+0.738 X 0.1 0.8 T T’ 0.71 0.5 ⎧a = −0.295 ⇐⎨ ⎩b = 0.738 Dạng đơn giản – Đa thức Hồi qui tuyến tính sở (1) Hồi qui tuyến tính cơ Một cách khác sử dụng đường cong đa thức: Tùy theo giá trị M, có hàm xấp xỉ với ( i, ti) ợ cho. ggiá trịị (x Hàm hồi qui tuyến tính sở (2) Hàm hồi qui tuyến tính cơ Các điểm Cá điể liệu (xi, ti) Hàm cần dự đoán ⇒ Cần xác định w0, …, wM. Hàm hồi qui tuyến tính sở (2) Hàm hồi qui tuyến tính cơ Hàm sở dạng g đa thức: ≡ Hàm dạng đa thức Hàm hồi qui tuyến tính sở (3) Hàm hồi qui tuyến tính cơ Hàm sở dạng g Gaussian: Trong μj tính theo công thức: Hoặc: với Hàm hồi qui tuyến tính sở (4) Hàm hồi qui tuyến tính cơ Hàm Sigmoid g sở: T Trong đó: Cực đại likelihood và bình phương tối thiểu (1) Giả sử có hàm nhiễu Gaussian sau: Hay viết cách khác: Cho quan sát , hàm likelihood: hàm đích Cực đại likelihood và bình phương tối thiểu(2) Lấy ln vế ta có: Trong hàm tổng bình phương lỗi (sum-of-quares error). Cực đại likelihood và bình phương tối thiểu(3) Gradient log có dạng: = Giải hệ = với biến w ta được: Moore‐Penrose  pseudo‐inverse,       . p , Trong đó: Cực đại likelihood và bình phương tối thiểu (4) Giả sử y(x,w) = ta có: Cho ED(w) = ta được: Với: Cực đại likelihood và bình phương tối thiểu(5) Từ ta đạt hàm cực đại láng giềng: Bản chất hình học bình phương tối thiểu Xét côngg thức: Trong đó: S mặt phẳng xây â dựng dự từ (M chiều) T không gian N chiều. chiều wML khoảng cách nhỏ từ t với hình chiếu S (chính y). Sequential Learning (1) Sequential Learning (1) Xử lí theo lô công thức đòi hỏi phải đưa toàn liệu vào để xử lí lúc ⇒ chi phí xử lí lớn (hoặc không đủ nhớ để xử lí). Điều giải cách sử dụng thuật toán tăng cường (sequential hay online)! Sequential Learning (2) Sequential Learning (2) Có thể sử dụng công thức: Trong τ bước lặp thứ τ. τ +1 biểu thị bước lặp thứ τ +1. Cách làm nàyy ợ gọ gọi least-mean-squares. q Giá trị η cần chọn cho bảo đảm tính hội tụ thuật toán! Regularized Least Squares (1) Regularized Least Squares (1) Xét hàm lỗi (được trình bày trrong chương 1): Data term + Regularization term g Tổng bình phương hàm lỗi sau: Cực tiểu hóa ta được: Regularized Least Squares (2) Regularized Least Squares (2) Tổng quát hơn, ta có công thức: Lasso Quadratic Regularized Least Squares (3) Regularized Least Squares (3) Với q = 2, công thức cho trở thành công thức thường dùng (có tên Quadratic) Với q = 1, công thức gọi lasso. lasso Trong trường hợp λ đủ lớn, có số wj tiến 0. Vì vậy, chúng khôngg đóngg vai trò ggì trongg côngg thức! Đa đầu (1) Đa đầu ra (1) Các phần trước xét trường hợp biến đích t biến đơn (chỉ chứa thuộc tính). Trong trường hợp T ma trận có kích thước MxK, ta có công thức: Cho quan sát đích Ta có hàm log likelihood sau: Đa đầu (2) Đa đầu ra (2) Cực đại hàm theo biến W, ta có (giống công thức target) Xét target đơn tk, ta thấy: ấ Với , kết hoàn toàn giống với trường hợp output. [...]... Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (1) Công thức tổng quát: Trong đó φ j ( x) là các hàm cơ sở (basis functions) w = (w0, w1, …, wM-1)T và φ = (φ0, φ1, …, φM-1)T Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (2) Hàm cơ sở dạng đa thức: ạ g ≡ Hàm cơ bản dạng đa thức Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (3) Hàm cơ sở dạng Gaussian: ạ g Trong đó μj được tính. .. dạng đa thức: ạ g ≡ Hàm cơ bản dạng đa thức Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (3) Hàm cơ sở dạng Gaussian: ạ g Trong đó μj được tính theo công thức: Hoặc: với Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (4) Hàm Sigmoid cơ sở: g Trong đó T đó: Cực đại likelihood và bình phương tối thiểu (1) Giả sử đã có hàm nhiễu Gaussian như sau: trong đó Hay có thể viết cách khác: Cho các... được: Với: và Cực đại likelihood và bình phương tối thiểu(5) Từ đó ta đạt được hàm cực đại láng giềng: Bản chất hình học của bình phương tối thiểu Xét công thức: g Trong đó: S là mặt phẳng được xây dựng từ â dự (M chiều) T là không gian N chiều chiều wML là khoảng cách nhỏ nhất từ t với hình chiếu của nó trên S (chính là y) ...Hàm lỗi (Sum‐of‐Squares Error Function) (Sum of Squares Error Function) t thực tế Giá trị ước lượng Lỗi: y(x,w) - t y( , ) Hàm lỗi (2) Hàm lỗi (2) Tìm w sao cho E(w) đạt min ⇒ Giải bài toán cực trị hàm nhiều biến Hàm xấp xỉ với M  0 Hàm xấp xỉ với M = 0 Hàm xấp xỉ với M  1 Hàm xấp xỉ với M = 1 Hàm xấp xỉ với M  3 Hàm xấp xỉ với M = 3 Hàm xấp xỉ với M  9 Hàm xấp xỉ với M = 9 Over . Seminar ngày 5/10/09 MÔ HÌNH HỒIQUI TUYẾNTÍNH VÕ ĐÌNH BẢY VÕ ĐÌNH BẢY H ồ i qui tuy ế n tính H ồ i  qui  tuy ế n  tính Mục tiêu của hồi qui là tiên đoán giá trị của Mục tiêu của hồi qui là tiên đoán giá trị của một. (1) Công  th ứ c  h ồ i  qui  đ ơ n  gi ả n  (1) Công thức : y = ax + b Công thức : y ax + b . Khi ấy, vớiX={x 1 ,x 2 ,…x N }vàT={t 1 ,t 2 , t } Ta có thể tìm công thức hồi qui như …, t N } . Ta có thể tìm công thức hồi qui như sau: Xé hà lỗi SE ∑ ∑ + NN b ax t y t )] ( [ ) ( Xé t hà m lỗi SE = Cựctiểuhàmlỗi. 0.71 0.8 0.5 ⎩ ⎨ ⎧ = − = ⇐ 738.0 295.0 b a 0.2 0.8 0.5 1 0.8 0.5 0.6 0.9 10.01 Dạng đơn giản – Đa thức H ồ i qui tuy ế n tính c ơ s ở (1) H ồ i  qui  tuy ế n  tính  c ơ s ở (1) Một cách khác là sử dụng đường cong đathức: Một cách