Phương pháp bình phương cực tiểu báo cáo đề tài nghiên cứu khoa học cấp trường

PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂU BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG Chủ nhiệm đề tài: Huỳnh Thanh Tồn TP Hồ Chí Minh - 2017 / 24 Tổng quan đề tài Khái niệm bình phương cực tiểu bắt nguồn từ cơng trình tiên phong Gauss Legendre khoảng đầu kỷ 19 Bình phương cực tiểu sử dụng nhiều thống kê đại mơ hình tốn học Các tốn có nhu cầu sử dụng phương pháp bình phương cực tiểu: giải hệ phương trình, tìm đường cong phù hợp ứng với dải liệu cho trước (curve fitting), tìm phương trình hồi quy thống kê / 24 Tổng quan đề tài Bài toán giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n , b ∈ Rm , x ∈ Rn Trường hợp Ax = b vô nghiệm + Phương pháp khử Gauss khơng đưa nghiệm xác + Phương pháp thay thế: tìm x¯ ∈ Rn cho x¯ gần để trở thành nghiệm theo nghĩa khoảng cách Euclide, tức A¯ x − b nhỏ Nghiệm x¯ trường hợp gọi nghiệm bình phương cực tiểu (least squares solution), xem [3] / 24 Tổng quan đề tài Bài toán giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n , b ∈ Rm , x ∈ Rn Trường hợp Ax = b vô nghiệm + Phương pháp khử Gauss khơng đưa nghiệm xác + Phương pháp thay thế: tìm x¯ ∈ Rn cho x¯ gần để trở thành nghiệm theo nghĩa khoảng cách Euclide, tức A¯ x − b nhỏ Nghiệm x¯ trường hợp gọi nghiệm bình phương cực tiểu (least squares solution), xem [3] / 24 Tổng quan đề tài Bài tốn tìm đường cong khớp với liệu cho trước Giả sử với liệu (ti , yi )i=1 m , ta cần tìm đường cong g (xj , t)j=1 n cho g (ti ) ≈ yi Đặt χ2 = m [yi − g (xj , ti )]2 , phương pháp bình i=1 phương cực tiểu tìm tham số xj χ2 bé Bài tốn tìm phương trình hồi quy thống kê / 24 Tổng quan đề tài Bài tốn tìm đường cong khớp với liệu cho trước Giả sử với liệu (ti , yi )i=1 m , ta cần tìm đường cong g (xj , t)j=1 n cho g (ti ) ≈ yi Đặt χ2 = m [yi − g (xj , ti )]2 , phương pháp bình i=1 phương cực tiểu tìm tham số xj χ2 bé Bài toán tìm phương trình hồi quy thống kê / 24 Các định nghĩa định lý Giả sử A ∈ Rm×n , b ∈ Rm , x ∈ Rn Định nghĩa (Hệ không quán (inconsistent)) Hệ Ax = b khơng có nghiệm gọi hệ khơng quán Định nghĩa (Nghiệm bình phương cực tiểu (least squares solution)) Nghiệm x¯ hệ không quán Ax = b thỏa A¯ x −b gọi nghiệm bình phương cực tiểu nhỏ / 24 Các định nghĩa định lý Giả sử F : Rn → R, f : Rn → Rm fi : Rn → R Định nghĩa (Bài tốn bình phương cực tiểu (least squares problem)) Bài tốn bình phương cực tiểu tốn tìm điểm cực tiểu địa phương x ∗ F (x) = m [fi (x)]2 , fi : Rn → R hàm i=1 cho trước m > n Định nghĩa (Điểm cực tiểu địa phương (local minimizer)) Cho số dương nhỏ δ hàm số F (x) Điểm x ∗ gọi điểm cực tiểu địa phương F (x) F (x ∗ ) F (x), ∀x thỏa x − x ∗ < δ / 24 Các định nghĩa định lý Định nghĩa (Điểm dừng (stationary point)) Điểm xs gọi điểm dừng F (x) F (xs ) = Định nghĩa (Ma trận xác định dương (positive definite matrix)) Ma trận đối xứng M ∈ Rn×n gọi + Xác định dương x T Mx > 0, ∀x ∈ Rn , x = + Nửa xác định dương (positive semidefinite) x T Mx ∀x ∈ Rn , x = 0, / 24 Các định nghĩa định lý Định nghĩa Gradient F  ∂F1 (x)   ∂x1     =      ∂F (x) ∂xn  F (x) = ∂F (x) ∂xj Định nghĩa Ma trận Hessian F F (x) = ∂2F (x) ∂xi ∂xj Định lý Nếu x ∗ điểm cực tiểu địa phương F (x) F (x ∗ ) = Định lý Nếu x điểm dừng F (x) F (x) xác định dương x cực tiểu địa phương F (x) / 24 Phương pháp đạo hàm cho tốn bình phương cực tiểu Xấp xỉ hàm tuyến tính Giả sử g (xj , t) = α + βt hàm cần tìm, (x1 , x2 ) = (α, β) m Đặt G (x) = [α + βti − yi ]2 Khi (α, β) tìm từ hệ i=1      ∂G   mα +   =0   ∂α ⇔ m ∂G     =0    ti  ∂β  i=1 m m ti β= i=1 yi i=1 m m ti2 α+ i=1 β= yi ti i=1 10 / 24 Phương pháp đạo hàm cho tốn bình phương cực tiểu Xấp xỉ hàm bậc Giả sử g (xj , t) = α + βt + γt hàm cần tìm, (x1 , x2 , x3 ) = (α, β, γ) m Đặt G (x) = i=1 α + βti + γti2 − yi Khi (α, β, γ) tìm từ hệ  m m m     mα + t β + t γ = yi i  i ∂G     =   i=1 i=1 i=1   ∂α     m m m  ∂G  m =0 ⇔ ti α + ti β + ti γ = yi ti ∂β     i=1 i=1 i=1 i=1     ∂G   m m m m     =0   ∂γ  t α + t β + t γ = yi ti2 i i i  i=1 i=1 i=1 i=1 11 / 24 Phương pháp đạo hàm cho tốn bình phương cực tiểu Xấp xỉ hàm mũ Giả sử g (xj , t) = Ce At hàm cần tìm, (x1 , x2 ) = (C , A) Khi ln g (xj , t) = ln C + At Đưa tốn tìm hàm xấp xỉ tuyến tính g˜ (˜ xj , t) = α + βt, x˜ = (α, β) = (ln C , A) 12 / 24 Phương pháp Gauss-Newton cho tốn bình phương cực tiểu Giả sử f : Rn → Rm , (m > n) hàm liên tục, khả vi cấp hàm F : Rn → R thỏa F (x) = m [fi (x)]2 = i=1 f (x) 2 = f T (x)f (x) Thuật tốn Gauss-Newton tìm nghiệm bình phương cực tiểu (i) Tính ma trận Jacobian J(x) f tìm hgn từ hệ phương trình tuyến tính J T Jhgn = −J T f (ii) Bước lặp x = x + hgn 13 / 24 Các toán áp dụng Bài tốn Tìm hàm tuyến tính hàm bậc hai khớp với liệu độ lệch nhiệt độ trung bình tồn cầu từ năm 1991-2000 cho bảng sau (xem [4]) 14 / 24 Các toán áp dụng Dùng phương pháp đạo hàm (ti , yi ) liệu cho trước g1 (t) = 0.123 + 0.034t g2 (t) = −0.4078 + 0.2997t − 0.0241t 15 / 24 Các tốn áp dụng Bài tốn Tìm đường cong khớp với dải liệu có chu kỳ nhiệt độ ghi nhận Washington ngày 1/1/2001 cho bảng sau (xem [3]) 16 / 24 Các toán áp dụng Dùng phương pháp giải hệ Ax = b với mơ hình g (xj , t) = x1 + x2 cos 2πt + x3 sin 2πt Kết thu g (t) = −1.95 − 0.7445 cos 2πt − 2.5594 sin 2πt 17 / 24 Các toán áp dụng Bài tốn Tìm đường cong khớp với dải liệu chiều cao trọng lượng trung bình bé trai từ 2-11 tuổi ghi nhận trung tâm kiểm soát dịch bệnh (Centers for Disease Control, CDC) năm 2002 sau (U.S National Health and Nutrition Examination Survey) (xem [3]) 18 / 24 Các toán áp dụng Dùng phương pháp giải hệ Ax = b với mơ hình + Mơ hình 1: g1 (xj , t) = αe βt Kết thu g1 (t) = 2.0907e 2.0553t + Mơ hình 2: g2 (xj , t) = αt β Kết thu g2 (t) = 16.3044t 2.4199 19 / 24 Các tốn áp dụng Bài tốn Tìm đường cong khớp với dải liệu mô tả số lượng ô tô hoạt động giới từ năm 1950 đến 1980 (xem [3]) 20 / 24 Các toán áp dụng Dùng phương pháp Gauss-Newton sau bước lặp với điều kiện ban đầu (x1 , x2 ) = (50, 0.1) mơ hình g (xj , t) = x1 e x2 t 21 / 24 TÀI LIỆU THAM KHO [1] Ake Bjă orck, Numerical Methods for Least Squares Problems, SIAM, 1996 [2] K Madsen, H.B Nielsen, O Tingleff, Methods for Non-linear Least Squares Problems, Informatics and Mathematical Modelling Technical University of Denmark [3] Timothy Sauer, Numerical Analysis, George Mason University [4] Kap, The Methods of Least Squares, lectures INF2320 [5] Stephen Boyd, Least Squares, EE103 Stanford University XIN CÁM ƠN QUÝ THẦY CÔ 22 / 24 Phụ lục phương pháp Gauss-Newton Giả sử f : Rn → Rm , (m > n) hàm liên tục, khả vi cấp hàm F : Rn → R thỏa F (x) = m [fi (x)]2 = i=1 f (x) 2 = f T (x)f (x) (1) Ta có Ma trận Jacobian f : J(x) = ∂fi ∂xj (x) ij Gradient f : F (x) = J T (x)f (x) Khai triển Taylor f : f (x + h) = f (x) + J(x)h + O( h ) (2) 23 / 24 Phụ lục phương pháp Gauss-Newton Từ (1) (2) ta có f (x + h) ≈ l(h) = f (x) + J(x)h (3) F (x + h) ≈ L(h) = F (x) + hT J T f + hT J T Jh (4) Gradient Hessian L: L (h) = J T f + J T Jh, L (h) = J T J Gọi hgn điểm dừng L, ta có L (hgn ) = Khi J T Jhgn = −J T f (5) L (h) = J T J ma trận đối xứng, xác định dương nên hgn cực trị địa phương Từ (5) ta có T T T T J f = −hgn J Jhgn < hgn (6) T J T Jh Thay (6) vào (4) ta F (x + hgn ) ≈ F (x) − 12 hgn gn 24 / 24 ... tốn bình phương cực tiểu (least squares problem)) Bài tốn bình phương cực tiểu tốn tìm điểm cực tiểu địa phương x ∗ F (x) = m [fi (x)]2 , fi : Rn → R hàm i=1 cho trước m > n Định nghĩa (Điểm cực. ..Tổng quan đề tài Khái niệm bình phương cực tiểu bắt nguồn từ cơng trình tiên phong Gauss Legendre khoảng đầu kỷ 19 Bình phương cực tiểu sử dụng nhiều thống kê đại mơ hình tốn học Các tốn có... Nếu x ∗ điểm cực tiểu địa phương F (x) F (x ∗ ) = Định lý Nếu x điểm dừng F (x) F (x) xác định dương x cực tiểu địa phương F (x) / 24 Nghiệm bình phương cực tiểu hệ khơng qn Xét hệ phương trình