Phương pháp gauss newton đối với bài toán bình phương tối thiểu phi tuyến (LV01978)

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI NGUYỄN THỊ NGÂN PHƯƠNG PHÁP GAUSS – NEWTON ĐỐI VỚI BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU PHI TUYẾN LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Hùng HÀ NỘI, 2016 LỜI CẢM ƠN Tôi xin bày tỏ lòng biết ơn sâu sắc tới TS Nguyễn Văn Hùng, thầy định hướng chọn đề tài tận tình hướng dẫn, giảng giải để hoàn thành luận văn Qua xin bày tỏ lòng biết ơn chân thành tới phòng Sau đại học, thầy cô giáo dạy cao học chuyên ngành Toán giải tích, trường Đại học Sư phạm Hà Nội trang bị kiến thức, giúp đỡ suốt trình học tập Nhân dịp xin gửi lời cảm ơn chân thành tới gia đình, bạn bè động viên, cổ vũ, giúp đỡ trình học tập hoàn thành luận văn Hà Nội, tháng 07 năm 2016 Tác giả Nguyễn Thị Ngân LỜI CAM ĐOAN Tôi xin cam đoan hướng dẫn TS Nguyễn Văn Hùng, luận văn: Phương pháp Gauss – Newton toán bình phương tối thiểu phi tuyến công trình nghiên cứu tác giả Trong trình nghiên cứu viết luận văn, tác giả kế thừa thành tựu nhà khoa học với trân trọng biết ơn, thông tin trích dẫn rõ nguồn gốc Hà Nội, tháng 07 năm 2016 Tác giả Nguyễn Thị Ngân MỤC LỤC MỞ ĐẦU 1 Lí chọn đề tài Mục đích nghiên cứu Nhiệm vụ nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Những đóng góp đề tài Chương KIẾN THỨC CHUẨN BỊ 1.1 Sai số 1.1.1 Sai số tuyệt đối sai số tương đối 1.1.2 Sai số thu gọn 1.1.3 Chữ số 1.1.4 Quan hệ sai số tương đối chữ số 1.2 Không gian tuyến tính 1.3 Không gian metric 1.4 Không gian định chuẩn 1.5 Không gian hilbert 10 1.5.1 Tích vô hướng 10 1.5.2 Bất đẳng thức Schwarz 10 1.5.3 Định nghĩa không gian Hilbert ví dụ 10 1.5.4 Tính trực giao 11 Chương BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU TUYẾN TÍNH 13 2.1 Phương pháp bình phương tối thiểu Gauss 13 2.1.1 Bài toán bình phương tối thiểu tuyến tính 13 2.1.2 Phương trình chuẩn 15 2.1.3 Điều kiện 17 2.1.4 Nghiệm phương trình chuẩn 20 2.2 Phương pháp trực giao hóa 21 2.2.1 Phép quay Givens 22 2.2.2 Các phép phản xạ Householder 24 Chương PHƯƠNG PHÁP GAUSS – NEWTON ĐỐI VỚI BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU PHI TUYẾN 33 3.1 Các phép lặp 33 3.2 Phương pháp Newton cho hệ phi tuyến 38 3.3 Phương pháp Gauss – Newton cho toán bình phương tối thiểu phi tuyến 44 3.4 Các hệ phi tuyến phụ thuộc vào tham số 51 3.4.1 Cấu trúc nghiệm 51 3.4.2 Các phương pháp liên tục 54 3.5 Áp dụng giải toán bình phương tối thiểu phi tuyến phần mềm Maple 64 KẾT LUẬN 69 TÀI LIỆU THAM KHẢO 70 MỞ ĐẦU Lí chọn đề tài Trong toán học, phương pháp bình phương tối thiểu tuyến tính hay gọi phương pháp tối ưu hóa để lựa chọn đường khớp cho dải liệu ứng với cực trị tổng sai số thống kê đường khớp liệu Đây phương pháp kết hợp với phương pháp trực giao hóa để thay phép khử Gauss cho hệ phương trình tuyến tính Khi hàm cho không tuyến tính với tham số ta có toán phức tạp hơn, toán bình phương tối thiểu phi tuyến Do đó, với mong muốn tìm hiểu sâu sắc toán bình phương tối thiểu phi tuyến, nhờ hướng dẫn, giúp đỡ tận tình thầy giáo, TS Nguyễn Văn Hùng, mạnh dạn chọn nghiên cứu đề tài “Phương pháp Gauss – Newton toán bình phương tối thiểu phi tuyến” để thực luận văn tốt nghiệp Mục đích nghiên cứu Đề tài nghiên cứu “Phương pháp Gauss – Newton toán bình phương tối thiểu phi tuyến” nhằm trình bày toán bình phương tối thiểu tuyến tính, phương pháp trực giao cho toán bình phương tối thiểu tuyến tính nghiệm phương trình chuẩn phương pháp Gauss – Newton cho toán bình phương tối thiểu phi tuyến Nhiệm vụ nghiên cứu Tìm hiểu toán bình phương tối thiểu tuyến tính bình phương tối thiểu phi tuyến Đối tượng phạm vi nghiên cứu Đối tượng phạm vi nghiên cứu phương trình, hệ phương trình không gian tuyến tính, không gian metric, không gian Hilbert, không gian định chuẩn Phương pháp nghiên cứu Phương pháp nghiên cứu giải tích giải tích số Những đóng góp đề tài Xây dựng luận văn thành tài liệu tham khảo tốt cho sinh viên học viên cao học phương pháp Gauss – Newton toán bình phương tối thiểu phi tuyến Chương KIẾN THỨC CHUẨN BỊ 1.1 Sai số 1.1.1 Sai số tuyệt đối sai số tương đối Trong tính toán ta thường phải làm việc với giá trị gần đại lượng Ta nói | lượng số gần , không sai khác | gọi sai số thật Do nhiều Đại nên ta ≥ 0, gọi sai số tuyệt đối Tuy nhiên ta tìm , thỏa mãn điều kiện: | ≤ hay ≤ + |≤ (1.1) Đương nhiên, nhỏ tốt Sai số tương đối | | Ví dụ Giả sử ta lấy = ; thỏa mãn điều kiện (1.1) = 3.14 Do 3.14 < = 0.01 Mặt khác, 3.14 < < 3.15 = 3.14 + 0.01 nên < 3.142 = 3.14 + 0.002 = 0.002 coi Ví dụ Đo độ dài đoạn thẳng AB, CD ta = = 10 = = 1cm với = 0.01 Khi ta có = hay = 10cm 0.01 = 0.1%; 10 Hiển nhiên, phép đo = 0.1 = 1%; xác phép đo Như vậy, độ xác phép đo phản ánh qua sai số tương đối 1.1.2 Sai số thu gọn Một số thập phân =± có dạng tổng quát sau: 10 + 10 + + 10 ≤9( = ≤ ≥ Nếu > số nguyên = số nguyên; chữ số Nếu = +∞, gồm ); 1, ( > 0) có phần lẻ số thập phân vô hạn Thu gọn số vứt bỏ số chữ số bên phải để số ngắn gọn gần với Quy tắc thu gọn: Giả sử = 10 + + 10 + + 10 ta giữ lại đến số hạng thứ j Gọi phần vứt bỏ , đặt = 10 + + 10 + 10 , đó: + 1, 0.5 × 10 < , Nếu < = 0.5 × 10 = < 10 < 0.5 × 10 = chẵn lẻ tính toán với số chẵn tiện Ví dụ: 3.141592 3.14159 3.1416 3.142 3.14 3.1 Sai số thu gọn Γ ≥ số thỏa mãn điều kiện: | Vì = 10 + = 10 + + 10 |= 10 + nên | + |≤Γ 10 + , + 10 < 0.510 sau thu gọn, sai số tuyệt đối tăng lên: | |≤| |+| |≤ +Γ 1.1.3 Chữ số Chữ số có nghĩa chữ số khác “0” “0”, kẹp hai chữ số có nghĩa đại diện cho hàng giữ lại Ví dụ: = 0.0030140 Ba chữ số “0” đầu nghĩa Mọi chữ số có nghĩa =± 10 + 10 + + 10 gọi chữ số chắc, Δ ≤ × 10 , tham số cho trước Tham số chọn để chữ số vốn sau thu gọn chữ số Giả sử chữ số cuối trước thu gọn Δ +Γ ≤ × 10 Để chữ số trước chắc, phải có Suy × 10 + 0.5 × 10 ≤ ≥ 5/9 Ta gọi chữ số theo nghĩa hẹp (rộng) × 10 = 0.5 ( hay = 1) Khi viết số gần đúng, nên giữ lại hai chữ số không để tính toán sai số tác động đến chữ số không mà 1.1.4 Quan hệ sai số tương đối chữ số Gọi chữ số (theo nghĩa rộng) Quan hệ xét mục 1.1.3 Ở ta nghiên cứu mối quan hệ Xét số gồm toàn chữ số Δ = 10 Khi = 314 × 10 và Δ ( = 1,2, ) với = 1⁄314 ( ≥ 1) Ta nhận thấy: a) Sai số tương đối không phụ thuộc vào vị trí dấu chấm thập phân = 1⁄ số Như , số gồm toàn chữ số chữ số cuối hàng đơn vị b) Nếu > > (> 0) xác Điều khẳng định Biết sai số tương đối số tìm chữ số ngược lại Cụ thể hơn, ta xét toán sau: Bài toán Biết Giả sử = tìm … ( ≥ 1), = , ta có: 56 Như vậy, bước phương pháp liên tục lại gồm hai bước nhỏ: bước thứ chọn điểm ( , lặp từ điểm bắt đầu ) gần với đường cong; bước thứ hai phép lùi lại nghiệm ( , ) đường cong, đây, áp dụng phương pháp Newton thích hợp hội tụ bậc hai Bước nhỏ thứ thường gọi dự báo, bước thứ hai gọi hiệu chỉnh, tên đầy đủ phương pháp dự báo – hiệu chỉnh.Nếu biểu thị phụ thuộc điểm bắt đầu vào biểu diễn phép liên tục cổ điển ( )= ( )= + (0) phép liên tục tiếp tuyến Chú ý 3.4.1 Trong thực tiễn, ta quan tâm tới trường hợp thứ ba, không chuyển dịch đường cong nghiệm mà “nhảy” lên đường cong nghiệm khác không báo trước (hình 3.7) Bài toán “nhảy lên trên” trở thành toán đặc biệt quan trọng ta xét giao nghiệm Hình 3.7 “Bước nhảy” không cố ý hai nhánh nghiệm khác Bước khả thi lớn cỡ ( ) tham số cố định cho phương pháp Newton với điểm bắt đầu = + hội tụ phụ thuộc vào đặc tính bước dự báo Để cho công việc tính toán thuận lợi đường cong dự báo độ lớn kích cỡ bước Ví dụ, xét mặt đồ thị điểm ( ) cho phương pháp tiếp tuyến gần với đường cong điểm 57 cho phương pháp cổ điển Để mô tả độ lệch bước dự báo từ đường cong nghiệm cách xác hơn, ta đưa vào khái niệm bậc phương pháp liên tục Định nghĩa 3.4.1 Cho hai đường cong , :[ , ]→ Ta nói rằng, đường cong ( ) mô tả phương pháp liên tục bậc ∈ = 0, ‖ ( ) ( )‖ ≤ (| | ) → 0, tức là, tồn số ≤ ≤ ‖ ( ) > cho ( )‖ ≤ | | , ∀| | < Theo định lí giá trị trung bình, với ánh xạ F khả vi phép liên tục cổ điển có bậc = , phép liên tục tiếp tuyến có bậc = , số cho trước Với phép liên tục cổ điển, đặt ( ) = (0) Bổ đề 3.4.1 Đối với đường cong khả vi liên tục tùy ý : [ ‖ ( ) (0)‖ ≤ ; , ]→ ta có max ‖ ( )‖ ∈[ , ] Chứng minh Dựa theo dạng Lagrange định lí giá trị trung bình dẫn đến ‖ ( ) (0)‖ = ( ) max ‖ ( )‖ ≤ ∈[ , ] □ Tương tự với phép liên tục tiếp tuyến ( ) = + (0) ta thu mệnh đề sau đây: Bổ đề 3.4.2 Cho : [ ( )= + , ]→ đường cong khả vi hai lần (0) Khi ‖ ( ) ( )‖ ≤ ; max ‖ ∈[ , ] Chứng minh Như chứng minh bổ đề 3.4.1 ta có ( )‖ 58 ( ) ( )= ( ) (0) (0) = ( = ( ) (0) ) ‖ ( ) ( )‖ ≤ max ‖ ∈[ , ] ( )‖ □ Định lí sau kết hợp phương pháp liên tục bậc dự báo phường pháp Newton hiệu chỉnh Nó mô tả bước khả thi lớn cỡ ( ) với tham số cố định phương pháp Newton áp dụng Định lí 3.4.1 Cho ⊂ tập mở, lồi cho : ( , ) , ) + ), ∈ [ Hơn nữa, cho ( ( ), liên tục quanh ( , > cho ( + + hội tụ hệ ( , ) khả nghịch với ( , ) ∈ tham số hóa khả vi liên tục cho [ , ] Ngoài ra, cho ×[ , ]→ , lí × thỏa mãn điều kiện Lipschitz ( , ) ≤ ‖ ‖ , ] đường cong nghiệm khả vi ), tức là, ( ( ), + ) = 0; (0) = ( ) phương pháp liên tục (dự báo) bậc ‖ ( ) ( )‖ ≤ , với , ∀| | ≤ (3.25) Khi phương pháp Newton (3.24) có điểm bắt đầu nghiệm ( ) ( , = ( ) hội tụ tới + ) = 0, < , (3.26) Chứng minh Ta kiểm tra giả thiết định lí 3.2.1 phương pháp Newton (3.22) điểm bắt đầu ( )=‖ = ( ) Dựa vào điều kiện (3.25) ta có: ‖=‖ ( ) ( )‖ ≤ 59 < 2⁄ định lí 3.2.1 ta Nếu cho đẳng thức vào điều kiện hội tụ điều kiện < 2⁄ , tương đương với (3.26) □ Định lí cho thấy phương pháp liên tục gồm phép liên tục cổ điển (bậc = 1) phép liên tục tiếp tuyến (bậc = 2) dự báo phương pháp Newton hiệu chỉnh Mặt khác, trường hợp tổng quát đại lượng đặc trưng chưa biết công thức (3.24) không dùng thực tiễn Do đó, phải dùng phương pháp loại trừ suốt trình tính toán Như vậy, việc điều chỉnh kích cỡ bước bao gồm hai giai đoạn: thứ giả định cỡ bước ban đầu (đa số thời gian cỡ bước bước liên tục trước đó), thứ hai chọn cỡ bước nhỏ trường hợp phương pháp Newton không hội tụ tới điểm ban đầu ( ) Sự hội tụ phương pháp Newton đánh giá việc kiểm tra tính đơn điệu đưa mục 3.2 (3.27) hiệu chỉnh Newton tầm thường thu gọn phương ≤ ̅ = ( ) pháp Newton (3.22), tức là, với , = ̅ , , ; = , + : = , Nếu chứng minh dựa vào tiêu chuẩn (3.25) mà phương pháp Newton không hội tụ bước cỡ , tức là, > ̅ ta giảm cỡ bước thừa số , < tiến hành lại phép lặp Newton với cỡ bước , nghĩa là, điểm bắt đầu = ( ′) tham số = + ′ Quá trình lặp lại (3.27) thỏa mãn ta nhận cỡ 60 bước tối tiểu Mặt khác, ta chọn cỡ bước lớn cho bước phương pháp Newton hội tụ “quá nhanh” Ví dụ, ‖ ̅ ‖≤ ‖ ‖, (3.28) phương pháp hội tụ “quá nhanh” nên ta mở rộng cỡ bước với bước dự báo thừa số , tức là, đặt Chọn Chú ý 3.4.2 Phép liên tục tiếp tuyến Xét mối quan hệ điểm uốn ( , ) thời điểm: ( , )= ( , ) suy biến Trong lân cận nhỏ điểm cỡ bước phép liên tục nhỏ Để khắc phục khó khăn này, ta bỏ “vai trò đặc biệt” tham số = ( , ), trực tiếp hệ phi tuyến tham số hóa ( ) = với : ⊂ → Mặt khác, giả sử ma trận Jacobian ′( ) ma trận đủ với với nghiệm :] ; [→ , ∈ thay tồn lân cận ⊂ ∈ Khi đó, đường cong khả vi ( ) = đặc trưng cho đường cong quanh ∈ , tức là, ∩ Nếu vi phân phương trình = { ( )| ∈ ] ( ) = theo (0) tức là, tiếp tuyến không Jacobian ; [} (0) = 0; = 0, ta có: (3.29) (0) với đường cong nghiệm chạy dọc theo không gian ( ) Khi ( ) có hạng lớn tiếp tuyến (3.29) 61 xác định với thừa số vô hướng Do đó, với định nghĩa tiếp tuyến chuẩn tắc ( ) ∈ ∈ ta ( ) ( ) = 0; ‖ ( )‖ = Tiếp tuyến xác định theo hướng (tức là, tới thừa số ±1) Chọn hướng tiếp tuyến cho hai tiếp tuyến thu tạo thành , góc nhọn, nghĩa là, > Điều đảm bảo cho ta không lùi vào đường cong nghiệm Từ đó, ta định nghĩa phép liên tục tiếp tuyến điểm uốn sau: = ( ) Từ véc tơ + ( ) (3.28) = , ta tìm ( ) đường cong Xét phương diện hình học (3.30) đường thẳng “ gần vuông góc” với tiếp tuyến điểm gần ( ) đường cong Tuy nhiên, tiếp tuyến sau tính ( ) nên ta thay ( ( ) tìm ( ) xấp xỉ thích hợp thời điểm ) Từ kiến thức hình học nghịch đảo suy rộng ta có: ( ) ( ); + (3.29) Rõ ràng (3.29) phương pháp Gauss – Newton cho hệ ( ) = xác định Ta không đề cập đến chứng minh ( ) có hạng lớn phương pháp hội tụ bậc hai lân cận đường cong nghiệm, phương pháp Newton Hình 3.8 Phép liên tục tiếp tuyến qua điểm uốn 62 Ở đây, muốn kiểm tra phép tính hiệu chỉnh chỉnh giảm số Hiệu (3.28) nghiệm ngắn tập nghiệm ( ) toán tuyến tính xác định { ∈ ( ) | ( ) + ( ) = 0} Áp dụng phép khử Gauss (bằng cách biến đổi dòng biến đổi cột), ta thấy mối liên hệ phép tính vài nghiệm ∈ ( ) không gian vecto không ( ) ( ) ( ) = Khi ta có phương trình: ( ) = Như thấy mục 2.3, giao = ( )= ( ) ( ) ( ) ( ) phép chiếu vào phần tử trực ( ) = Với hiệu chỉnh = = , , Từ ta có sơ đồ tính toán đơn giản nghịch đảo suy rộng (hạng khuyết 1) cho, ta có vài nghiệm không gian không vecto cho trước Phương pháp Gauss – Newton cho (3.30) thực gần với phép liên tục tiếp tuyến Chú ý 3.4.3 Mô tả nghiệm hệ tham số hóa gọi khảo sát tham số Ở thời điểm, hệ tham số hóa dùng cho việc mở rộng miền hội tụ phương pháp việc giải hệ phi tuyến Ý tưởng thực theo cách bước một, từ toán giải trước ( )=0 63 tới toán thực tế ( ) = Từ đây, ta xây dựng toán tham số hóa ∈ [0,1], ( , ) = 0, kết hợp với hai toán: ( , 0) = ( ) ; ( , 1) = ( ) ∀ Một ánh xa gọi phép nhúng toán ( ) = 0, phép đồng luân Ví dụ đơn giản phép nhúng chuẩn tắc, ( , ) ( ) + (1 ) ( ) Nếu ta áp dụng phương pháp liên tục cho toán tham số hóa ( , ) = bắt đầu với nghiệm biết ( ) = thu phương pháp đồng luân cho giải phương trình ( ) = Ví dụ 3.4.2 Phép liên tục phép nhúng khác Cho toán sau: ( ) ( ) = 0, ( ) = exp cos , = 1, … ,10 = (0, … ,0) Phép nhúng tầm thường với điểm bắt đầu ( , ) ( ) + (1 ) = = cho trước: ( ) Xét toán nhúng cụ thể hơn: ( , ) với điểm đầu exp = (0, … ,0) cos , = 1, … ,10, = Chú ý không tồn giao điểm ví dụ Sự giao đường cong nghiệm xuất phép chiếu vào mặt phẳng tọa độ ( , ) 64 Ví dụ 3.4.3 Phương trình Brusselator Phương trình phản ứng hóa học khuếch tán xem loại riêng biệt, hai chất hóa học có nồng độ = ( , ), phân tử phản ứng với theo quy tắc = ( + 1) + = =: ( ) Sự khuếch tán xuất từ liên kết phân tử gần Nếu xét lúc nghiệm không đổi khuếch tán tham số hóa thu hệ phi tuyến sau 0= ( )+ , = 1, … , (, ) = diag(1,10) ma trận chéo (2,2) Vì phương trình thể Ở tính đối xứng xếp phân tử mặt hình học nên tập giao điểm phân tích tính đối xứng hệ việc kết hợp phương pháp từ phép toán tượng trưng 3.5 Áp dụng giải toán bình phương tối thiểu phi tuyến phần mềm Maple Ví dụ 1: Giải toán: ‖ ( )‖ = với ( , , )=( + 1, + 2, + 1) Áp dụng phương pháp Gauss – Newton giải số phần mềm Maple ta thu kết sau >restart ; > [1] + [2] > [2] + 2; > [1] + [3] ([[ > [ ( 2, [1]), [3] 1; 1; ( 1, [1]), ( 2, [2]), ( 1, [2]), ( 2, [3])], ( 1, [3])], 65 [ ( 3, [1]), ( 3, [2]), ( 3, [3])]]); 2 1 1 1 0 >with(LinearAlgebra) ; > Transpose (F1) ; > multiply (FT,F1); > inverse (F2); > multiply (F3; FT); > Matrix([ 1],[ 2],[ 3]); > multiply (F4,F) > {0} > Matrix(3,1,[1,0,0]); 0; > While k >= x{k+1}:= x{k} – F5; k:= k+1; od: print (‘k= , x1= , x2= , x3= ‘) 66 0 6.000000000 -2.000000000 5.000000000 2.916666666 2.000000000 2.126131111 1.511642222 2.000000000 1.930545555 1.038466666 2.000000000 1.643221438 0.968444441 2.000000000 1.322893723 0.645833332 2.000000000 1.311492589 0.315211117 2.000000000 1.286431487 0.126736144 2.000000000 1.132984112 0.082877777 2.000000000 1.286431411 10 0.061433339 2.000000000 1.132984119 11 0.032722225 2.000000000 1.016848000 12 0.014966668 2.000000000 1.013297053 13 0.007245598 2.000000000 1.010358006 14 0.004217769 2.000000000 1.006523117 15 0.000692337 2.000000000 1.004258966 16 0.000235513 2.000000000 1.001259377 67 Ví dụ : Giải toán: ‖ ( )‖ = với ( , , ) = sin + , cos 1, + Áp dụng phương pháp Gauss – Newton giải số phần mềm Maple ta thu kết sau >restart ; > sin( [1]) + [2] > cos( [2]) 1; [2] + [3] > 1; ([[ > 1/2; ( 1, [1]), ( 1, [2]), [ ( 2, [1]), ( 2, [2]), ( 2, [3])], [ ( 3, [1]), ( 3, [2]), ( 3, [3])]]); cos( ) 0 sin( ) 1 cos( ) 0 sin( ) 1 >with(LinearAlgebra) ; > Transpose (F1) ; > multiply (FT,F1); > inverse (F2); > multiply (F3; FT); > Matrix([ 1],[ 2],[ 3]); > multiply (F4,F) > {0} > Matrix(3,1,[1,1,0]); 0; > While k >= ( 1, [3])], 68 x{k+1}:= x{k} – F5; k:= k+1; od: print (‘k= , x1= , x2= , x3= ‘) 1 0.491196972 0.991273132 0.008711686 0.514321967 0.791836811 0.014932177 0.583551324 0.632513114 0.025143767 0.679215323 0.412366777 0.028321554 0.742651132 0.392154231 0.039943215 0.861121593 0.301345917 0.041785311 0.954967233 0.274256941 0.049865102 1.098123159 0.201112134 0.521931546 1.089162537 0.152363271 0.609200153 10 1.072416597 0.105972113 0.701867931 11 1.051496674 0.051324967 0.798976513 12 1.049367435 0.039723157 0.831526741 13 1.049367438 0.018412594 0.976136841 14 1.048125511 0.008129463 1.002134551 15 1.047322582 0.004962143 1.000147655 16 1.047157994 0.001940005 1.000035126 69 KẾT LUẬN Luận văn trình bày toán bình phương tối thiểu tuyến Bên cạnh đó, trình bày phương pháp: phương pháp Gauss, phương pháp trực giao, phép phản xạ Household,… để giải toán Trong trường hợp toán bình phương tối thiểu phi tuyến, luận văn đưa phương pháp Gauss – Newton để giải toán Ngoài ra, luận văn trình bày số ví dụ lĩnh vực sinh hóa học ứng dụng Maple vào giải toán bình phương tối thiểu phi tuyến Do lực nghiên cứu trình độ thân hạn chế nên chắn luận văn khó tránh khỏi thiếu sót, tác giả mong nhận góp ý thầy cô bạn đọc để luận văn hoàn thiện 70 TÀI LIỆU THAM KHẢO [A] Tài liệu Tiếng Việt [1] Phạm Kì Anh (2008), Giải Tích Số, Nhà xuất Đại học Quốc gia Hà Nội [2] Nguyễn Minh Chương (chủ biên), Nguyễn Văn Khải, Khuất Văn Ninh, Nguyễn Văn Tuấn, Nguyễn Tường (2001), Giải Tích Số, Nhà xuất Giáo dục [3] Hoàng Tụy (2005), Hàm thực giải tích hàm, Nhà xuất Đại học Quốc gia Hà Nội [B] Tài liệu Tiếng Anh [1] A Hohmann, P Deuflhard, Numerical Analysis in Modern Scientific Computing, Springer Verlag, Berlin, Heidelberg, New Yord, 2003 [...]... và tan ≈ 0 Với những số dư lớn, tức là, cos ϑ ≪ 1 và tan > 1, thì đánh giá (2.3) thích hợp với các hệ tuyến tính Và khi đó, bài toán bình phương tối thiểu tuyến tính được giải theo một cách khác 2.1.4 Nghiệm của phương trình chuẩn ( )= Như đã biết, bài toán bình phương tối thiểu chỉ giải được khi Khối lượng tính toán (các phép nhân) của bài toán bình phương tối thiểu tuyến tính với các phương trình... afin : , ∈ với ‖ ‖ = min ‖ ‖ ∈ được gọi là một phép chiếu trực giao của vào không gian con afin Bằng định lí 2.1.1, ta chứng minh được sự tồn tại và duy nhất của nghiệm của bài toán bình phương tối thiểu tuyến tính Định lí 2.1.2 Vectơ tuyến tính ‖ ∈ là một nghiệm của bài toán bình phương tối tiểu ‖ = min khi và chỉ khi nó thỏa mãn phương trình chuẩn = Đặc biệt, bài toán bình phương tối tiểu tuyến tính... ( ); với ( ) Không xét tổng quát, ta sẽ chỉ xét các trường hợp được bài toán bình phương tối thiểu tuyến tính : Cho với ≥ , tìm ∈ sao cho ‖ ‖ = min ≥ Khi đó ta nhận ∈ và ∈ Mat , 15 2.1.2 Phương trình chuẩn Theo phương diện hình học, việc giải bài toán bình phương tối thiểu tuyến = tính là tìm ra một điểm trên miền không gian ( ) của A có khoảng = 2 và cách tới điểm b là nhỏ nhất (b cho trước) Với. .. tương đối được hiệu chỉnh bằng công thức: = min Trong một số trường hợp, bài toán bình phương tối thiểu chỉ giải được nếu các sai số tương đối trong phép đo được cho trước Trong phạm vi chương này ta chỉ xét trường hợp hàm ( ; với ,…, : → )= ,…, ( ) + tuyến tính, tức là ( ) + , là các hàm tùy ý, và kí hiệu ‖ ‖ thay cho chuẩn Euclid ‖ ‖ Do đó trong trường hợp tuyến tính, bài toán bình phương tối thiểu. .. số Cholesky của Với ≫ thì khối lượng tính toán ∼ lượng tính toán là ∼ , còn với ≈ thì khối Thực tế thì các sai số trong = ∼ bị tăng lên trong nghiệm của hệ tuyến tính bởi một thừa số: ( )= ( ) 21 Những số dư lớn phù hợp với các điều kiện của bài toán bình phương tối thiểu (2.3) Còn với những số dư nhỏ, thì được xem như là trường hợp xấu của điều kiện Chú ý 2.1.4 Đối với những bài toán mà ma trận... trực giao với tập và kí hiệu: = gọi là 12 Định lí 1.5.4 (Định lí về hình chiếu lên không gian con) Cho không gian Hilbert và là không gian con của Khi đó phần tử bất kì ∈ biểu diễn duy nhất một cách dưới dạng = Phần tử + , ∈ , ⊥ (1.5.2) trong (1.5.2) gọi là hình chiếu của phần tử lên không gian con 13 Chương 2 BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU TUYẾN TÍNH 2.1 Phương pháp bình phương tối thiểu của Gauss. .. 2 BÀI TOÁN BÌNH PHƯƠNG TỐI THIỂU TUYẾN TÍNH 2.1 Phương pháp bình phương tối thiểu của Gauss Đây là một trong những phương pháp tìm nghiệm mà nhà toán học C.F .Gauss đưa ra năm 1809 trong Lý thuyết về chuyển động của các thiên thể 2.1.1 Bài toán bình phương tối thiểu tuyến tính Xét bài toán sau: Cho m điểm ( , ), , ∈ , = 1, … , , trong đó là vị trí của một vật tại thời điểm Khi đó, sự phụ thuộc của... hạng và số dư lớn, người ta viết phương trình chuẩn tương đương với hệ đối xứng hai chiều, trong đó và đã được cho trước = 0 0 2.2 Phương pháp trực giao hóa Giả sử đưa ma trận dạng ∈ , ≥ với về một ma trận tam giác trên bằng cách lấy một ma trận trực giao ∈ … = = ( ): 0 Khi đó, để giải các phương trình chuẩn, ta có thể xác định nghiệm của bài toán bình phương tối tiểu tuyến tính ‖ Định lí 2.2.1 Cho ∈... nhất với ) 1, ) bước ta thu được ma trận tam = min( thay cho Nhìn chung sau ( giác trên = … = , nên có phép tìm thừa số Và vì = với = … Giả sử bây giờ ta tính nghiệm của bài toán bình phương tối thiểu tuyến tính như trong định lí 2.2.1 bằng phép tìm thừa số, ( ), ≥ dựa vào phép phản xạ Householder của ma trận ∈ ( ) Khi đó ta có phương pháp sau: (1) = (2) ( , (3) = , phép tìm thừa số ) = với ∈ với. .. |≥| | cho phép tìm thừa số - QR với các phép hoán vị cột Mỗi ma trận hầu hết kì dị tùy theo định nghĩa này, cũng là hầu hết kì dị ( ), và điều này được chỉ ra bằng tính chất (d) Điều đối với điều kiện số ngược lại không đúng 2.3 Nghịch đảo suy rộng Theo định lí 2.1.2 nghiệm ‖ ‖= , với của bài toán bình phương tối thiểu tuyến tính ∈ , ( ), ≥ duy nhất Rõ ràng nó phụ thuộc tuyến tính vào = ( )= và xác định