Về phương pháp newton

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - ĐINH THỊ HIỀN VỀ PHƯƠNG PHÁP NEWTON LUẬN VĂN THẠC SĨ TOÁN HỌC THÁI NGUYÊN - 2019 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC KHOA HỌC  - ĐINH THỊ HIỀN VỀ PHƯƠNG PHÁP NEWTON Chuyên ngành: Toán ứng dụng Mã số : 46 01 12 LUẬN VĂN THẠC SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC GS.TSKH Đinh Nho Hào THÁI NGUYÊN - 2019 i Mục lục Lời cảm ơn iii Mở đầu 1 Các khái niệm giải tích hàm 1.1 Khơng gian Euclide 1.2 Khơng gian Banach tốn tử liên tục 1.2.1 Không gian Banach 1.2.2 Toán tử tuyến tính liên tục 1.3 Đạo hàm theo nghĩa Fréchet Lịch sử phương pháp Newton 2.1 Phương pháp Newton 2.1.1 Phương pháp Viète 2.1.2 Phương pháp dây cung 11 2.1.3 Phương pháp Newton- Công thức 13 2.1.4 Các phương pháp khác cho phương trình phi tuyến 15 2.1.5 Cơng thức Raphson 16 2.2 Phương pháp Newton không gian hữu hạn chiều 17 2.2.1 Trường hợp biến 17 2.2.2 Trường hợp nhiều biến 18 Phương pháp Newton- Kantorovich 20 ii 3.1 Kết hội tụ cho phương trình trơn 21 3.2 Sai số ước lượng cho phương pháp Newton 27 3.3 Sự hội tụ đơn điệu 29 3.4 Phương pháp Newton cho phương trình khơng xác định 30 3.5 Phương pháp Newton điểm suy biến 34 3.6 Phương pháp Newton liên tục 36 3.7 Phương pháp Newton cho phương trình khơng trơn 38 3.8 Sự hội tụ phân kì phương pháp Newton 39 3.9 Phân tích sai số 40 Kết luận 43 Tài liệu tham khảo 44 iii Lời cảm ơn Luận văn thực Trường Đại học Khoa học - Đại học Thái Nguyên hoàn thành hướng dẫn GS.TSKH Đinh Nho Hào Tác giả xin bày tỏ lòng biết ơn chân thành sâu sắc tới người hướng dẫn khoa học mình, người đặt vấn đề nghiên cứu, dành nhiều thời gian hướng dẫn tận tình giải đáp thắc mắc tác giả suốt trình làm luận văn Tác giả xin trân trọng cảm ơn Ban Giám hiệu Trường Đại học Khoa học - Đại học Thái Nguyên, Ban Chủ nhiệm Khoa Toán-Tin, giảng viên tham gia giảng dạy, tạo điều kiện tốt để tác giả học tập nghiên cứu Đồng thời tác giả xin gửi lời cảm ơn tới tập thể lớp cao học Toán K11C (khóa 2017-2019), cảm ơn gia đình bạn bè động viên giúp đỡ tác giả nhiều trình học tập Mở đầu Isaac Newton (1642 − 1727) nhà vật lý, nhà thiên văn học, nhà triết học tự nhiên nhà toán học vĩ đại người Anh Ơng xây dựng cơng thức giải phương trình phi tuyến f (x) = viết năm 1671 công bố lần vào năm 1685 Newton tính tốn chuỗi đa thức sau ơng đưa đến nghiệm xấp xỉ phương trình Joseph Raphson (1648−1715) coi phương pháp Newton hoàn toàn phương pháp đại số giới hạn việc sử dụng cho đa thức biến Tuy nhiên Raphson mô tả phương pháp thông qua dãy xấp xỉ thay chuỗi đa thức phức tạp Newton Cách giải thích Raphson xem đơn giản Newton ông công bố vào năm 1690 Ngày gọi phương pháp Newton (hay phương pháp Newton – Raphson) tìm nghiệm xấp xỉ phương trình phi tuyến f (x) = việc xây dựng dãy lặp hội tụ tới nghiệm phương trình Phương pháp Newton – Raphson đóng vai trị quan trọng khoa học kĩ thuật, đặc biệt ngành Tốn học nói chung phương pháp số nói riêng Trong thực tế có khả ứng dụng lớn Sau phương pháp Newton – Raphson đời, việc giải phương trình phi tuyến phát triển mạnh mẽ có ứng dụng nhiều lĩnh vực Giải tốn có ý nghĩa thực tế quan trọng, đặc biệt giai đoạn với hỗ trợ máy tính điện tử việc trở nên có hiệu lực Điều thu hút nhiều nhà khoa học tìm hiểu sâu phương pháp Dựa sở phương pháp Newton – Raphson có, nhiều báo đăng tạp chí tiếng giới nói cách xây dựng phương pháp cải tiến giải xấp xỉ phương trình phi tuyến với tốc độ hội tụ cao, thực máy tính điện tử Luận văn bao gồm phần mở đầu, ba chương, kết luận danh mục tài liệu tham khảo Chương "Các khái niệm giải tích hàm" Chương " Lịch sử phương pháp Newton" Chương " Phương pháp Newton Kantorovich" Chương Các khái niệm giải tích hàm 1.1 Khơng gian Euclide Định nghĩa 1.1 Cho E không gian vectơ trường số thực R, tích vơ hướng E ánh xạ : E × E → R (x, y) →< x, y > thỏa mãn điều kiện sau < x, y >=< y, x >, < x + y, z >=< x, z > + < y, z >, < λx, y >= λ < x, y >, < x, x >≥ ∀x ∈ E < x, x >= ⇔ x = Định nghĩa 1.2 Không gian vectơ E trường số thực R gọi không gian vectơ Euclide E có tích vơ hướng Định nghĩa 1.3 Độ dài vectơ x khơng gian vectơ Euclide E với tích vơ hướng xác định bởi: x = √ < x, x > Định nghĩa 1.4 Đối với hai vectơ x y khơng gian vectơ Euclide ta gọi góc ϕ x y xác định công thức: < x, y > cos ϕ = x y 1.2 Khơng gian Banach tốn tử liên tục 1.2.1 Không gian Banach Định nghĩa 1.5 (Không gian định chuẩn) Một không gian định chuẩn (hay không gian tuyến tính định chuẩn) khơng gian tuyến tính X trường P (P = R P = C) với ánh xạ từ X vào tập số thực R, gọi chuẩn ký hiệu thỏa mãn tiên đề sau: (∀x ∈ X) x ≥ 0, x = ⇔ x = θ (ký hiệu phần tử không θ); (∀x ∈ X) , (∀α ∈ P ), αx = |α| x ; (∀x, y ∈ X) x + y ≤ x + y Số x gọi chuẩn vectơ x Ta kí hiệu khơng gian định chuẩn X Các tiên đề (1), (2), (3) gọi hệ tiên đề chuẩn Định nghĩa 1.6 (Sự hội tụ không gian định chuẩn) Dãy điểm {xn } không gian định chuẩn X gọi hội tụ tới điểm x ∈ X lim xn − x = Kí hiệu lim xn = x hay xn → x n→∞ n→∞ n→∞ 38 3.7 Phương pháp Newton cho phương trình khơng trơn Các phương trình khơng trơn phát sinh từ nhiều toán khác toán bổ sung phi tuyến, toán biến phân hệ Karush- KuhnTucker Phương pháp Newton không trơn định nghĩa cho hàm F : Rn → Rm mà Lipschitz địa phương liên tục Trong trương hợp F gần nơi khả vi lý thuyết Rademacher sử dụng loại đạo hàm suy rộng khác Giả sử F : Rn → Rm hàm Lipschitz cục cho DF biểu thị tập hợp điểm mà F khả vi Cho: ∂B F (x) = { lim xi →x, xi ∈DF F (xi )} Cho ∂F Jacobian suy rộng F ý nghĩa Clarke Khi đó, ∂F (x) bao lồi ∂B F (x), ∂F (x) = conv∂B F (x) Cho chúng biểu thị ∂b F (x) = ∂B F1 (x) × ∂B F2 (x) × × ∂B Fm (x) Đạo hàm theo hướng cổ điển F định nghĩa F (x; h) = lim t↓0 F (x + th) − F (x) t Hàm F gọi nửa trơn x F Lipschitz địa phương x lim {V h } V ∈∂F (x+th ),h →h,t↓0 tồn với h ∈ Rn Giả sử F : Rn → Rn Phương pháp Newton không trơn định nghia xk+1 = xk − Vk−1 F (xk ) (Vk ∈ ∂F (xk ), k = 0, 1, 2, ) (3.21) Một phần mở rộng định lí Newton-Kantorovich cổ điển sau 39 Định lí 3.21 (Qi- Sun) Giả sử F Lipschitz địa phương nửa trơn S(x0 , r) Cũng giả sử với V ∈ ∂F (x), x, y ∈ S(x0 , r), V không suy biến, V −1 ≤ β, V (y − x) − F (x; y − x) ≤ K y − x , F (y) − F (x) − F (x; y − x) ≤ δ y − x , q = β(γ + δ) < β F (x0 ) ≤ r(1 − q) Khi đó, lần lặp (3.21) cịn lại S(x0 , r) hội tụ đến nghiệm x∗ F (x) S(x0 , r) Hơn nữa, sai số ước lượng xk − x∗ ≤ q xk − xk−1 1−q với k = 1, 2, Cải biến phương pháp Newton không trơn xác định xk+1 = xk − Vk−1 F (xk ) (Vk ∈ ∂B F (xk ), k = 0, 1, 2, ) (3.22) Sự hội tụ siêu tuyến tính địa phương phương pháp chứng minh Với trường hợp F : Rn → Rm Thuật tốn khơng trơn sau xk+1 = xk − Vk# F (xk ) (Vk ∈ ∂B F (xk ), k = 0, 1, 2, ) (3.23) Vk# biểu thị nghịch đảo Vk 3.8 Sự hội tụ phân kì phương pháp Newton Theo giả định tiêu chuẩn, phương pháp Newton hội tụ địa phương hình cầu phù hợp tập trung nghiệm Chúng ta yêu cầu nhiên với tập tất điểm x0 mà từ phương pháp Newton hội tụ tới nghiệm Phương pháp Newton liên tục làm cho mô tả tập hợp điểm hội tụ Trường hợp Rn , Braess nghiên cứu trường hợp đa phức tạp Một khả khác sử dụng kết kỹ thuật lý thuyết lặp Các kết tốt theo hướng 40 cho đa thức thực phức Các quan sát sau tốn hội tụ Định lí 3.22 (Rényi) Cho f : R → R xác định (−∞, +∞) Chúng ta giả sử f (x) đơn điệu tăng với ∀x ∈ R f (x) = có gốc Ai , (i = 1, 2, 3) Dãy xk+1 = xk − f (xk )/f (xk ) hội tụ đến gốc với lựa chọn x0 ngoại trừ với x0 thuộc tập hợp E điểm kì dị, mà đưa rõ ràng Với ε > tồn khoảng (t, t + ε) khoảng điểm , (t < < t + ε, i = 1, 2, 3) có tính chất x0 = , {xk } hội tụ đến Ai (i = 1, 2, 3) Khả thay đổi nhỏ x0 gây thay đổi lớn hội tụ cho thấy chất toán hội tụ Tập điểm phân kì phương pháp Newton mô tả tốt cho đa thức thực 3.9 Phân tích sai số Lancaster, Rokne Miel nghiên cứu mơ hình lan truyền sai số phương pháp Newton: ξk+1 = ξk − [F (ξk ) + Ek ]−1 (F (ξk ) + ek ) + gk (k = 0, 1, 2, ), Ek , ek gk nhiễu loạn ξk phép lặp Newton tính tốn Dưới số giả định định, cho thấy chuỗi sai số { xk − ξk } bị chặn Nếu cho số số k = p số số l ≥ 1, ξp = ξp+1 xk → x∗ , { ξk − x∗ } ≤ ξ0 với k ≥ p Wozniakowski nghiên cứu phương pháp Newton hệ thống phi tuyến tham số hóa F (x) = F (x; d) = (F, x ∈ C n , d ∈ C m ), (3.24) vectơ d tham số Giả sử nghiệm đơn giản x∗ 3.24 tồn F đủ trơn x d Cho {xk } chuỗi thực xấp xỉ 41 liên tiếp x∗ lần lặp φ Cho ζ độ xác tương đối máy tính f l số học Lần lặp φ gọi ổn định số, lim xk − x∗ ≤ ζ(k1 x∗ + k2 Fx (x∗ ; d)−1 Fd (x∗ ; d) k d ) + O(ζ ) Lần lặp φ gọi chạy tốt tồn {δxk } {δdk } cho lim F (xk + δxk ; d + δdk ) = O(ζ ) k δxk ≤ k3 ζ xk , δdk ≤ k4 ζ d với k lớn Các giá trị ki phụ thuộc vào n m (i = 1, 2, 3, 4) Nếu φ chạy tốt ổn định số Một thuật toán bước Newton f l số học đưa (i) Tính tốn F (xk ), F (xk ), (ii) Giải hệ tuyến tính F (xk )zk = F (xk ), (iii) Đặt xk+1 = xk − zk Giả sử F tính tốn thuật tốn chạy tốt, ta có f l(F (xk ; d)) = (I + ∆Fk )F (xk + ∆xk ; d + ∆dk ) = F (xk ) + δFk , (3.25) ∆Fk ≤ ζKF , ∆xk ≤ Kx xk , ∆dk ≤ Kd d δFk = ∆Fk F (xk ) + Fx (xk )∆xk + Fd (xk )∆dk + O(ζ ) (3.26) Thêm nữa, giả sử f l(F (xk ; d)) = F (xk ) + δFk , δFk = O(ζ ) (3.27) Điều nghĩa khơng cần thuật tốn chạy tốt để đánh giá F (xk ) Cuối cùng, giả sử nghiệm tính tốn hệ tuyến tính F (xk )zk = F (xk ) thỏa mãn (F (xk ) + δFk + Ek )zk = F (xk ) + δFk , (3.28) 42 Ek = O(ζ) Khi đó, tính tốn gần xk+1 từ xk+1 = xk − zk thỏa mãn xk+1 = (I + δIk )(xk − zk ), (3.29) δIk ma trận đường chéo δIk ≤ C1 ζ, C1 phụ thuộc vào định chuẩn Định lí 3.23 (Wozniakowski) Nếu (3.25), (3.27) (3.28) thỏa mãn phép lặp Newton chạy tốt Đặc biệt tạo chuỗi {xk } cho lim F (xk+1 + ∆xk − δIk xk ; d + ∆dk ) = O(ζ ), k ∆xk , δIk ∆dk xác định (3.25) (3.29) 43 Kết luận Phương pháp Newton phương pháp thông dụng hiệu để giải phương trình hệ phương trình tốn tử, hệ phương trình phương trình phi tuyến Trong luận văn chúng tơi tìm hiểu lịch sử phương pháp Newton kết liên quan đến tính chất định tính phương pháp này, chứng minh phức tạp mục đích luận văn, nên chúng tơi khơng trình bày chứng minh Chúng tơi trình bày lịch sử Newton, Raphson, Viéte tìm phương pháp để giải phương trình đại số Kantorovich mở rộng ý tưởng để giải phương trình tốn tử phi tuyến không gian Banach 44 Tài liệu tham khảo [1] Fauvel J (1998), "Who Was Newton-Raphson?", Mathematics in School, 27, No 4, 45–47 [2] Kantorovich L.V (1949), "On Newton method", Trudy of the Steklov Mathematical Institute, 28, 104–144 [3] Kantorovich L.V and Akilov G.P (1982), Functional Analysis, Second edition Pergamon Press, Oxford-Elmsford, N.Y [4] Kantorovich L.V (1948), "On Newton’s method for functional equations", Doklady Akad Nauk SSSR (N.S.) ,59, 1237–1240 [5] Kantorovich L.V (1948), " Functional analysis and applied mathematics", Uspehi Matem Nauk (N.S.), 3, No 6(28), 89–185 [6] Polyak B.T (1987), Introduction to Optimization, Optimization Software, Inc., Publications Division, New York [7] Polyak B.T (2006), "Newton-Kantorovich method and its global convergence", Journal of Mathematical Sciences (N.Y.), 133, 1513–1523 [8] Polyak B.T (2007), "Newton’s method and its use in optimization", European Journal of Operational Research, 181, 1086–1096 [9] Thomas D.J and Smith J.M., Joseph Raphson, F.R.S (1990), Notes and Records of the Royal Society of London, 44, 151–167 [10] Ypma Tjalling J (1995), " Historical development of the NewtonRaphson method", SIAM Rev 37, No 4, 531–551 ... 29 3.4 Phương pháp Newton cho phương trình khơng xác định 30 3.5 Phương pháp Newton điểm suy biến 34 3.6 Phương pháp Newton liên tục 36 3.7 Phương pháp Newton cho phương. .. Lịch sử phương pháp Newton 2.1 Phương pháp Newton 2.1.1 Phương pháp Viète 2.1.2 Phương pháp dây cung 11 2.1.3 Phương pháp Newton- Công... mô tả phương pháp thông qua dãy xấp xỉ thay chuỗi đa thức phức tạp Newton Cách giải thích Raphson xem đơn giản Newton ông công bố vào năm 1690 Ngày gọi phương pháp Newton (hay phương pháp Newton