Phương pháp gradient và phương pháp newton

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2 KHOA TOÁN ———————o0o——————– KHÓA LUẬN TỐT NGHIỆP Phương pháp Gradient và phương pháp Newton Chuyên ngành: TOÁN GIẢI TÍCH Giảng viên hướng dẫn: Phùng Đức Thắng Sinh viên: Vũ Thị Yến Lớp: K37-sp Toán HÀ NỘI, 5/2015 LỜI CẢM ƠN Bài khóa luận này được hoàn thành dưới sự hướng dẫn nhiệt tình của thầy giáo Th.S Phùng Đức Thắng . Qua đây em xin gửi lời cảm ơn sâu sắc tới các thầy cô trong tổ Toán giải tích và các thầy cô trong khoa Toán trường ĐHSP Hà Nội 2 đã giúp đỡ em trong quá trình học tập để thuận lợi cho việc nghiên cứu. Đặc biệt, em xin gửi lời cảm ơn chân thành tới thầy giáo Th.S Phùng Đức Thắng người đã dành cho em sự hướng dẫn nhiệt tình, chu đáo và chỉ bảo cho em trong suốt quá trình học tập nghiên cứu và thực hiện khóa luận. Dù đã hết sức cố gắng, nhưng do đây là lần đầu tiên làm quen với việc nghiên cứu khoa học và do năng lực còn hạn chế nên khó tránh khỏi những sai sót. Em mong muốn nhận được sự chỉ bảo, đóng góp của quí thầy cô để cho bài khóa luận được tốt hơn. Em xin chân thành cảm ơn! Hà Nội, tháng 05 năm 2015 Sinh viên Vũ Thị Yến LỜI CAM ĐOAN Sau một thời gian nghiên cứu với sự cố gắng, nỗ lực của bản thân cùng sự hướng dẫn nhiệt tình chỉ bảo của thầy giáo Th.S Phùng Đức Thắng em đã hoàn thành bài khóa luận của mình. Em xin cam đoan bài khóa luận là do bản thân nghiên cứu cùng với sự hướng dẫn của thầy giáo Th.S Phùng Đức Thắng không hề trùng với bất cứ đề tài nào. Hà Nội, tháng 05 năm 2015 Sinh viên Vũ Thị Yến Mục lục Lời cảm ơn 1 Lời cam đoan 2 Lời mở đầu 4 1 Một số kiến thức cần nhớ 1.1 Đạo hàm của hàm vô hướng . . . . . . 1.1.1 Định nghĩa . . . . . . . . . . . . 1.1.2 Một số loại vi phân thường gặp: 1.2 Đạo hàm của hàm vecto: . . . . . . . . 1.3 Đạo hàm bậc 2 . . . . . . . . . . . . . 1.4 Các hàm số lồi . . . . . . . . . . . . . . 1.5 Các điều kiện về cực trị . . . . . . . . . 1.5.1 Điều kiện cần bậc nhất . . . . . 1.5.2 Điều kiện đủ bậc nhất . . . . . . 1.5.3 Điều kiện cần bậc hai . . . . . . 1.5.4 Điều kiện đủ bậc hai . . . . . . . . . . . . . . . . . 5 5 5 6 8 9 10 12 12 13 13 14 2 Phương pháp Gradient 2.1 Nội dung của phương pháp . . . . . . . . . . . . . . . 2.2 Tính hội tụ . . . . . . . . . . . . . . . . . . . . . . . 15 15 16 3 Phương pháp Newton 3.1 Nội dung của phương pháp . . . . . . . . . . . . . . . 3.2 Tính hội tụ . . . . . . . . . . . . . . . . . . . . . . . 3.3 Phương pháp Newton trong việc giải các phương trình 22 22 23 25 Tài liệu tham khảo 28 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LỜI MỞ ĐẦU Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trong đời sống. Nó được nghiên cứu một cách toàn diện nhờ các phương pháp định tính và định lượng như phương pháp miền tin cậy, phương pháp nhân tử Lagrange,... Trong đó phương pháp Gradient và phương pháp Newton là những phương pháp số đầu tiên để giải bài toán tối ưu. Khóa luận này trình bày một số hiểu biết về hai phương pháp này. Cuốn chuyên khảo [1] của tác giả B. T. Polyak là một cẩm nang khá đầy đủ và chi tiết về lý thuyết phương pháp Gradient và phương pháp Newton. Khi nghiên cứu về hai phương pháp này em quan tâm đến tính hội tụ của hàm khả vi và ứng dụng của chúng trong việc giải toán. Nội dung chính của khóa luận gồm 3 chương: • 1. Một vài kiến thức cần nhớ • 2. Phương pháp Gradient • 3. Phương pháp Newton Do thời gian thực hiện đề tài không nhiều, kiến thức còn hạn chế nên báo cáo không tránh khỏi những sai sót. Em mong nhận được sự góp ý và những ý kiến phản biện của quý thầy cô và bạn đọc. Em xin chân thành cảm ơn! Chương 1 Một số kiến thức cần nhớ 1.1 1.1.1 Đạo hàm của hàm vô hướng Định nghĩa Định nghĩa 1.1.1. Hàm vô hướng f (x) của đối số x trong không gian n chiều. f : Rn → R1 được gọi là khả vi tại điểm x nếu tìm được a ∈ Rn : ∀y ∈ Rn f (x + y) = f (x) + (a, y) + o(y) (1.1) trong đó a được gọi là đạo hàm của f (x) tại x. Kí hiệu: f (x) hoặc ∇f (x). Khi đó đạo hàm được định nghĩa như sau: f (x + y) = f (x) + (∇f (x), y) + o(y) ∂f (x) ∂f (x) trong đó ∇f (x) = , ..., . ∂x1 ∂xn (1.2) Nói cách khác hàm số khả vi tại điểm x nếu nó xác định xấp xỉ với hàm tuyến tính bậc nhất tại x. Có nghĩa là có thể tìm ra hàm số momen tuyến tính f (y) = f (x)+(∇f (x), y) là f (x+y)− f (y) = o(y). Ví dụ 1. Cho hàm toàn phương f (x) = (Ax, x) 2 − (b, x) trong đó A là ma trận đối xứng n × n, b ∈ Rn . Khi đó f (x + y) = (A(x + y), x + y) 5 2 − (b, (x + y)) Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng = (Ax, x) 2 − (b, x) + (Ax − b, y) + (Ay, y) 2 = f (x) + (Ax − b, y) + (Ay, y) 2. Mà |(Ay, y)| ≤ A y 2 . Do đó (Ay, y) 2 = o(y). Vậy f (x) khả vi tại bất kì điểm x nào và ∇f (x) = Ax − b. (1.3) Hàm f (x) được gọi là khả vi trên tập Q ⊂ Rn nếu nó khả vi tại mọi điểm trên Q. Nếu f (x) khả vi trên toàn bộ Rn thì nó được gọi là vi phân đơn giản. Giả sử f (x) khả vi trên [x, x + y] ( tức là tại các điểm x + τ y, 0 ≤ τ ≤ 1 ). Chúng ta xét hàm một biến φ(τ ) = f (x + τ y) và tính đạo hàm trong 0 ≤ τ ≤ 1 : φ(τ + ∆x) − φ(τ ) f (x + (τ + ∆τ )y) − f (x + τ y) = ∆τ ∆τ (∇f (x + τ y), ∆τ y) + o(∆τ y) = ∆τ φ(τ + ∆τ ) − φ(τ ) φ (τ ) = lim∆τ →0 = (∇f (x + τ y), y) . ∆τ Do đó φ(τ ) là vi phân trên [0, 1] và φ (τ ) = (∇f (x + τ y), y) . (1.4) Giá trị f (x + εy) − f (x) (1.5) ε được gọi là đạo hàm theo hướng của f (x) tại x theo hướng y . Đạo hàm theo hướng có thể tồn tại với các hàm số không trơn. f (x; y) = limε→0+ Ví dụ 2. Hàm f (x) = x có f (0; y) = y . 1.1.2 Một số loại vi phân thường gặp: •Vi phân Gâteaux Nếu f có đạo hàm theo mọi hướng y tại x thì ta nói f (x) có đạo hàm Gâuteaux tại điểm x. Vũ Thị Yến 6 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Chú ý:Hàm số có tập nghiệm riêng f (x; ei ) = ∂f ∂f , ..., . ∂x1 ∂xn các vecto cơ sở), a = ∂f (x) (ei là tọa độ ∂xi Hàm này tuân theo công thức (1.4) là nếu f (x) khả vi tại x thì đó cũng là đạo hàm vi phân Gâuteaux với f (x; y) = φ (0) = (∇f (x), y) . (1.6) Điều ngược lại là không đúng Ví dụ 3. Cho f : Rn → R1 , n ≥ 2 1 f (x) = x − a = a ,x = 0 nếu 0 (1.7) trong đó a ∈ Rn , a = 0. Hàm số này có vi phân theo mọi hướng tại 0 và f (0; y) = 0, ∀y . Do đó nó có đạo hàm Gâuteaux tại 0. Nhưng nó không khả vi (thậm chí không liên tục) tại 0. •Vi phân Frechet: Nếu hàm f (x) có vi phân trên [x, x + y] . Khi đó sử dụng (1.4) và công thức Newton- Leibniz có 1 φ (τ )dτ φ(1) = φ(0) + 0 Chúng ta có được biểu thức cho phần dư trong định lý tích phân: 1 f (x + y) = f (x) + (∇f (x + τ y), y) dτ (1.8) 0 1 (∇f (x + τ y) − ∇f (x), y) dτ. = f (x) + (∇f (x), y) + 0 Một kết quả có ích khác (định lý giá trị trung bình) tuân theo công thức số gia hữu hạn φ(1) = φ(0) + φ (Θ), 0 ≤ Θ ≤ 1 và từ (1.4) f (x + y) = f (x) + (∇f (x + Θy), y)) , 0 ≤ Θ ≤ 1. Vũ Thị Yến 7 (1.9) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp 1.2 GVHD: Th.s Phùng Đức Thắng Đạo hàm của hàm vecto: Định nghĩa 1.2.1. Cho hàm g : Rn → Rm được gọi là đạo hàm tại x nếu tìm được ma trận A cấp m × n sao cho với ∀y ∈ Rn : g(x + y) = g(x) + Ay + o(y). (1.10) Ma trận A được gọi là đạo hàm hoặc ma trận Jacobian của ánh xạ g(x) và giống nhau trong trường hợp vô hướng. Kí hiệu: g (x) hoặc ∇g(x) Do đó g(x + y) = g(x) + g (x)y + o(y) (1.11) có nghĩa là đạo hàm của hàm số xác định tại x là xấp xỉ tuyến tính bậc nhất. Với hàm vecto có đạo hàm g(x) = (g1 (x), ..., gm (x)) có những phần tử trong ma trận Jacobian được định nghĩa bởi công thức g (x)ij = ∂gi (x) . ∂xi Cho g : Rn → Rm có đạo hàm tại x và h : Rm → Rs có đạo hàm tại g(x). Khi đó quy tắc cho đạo hàm vi phân với hàm số phức hợp (hay quy tắc chuỗi) có hiệu lực [h (g(x))] = h (g(x)) g (x) (1.12) Định lý giá trị trung bình không thỏa mãn các hàm số vecto. Có nghĩa là θ, 0 < θ < 1 để g(x + y) = g(x) + g (x + θy)y Cho hàm g : Rn → Rm , (m > 1).Giả sử g(x) khả vi trên [x, x + y] thì 1 g(x + y) = g(x) + g (x + τ y)ydτ (1.13) 0 1 (g (x + τ y) − g (x)) ydτ = g(x) + g (x)y + 0 Nếu g (x + τ y) ≤ L, 0 ≤ τ ≤ 1 thì g(x + y) − g(x) ≤ L y Vũ Thị Yến 8 (1.14) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng ngược lại nếu g (x) thỏa mãn điều kiện Lipschitz trên [x, x + y]: g (u) − g (v) ≤ L u − v , u, v ∈ [x, x + y] thì y 2 g(x + y) − g(x) − g (x)y ≤ L . 2 (1.15) Trong trường hợp vô hướng, hàm số g : Rn → Rn có đạo hàm tại mọi điểm trên Rn được gọi là đạo hàm vi phân. 1.3 Đạo hàm bậc 2 Định nghĩa 1.3.1. Hàm vô hướng f (x)trên Rn được gọi là khả vi 2 lần tại x nếu nó khả vi tại x và tồn tại ma trận H đối xứng cấp n × n: ∀y ∈ Rn , f (x + y) = f (x) + (∇f (x), y) + (Hy, y) 2 + o y 2 (1.16) Ma trận H được gọi là ma trận của đạo hàm bậc 2 (hay ma trận Hessian). Kí hiệu: f (x) hoặc ∇2 f (x). Ta cũng có thể định nghĩa theo cách khác: Một hàm số có khả vi 2 lần tại điểm x nếu xác định được một hàm xấp xỉ bậc 2 tại lân cận điểm x. Có nghĩa là tồn tại hàm bậc 2 f (y) = f (x) + (∇f (x), y) + ∇2 f (x)y, y 2 để |f (x + y) − f (y)| = o y 2 . Xét hàm vô hướng φ(τ ) = f (x + τ y) Ta thấy f có vi phân 2 lần trên [x, x + y] và φ (τ ) = ∇2 f (x + τ y)y, y . (1.17) Từ công thức Taylor với các hàm số hữu tỷ 1 t φ(1) = φ(0) + φ (0) + φ (τ )dτ dt 0 Vũ Thị Yến 9 0 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng ta có 1 t ∇2 f (x + τ y)y, y dτ dt. f (x + y) = f (x) + (∇f (x), y) + 0 0 (1.18) Đặc biệt nếu ∇2 f (x + τ y) ≤ L, 0 ≤ τ ≤ 1 ta có |f (x + y) − f (x) − (∇f (x), y) | ≤ L 2 y 2 (1.19) ngược lại nếu ∇2 f (x + τ y) − ∇2 f (x) ≤ Lτ y thì |f (x + y) − f (x) − (∇f (x), y) − 1 2 ∇2 f (x)y, y | ≤ L 6 y 3. (1.20) Sử dụng công thức Taylor với hàm các số dư trong dạng Lagrange φ(1) = φ(0) + φ (0) + φ (Θ) 2, 0 ≤ Θ ≤ 1 ta tìm được Θ, 0 ≤ Θ ≤ 1 để f (x + y) = f (x) + (∇f (x), y) + ∇2 f (x + Θy)y, y 1.4 2. Các hàm số lồi Định nghĩa 1.4.1. f (x) là hàm vô hướng trên Rn được gọi là lồi nếu f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y), ∀x, y ∈ Rn , 0 ≤ λ ≤ 1. (1.21) Bổ đề 1.4.2. (Bất đẳng thức Jensen)([1, LEMMA 1,p.8]) Cho f (x) là hàm lồi trên Rn . Khi đó ∀x1 , ..., xk ∈ Rn , λi ≥ 0, i = 1, ..., k, ta có: f λ1 x1 + ... + λk xk ≤ λ1 f (x1 ) + ... + λk f (xk ). Vũ Thị Yến 10 (1.22) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Hàm f (x) mà −f (x) lồi được gọi là hàm lõm. Rõ ràng, hàm affine f (x) = (a, x) + β vừa là hàm số lồi vừa là hàm lõm. Các trường hợp đặc biệt của hàm số lồi: Hàm lồi ngặt: Hàm f (x) trên Rn được gọi là lồi ngặt nếu ∀x = y, 0 < λ < 1 : f (λx + (1 − λ)y) < λf (x) + (1 − λ)f (y). (1.23) Hàm lồi mạnh: Hàm f (x) trên Rn được gọi là lồi mạnh với hệ số > 0 nếu với mọi 0 ≤ λ ≤ 1 ta có f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y) − λ(1 − λ) x − y 2 2. (1.24) Chú ý: Hàm lồi mạnh là lồi ngặt. Bổ đề 1.4.3. ([1, LEMMA 2,p.9]) Cho ψ(t) là hàm khả vi trên R1 . Khi đó bề lồi của ψ(τ ) tương đương với sự đơn điệu của đạo hàm (ψ (τ1 ) ≥ ψ (τ2 )) cho τ1 ≥ τ2 , lồi ngặt cho đơn điệu ngặt (ψ (τ1 ) > ψ (τ2 )) cho τ1 > τ2 và lồi mạnh cho đơn điệu mạnh (ψ (τ1 ) − ψ (τ2 ) ≥ (τ1 − τ2 ), τ1 > τ2 ) . Bổ đề 1.4.4. ([1, LEMMA 3,p.9]) Cho f (x) khả vi trên Rn .∀x, y ∈ Rn f (x) lồi tương đương với bất đẳng thức: f (x + y) ≥ f (x) + (∇f (x), y) , (1.25) f (x) lồi ngặt tương đương với bất đẳng thức: f (x + y) > f (x) + (∇f (x), y) , y = 0 (1.26) f (x) lồi mạnh tương đương với bất đẳng thức: f (x + y) ≥ f (x) + (∇f (x), y) + y 2 2. (1.27) Chú ý: 1) Đồ thị của hàm lồi ngặt nằm trên siêu phẳng tiếp xúc, đồ thị của hàm lồi mạnh nằm trên một số đường parabol. Sự suy rộng điều kiện đơn điệu trong trường hợp nhiều chiều: Vũ Thị Yến 11 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Với hàm lồi (∇f (x) − ∇f (y), x − y) ≥ 0. (1.28) Với hàm lồi ngặt thì điều kiện đơn điệu ngặt (∇f (x) − ∇f (y), x − y) > 0, x = y. (1.29) Với hàm lồi mạnh thì điều kiện đơn điệu mạnh (∇f (x) − ∇f (y), x − y) ≥ x − y 2. (1.30) 2)Tiêu chuẩn cho lồi là đơn giản nhất cho các hàm số khả vi hai lần f (x). Lồi tương đương với điều kiện ∇2 f (x) ≥ 0. (1.31) lồi mạnh tương đương với điều kiện ∇2 f (x) ≥ I, ∀x. (1.32) lồi ngặt tương đương với điều kiện ∇2 f (x) > 0. (1.33) Cho x∗ là điểm cực tiểu của vi phân trên hàm lồi mạnh f (x) (với hệ số ). Tồn tại duy nhất một điểm và ∇f (x∗ ) = 0. Do đó từ các bất đẳng thức (1.27),(1.30) ta có các kết luận: f (x) ≥ f (x∗ + x − x∗ (∇f (x), x − x∗ ) ≥ ∇f (x) ≥ 1.5 1.5.1 2 2. (1.34) x − x∗ 2 . (1.35) x − x∗ . (1.36) Các điều kiện về cực trị Điều kiện cần bậc nhất Định nghĩa 1.5.1. Điểm x∗ được gọi là cực tiểu địa phương của f (x) trên Rn nếu ∃ε > 0 : f (x) ≥ f (x∗ ), ∀x là lân cận của x∗ . Có nghĩa là x − x∗ ≤ ε. Trong trường hợp này x∗ còn được gọi là điểm cực tiểu. Vũ Thị Yến 12 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Định lí 1.5.2. (Fermat:)([1, THEREM 1,p.11]) Cho x∗ là điểm cực tiểu của f (x) trên Rn , f (x) khả vi tại x∗ thì ∇f (x∗ ) = 0. (1.37) Chứng minh. Giả sử ∇f (x∗ ) = 0. Ta có f (x∗ − τ ∇f (x∗ )) = f (x∗ ) − τ ∇f (x∗ ) 2 + o (τ ∇f (x∗ )) = f (x∗ ) − τ ∇f (x∗ ) 2 + τ −1 o(τ ) < f (x∗ ) (với τ > 0 đủ nhỏ). ( Trái với giả thiết x∗ là điểm cực tiểu ) Vậy ∇f (x∗ ) = 0. 1.5.2 Điều kiện đủ bậc nhất Định lí 1.5.3. ([1, THEREM 2,p.12]) Cho f (x) là hàm lồi khả vi tại x∗ , ∇f (x∗ ) = 0. Thì x∗ gọi là điểm cực tiểu toàn cục của f (x) trên Rn . Chứng minh. Chứng minh này trực tiếp tuân theo từ công thức (1.25) của phần 1.3 vì f (x) ≥ f (x∗ ) + (∇f (x∗ ), x − x∗ ) = f (x∗ ), ∀x ∈ Rn 1.5.3 Điều kiện cần bậc hai Định lí 1.5.4. ([1, THEREM 3,p.13]) Cho x∗ là điểm cực tiểu của f (x) trên Rn , f (x) khả vi hai lần tại x∗ thì ∇2 f (x∗ ) ≥ 0. (1.38) Chứng minh. Từ định lý 1.5.2, ∇f (x∗ ) = 0, do đó ∀y và τ đủ nhỏ ta có: f (x∗ ) ≤ f (x∗ + τ y) = f (x∗ ) + τ 2 ∇2 f (x∗ )y, y Vũ Thị Yến 13 2 + o(τ 2 ), K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng ∇2 f (x∗ )y, y ≥ o(τ 2 ) τ 2 . Khi τ → 0 ta có ∇2 f (x∗ )y, y ≥ 0. Vì y tùy ý nên ∇2 f (x∗ ) ≥ 0. 1.5.4 Điều kiện đủ bậc hai Định lí 1.5.5. ([1, THEREM 4,p.13]) Cho f ∗ (x) khả vi hai lần tại x∗ ,cho điều kiện cần bậc nhất (∇f (x∗ ) = 0) và ∇2 f (x∗ ) > 0. (1.39) ta có x∗ là điểm cực tiểu. Chứng minh. Cho y là vecto đơn vị. Ta có: f (x∗ + τ y) = f (x∗ ) + τ 2 ∇2 f (x∗ )y, y 2 + o τ2 y 2 τ2 ≥ f (x ) + + o(τ 2 ) 2 trong đó > 0 là giá trị riêng nhỏ nhất của ∇2 f (x∗ ) và hàm số o(τ 2 ) không phụ thuôc vào y. τ2 Do đó ∃τ0 : 0 ≤ τ ≤ τ0 ta có ≥ o(τ 2 ) 2 hay f (x∗ + τ y) ≥ f (x∗ ). ∗ Chú ý: Nếu điều kiện cần bậc nhất và bậc hai thỏa mãn tại x∗ ∇f (x∗ ) = 0, ∇2 f (x∗ ) ≥ 0 nhưng điều kiện đủ bậc hai không thỏa mãn (ma trận ∇2 f (x∗ ) không xác định dương) thì x∗ không là điểm cực tiểu. Vũ Thị Yến 14 K37C-SPT ĐHSP Hà Nội 2 Chương 2 Phương pháp Gradient 2.1 Nội dung của phương pháp Giả sử tại điểm x bất kì có thể tính được đạo hàm của hàm số ∇f (x). Trong trường hợp này cách đơn giản nhất để tính cực tiểu của hàm số f (x) là phương pháp Gradient bằng cách bắt đầu từ xấp xỉ gần đúng x0 để tạo thành chuỗi lặp xk+1 = xk − γk ∇f (xk ), (2.1) trong đó γk ≥ 0 là độ dài bước nhảy. Đầu tiên, xem lại việc chứng minh các điều kiện cần với cực trị (Định lý 1.5.2 phần 1.5), nếu điều kiện cực trị không thỏa mãn tại x(∇f (x) = 0) thì giá trị của hàm số có thể bị giảm tới x − τ ∇f (x) với τ > 0 đủ nhỏ. Thứ hai, tại điểm xk hàm khả vi f (x) được xấp xỉ với hàm tuyến tính fk (x) = f (xk + ∇f (xk ), x − xk với độ sai khác o(x − xk ) . Do đó có thể tìm cực tiểu xấp xỉ của hàm fk (x) tại lân cận của xk . Chẳng hạn như ta đi xác định εk và giải bài toán bổ trợ: min x−xk ≤εk fk (x). (2.2) Điều đó là tự nhiên khi áp dụng bài toán như một xấp xỉ mới xk+1 . Thứ ba, tại điểm xk ta chọn lân cận của hướng dốc nhất. Có nghĩa là hướng yk , y = 1 trong đó cực tiểu f (xk ; y) là thỏa mãn. Sử dụng công thức (1.6) của phần 1.1 với đạo hàm theo hướng ta có: y k = argmin ∇f (xk ), y = −∇f (xk ) ∇f (xk ) . Do đó, hướng dốc nhất ngược với hướng Gradient. 15 (2.3) Khóa luận tốt nghiệp 2.2 GVHD: Th.s Phùng Đức Thắng Tính hội tụ Xét trường hợp đơn giản của phương pháp Gradient, tại γk ≡ γ : xk+1 = xk − γ∇f (xk ). (2.4) Định lí 2.2.1. ([1, THEOREM 1,p.21]) Cho f (x) khả vi trên Rn , đạo hàm của f (x) thỏa mãn điều kiện Lipschitz: ∇f (x) − ∇f (y) ≤ L x − y , (2.5) cho f (x) bị chặn dưới: f (x) ≥ f ∗ > −∞, (2.6) và γ thỏa mãn điều kiện: 0 0, theo (2.7) ta có: s k 2 ≤ α−1 f (x0 ) − f (xs+1 ) ≤ α−1 f (x0 ) − f ∗ , ∀s. k=0 ∇f (x ) k 2 có nghĩa là ∞ < ∞ tức là ∇f (xk ) → 0. Ta có điều k=0 ∇f (x ) phải chứng minh. Ở đây, các điều kiện của định lý là rất cần thiết. Các vi phạm điều kiện 2.5 có thể có hai phần: 1) Hàm f (x) có thể không trơn tại một số điểm. Ví dụ 4. Cho f (x) = x 1+α , 0 < α < 1 f (x) khả vi nhưng không có đạo hàm thỏa mãn điều kiện Lipschitz vì ∇f (x) − ∇f (0) = (α + 1) x α−1 → ∞ khi x → 0. x−0 Trong trường hợp này ta có xk − x∗ = xk γ ∇f (xk ) với xk đủ nhỏ. Có nghĩa là độ dài bước nhảy trong công thức (2.4) nhỏ và f (x) không đơn điệu giảm. 2) Bất đẳng thức (2.5) không phụ thuộc vào các hàm số lớn hơn hàm số bậc hai. Ví dụ 5. Cho f (x) = x 2+α , α > 0 ∇f (x) − ∇f (0) Ta có: = (2 + α) x α → ∞ khi x → ∞. x−0 Với ∀γ > 0, ∃x0 để công thức (2.4) khi áp dụng cho hàm số x (α > 0) với xấp xỉ ban đầu x0 sẽ phân kì vì 2+α , xk+1 > xk , k = 0, 1, ... Bổ đề 2.2.2. ([1, LEMMA 1,p.23]) Cho f (x) khả vi, ∇f (x) thỏa mãn điều kiện Lipschitz với hệ số L và f (x) ≥ f ∗ , ∀x thì ∇f (x) Vũ Thị Yến 2 ≤ 2L (f (x) − f ∗ ) . 17 (2.9) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Chứng minh. f ∗ ≤ f x − L−1 ∇f (x) ≤ f (x) − (2L)−1 ∇f (x) 2 . Bổ đề 2.2.3. ([1, LEMMA 2,p.24]) Cho f (x) là hàm lồi, khả vi và ∇f (x) thỏa mãn điều kiện Lipschitz với hệ số L thì (∇f (x) − ∇f (y), x − y) ≥ L−1 ∇f (x) − ∇f (y) 2 . (2.10) Chứng minh. Chứng minh công thức (2.10) với các hàm số khả vi hai lần. Từ (1.13) phần 1.1 ta có 1 ∇2 f (x + τ (y − x)) (y−x)dτ = ∇f (x)+A(y−x), ∇f (y) = ∇f (x)+ 0 trong đó ma trận 1 ∇2 f (x + τ (y − x)) dτ A= 0 là đối xứng và không âm xác định bởi công thức (1.31) của phần 1.4, có nghĩa là A ≥ 0. Mà A ≤ L khi ∇2 f (x) ≤ L, ∀x. Do đó (∇f (x) − ∇f (y), x − y) = (A(x − y), x − y) ≥ A −1 A(x − y) 2 ≥ L−1 ∇f (x) − ∇f (y) 2 . Bổ đề 2.2.4. ([1, LEMMA 3,p.24]) Cho f (x) là hàm lồi mạnh khả vi ( với hệ số ) và x∗ là điểm cực tiểu thì ∇f (x) 2 ≥ 2 (f (x) − f (x∗ )) . Định lí 2.2.5. ([1, THEOREM 2,p.24]) Cho f (x) khả vi trên Rn có đạo hàm thỏa mãn điều kiện Lipschitz với hệ số L và f (x) là hàm lồi 2 mạnh với hệ số . Cho 0 < γ < phương pháp (2.4) hội tụ tới điểm L cực tiểu toàn cục x∗ duy nhất với sự suy biến của cấp số nhân xk − x∗ ≤ cq k , 0 ≤ q < 1. Vũ Thị Yến 18 (2.11) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Chứng minh. Các điều kiện của định lý 1.5.2 đều được thỏa mãn. f (xk+1 ) ≤ f (xk ) − γ 1 − Lγ 2 ∇f (xk ) 2 . Sử dụng bổ đề 2.2.4 f (xk+1 ) ≤ f (xk ) − γ(2 − Lγ) f (xk ) − f (x∗ ) hay f (xk+1 ) − f (x∗ ) ≤ (1 − γ(2 − Lγ)) f (xk ) − f (x∗ ) = q1 f (xk ) − f (x∗ ) f (xk ) − f (x∗ ) ≤ q1k f (x0 ) − f (x∗ ) , q1 = 1 − 2 γ + L γ 2 . 2 thì 0 < q1 < 1 và f (xk ) → f (x∗ ). Từ bất đẳng thức L (1.34) phần 1.4 ta có: Khi 0 < γ < xk − x∗ 2 2 q1k f (x0 ) − f (x∗ ) . L ≤ Định lí 2.2.6. ([1, THEOREM 1,p.25]) Cho f (x) khả vi hai lần và I ≤ ∇2 f (x) ≤ LI, > 0, ∀x Khi 0 < γ < (2.12) 2 L xk − x∗ ≤ x0 − x∗ q k , q = max {|1 − γ |, |1 − γL|} < 1. (2.13) thì q ≤ q∗ = với γ = γ ∗ = (L − ) L+ (2.14) 2 . L+ Chứng minh. Từ công thức (1.13) phần (1.2) ta có k 1 ∗ ∇f (x ) = ∇f (x ) + ∇2 f x∗ + τ (xk − x∗ ) (xk − x∗ )dτ 0 Vũ Thị Yến 19 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng = Ak (xk − x∗ ) khi I ≤ Ak ≤ LI . Do đó xk+1 − x∗ = xk − x∗ − γ∇f (xk ) = (I − γAk )(xk − x∗ ) ≤ I − γAk xk − x∗ . Với ma trận đối xứng A ta có I − A = max {|1 − λ1 |, |1 − λn |} trong đó λ1 và λn tương ứng là các giá trị riêng nhỏ nhất và lớn nhất của A. Do đó: xk+1 − x∗ ≤ q xk − x∗ , q = max {|1 − |, |1 − γL|} 2 Khi 0 < γ < thì |1 − γ | < 1 hay q < 1. L Cực tiểu hóa q theo γ ta có điều phải chứng minh. Ta thấy rằng ước tính tốc độ hội tụ cho bởi Định lý 2.2.6 là chính xác và có thể đạt được với bất kì hàm bậc 2 nào. Cho f (x) = (Ax, x) 2 − (b + x), A > 0, 0 < = λ1 γλ2 ≤ ... ≤ λn = L với λi là các giá trị riêng của A 2 Lấy tùy ý 0 < γ < . Giả sử |1 − γ | ≥ |1 − γL| L Chọn x0 = x∗ + e1 , với e1 là giá trị riêng tương ứng của λ1 . Thì xk − x∗ = (I − γA)k (x0 − x∗ ) = (1 − γλ1 )k e1 , xk − x∗ = |(1 − γ )|k = q k x0 − x∗ . Nếu |1 − γL| ≥ |1 − γ |, lấy x0 = x∗ + en , với en là giá trị riêng tương ứng với λn . Thì xk − x∗ = |(1 − γL)|k = q k x0 − x∗ 2 Vì thế với 0 < γ < , ∃x0 : xk −x∗ = q k x0 −x∗ , q = max {|1 − |, |1 − γL|} . L Ước tính (L − ) xk − x∗ ≤ (q ∗ )k x0 − x∗ , q ∗ = L+ không được cải thiện thậm chí nếu γ là tối ưu cho mỗi x0 . Thật vậy, chọn x0 = x∗ + e1 + en . 2 Với ∀0 < γ < : L Vũ Thị Yến 20 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng xk − x∗ = (I − γA)k (x0 − x∗ ) = (1 − γ )k e1 + (1 − γL)k en , 0 − x∗ k ∗ 2k 2k 1/2 x √ x − x = (1 − γ ) + (1 − γL) . 2 Do đó, nếu một trong hai |1−γ | > q ∗ hoặc |1−γL| > q ∗ thì xk −x∗ giảm chậm hơn so với (q ∗ )k . Nhưng q = max {|1 − |, |1 − γL|} ≤ q ∗ với γ = γ ∗ và |1 − γ ∗ | = |1 − γ ∗ L| = q ∗ và xk − x∗ = (q ∗ )k x0 − x∗ . Định lí 2.2.7. ([1, THEOREM 4,p.27]) Cho x∗ là điểm cực tiểu địa phương không suy biến của f (x). 2 , phương pháp (2.4) hội tụ địa phương tới x∗ Với 0 < γ < 2 ∇ f (x∗ ) với tốc độ của cấp số hình học (thuật ngữ tiếng anh là: the rate of geometric progression). Có nghĩa là ∀δ > 0, ∃ε > 0 : x0 − x∗ ≤ ε, xk − x∗ ≤ x0 − x∗ (q + δ)k , q = max {|1 − γ |, |1 − γL|} < 1, 0 < I < ∇2 f (x∗ ) ≤ LI thì q ≤ q∗ = Vũ Thị Yến (L − ) 2 với γ ∗ = . (L + ) (L + ) 21 K37C-SPT ĐHSP Hà Nội 2 Chương 3 Phương pháp Newton 3.1 Nội dung của phương pháp Trong phương pháp Gradient, khái niệm xấp xỉ tuyến tính địa phương của hàm mục tiêu f (x) là căn bản. Nếu hàm số có khả vi hai lần thì có thể sử dụng xấp xỉ bậc hai tại điểm xk , có nghĩa là hàm số fk (x) = f (xk ) + ∇f (xk ), x − xk + ∇2 f (xk )(x − xk ), x − xk 2. (3.1) Trong phương pháp Gradient xấp xỉ tiếp theo xk+1 được cho trong điều kiện xấp xỉ tuyến tính là điểm cực tiểu dưới giới hạn khi tiến tới xk . Lấy cực tiểu của fk (x) như một xấp xỉ mới: xk+1 = argminfk (x). Ta có xk+1 = xk − ∇2 f (xk ) −1 ∇f (xk ). (3.2) Điểm cực tiểu là nghiệm của hệ phương trình ∇f (x) = 0. (3.3) Một trong những phương pháp căn bản cho việc giải các bài toán như vậy là phương pháp Newton. Phương pháp này bao gồm việc tuyến tính hóa các phương trình tại điểm xk và giải quyết hệ thống tuyến tính đó ( xem phần 3.3 dưới đây ). Hệ thống tuyến tính hóa có dạng: ∇f (xk ) + ∇2 f (xk )(x − xk ) = 0 (3.4) và cách giải xk+1 được cho bởi công thức (3.2). 22 Khóa luận tốt nghiệp 3.2 GVHD: Th.s Phùng Đức Thắng Tính hội tụ Định lí 3.2.1. ([1, THEOREM 1,p.28]) Cho f (x) khả vi hai lần, ∇2 f (x) thỏa mãn điều kiện Lipschitz (với hệ số L), cho f (x) là lồi mạnh (với hệ số ) và xấp xỉ ban đầu thỏa mãn điều kiện q= L −2 ∇f (x0 < 1 2 (3.5) thì công thức (3.2) hội tụ tới điểm cực tiểu toàn cục x∗ với tỉ lệ bậc hai: 2 k q2 . (3.6) xk − x∗ ≤ L Chứng minh. Theo điều kiện Lipschitz trên ∇2 f (x) (sử dụng (1.15) phần 1.2) L 2 ∇f (x + y) − ∇f (x) − ∇2 f (x)y ≤ trong đó x = xk , y = − ∇2 f (xk ) −1 2 y ∇f (xk ). Thì x + y = xk+1 và L 2 ∇f (xk+1 ) ≤ ∇2 f (xk ) −1 ∇f (xk ) 2 L −1 2 ∇2 f (xk ) ∇f (xk ) 2 . 2 Vì ∇2 f (xk ) ≥ I (điều kiện hàm lồi mạnh, xem công thức (1.32) phần 1.4) nên ≤ ∇2 f (xk ) −1 −1 ≤ có nghĩa là k+1 ∇f (x ∇2 f (xk ) I và ) ≤ L −1 ≤ −1 , −2 2 ∇f (xk ) 2 . Lặp lại bất đẳng thức này, ta có: 2 2 k ∇f (x ) ≤ L L ∇f (x0 ) 2 2 2k 2 2 2k = q . L Áp dụng công thức (1.36) phần 1.4, định lý được chứng minh. Vũ Thị Yến 23 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Định lí 3.2.2. ([1, THEOREM 2,p.30]) Cho f (x) khả vi hai lần tại lân cận U của điểm cực tiểu không suy biến x∗ , ∇2 f (x) thỏa mãn điều kiện Lipschitz trên U . Khi đó, ∃ε > 0 : x0 − x∗ ≤ ε để phương pháp (2.2) hội tụ tại x∗ Định lí 3.2.3. ([4, THEOREM 3.7,p.52]) Giả sử f khả vi hai lần và Hessian ∇2 f (x) là hội tụ Lipschitz tại lân cận của x∗ mà tại đó các điều kiện đủ được thỏa mãn. Xét việc lặp lại xk+1 = xk + pk , trong 2 −1 đó pk được cho bởi công thức pN k = −∇ fk ∇fk . Thì 1. Nếu điểm bắt đầu x0 đủ gần tới x∗ , dãy lặp hội tụ đến x∗ . 2. Tốc độ hội tụ của {xk } là bậc hai. 3. Dãy chuẩn Gradient { fk } hội tụ bậc hai tới 0. Chứng minh. Từ định nghĩa của phương pháp Newton và điều kiện ∇f∗ = 0, ta có ∗ ∗ 2 −1 2 −1 xk +pN ∇2 fk (xk − x∗ ) − (∇fk − ∇f∗ ) . k −x = xk −x −∇ fk ∇fk = ∇ fk (3.7) Vì 1 ∇fk − ∇f∗ = ∇2 f (xk + t(x∗ − xk )) (xk − x∗ )dt 0 , nên ∇2 f (xk )(xk − x∗ ) − (∇fk − ∇f (x∗ )) 1 = 0 1 ≤ ∇2 f (xk ) − ∇2 f (xk + t(x∗ − xk )) (xk − x∗ )dt ∇2 f (xk ) − ∇2 f (xk + t(x∗ − xk )) xk − x∗ dt 0 1 ∗ ≤ xk − x 0 1 Ltdt = L xk − x∗ 2 . 2 (3.8) trong đó L là hệ số Lipschitz của ∇2 f (xk ), x → x∗ . Vì ∇2 f (x∗ ) không suy biến và ∇2 fk → ∇2 f (x∗ ) ta có ∇2 fk−1 ≤ 2 ∇2 f (x∗ )−1 , ∀k đủ nhỏ. Từ (3.7) và 3.8 ta có ∗ x k + pN ≤ L ∇2 f (x∗ )−1 k −x Vũ Thị Yến 24 xk − x∗ 2 = L xk − x∗ 2 . (3.9) K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng trong đó L = L ∇2 f (x∗ )−1 . Sử dụng bất đẳng thức trên, nếu điểm bắt đầu đủ gần tới x∗ thì dãy lặp hội tụ đến x∗ và tốc độ hội tụ là bậc hai. 2 N Từ xk+1 − xk = pN k và ∇fk + ∇ fk pk = 0 ta có ∇f (xk+1 ) = ∇f (xk+1 ) − ∇fk − ∇2 f (xk )pN k 1 2 N ∇2 f (xk + tpN k )(xk+1 − xk )dt − ∇ f (xk )pk = 0 1 2 ∇2 f (xk + tpN k ) − ∇ f (xk ≤ pN k dt 0 1 ≤ L pN k 2 2 1 ≤ L ∇2 f (xk )−1 2 ∇fk 2 2 ≤ 2L ∇2 f (x∗ )−1 2 ∇fk 2 . có nghĩa là các chỉ tiêu Grradient hội tụ bậc hai tới 0. 3.3 Phương pháp Newton trong việc giải các phương trình Phương pháp Newton có thể được sử dụng để giải quyết các bài toán cực tiểu như các phương trình phi tuyến tổng quát g(x) = 0, g : Rn → Rn . (3.10) Phương pháp Newton dựa trên khái niệm về xấp xỉ tuyến tính: một phương trình tuyến tính g(xk ) + g (xk )(x − xk ) = 0 được giải quyết bằng cách lặp đi lặp lại k , ta có xk+1 = xk − g (xk )−1 g(xk ). (3.11) Định lí 3.3.1. ([1, THEOREM 3,p.31]) Cho phương trình (3.7) có nghiệm x∗ , hàm số g : Rn → Rn khả vi tại lân cận của x∗ và g (x) thỏa mãn điều kiện Lipschitz trên lân cận này. Cho ma trận g (x∗ ) không suy biến thì ∃ε > 0 : với x0 − xk ≤ ε, phương pháp (2.7) hội tụ tại x∗ với tỉ lệ bậc hai. Vũ Thị Yến 25 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Chứng minh. Tương tự định lý 3.2.2 (vì định lý 3.2.2 là một trường hợp đặc biệt của định lý 3.2.3 với g(x) = ∇f (x) ). Vũ Thị Yến 26 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng KẾT LUẬN Trên đây là toàn bộ nội dung khóa luận " Phương pháp Gradient và Phương pháp Newton". Khóa luận trình bày các nội dung sau Trước hết, khóa luận giới thiệu một số kiến thức chuẩn bị. Đó là những kiến thức • Đạo hàm của hàm vô hướng. • Đạo hàm của hàm vecto. • Đạo hàm bậc hai. • Các hàm số lồi. • Các điều kiện về cực trị. Tiếp theo, khóa luận trình bày về phương pháp Gradient • Nội dung của phương pháp. • Tính hôi tụ. Cuối cùng, khóa luận trình bày về phương pháp Newton • Nội dung của phương pháp. • Tính hội tụ. • Phương pháp Newton trong việc giải các phương trình. Do thời gian ngiên cứu và năng lực còn hạn chế nên khóa luận mới chỉ đạt được một số kết quả nhất định. Em rất mong các thầy cô, các bạn góp ý và nhận xét để khóa luận này được đầy đủ và hoàn thiện hơn. Trước khi kết thúc khóa luận này, một lần nữa em xin bày tỏ lòng biết ơn sâu sắc đối với các thầy cô trong trường, đặc biệt là thầy Phùng Đức Thắng đã tận tình giúp đỡ em hoàn thành khóa luận này. Hà Nội, tháng 05 năm 2015 Sinh viên Vũ Thị Yến Vũ Thị Yến 27 K37C-SPT ĐHSP Hà Nội 2 Tài liệu tham khảo [1] B. T. Polyak, Introduction to Optimization, Publications Division, New York , 1987. [2] D. Kinderlehrer, G. Stampacchia, An Introduction to Variational Inequalities and Their Applications, Academic Press, New York, 1980. [3] G. M. Lee, N. N. Tam, and N. D. Yen, Quadratic Programming and Affine Variational Inequalities: A Qualitative Study, Springer Verlag, New York, 2005. [4] J. Nocedal, S. J. Wright, Numerical Optimization, SpringerVerlag, New York, 1999. [5] A. Ruszczynski, Nonlinear Optimization, Princeton University Press, Princeton, New Jersey, 2005. [6] N. N. Tam, N. D. Yen, Continuity properties of the KarushKuhn-Tucker point set in quadratic programming problems, Math. Program., 2 (1999), 193–206. 28 [...]... K37C-SPT ĐHSP Hà Nội 2 Chương 3 Phương pháp Newton 3.1 Nội dung của phương pháp Trong phương pháp Gradient, khái niệm xấp xỉ tuyến tính địa phương của hàm mục tiêu f (x) là căn bản Nếu hàm số có khả vi hai lần thì có thể sử dụng xấp xỉ bậc hai tại điểm xk , có nghĩa là hàm số fk (x) = f (xk ) + ∇f (xk ), x − xk + ∇2 f (xk )(x − xk ), x − xk 2 (3.1) Trong phương pháp Gradient xấp xỉ tiếp theo xk+1 được... Gradient và Phương pháp Newton" Khóa luận trình bày các nội dung sau Trước hết, khóa luận giới thiệu một số kiến thức chuẩn bị Đó là những kiến thức • Đạo hàm của hàm vô hướng • Đạo hàm của hàm vecto • Đạo hàm bậc hai • Các hàm số lồi • Các điều kiện về cực trị Tiếp theo, khóa luận trình bày về phương pháp Gradient • Nội dung của phương pháp • Tính hôi tụ Cuối cùng, khóa luận trình bày về phương pháp Newton. .. (3.2) Điểm cực tiểu là nghiệm của hệ phương trình ∇f (x) = 0 (3.3) Một trong những phương pháp căn bản cho việc giải các bài toán như vậy là phương pháp Newton Phương pháp này bao gồm việc tuyến tính hóa các phương trình tại điểm xk và giải quyết hệ thống tuyến tính đó ( xem phần 3.3 dưới đây ) Hệ thống tuyến tính hóa có dạng: ∇f (xk ) + ∇2 f (xk )(x − xk ) = 0 (3.4) và cách giải xk+1 được cho bởi công... tụ Cuối cùng, khóa luận trình bày về phương pháp Newton • Nội dung của phương pháp • Tính hội tụ • Phương pháp Newton trong việc giải các phương trình Do thời gian ngiên cứu và năng lực còn hạn chế nên khóa luận mới chỉ đạt được một số kết quả nhất định Em rất mong các thầy cô, các bạn góp ý và nhận xét để khóa luận này được đầy đủ và hoàn thiện hơn Trước khi kết thúc khóa luận này, một lần nữa em xin... không xác định dương) thì x∗ không là điểm cực tiểu Vũ Thị Yến 14 K37C-SPT ĐHSP Hà Nội 2 Chương 2 Phương pháp Gradient 2.1 Nội dung của phương pháp Giả sử tại điểm x bất kì có thể tính được đạo hàm của hàm số ∇f (x) Trong trường hợp này cách đơn giản nhất để tính cực tiểu của hàm số f (x) là phương pháp Gradient bằng cách bắt đầu từ xấp xỉ gần đúng x0 để tạo thành chuỗi lặp xk+1 = xk − γk ∇f (xk ),... xk+1 − xk = pN k và ∇fk + ∇ fk pk = 0 ta có ∇f (xk+1 ) = ∇f (xk+1 ) − ∇fk − ∇2 f (xk )pN k 1 2 N ∇2 f (xk + tpN k )(xk+1 − xk )dt − ∇ f (xk )pk = 0 1 2 ∇2 f (xk + tpN k ) − ∇ f (xk ≤ pN k dt 0 1 ≤ L pN k 2 2 1 ≤ L ∇2 f (xk )−1 2 ∇fk 2 2 ≤ 2L ∇2 f (x∗ )−1 2 ∇fk 2 có nghĩa là các chỉ tiêu Grradient hội tụ bậc hai tới 0 3.3 Phương pháp Newton trong việc giải các phương trình Phương pháp Newton có thể được... hợp đơn giản của phương pháp Gradient, tại γk ≡ γ : xk+1 = xk − γ∇f (xk ) (2.4) Định lí 2.2.1 ([1, THEOREM 1,p.21]) Cho f (x) khả vi trên Rn , đạo hàm của f (x) thỏa mãn điều kiện Lipschitz: ∇f (x) − ∇f (y) ≤ L x − y , (2.5) cho f (x) bị chặn dưới: f (x) ≥ f ∗ > −∞, (2.6) và γ thỏa mãn điều kiện: 0 q ∗ thì xk −x∗ giảm chậm hơn so với (q ∗ )k Nhưng q = max {|1 − |, |1 − γL|} ≤ q ∗ với γ = γ ∗ và |1 − γ ∗ | = |1 − γ ∗ L| = q ∗ và xk − x∗ = (q ∗ )k x0 − x∗ Định lí 2.2.7 ([1, THEOREM 4,p.27]) Cho x∗ là điểm cực tiểu địa phương không suy biến của f (x) 2 , phương pháp (2.4) hội tụ địa phương tới x∗ Với 0 < γ < 2 ∇ f (x∗ ) với tốc độ của cấp số hình học (thuật ngữ tiếng anh là: the rate of... ε, phương pháp (2.7) hội tụ tại x∗ với tỉ lệ bậc hai Vũ Thị Yến 25 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng Chứng minh Tương tự định lý 3.2.2 (vì định lý 3.2.2 là một trường hợp đặc biệt của định lý 3.2.3 với g(x) = ∇f (x) ) Vũ Thị Yến 26 K37C-SPT ĐHSP Hà Nội 2 Khóa luận tốt nghiệp GVHD: Th.s Phùng Đức Thắng KẾT LUẬN Trên đây là toàn bộ nội dung khóa luận " Phương pháp Gradient ... nghiên cứu cách toàn diện nhờ phương pháp định tính định lượng phương pháp miền tin cậy, phương pháp nhân tử Lagrange, Trong phương pháp Gradient phương pháp Newton phương pháp số để giải toán tối... trình bày phương pháp Gradient • Nội dung phương pháp • Tính hôi tụ Cuối cùng, khóa luận trình bày phương pháp Newton • Nội dung phương pháp • Tính hội tụ • Phương pháp Newton việc giải phương trình... hai tới 3.3 Phương pháp Newton việc giải phương trình Phương pháp Newton sử dụng để giải toán cực tiểu phương trình phi tuyến tổng quát g(x) = 0, g : Rn → Rn (3.10) Phương pháp Newton dựa khái