Phương pháp cực tiểu hoá

LỜI CẢM ƠN Luận văn hoàn thành trường Đại học sư phạm Hà Nội hướng dẫn TS Khuất Văn Ninh Tôi xin bày tỏ lòng biết ơn chân thành, sâu sắc tới TS Khuất Văn Ninh, người quan tâm, động viên tận tình hướng dẫn tơi q trình thực luận văn Tôi xin gửi lời cảm ơn chân thành tới ban giám hiệu trường Đại học sư phạm Hà Nội 2, phòng Sau đại học, thầy giáo nhà trường thầy cô giáo dạy cao học chun ngành Tốn giải tích tạo điều kiện thuận lợi cho tơi q trình học tập nghiên cứu Tơi xin bày tỏ lòng biết ơn tới gia đình, người thân động viên tạo điều kiện để tơi hồn thành luận văn Hà Nội, tháng năm 2011 Lê Thị Hậu LỜI CAM ĐOAN Tôi xin cam đoan luận văn cơng trình nghiên cứu riêng tơi hướng dẫn TS Khuất Văn Ninh Hà Nội, tháng năm 2011 Lê Thị Hậu MỤC LỤC Trang MỞ ĐẦU…………………………………………………………… NỘI DUNG………………………………………………………… Chương 1: Kiến thức bổ trợ……………………………………… 1.1 Không gian R ………………………………………………… 1.2 Đạo hàm vi phân Frechet…………………… 1.2.1 Khái niệm đạo hàm vi phân Frechet………………… 1.2.2 Các tính chất đạo hàm vi phân Frechet ………… 1.2.3 Một số ví dụ……………………………………………… 1.3 Đạo hàm vi phân Gateaux………………………………… 1.3.1 Khái niệm đạo hàm vi phân Gateaux………………… n 1.3.2 Các định lý mối liên hệ vi phân mạnh vi phân yếu …………………………… 10 1.4 Các định nghĩa định lý cực tiểu, điểm tới hạn ánh xạ gradient…………………………………………………… 11 1.5 Các định lý tính ………………………………… 15 1.6 Các định lý tồn tại……………………………………… 18 Chương 2: Phương pháp cực tiểu hoá…………………………… 23 2.1 Phương pháp paraboloid……………………………………… 23 2.2 Phương pháp gốc ……………………………………………… 26 2.3 Thuật toán bước dài…………………………………………… 32 2.3.1 Nguyên lý cực tiểu hoá…………………………………… 32 2.3.2 Nguyên lý Curry Altman ……………… 33 2.3.3 Cực tiểu hố gần tìm kiếm gốc ………………… 35 2.3.4 Nguyên lý Majorization……………………… 37 2.3.5 Nguyên lý bước dài Goldstein…………………………… 40 2.4 Các phương pháp hướng liên hợp …………………………… 43 2.5 Phương pháp Gauss – Newton phương pháp liên quan 48 2.6 Phụ lục 1……………………………………………… 52 2.7 Phụ lục 2…………………………… 56 Chương 3: ứng dụng phương pháp cực tiểu hoá …………… 61 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 66 BẢNG KÍ HIỆU khơng gian số thực chiều R không gian số thực n chiều Rn khơng gian tuyến tính tốn tử tuyến tính từ Rn vào n m L(R , R ), L(R ) n R , từ n R m vào Rn e , , n e vectơ đơn vị Rn x (x1 , , xn )T vectơ cột với thành phần xi x  k dãy vectơ chuẩn Rn x, y tích vơ hướng Rn S (x, r) cầu mở y Rn y S (x, r) int(D)  r x cầu đóng y R n y x phần tập hợp D  r x, y tập z A1 ma trận nghịch đảo ma trận A R  z tx (1 t) y, t  0,1 n ma trận chuyển vị ma trận A AT ma trận nghịch đảo suy rộng ma trận A A ma trận Hessian g H g (x) F : D  R m R F '(x), F ''(x) F 1 n ánh xạ F có tập xác định D Rn tập giá trị Rm đạo hàm cấp đạo hàm cấp hai F x hàm ngược hàm F ,  phần tử bao gồm, tập hợp bao gồm , ,  hợp, giao, với ,  tổng, tích □ kết thúc chứng minh MỞ ĐẦU Lý chọn đề tài Nhiều toán khoa học tự nhiên, kinh tế, kỹ thuật, sống … dẫn đến việc tìm cực trị hàm n biến n g : D  R  R Có nhiều nhà khoa học tiếng đề cập đến việc tìm cực trị hàm n biến, có nhiều phương pháp để tìm cực trị hàm n biến Xong để nghiên cứu sâu phương pháp tìm cực trị hàm n biến tơi chọn phương pháp “cực tiểu hố” Đó lý chọn đề tài: “Phương pháp cực tiểu hố” Mục đích nghiên cứu Nghiên cứu Phương pháp cực tiểu hố ứng dụng Nhiệm vụ nghiên cứu Ứng dụng phương pháp tìm cực tiểu hàm n biến Đối tượng phạm vi nghiên cứu “Các phương pháp tìm cực tiểu hàm n biến” Phương pháp nghiên cứu Phân tích, tổng kết tài liệu CHƯƠNG I: KIẾN THỨC BỔ TRỢ 1.1 Không gian R n 1.1.1 R không gian vectơ n Thật vậy, ta kiểm tra tiên đề không gian véctơ x, y R n , x (x1, x2 , , xn ), y ( y1, y2 , , yn ) ta có: x y (x1 , x2 , , xn ) ( y1 , y2 , , yn ) (x1 y1 , x2 y2 , , xn yn ) ( y1 x1 , y2 x2 , , yn xn )  y x x, y, z n R , x (x1, x2 , , xn ), y ( y1, y2 , , yn ), z (z1, z2 , , zn ) ta có: (x y) z (x1 , x2 , , xn ) ( y1 , y2 , , yn )  (z1 , z2 , , zn ) (x1 y1 , x2 y2 , , xn yn ) (z1 , z2 , , zn ) (x1 y1 z1 , x2 y2 z2 , , xn yn zn ) x1 ( y1 z1 ), x2 ( y2 z2 ), , xn ( yn zn )x ( y z) n x R , x (x , x , , x ),  (0,0, ,0) n R ta có: n x  (x1 , x2 , , xn ) (0,0, ,0) (x1 0, x2 0, , xn 0) (x1 , x2 , xn )  x x R n n , x (x1, x2 , , xn ), (x) R , (x) (x1,x2 , ,xn ) ta có: x (x) (x1 , x2 , , xn ) (x1 ,x2 , ,xn ) (x1 (x1 ), x2 (x2 ), , xn (xn )) (0,0, ,0)  x, y Rn , x (x , x , , x ), y ( y , y , , y ), n k R ta có: n k (x y) k (x1 y1 , x2 y2 , , xn yn ) (kx1 ky1 , kx2 ky2 , , kxn kyn ) (kx1 , kx2 , , kxn ) (ky1 , ky2 , , kyn ) k (x1 , x2 , , xn ) k ( y1 , y2 , , yn ) kx ky x Rn , x (x , x , , x ), k,l R ta có: n (k l)x (k l)x1 , (k l)x , , (k l)x n (kx1 lx1 , kx2 lx2 , , kxn lxn ) (kx1 , kx2 , , kxn ) (lx1 , lx2 , , lxn ) k (x1 , x2 , , xn ) l(x1 , x2 , , xn ) kx lx x Rn , x (x , x , , x ), n k,l R ta có: k (lx) klx1 , lx2 , , lxn (klx1 , klx2 , , klxn ) (kl)(x1 , x2 , , xn ) (kl)x x R , x (x1, x2 , , xn ta có: ) n 1.x 1x1 , x2 , , xn (x1 , x2 , , xn ) x n 1.1.2 Rn không gian mêtric với mêtric d (x, y)  )2 jj y  (x j 1 Thật vậy, với hai vectơ x, y R ta đặt: n d (x, y)   (x j 1 , x (x1, x2 , , xn ); y ( y1, y2 , , yn ) n )2 jj y (1.1.1) Dễ dàng kiểm tra hệ thức (1.1.1) thoả mãn tiên đề 1) 2) mêtric Để kiểm tra hệ thức (1.1.1) thoả mãn tiên đề 3) mêtric, trước hết ta chứng minh bất đẳng thức Cauchy-Bunhiacopski: với 2n số thực a j , bj ( j 1,2, n) ta có: n a j b j  n a j j 1 n b (1.1.2) j j 1 j 1 Thật vậy, 0 b ⎡ ⎢  (a n n i 1 ⎣j 1 a b ) ⎤⎥ i j ⎦ a b b n n j i 1 1 ⎛ n j i i 2 a b a j ⎞ ⎛ n n i1 ⎞ n j j 1 i i j a b n n i1 j 1 j i ⎞2 ⎛ 2 2⎜a ⎟.⎜  b ⎟2⎜a b ⎟ j ⎟⎜ j j ⎟ ⎜ ⎜ ⎟ j 1 ⎠ ⎝ ⎝j ⎠⎝ j 1 1 ⎠ n Từ suy bất đẳng thức (1.1.2) Với vectơ x, y, z n R , x (x1, x2 , , xn ), y ( y1, y2 , , yn ), z (z1 , z2 , , zn ) ta có: d (x, y)  n  (x j 1 n j  n j j ( x (x z ) 2 j 1 y )  j j   n j j z ) (z j     y )2   ( j 1 j xj n  j j 1 j j y )   z ) (z j ( z y ) j 1 d (x, z) 2d (x, z).d (z, y) d ( y, z) d (x, z) d (z, y d (x, y) d (x, z) d (z, y) Do hệ thức (1.1.1) thoả mãn tiên đề 3) mêtric R n Vì hệ thức (1.1.1) xác định mêtric không gian Không gian mêtric R thường gọi không gian Euclid Mêtric (1.1.1) n gọi mêtric Euclid 1.1.3 Rn không gian mêtric đầy Thật vậy, giả sử x (k ) x (k ) , x (k ) , , x (k ) , dãy tuỳ ý (k 1,2, ) n không gian Euclid Rn Theo định nghĩa dãy ( 0) (n0 N * ) (k, l n0 ) d (x (k ) , x )  (l ) Hay n  (x j 1  x (k) x (l ) j j (kj ) x j(l ) )  , k, l n , j 1,2, , n j 1,2, , Các bất đẳng thức (1.1.3) chứng tỏ, với n số thực bản, nên phải tồn giới hạn: lim x (k ) k  j x , j dãy xj (k ) là dãy ( j 1,2, , n) Đặt x (x1 , x2 , , xn ) , ta nhận dãy x (1.1.3) (k ) R cho hội tụ theo toạ n độ tới x Nhưng hội tụ không gian Euclid Rn tương đương với hội NhËp ,a,b q,  x:=(a+b)/2 y:= (x) h:=(b-a)/2 h