GIÁO TRÌNH Tối ưu hóa ứng dụng (Nguyễn Đắc Lực)

Lời nói đầu Các bi toán tối }u nhằm nghiên cứu giải bi toán cực trị hm d}ới rng buộc no Các ph}ơng pháp tối }u l công cụ hữu hiệu giúp có giải pháp tốt để giải vấn đề Ngy nay, với phát triển kỹ thuật tin học, phạm vi ứng dụng tối }u hóa ngy cng mở rộng Giáo trình Tối uu hóa ứng dụng nhằm mục đích giới thiệu cho ng}ời đọc vấn đề nhằm xác lập vấn đề tối }u d}ới rng buộc định v từ tìm kỹ thuật giải thích hợp Nội dung giáo trình mô tả phần sở lý thuyết ngắn gọn, đủ dùng cho ph}ơng pháp tính v thuật toán Một số ví dụ minh họa cho ph}ơng pháp giải v bi tập ứng dụng Nguyễn Đắc Lực http://www.ebook.edu.vn Mục lục Lời nói đầu Mục lục Choơng 1: Cơ sở đại số tuyến tính 1.1 Ma trận v phép tính ma trận 1.2 Định thức v tính chất chúng 1.3 Ma trận nghịch đảo v hạng ma trận 1.4 Hệ ph}ơng trình tuyến tính Choơng 2: Khái niệm bi toán tối ou hóa 2.1 Bi toán tối }u hóa tổng quát 2.2 Các bi toán tối }u Choơng 3: Bi toán tối ou tuyến tính 3.1 Một số ví dụ bi toán tối }u 3.2 Phát biểu bi toán 3.3 Tính đối ngẫu v định lý tối }u tuyến tính 3.4 Các ph}ơng pháp giải bi toán tối }u tuyến tính 3.5 Thuật toán đơn hình giải bi toán tối }u tổng quát Choơng 4: Bi toán tối ou nguyên tuyến tính 4.1 Bi toán tối }u nguyên tuyến tính 4.2 Một số mô hình thực tiễn Choong 5; Bi toán tối ou động 5.1 Bản chất bi toán tối }u động 5.2 Quá trình phân phối nhiều b}ớc 5.3 Cấu trúc trình tối }u động 5.4 Ph}ơng trình điều khiển tối }u dự trữ Choơng 6: Bi toán tối ou phi tuyến không rng buộc 6.1 Mở đầu 6.2 Điều kiện tối }u bi toán không rng buộc 6.3 Các ph}ong pháp dùng đạo hm 6.4 Các ph}ơng pháp dùng đạo hm Choơng 7: Bi toán tối ou phi tuyến có rng buộc 7.1 Mở đầu 7.2 Ph}ơng pháp Gradient 7.3 Ph}ơng pháp hm phạt Choơng 8: Quy hoạch thực nghiệm 8.1 Khái niệm nhận dạng mô hình thống kê 8.2 Ph}ơng pháp bình ph}ơng bé 8.3 Mô hình hồi quy tuyến tính bội Ti liệu tham khảo http://www.ebook.edu.vn 2 3 9 11 11 11 12 13 18 21 21 21 25 25 26 33 39 41 41 41 42 45 49 49 50 53 55 55 55 56 59 Choơng 1: CƠ Sở ĐạI Số TUYếN TíNH Việc nghiên cứu bi toán tối }u tuyến tính đòi hỏi phải sử dụng phần toán học, m phần ch}a đ}ợc nghiên cứu giáo trình sở Trong tr}ớc hết phải nói đến đại số tuyến tính Kiến thức quan trọng để nghiên cứu bi toán tối }u tuyến tính l phép tính ma trận, cách giải hệ ph}ơng trình v bất ph}ơng trình tuyến tính không chứng minh số mệnh đề m khẳng định 1.1 Ma trận v phép tính ma trận 1.1.1 Ma trận: Ma trận l bảng chữ nhật gồm m.n số thnh m hng n cột d}ới dạng: a11 a12 a1n a21 a22 a2n am1 am2 amn Phần tử ma trận ký hiệu aij, số thứ ký hiệu số hng, số thứ hai số cột ma trận chứa phần tử aij Số hng (m) v số cột (n) ma trận xác định kích thứơc ma trận, ta nói ma trận có kích th}ớc m.n Ma trận gồm phần tử aij th}ờng đ}ợc ký hiệu chữ in hoa: A Ma trận có nhiều ký hiệu khác Ma trận A đ}ợc viết d}ới dạng: êa 11 a 21 A= ôô ôơa m1 a 12 a 22 a m2 a 1n a 2n ằ ằ a mn ằẳ (1.1) Ma trận có số hng số cột (m=n) đ}ợc gọi l ma trận vuông Lúc đó, ng}ời ta nói ma trận vuông có cấp n Ma trận m cột l hng t}ơng ứng ma trận ban đầu A đ}ợc gọi l ma trận chuyển vị ma trận A v đ}ợc ký hiệu l AT, tức l: êa 11 ôa 12 AT = ô ôơa 1n a 21 a m1 a 22 a m2 ằ ằ a 2n a mn ằẳ (1.2) 1.1.2 Các dạng ma trận: Ma trận có cột đ}ợc gọi l vectơ cột, ma trận có hng gọi l vectơ hng Ma trận vuông có dạng: êD ô D ằ ô ằ ô ằ ô ằ Dn ẳ ơ0 Đ}ợc gọi l ma trận đuờng chéo Nếu ma trận đ}ờng chéo có tất Di= đ}ợc gọi l ma trận đơn vị v th}ờng đ}ợc ký hiệu l E Ví dụ: http://www.ebook.edu.vn ê1 ô0 E= ô ô0 ô ơ0 0 0 ằằ 0ằ ằ 01 ẳ Hai ma trận truờng hợp chúng có kích thuớc v phần tử tuơng ứng Nếu ma trận A có định thức khác không đ}ợc gọi l ma trận không kỳ dị (không suy biến) Trong tr}ờng hợp ng}ợc lại ma trận A đ}ợc gọi l ma trận kỳ dị l ma trận suy biến 1.1.3 Phép tính ma trận Muốn nhân ma trận với số (vô h}ớng) ta nhân phần tử ma trận với số êDa 11 Da 12 Da 1n ôDa Da Da ằ DA = ô 21 22 2n ằ (1.3) ôơDa m1 Da m2 Da mn ằẳ Tổng hai ma trận A v B có kích th}ớc l ma trận C m phần tử tổng phần tử t}ơng ứng ma trận A v B tức l: êa 11 a 12 a 1n ê b11 b12 b1n ê a 11  b11 a 12  b12 a 1n  b1n a a a b b b    ằ ô a a a 21 21 22 22 2n 2n b 21 b 22 b 2n ằ = A+B = ôô 21 22 2n ằằ + ôô ằ = C (1.4) ô ằ ôơ a m1 a m2 a mn ằẳ ơô b m1 b m2 b mn ẳằ ôơ a m1  bm1 a m2  bm a mn  bmn ằẳ Ma trận A nhân đuợc với ma trận B truờng hợp số cột ma trận A số hng ma trận B Nếu ma trận A có kích th}ớc m.n, ma trận B l n.l, kích th}ớc ma trận C l tích ma trận Av B l m.l V phần tử ma trận C đ}ợc tính theo công thức: cij = ai1b1j +ai2b2j + + ain bnj (1.5) ai1, ai2 , ain l phần tử hng thứ i ma trận A; b1j, b2j , bnj l phần tử cột thứ j ma trận B 1/ Tích ma trận tính chất giao hoán, tức l nói chung: AB z BA; 2/ (AB)C = A(BC) (luật kết hợp); 3/ (A+B)C = AC + BC; C (A+B) = CA + CB (luật phân bố); 4/ D(AB) = (DA)B = A(DB); 5/ AE = EA = A; Phép chuyển vị ma trận có tính chất sau: 1/ (A + B)T = AT + BT 2/ (AB)T = BT.AT Lũy thừa ma trận vuông A đ}ợc định nghĩa nh} sau: Ak = A.A A k lần v: Ak1Ak2 = Ak1+k2 1.2 Định thức v tính chất chúng 1.2.1 Khái niệm hoán vị: Ta lấy n số đầu tiên: 1,2 , n Mỗi cách xếp số theo thứ tự no đ}ợc gọi l hoán vị n số Nh} ta biết số hoán vị khác n! http://www.ebook.edu.vn Số Di v Dj tạo thnh nghịch thể hóan vị cho Di > Dj với i < j Số nghịch hoán vị I = (D1, D2 , , Dn) bằng: k1 + k2 + + kn-1 ks l số tr}ờng hợp Ds lớn Ds+1, Ds+2 , Dn (s = 1, 2, , n-1) hoán vị I Hoán vị đ}ợc gọi l hoán vị chẵn số nghịch thể hoán vị I l số chẵn, v đ}ợc gọi l hóan vị lẻ số nghịch thể l số lẻ Ví dụ hoán vị 5, 2, 3, 4,1 số tất nghịch bằng: k1 + k2 + k3 + k4 = +1 +1 +1 = Vì vậy, hóan vị ny l hóan vị lẻ 1.2.2 Khái niệm định thức v phép tính chúng: Số tổng đại số tất tích phần tử ma trận vuông A m tích gồm phần tử khác hng, khác cột ma trận, tức l tổng tích có dạng: a1j1 a2j2 anjn (1.6) đ}ợc gọi l định thức ma trận A (Số tích n!) Mỗi tích nh} lấy dấu cộng hoán vị t}ơng ứng l chẵn, lấy dấu trừ, lẻ Khi tìm hạng ma trận, ma trận nghịch đảo v giải hệ ph}ơng trình tuyến tính ta cần đến định thức Định thức ma trận A th}ờng đ}ợc ký hiệu l 'n |A| a11 a12 a1n a 21 a 22 a n 'n = |A| = a n1 a n a nn | aij n (1.7) Các phần tử, hng, cột v cấp ma trận A t}ơng ứng với phần tử, hng, cột v cấp định thức |A| Ví dụ: ta tính định thức cấp theo quy tắc vừa nêu ra: a11a12 a13 '3 = a21a22 a23 = a11a22a33 + a12a23a31 + a13a21a32 - a13a22a31 - a12a21a33 - a11a23a32 a31a32 a33 Ba số hạng đầu lấy dấu cộng, ba số hạng sau lấy dấu trừ, hoán vị 1,2,3; 2,3,1 v 3,1,2 l chẵn (số nghịch thể t}ơng ứng l 0, v 2) hóan vị 3,2,1 ; 2,1,3 v 1,3,2 l hóan vị lẻ (số nghịch thể t}ơng ứng l 3,1 v 1) Ví dụ: '3 = - = 2.0.3 + 4(-1) +1.3(-2) -[1.0.1+4.3.3+2(-1).(-2)] = -50 -2 1.2.2 Định thức v phần phụ đại số: Định thức cấp (n-1) có từ định thức cấp n ('n) cách bỏ hng i cột j đ}ợc gọi l định thức ứng với phần tử aij định thức 'n v đ}ợc ký hiệu l Mij Ta coi định thức cấp n: a 11 a 21 'n = a i1 a n1 a 12 a 22 a i2 a n2 a 1j a 2j a ij a nj a 1n a 2n a in a nn Khi định thức phần tử aij l định thức cấp (n-1): http://www.ebook.edu.vn a 11 a 12 a 21 a 22 Mij = a i-11a i-12 a i-11a i-12 a n1 a n2 a 1j-1 a 1j1 a 1n a 2j-1 a 2j1 a 2n a i-1, j-1 a i-1, j1 a i-1,n a i-1, j-1 a i-1, j1 a i-1,n a nj-1 a nj1 a nn Ví dụ: định thức phần tử a22 định thức: = 2.3 -1.1 = 6-1 = '3= - l: M22 = -2 Định thức phần tử aij nhân với (-1) với số mũ tổng số phần tử (i + j) đ}ợc gọi l phần phụ đại số phần tử aij v đ}ợc ký hiệu l Aij Vì vậy: Aij = (-1)i+j Mij (1.10) Chẳng hạn, phần phụ đại số phần tử a22 ví dụ vừa l: A22=(-1)2+2.5=5 1.3 Ma trận nghịch đảo v hạng ma trận 1.3.1 Ma trận nghịch đảo: Đối với ma trận A không suy biến tồn ma trận (ký hiệu A-1) thỏa mãn điều kiện: A-1A = AA-1 = E (1.17) Ma trận A-1 đ}ợc gọi l ma trận nghịch đảo ma trận A v đ}ợc tính theo công thức: A-1 = A* | A| (1.18) Đôi ma trận A* đ}ợc gọi l ma trận phụ hợp ma trận A Phần tử hng i cột j ma trận A* l phần phụ đại số phần tử aij ma trận A Từ đó: A-1 ê A11 A 21 A n1 ô | A | | A | | A | = ôô A A 2n A nn ô 1n ôơ | A | | A | | A | ằ ằ ằ ằ ằẳ (1.18a) ê2 Ví dụ ta lấy ma trận cấp 3: A = ôô 1ằằ ơô ằẳ Tr}ớc tính ma trận nghịch đảo, cần xác định ma trận A cho l ma trận suy biến, tức l định thức khác không Định thức ma trận bằng: | A | = 2.2.1 +3.1.3 +2.1.1 - 2.2.3 -3.1.1 - 2.1.1= -2 Sau ta tính phần phụ đại số phần tử ma trận A11 = ( -1)1+1 12 11 = 2.1-1.1 =1 A12 = ( -1)1+2 13 11 = -(1.1-3.1) = A13 = ( -1)1+3 13 21 =1.1-2.3 = -5 T}ơng tự ta tìm đ}ợc Aij lại: A21 = -1 ; A22 = - 4; A23 = 7; A31 = -1 ; A32 = 0; A33= http://www.ebook.edu.vn -1 Do ta có: A ê- 1/2 - 5/2 = ôô - 7/2ằằ ôơ 1/2 - 1/2ằẳ áp dụng quy tắc nhân ma trận, đem nhân ma trận A với ma trận A-1 vừa tìm đ}ợc ta dễ dng thấy đ}ợc kết l ma trận đơn vị V dùng cách ny để kiểm tra việc tính ma trận nghịch đảo có không Ma trận nghịch đảo ma trận đơn vị l ma trận đơn vị Điều ny suy từ việc nhân ma trận với ma trận đơn vị đ}ợc ma trận Dùng quy tắc nêu ta nhân hai ma trận đơn vị với ê 0 ê 0 EE = ôô 0ằằ ôô 0ằằ = ôơ 0 ằẳ ôơ 0 ằẳ ê 0 ô 0ằ ằ ô ôơ 0 ằẳ Từ suy E-1 = E Cũng chứng minh điều cách tính trực tiếp ma trận nghịch đảo theo công thức (1.18) 1.4 Hệ phoơng trình tuyến tính 1.4.1 Dạng hệ phuơng trình tuyến tính: Dạng tổng quát hệ ph}ơng trình tuyến tính đ}ợc viết nh} sau: a11x1 + a12x2 + a1nxn = b1 a21x1 + a22x2 + a2nxn = b2 (1.20) am1x1 + am2x2 + amnxn = bm Hệ ny đ}ợc viết d}ới dạng ma trận l: AX = B (1.20a) A l ma trận đ}ợc thnh lập từ hệ số biến: A = (aij) với i = 1,2, , m; j = 1, 2, , n X - l véctơ cột biến ê x1 ô x2 ằ X =ô ằ ôơ xn ằẳ (1.21) B - l véctơ cột số hạng tự ê b1 ô b2 ằ B = ô ằ ôơbm ằẳ (1.22) Hệ ph}ơng trình tuyến đ}ợc gọi l: Thuần nhất, tất bi = (i = 1, m) v không nhất, có bi z Tuơng thích, hệ có nghiệm, tức l tồn số m thay vo ph}ơng trình có đồng thức, v gọi l không tuơng thích nghiệm no; xác định hệ có nghiệm nhất, v bất định tồn nghiệm Muốn giải hệ ph}ơng trình tuyến tính, tr}ớc hết phải xác định xem hệ cho t}ơng thích hay l không t}ơng thích Nếu l hệ t}ơng thích lại phải xem hệ l xác định hay bất định http://www.ebook.edu.vn Nếu hệ ph}ơng trình l xác định ta tìm nghiệm 1.4.2 Giải hệ phuơng trình tuyến tính: Khi giải hệ ph}ơng trình tuyến tính xảy hai tr}ờng hợp: n =m v n zm Tr}ớc hết l ta xét tr}ờng hợp n = m Lúc ma trận A có dạng: êa 11 ô a 21 A = ô ôơ a n1 a 12 a 22 a n2 a 1n a 2n ằ ằ a nn ằẳ Giả thiết ma trận A không suy biến, tức l | A| z 0, tồn ma trận nghịch đảo A-1 Ta nhân vế trái v vế phải đẳng thức (1.20a) với A-1 bên trái Ta đ}ợc: -1 A AX = A-1B Bởi A-1A = E m nhân ma trận no với E đ}ợc ma trận đó, nên: (1.23) X = A-1B Sau A-1 biểu thức (1.18a) v thay véctơ cột X v B (1.21) v (1.22) nhân ma trận A-1 với B ta có: ê A11b1  A21b2   An1bn ê x1 ô x ằ = ô A12 b1  A22 b2   An bn ằ ằ ô ằ | A| ô ôơ A1n b1  A2 n b2   Ann bn ằẳ ôơ x n ằẳ Vì hai ma trận phần tử t}ơng ứng chúng nhau, nên x1 = (A11b1 + A21b2 + An1bn) | A| xi = (A1ib1 + A2ib2 + Anibn) | A| (1.23a) xn = (A1nb1 + A2nb2 + Annbn) | A| Ta xét tr}ờng hợp thứ hai (m zn) Ta gọi ma trận: êa 11 a 12 a 1n A = ô ằ l ma trận sở hệ ôơ a m1 a m2 a mn ằẳ Sau thêm cột số hạng tự vo ma trận A ta lập đ}ợc ma trận mở rộng B: êa 11 a 12 a 1n b1 B = ô ằ ôơ a m1 a m2 a mn bm ằẳ (1.26) Từ đó, ta có định lý Crônecke - Capeli: Để hệ phuơng trình tuyến tính l tuơng thích, điều kiện cần v đủ l hạng ma trận sở v ma trận mở rộng Nếu hạng chúng v số ẩn hạng ma trận sở hệ có nghiệm Nếu hạng ma trận A nhỏ số ẩn hệ có vô số nghiệm Hệ ph}ơng trình tuyến tính luôn t}ơng thích, luôn có nghiệm không, đ}ợc gọi l nghiệm tầm th}ờng Nếu hạng ma trận số ẩn hệ có nghiệm l không Muốn hệ tồn nghiệm khác không hạng ma trận sở phải nhỏ số ẩn http://www.ebook.edu.vn Choơng 2: Khái niệm bi toán tối wu hoá 2.1 Bi toán tối ou hoá tổng quát 2.1.1 Phát biểu: Tìm trạng thái tối uu hệ thống cho đạt đuợc mục tiêu mong muốn chất luợng theo nghĩa no 2.1.2 Các yếu tố bi toán tối uu hoá: Một bi toán tối }u hoá có ba yếu tố sau: * Trạng thái: mô tả trạng thái hệ thống cần tối }u hoá * Mục tiêu: đặc tr}ng cho tiêu chuẩn hiệu mong muốn (chi phí nhất, hiệu suất cao nhất, trọng l}ợng nhỏ nhất, thời gian ngắn nhất, ) * Rng buộc: thể điều kiện kinh tế, kỹ thuật m hệ thống phải thỏa mãn 2.2 Các bi toán tối ou 2.2.1 Bi toán quy hoạch tuyến tính: Hệ thống trạng thái tĩnh có biến trạng thái l: x = > x1, x2 , , xn@T (2.1) Mục tiêu đ}ợc diễn đạt hm mục tiêu có dạng tuyến tính: Z = c.x; với c = >c1, c2, , cn@T (2.2) Các rng buộc đ}ợc diễn đạt ph}ơng trình, bất ph}ơng trình tuyến tính: A.x = b; A.x d b (2.3) T A = (aij), i = 1, , m ; j = 1, , n ; b = >b1, b2, , bm@ Bi toán: Tìm trạng thái tối }u x* = >x *1 , x *2 , , x *n @T trạng thái (2.1) với rng buộc (2.3) cho hm mục tiêu (2.2) đạt giá trị nhỏ (Min) giá trị lớn (Max) 2.2.2 Bi toán quy hoạch phi tuyến: Hệ thống trạng thái tĩnh Tìm trạng thái tối }u x* hm mục tiêu đ}ợc diễn đạt hm phi tuyến f(x) có rng buộc phi tuyến: gr (x) d 0; r = 1, , m 2.2.3 Bi toán cực trị phiếm hm: Hệ thống trạng thái tĩnh trạng thái động Biến trạng thái l z(x) với x l biến độc lập Mục tiêu đ}ợc diễn đạt phiếm hm mục tiêu: x1 J(z) = L( z, z, x)dx xn với z = [z1(x), z2(x), zn(x)]T; z [ z1 ( x), z ( x), , z n ( x)]T ; z i ( x) dz i / dx Rng buộc l hm phi tuyến, ph}ơng trình đại số ph}ơng trình vi phân 2.2.4 Bi toán điều khiển tối uu: * Đối với hệ liên tục: Hệ thống trạng thái động, trạng thái đ}ợc mô tả hệ ph}ơng trình vi phân: x = f(t,x,u); t - thời gian x = [ x , x , x n ]T; x i = dxi /dt; u = [u1, , un]T ; u - điều khiển Mục tiêu có dạng phiếm hm: t1 J(u) = L (t, x, x , u) dt tn * Đối với hệ rời rạc: http://www.ebook.edu.vn Hệ thống trạng thái động, trạng thái đ}ợc mô tả ph}ơng trình: xk+1 = f(xk,uk); x(0) = x0, x(N,T0) = xN X Mục tiêu có dạng: N 1 J(u) = Ưf ( x k , u k ) o min; uk: k Bi toán đặt ra: Cần phải tìm điều khiển tối }u u* v trạng thái tối }u x* để hệ thống chuyển từ trạng thái đầu đến trạng thái cuối cho mục tiêu J(u) đạt Min Max Các bi toán tối }u có trạng thái tĩnh đ}ợc gọi l bi toán tối }u hoá tĩnh, bi toán có trạng thái phụ thuộc thời gian đ}ợc gọi l bi toán tối }u hoá động Trạng thái hệ thống dạng liên tục gián đoạn Trong bi toán tối }u đặt mục tiêu nhiều mục tiêu http://www.ebook.edu.vn 10 Sau (n+1) b}ớc (tức k = n), chu trình tính lập lại, s(k+1) trở thnh x(0) Quá trình tính đ}ợc kết thúc s( k )  H chọn tr}ớc Nhận xét : phuơng pháp dùng đạo hm hội tụ nhanh nhung số biến l lớn khó khăn nhận đuợc đạo hm duới dạng giải tích, mặt khác việc chuẩn bị bi toán để giải tốn nhiều thời gian 6.4 Các phoơng pháp không dùng đạo hm 6.4.1 Phuơng pháp trực tiếp * Tìm x cho f(x) o Max; x Rn Thực chất l b}ớc biến đổi thnh phần xi x thnh phần khác giữ nguyên v lm nh} nhận đ}ợc cực đại Các b}ớc tìm kiếm: Tìm thăm dò buớc Cho giá trị đầu x(0) = [ x1( ) , , xn( ) ] T v số gia biến số 'x( 'x1 , 'xn) Tính giá trị f(x(0)): Cho thnh phần x biến đổi, thnh phần khác giữ nguyên: x1( ) = x1( ) + 'x1o Tính D = f( x1( ) , x2( ) , xn( ) ) Nếu D d f(x(0)) lấy: x1( ) = x1( ) - ' x1( ) o Tính D Nếu f(x) không cải tiến đ}ợc phía (với x1( ) + 'x1 v x1( ) - 'x1) cố định x1( ) không cho biến đổi Tiếp tục tiến hnh với x2( ) x2( ) r 'x2 tất biến đ}ợc biến đổi Nh} tìm thăm dò b}ớc 1, b}ớc dịch chuyển theo biến số độc lập, giá trị hm mục tiêu đ}ợc so sánh với giá trị điểm đ}ợc thay giá trị so sánh sau Nếu hm mục tiêu không đ}ợc cải tiến giữ nguyên giá trị cũ Tìm theo mẫu: Khi kết thúc tìm thăm dò b}ớc 1, ta xác định đ}ợc x(k) b}ớc tìm theo mẫu ta lấy: x(k+1) = m x(k) - x(b) tức l: xi( k  ) m xi(k)  xi( b ) đó: y x(b) - điểm sở, lần lặp đầu x(b)= x(0) y m - số biến tìm thăm dò cần thiết Ví dụ với f(x1, x2) ta có m = Tìm thăm dò buớc 2: Xuất phát từ điểm x(k+1) tính f(x(k+1)) v so với giá trị f(x) b}ớc tìm theo mẫu để xem thăm dò b}ớc có kết không Nếu thăm dò b}ớc có kết x(k+2) tìm theo mẫu đ}ợc coi l có kết nếu: f(x(k+2)) t f(x(k)) v trình đ}ợc lặp lại với điểm xuất phát x(b) = x(k), Nếu thăm dò b}ớc không kết kết luận tìm theo mẫu thất bại v lại phải tìm kiếm thăm dò b}ớc cho việc xác định h}ớng có hiệu Nếu tìm thăm dò b}ớc I liên tiếp không cho h}ớng hiệu kết luận tìm theo mẫu thất bại v lại phải tìm kiếm thăm dò b}ớc cho việc xác định h}ớng có hiệu Nếu tìm thăm dò b}ớc liên tiếp không cho h}ớng hiệu liên tiếp giảm 'x xác định đ}ợc h}ớng có hiệu quả, 'x nhỏ sai số cho phép Việc khả tăng f(x) 'x bé tức l tối }u cục đạt đ}ợc Nhận xét : phuơng pháp trực tiếp nói chung chậm hội tụ so với phuơng pháp dùng đạo hm nhung sử dụng lại tiện lợi tính đạo hm Ví dụ: Tìm (x1, x2) cho hm mục tiêu: http://www.ebook.edu.vn 45 f(x) = o Max ( x1  1)  x 22 Giải: Tìm thăm dò b}ớc 1: - Chọn x(0) = [2,0; 0,8]T; 'x = [0,6; 0,84]T - Tính f(x(0)) = 0,059 x1( ) = 2,0 + 0,6 = 2,6; f(2,6; 2,8) = 0,048; (không cải thiện) x1( ) = 2,0 - 0,6 = 1,4; f(1,4; 2,8) = 0,073; (cải thiện) x2( ) = 2,8 + 0,84 = 3,64; f(1,4; 3,64) = 0,052; (không cải thiện) x2( ) = 2,8 - 0,84 = 1,96; f(1,4; 1,96) = 0,104; (cải thiện) Nh} tìm thăm dò b}ớc đạt kết quả, vectơ x(1) = [1,4; 1,96]T Tìm theo mẫu: xi( k  ) xi( k )  xi( b ) = x(0) = [2,0; 2,8]T, x = (1,4) - 2,00 = 0,8 x = 2(1,96) - 2,8 = 1,12 o x(2) = [0,8; 1,12]T f(0,8; 1,12 ) = 0,22 Đến ch}a kết luận đ}ợc m phải tìm thăm dò b}ớc v so sánh với f(x(2)) = 0,22 Tìm thăm dò b}ớc 2: x1( ) = 0,8 + 0,6 = 1,4; f(1,4; 1,12) = 0,14 (không cải thiện ) x1( ) = 0,8 - 0,6 = 0,2; f(0,2; 1,12) = 0,38 (cải thiện ) x2( ) = 1,12 + 0,84 = 1,96; f(0,2; 1,96) = 0,19 (không cải thiện ) x2( ) = 1,12 - 0,84 = 0,28; f(0,2; 0,28) = 0,67 (cải thiện ) Nh} x(3) = [0,2; 0,28] Để xác định xem tìm thăm dò b}ớc có kết không cần so sánh với f(x(1)): f(x(3)) = f (0,2; 0,28) = 0,67 f (x(0)) = f (1,4; 1,96) = 0,104 (3) Vì f(x ) > f (x((1)) nên tìm kiếm theo mẫu có kết Điểm sở l: x(b) = x(1) = [1,4; 1,96)T Điểm x(3) = [0,2; 0,28]T đ}ợc coi l điểm kết tìm kiếm thăm dò nên việc tìm kiếm theo mẫu xuất phát x(3) Tìm theo mẫu xuất phát từ x(3) x1( ) = 2.(0,2) - 1,4 = 1,00 x2( ) = 2.(0,28) - 1,96 = -1,40 o x(4) = [1,0; -14]T fx((4)) = f(-1,0; 1,4 ) = 0,51 Tìm thăm dò b}ớc 2, so sánh với f (x(4)): x1( ) = -1,0 + 0,6 = -1,4 ; f(-0,4; - 1,4) = 0,43 (không cải thiện) x1( ) = 1,0 - 0,6 = -1,6 ; f(-1,6; -1,4) = 0,43 (không cải thiện) x2( ) = -1,4 + 0,84 = -0,56 ; f(1,0; -0,56) = 3,18 (cải thiện) v x(5) = (-1,0; -0,56) Vì f(x(5)) = f(-0,1; -0,56) =3,18 > f(x(3)) = f(0,2; 0,28 ) = 0,60 nên điểm x(5) đ}ợc coi l kết tìm thăm dò Tìm theo mẫu xuất phát từ x(5); x(b) = x(3) x1( ) = 2.(-1,0) - 0,2 = - 2,2; x 2( ) = 2.(0,56) - 0,28 = -1,4 Do đó: x(6) = [-2,2; - 1,1]T; f(x(6)) = f(-2,2; - 1,4) = 0,29 với x(b) (1) (2) http://www.ebook.edu.vn 46 Tìm thăm dò b}ớc so sánh với f(x(6)): x1( ) = - 2,2 + 0,6 = 1,6; f(-1,6; - 1,4) = 0,43 (không cải thiện) x2( ) = -1,4 + 0,84 = - 0,56 ; f(-1,6; - 0,56) = 1,49 (cải thiện) Vì f(x(7)) = f(-1,6; - 0,56) = 1,49 < f(x(5)) = f(-1,0; - 0,56) = 3,18 nên tìm thăm dò b}ớc có kết song tìm theo mẫu thất bại Đến xuất phát từ x(5) = (-1,0; - 0,56) ta lại bắt đầu tìm thăm dò b}ớc Cứ lm nh} tìm kiếm no có hiệu Trong ví dụ ny: x* = [-1,0; 0,0]T; f(x*) = f 6.4.2 Phuơng pháp Nelder v Mead: Nelder v Mead dùng đơn hình l đa diện biến dạng nhờ phép biến đổi: ánh xạ g}ơng, phép co v phép dãn Thuật toán thực theo b}ớc sau: B}ớc 1: Tính giá trị hm mục tiêu đỉnh đơn hình: fi = f(x1), , fn+1 = f(xn+1) B}ớc 2: Xác định giá trị: Lớn hm fp, giá trị fg Giá trị nhỏ fq Các đỉnh t}ơng ứng l : xp, xg, xq B}ớc 3: xác định trọng tâm hình không kể đến đỉnh xp theo công thức; Ư xi ,; izp Tính f(xo) n xo B}ớc 4: Thực ánh xạ g}ơng xp qua xo nhận đ}ợc xr (Hình 6.1a) Tính f(xr) = fr xm xr xr xo a) b) xo xp xp xr xr xc xo c) d) xc xo xp xp Hình 6.1 Nếu hệ số ánh xạ D ! vị trí xr đ}ợc xác định theo công thức: xr - xo = D(x0 - xp) xr = (1+D)xo - Dxp v D = x r  xo xo  x p B}ớc 5: So sánh giá trị fr v fq 1) Nếu fr  fq nhận đ}ợc giá trị nhỏ hm H}ớng từ fo đến fr l h}ớng dịch chuyển tốt nhất, ta kéo dãn theo h}ớng ny v tìm điểm xm (Hình 6.1b) Hệ số dãn J!1 đ}ợc tìm từ biểu thức: xm - xo = J(xr - xo) http://www.ebook.edu.vn 47 xm = Jxr + (1- J)xo J x m  xo x r  xo Tính f(xm)=fm a) Nếu fmfq thay điểm xpbởi điểm xm v kiểm trađiểm thứ (n+1) đơn hình tính hội tụ đến cực tiểu Nếu hội tụ dừng, không quay lại b}ớc b) Nếu fm!fq bỏ điểm xm xa Thay xp xm, kiểm tra lại tính hội tụ Nếu ch}a quay lại b}ớc 2) Nếu fr!fq nh}ng frfg xr l điểm tốt so với điểm lại đơn hình Thay xp xr, kiểm tra ch}a hội tụ quay lại b}ớc 3) Nếu Nếu fr!fq nh}ng fr!fg chuyển sang b}ớc B}ớc 6: So sánh giá trị fr v fp 1) Nếu fr!fp chuyển phép co (mục 2) b}ớc 6): Nếu frfp thay xp điểm xr v thay fp fr Nếu fr!fg chuyển sang b}ớc co 2) Thực phép co: - Tr}ờng hợp fr!fp ta dịch xa theo h}ớng từ xp đến xo nên cần sửa lại phép co để tìm xc nh} sau (Hình 6.1c): xc - xo = E(xp-xo) với 0E f ( x )@>- f(x )@ (1) (0) = [6- 2(1,5 + 3O) ; - 2(3-2O)].[3; - 2] = = 13 - 26O = O = 0,5 Vì d 'f = - 26 > nên với O = 0,5 đại l}ợng 'f đạt giá trị lớn dO2 Chọn điểm : x(1) = (1,5 + 0,5; - 0,5) = (3 ; 2) Thử lại xem x(1) có miền rng buộc không: 4,3 + 3,2 = 18 < 24 32 - 5,3 + 22 = - g3 (x(1)) = - 6,75 < (1) Nh} x nằm ngoi rng buộc, cần phải quay lại miền rng buộc biên miền rng buộc g1(x) bị phá vỡ x(1) nên ta tìm gradient g1(x(1)) wg w x1 wg wx ẵ  10  21 (1) ắ g x ( )  20  x (  13 ,8 ;24 ,8 ) Đặt x(2) = x(1) + O2 g1(x(1)) = (1,9 - 13,8 O2 ; 4,2 - 24,8O2) Lấy O2 = 0,05 đ}ợc x(2) = (1,21; 2,96) Thay x(2) vo rng buộc ta thấy x(2) nằm miền rng buộc v f(x(2)) = 10,2774 So sánh: f(x(0)) g2 (x(3)) = 20,2894 > g3 (x(3)) = 30,57 > Vậy x(3) thuộc miền rng buộc v f(x(3)) = 11,8579 Tìm f(x(3)) v g1(x(3)) f(x(3)) = (1,4850; 2,4600); g1(x(3)) = (-15,15 ; - 25,40) Tính tỷ số toạ độ t}ơng ứng vectơ ny: http://www.ebook.edu.vn 52 1,4850  15 ,15 0 ,089 ; ,46  25 ,4 0 ,097 o Hai giá trị xấp xỉ Do f(x(3)) v g1(x(3)) l song song v việc chuyển dọc theo theo đ}ờng dích dắc gần biên miền rng buộc v cắt biên Ngoi cần l}u ý độ nghiêng: g1(x(3)) = 6,3294 l t}ơng đối lớn v x(3) thuộc miền rng buộc, ta lấy kết quả: x* = [2,5575; 2,70000]T; f(x*) = 11,8579 = Max 7.3 Phoơng pháp hm phạt Trong ph}ơng pháp hm phạt, ta thay hm mục tiêu ban đầu f(x) hm mục tiêu mở rộng F(x,r) chứa thông số r v có tính đến rng buộc Giá trị hm mục tiêu mở rộng F(x,r) phải trùng với giá trị hm mục tiêu ban đầu f(x) v bên ngoi miền nghiệm chấp nhận đ}ợc F(x,r) khác với f(x) Khi x o x* F(x*,r) o f (x*) Các thuật toán dùng hm phạt khác dạng hm F(x,r) nh}ng nhằm mục đích đ}a bi toán tối }u bị rng buộc bi toán tối }u không bị rng buộc Phuơng pháp nhân tử Lagrange: Hm mục tiêu: f(x) o Min ; x = [x1; x2, , xn]T Rng buộc dạng đẳng thức: gj(x) = 0; j = 1,2, , ,m Xây dựng hm Lagrange (hm mục tiêu mở rộng): L (x,O) = f(x) + ƯOj.gj (x); Oj - nhân tử Lagrange j = 1,2, ,m Điều kiện cần để tồn cực trị địa ph}ơng L(x,O) l: wL wx 0; j 1,2, , n đ g ( x ) 0; j 1,2, , n j Nh} ta có (n+m) ph}ơng trình dùng để xác định (n+m) ẩn: x1, ,xn, O1, ,Om Ví dụ: với bi toán: f(x) = x12  x 22  x32 o Min g1(x) = x1 + 2x2 + x3 - = g2(x) = x1 + x2 - x3 - = Hm Lagrange có dạng: L(x,O) = x12  x22  x32 +O1(x1 + 2x2 + x3 - 2) + O2 (x1 + x2 - x3 -1) Ta có ph}ơng trình: wL wx1 x1 wL wx2 x2  2O1  O2 wL wx3 x3  O1  O2 O1  O2 0 x1 + 2x2 + x3 - = x1 + x2 - x3 -1 = Khi giải ph}ơng trình ta đ}ợc: O1 = - 8/5 ; O2 = - 8/7 Nghiệm dùng x* = [0,685; 0,542 ; - 0,226]T Hm mục tiêu f(x*) = 2,164 Nhận xét: http://www.ebook.edu.vn 53 Muốn nhận biết nghiệm l Max hay Min ta phải tiếp tục xét đạo hm cấp L, phức tạp Ph}ơng pháp ny đ}ợc dùng rng buộc có dạng đẳng thức v không cho thuật toán thuận lợi để giải bi toán máy tính Bi tập f(x) = (x1 -2)2 + (x2 -1)2 Min g1(x) = - x12  x t g2(x) = -x1 -x2 + t f(x) = x12  x 22  16 x1  10 x o Min g1(x) = 11- x12  x1  x t g2(x) = -x1x2 -3x2 - e x 3 + t x1t x2t Có gin gồm nh} hình vẽ, chịu tải trọng thẳng đứng P, đ}ợc thiết kế tối }u với trọng l}ợng gin bé Tiết diện mặt cắt ngang l hình vuông rỗng, có kích thứoc d, t Biết ứng suất cho phép vật liệu l [V0] = 800KG/cm2 Xác định kích th}ớc d v c theo số liệu: P = 10T, t = 7mm, b = 500mm, trọng l}ợng riêng vật liệu gin J = 800KG/cm3 b b A-A t A c A P http://www.ebook.edu.vn 54 d Choơng 8: QUY HOạCH THựC NGHIệM 8.1 Khái niệm nhận dạng mô hình thống kê 8.1.1 Các loại biến: Khi nghiên cứu hệ thống m ta ch}a biết quy luật hoạt động mối quan hệ bên cấu tử nó, ta th}ờng coi hệ thống nh} hộp đen v mô tả sơ đồ sau: [ x1 x2 xn y đầu vo véctơ x l điểm thí nghiệm gồm k yếu tố Nếu thực gồm n điểm thí nghiệm ta có ma trận thí nghiệm xij l giá trị biến xj thí nghiệm i: Đ x 11 ă ăx x = ă 21 ă ăx â n1 x 12 x 1k ã x 22 x 2k á x n2 x nk áạ Các biến vo l biến điều khiển đ}ợc, biến ngẫu nhiên [ véctơ ngẫu nhiên [ (còn gọi l nhiễu) l biến không điều khiển đ}ợc Th}ờng giả thiết biến ngẫu nhiên [ có: - Kỳ vọng: E ([) = 0; - Ph}ơng sai: D([) = V2; - Phân phối chuẩn: N(0, V2) * Biến (biến bị điều khiển) Ký hiệu l y 8.1.2 Phuơng trình hồi quy: Đặt y = M(x1 , x2 , , xk) Dự đoán M(x1, x2, xk ) l hm có dạng biết no l tổ hợp hm có dạng biết, tức l: m M(x1, x2, xk) = Ưa j f j ( x1 , x2 , , xk ) j Dựa vo kết n thí nghiệm ph}ơng pháp no xác định đ}ợc tham số aj với độ tin cậy định, chẳng hạn: âj | aj (j = > m) Khi ta nhận đ}ợc: ^ m M (x1, x2, xk) = Ưỏ j f j ( x1 , x2 , , xk ) j ^ Ph}ơng trình: y = M (x1, x2, xk ) = m Ưỏ j f j ( x1 , x2 , , xk ) j đ}ợc gọi l phuơng trình hồi quy thực nghiệm, fj(x1, x2, xk) l hm có dạng biết Cần xác định âj theo ph}ơng pháp no đó, có độ tin cậy xác định đ}ợc 8.2 Phoơng pháp bình phoơng bé 8.2.1 Các ký hiệu: http://www.ebook.edu.vn 55 Giả sử ma trận thí nghiệm l: X = (xij) cấp n.k Gọi giá trị lý thuyết đầu điểm thí nghiệm xi = (xij, xik) l: m ỹi = ao + Ưa j f j ( xi1 , xi , , xik ) j Gọi giá trị thực tế đo đ}ợc đầu điểm thí nghiệm xi l yi Giữa giá trị thực tế yi v gía trị lý thuyết có độ lệch yi = ỹi + [i, [i- biến ngẫu nhiên Gỉa thiết kỳ vọng E([i) = nên: E(y1) = ỹi; E(yi) kỳ vọng yi; ỹi giả thiết có dạng với fj l hm có dạng biết 8.2.2 Phát biểu bi toán: Căn vo kết đo đ}ợc (y1, y2 , yn) t}ơng ứng với ma trận thí nghiệm cho: X = {xij}(n.k) Hãy tìm vectơ tham số (a0, a1 , an) cho tổng S đạt giá trị nhỏ m ê S = S(a0, a1 , an) = Ư ( y i  y i ) = Ư ô y i  a  Ư a j f j ( xi1 , xi xik )ằ i i j ẳ n ~ n 2 Giải bi toán tìm đ}ợc: aj = âj (j = 0, 1, , m) l }ớc l}ợng bình ph}ơng bé aj n thí nghiệm cho m Ph}ơng trình y1 = â0 - Ưỏ f j j ( xi1 , xi .xik ) đ}ợc gọi l ph}ơng trình hồi quy thực j nghiệm mô hình, n thí nghiệm cho, đó: y = (y1 .yn); xi =(xi1 , xik) 8.3 Mô hình hồi quy tuyến tính bội 8.3.1 Bi toán: Gọi: y1 , y2 , , ym l biến phụ thuộc; m: số quan sát x1, x2, , xn l biến độc lập; n: số biến độc lập Giả sử có số liệu đ}ợc cho bảng: x2 xn Thứ tự y x1 x11 x11 x1n y1 2 y2 x1 x2 xn2 m m ym x1 x2 xnm m Mô hình hồi quy tuyến tính bội có dạng: yi = E0 + E1x11+ + Enx1n + [i Trong đó: Eo, E1, En l hệ số cần xác định, [i l biến ngẫu nhiên không t}ơng quan có kỳ vọng không, ph}ơng sai không đổi l V2, có dạng phân bố chuẩn [i N(0, V2) Cần xác định E0, E1 En v }ớc l}ợng V2 cho: m S (E0, E1 En) = Ư (y i  E  E1 x1i   E m x mi ) o Min i Từ điều kiện wS = ; i = 0,1, n wE i ^ ta tìm đ}ợc giá trị E i Ph}ơng trình hồi quy tuyến tính bội có dạng: ^ ^ ^ y= E + E x1 + + E n xn dạng ma trận thì: y = [y1, y2, ., yn]T http://www.ebook.edu.vn 56 [ = [[1, [2, [m]T E = [E0, E1, En]T Đ1 ă ă1 X= ă ă ă1 â x 11 x 1n ã x 12 x 2n á x 1m x mn áạ ta có dạng: y = X.E + [ suy có dạng: XT X.E =XT.y Đặt: A = XT.X; C = XT.y thì: AE = C >E = A-1C = (X.X)-1.XT.y ^ ^ ^ ^ Ký hiệu: E = [ E , E , E n ]T Các công thức tính: ^ Hệ số E = (XT.X)-1.XT.y 8.3.2 Một số mô hình thống kê đuợc đua dạng hồi quy tuyến tính bội: Hm phi tuyến dạng tích: y = b0x1b1x2b2 xnbn Logarit vế: lny = lnb0 + b1lnx1 + b2lnx2 + + bnlnbn Đổi biến: Y = b0 + b1X1 + b2X2 + + bnXn Khi dùng hồi quy tuyến tính bội ta xác định đ}ợc hệ số: b0, b1, , bn Riêng b0 = eb0 Đa thức: y = a0 + a1t + a2t2 + + antn biến độc lập l thời gian t Để mô tả trạng thái y(t) ta phải xác định hệ số ai; i = 0,1,2, n Đổi biến: x1 = t ; x2= t2 ; ; xn = tn Các quan sát biến xj l t1j, t2j, , tmj với j = 1, n Khi đa thức ban đầu có dạng y = a0+ a1x1 + + anxn Khi dùng hồi quy tuyến tính bội ta xác định đ}ợc hệ số ai; i = 0,1,2 n Bi tập Hồi quy tuyến tính đơn: Số liệu quan sát y v x lần bảng sau: x 20,5 27,2 32,7 38,5 40 y 525,7 592,5 632,3 678,8 782 Xác định hệ số hm hồi quy Trả lời: y = 286,84353 +11,18365 x; R2 = 0,88437 Hồi quy tuyến tính bội: Số liệu biến phụ thuộc y v biến độc lập xj cho bảng sau: Thứ tự y 750,3 740,9 747,6 724,6 697,8 702,6 x1 3,000 3,503 3,677 3,925 3,706 3,789 http://www.ebook.edu.vn x2 77,2 79,4 78,5 75,5 67,4 68,1 57 x3 273,5 276,7 269,2 266,7 260,6 266,8 x4 17,954 18,835 19,757 24,760 27,093 30,120 716,0 4,000 67,3 262,3 31,762 Xác định hệ số hm số hồi quy: Trả lời: y = 663,88282 -56,07368x1 + 8,63126x2 -1,86918x3 +5,53802x4; R2 = 0,9592 Hồi quy đa thức: Số liệu quan sát biến y theo thời gian t cho bảng sau: t y 125 143 165 208 255 301 Xác định hệ số hm hồi quy Trả lời: y = 145,84389-15,0877t + 5,53672t2 http://www.ebook.edu.vn 58 372 466 551 10 650 Ti liệu tham khảo [1] Nguyễn Nhật Lệ, Phan Mạnh Dần, Giải bi toán Tối uu hóa ứng dụng, Nxb Khoa học v Kỹ thuật, H Nội, 2006 [2] Lê Dũng M}u, Nhập môn phuơng pháp tối uu, Nxb Khoa học v Kỹ thuật, H Nội, 1998 [3] Nguyễn Đức Nghĩa, Tối uu hóa, Nxb Giáo dục, H Nội, 1996 [4] PGS Bùi Thế Tâm, GS Trần Vũ Thiệu, Các phuơng pháp tối uu hóa, Nxb Giao thông vận tải, H Nội, 9/1998 [5] Bùi Minh Trí, Quy hoạch toán học, Nxb Khoa học v Kỹ thuật, H Nội, 1999 [6] David M Himmelblau, Applied Nonlinear Programming, Mc Graw-Hill Bôk Company, Newyork, 1973 [7] G P Mc Cormick, Nonlinear Programming: Theory, Algorithms and Applications, John Wiley and Sons, 1983 http://www.ebook.edu.vn 59 ... Hệ ph}ơng trình tuyến tính Choơng 2: Khái niệm bi toán tối ou hóa 2.1 Bi toán tối }u hóa tổng quát 2.2 Các bi toán tối }u Choơng 3: Bi toán tối ou tuyến tính 3.1 Một số ví dụ bi toán tối }u 3.2... 5; Bi toán tối ou động 5.1 Bản chất bi toán tối }u động 5.2 Quá trình phân phối nhiều b}ớc 5.3 Cấu trúc trình tối }u động 5.4 Ph}ơng trình điều khiển tối }u dự trữ Choơng 6: Bi toán tối ou phi... Ng}ời ta chứng minh đ}ợc: Giá trị tối uu bi toán chuẩn l giá trị tối uu bi toán đối ngẫu, nghĩa l: c.x* = b.y* 3.3.2 Định lý bi toán tối uu tuyến tính: Định lý: Phuơng án tối uu bi toán tối uu tuyến