bài giảng tối ưu chương 3 bài toán quy hoạch phi tuyến không ràng buộc- ths. trần thị thùy nương

Một số phương pháp giải bài toán QHPT không ràng buộc... Phương pháp Gradienttại mỗi bước lặp k, chọn hướng giảm Thuật toán 1TT Gradient với thủ tục tìm chính xác theo tia Bước khởi đầu

NỘI DUNG

1. Bài toán QHPT không ràng buộc

2. Điều kiện tối ưu

2. Điều kiện tối ưu

3. Một số phương pháp giải bài toán QHPT

không ràng buộc

Bài toán Quy hoạch phi tuyến không ràng buộc

I Điều kiện tối ưu

f x

Đị nh lý 2

Giả sử là hàm lồi khả vi trên Khi đó,

là nghiệm cực tiểu toàn cục của bài toán khi và chỉ khi

x ∈ℝ

*( ) 0

f x

(P krb)

Đị nh lý 3 (Điều kiện bậc hai)

Giả sử hàm khả vi liên tục hai lần trên

II Phương pháp hướng giảm

5. Tốc độ hội tụ

Tuyến tính; Trên tuyến tính; Bậc 2

Ý tưởng:

Xuất phát từ một điểm bất kỳ , ta xây

x ∈ℝ

1 2, , , k ,

5. Tốc độ hội tụ

Tuyến tính; Trên tuyến tính; Bậc 2

Lược đồ chung của phương pháp hướng giảm

Bước khởi đầu Xuất phát từ một điểm tùy ý

k =

1

( k ) If x k thỏa mãn điều kiện dừng Then

dừng thuật toán

Gán Quay lại bước lặp k.

5. Tốc độ hội tụ

Tuyến tính; Trên tuyến tính; Bậc 2

Mệnh đề 1

Cho khả vi trên , điểm , và hướng

hướng Khi đó, khi và chi khi d là hướng giảm của tại

n

d ∈ℝ ∇ f x ( ),0 d < 0

Hệ quả 1.Cho hàm khả vi trên và điểm

.Trong các hướng giảm d của hàm tại có

thì hàm giảm nhanh nhất theo hướng

( ) ( )

f x d

f x

∇

= −

∇

5. Tốc độ hội tụ

Tuyến tính; Trên tuyến tính; Bậc 2

Mệnh đề 4 Cho hàm toàn phương lồi chặt

trong đó, đối xứng, xác định dương,

và Cho và hướng giảm của hàm

k T k

k k T k

Ax b d t

d Ad

−

ii) Thủ tục quay lui

(xác định khi đã biết )

Mệnh đề 5.Cho hàm khả vi trên , điểm

Thủ tục quay lui (Quy tắc Armijo)

Đầu vào: điểm và hướng giảm của

f x + ≤ f x + m t ∇f x d

1

k

x +

Else và quay về Bước 2.t k := αt k

5. Tốc độ hội tụ

Tuyến tính; Trên tuyến tính; Bậc 2

Tốc độ hội tụ

Đị nh nghĩa Cho dãy hội tụ đến

Dãy được gọi là:

Hội tụ đến với tốc độ tuyến tính nếu

Phương pháp Gradient

(tại mỗi bước lặp k, chọn hướng giảm )

Thuật toán 1(TT Gradient với thủ tục tìm chính xác theo tia)

Bước khởi đầu

( )

d = −∇f x

Bước khởi đầu

Chọn trước số đủ nhỏ Xuất phát từ một điểmtùy ý có ; Đặt

Khi đó, mỗi điểm tụ của dãy được chọn như

trong Thuật toán 1 thỏa mãn

*

* ( ) 0.

f x

Thuật toán 2 (TT Gradient với thủ tục quay lui)

Bước khởi đầu

Then chuyển sang Bước Else và quay về Bước

Tính

If Then dừng thuật toán

4 (k ) ;

Khi đó, với bất kỳ điểm xuất phát , dãy

được chọn như trong Thuật toán 2 có tính chất

Ví dụ: Xét bài toán với hàm mục tiêu

i) Điều kiện tối ưu;

ii) Thuật toán Gradient với thủ tục tìm chính xác

Phương pháp Newton

1. Phương pháp Newton cổ điển

2. Phương pháp Newton thuần túy

3. Phương pháp Newton với bước điều chỉnh

4. Phương pháp tựa Newton

Phương pháp Newton giải bài toán

với hàm mục tiêu phi tuyến f khả vi hai lần trên

1. Phương pháp Newton cổ điển

2. Phương pháp Newton thuần túy

3. Phương pháp Newton với bước điều chỉnh

4. Phương pháp tựa Newton

Phương pháp Newton cổ điển

Trường hợp n=1 Xét phương trình một biến số

Giả sử nghiệm của phương trình này là

( ) 0.

f x =

*

x ∈ℝGiả sử nghiệm của phương trình này là

Thuật toán Newton tìm nghiệm sẽ xuất phát

từ một điểm đủ gần và sinh ra một dãy

Ta có chính là phươngtrình tiếp tuyến của hàm số tại điểm

Giả sử Khi đó, phương trình

f x′ ≠

iii)

Khi đó, nếu đủ nhỏ thì dãy xác định bởi

hội tụ đến với tốc độ bậc hai và hệ số

f x

f x

γ = ′′

′

Kí hiệu: là ma trận Jacobi của hàm F tại x.

Khi đó, xấp xỉ Taylor bậc nhất của hàm F tại là

Giả sử không suy biến Hệ phương

và điểm lặp tiếp theo là

Đặt và lặp lại quá trình tính toán với

x = x +

1. Phương pháp Newton cổ điển

3. Phương pháp Newton với bước điều chỉnh

4. Phương pháp tựa Newton

Phương pháp Newton thuần túy

Xét bài toán , có thêm giả thiết xác

thì ta có điểm tiếp theo

( hệ phương trình Newton),

véctơ

được gọi là hướng Newton của hàm f tại

2[∇ f x( k )].p = −∇f x( k )

Mệnh đề 6 Nếu ma trận Hessian xác

định dương thì hướng Newton của hàm f tại

cũng là hướng giảm của f tại

Thuật toán 3(TT Newton thuần túy giải bt )

Bước khởi đầu

Xuất phát từ một điểm tùy ý đủ gần điểm

B x ε L > 0

iii) Ma trận xác định dương tại mọi

Khi đó, nếu xuất phát từ một điểm đủ gần thì

dãy sinh ra bởi Thuật toán 3 sẽ hội tụ tới

1. Phương pháp Newton cổ điển

2. Phương pháp Newton thuần túy

3. Phương pháp Newton với bước điều chỉnh

4. Phương pháp tựa Newton

Phương pháp Newton với bước điều chỉnh

Xuất phát từ một điểm tùy ý Tại bước lặp k,

Thuật toán 4 ( TT Newton với bước điều chỉnh)

Bước khởi đầu

Xuất phát từ một điểm tùy ý có

Tính hướng Newton bằng việc giải hệ

Tính

1

2[∇ f x( k )]d k = −∇f x( k )2

( )k xk+1 : = + xk t dk k ,

1( k )

f x +

∇

If Then dừng thuật toán

1. Phương pháp Newton cổ điển

2. Phương pháp Newton thuần túy

3. Phương pháp Newton với bước điều chỉnh

4. Phương pháp tựa Newton

Phương pháp tựa Newton

Tại mỗi bước lặp, thay vì tính hướng Newton ,

Thuật toán 5 (Thuật toán D.F.P.)

Bước khởi đầu

Xuất phát từ một điểm tùy ý có

Chọn tùy ý ma trận xác định dương (Thườngchọn là ma trận đơn vị I ).

If Then dừng thuật toán

Else Chuyển bước ;

III Phương pháp tìm kiếm trực tiếp

Để giải bài toán khi hàm mục tiêu f(x)

không khả vi hoặc có khả vi nhưng việc lấy các

đạo hàm đạo hàm riêng khó khăn.

(P krb )

Xét hai thuật toán:

1 Thuật toán của Hooke và Jeeves

2 Thuật toán tìm kiếm theo đơn hình

1 Thuật toán của Hooke và Jeeves.

2 Thuật toán tìm kiếm theo đơn hình

Thuật toán của Hooke và Jeeves

Thuật toán 6 (Thuật toán giảm theo tọa độ)

Bước 1 Đặt Trong ba điểm và

chọn một điểm mà tại đó giá trị hàm mục tiêu bé

nhất, ký hiệu điểm đó là Để đơn giản ta viết:

Bước 2 If Then Chuyển Bước 3

Else Chuyển Bước 4;

Bước 3 If Then Dừng thủ tục ( )

Else Đặt

1 1

1 Thuật toán của Hooke và Jeeves.

2 Thuật toán tìm kiếm theo đơn hình.

Thuật toán tìm kiếm theo đơn hình

Bước 3 ( Tiêu chuẩn tối ưu)

If Then Dừng thủ tục

( là nghiệm tối ưu địa phương và là

giá trị tối ưu tương ứng)

Else Chuyển Bước 4.

1

( )( )

i n

n

i i

Bước 5 Chiếu đối xứng qua được

Bước 6 If Then Chuyển Bước 7

Else Chuyển Bước 8.

Bước 7 Chiếu đối xứng qua được

được đơn hình mới và Quay về Bước 2

If Then được

đơn hình mới và Quay về Bước 2

Else Thu hẹp đơn hình theo công thức