Ham so loi

Định lý (tồn tại điểm cực biên là cực đại): Nếu hàm lồi đạt giá trị cực đại trên tập không chứa đường thẳng thì trong các cực đại có một điểm cực biên của3. Chứng minh: Xét điểm là [r]

(1)

Giả sử là hai không gian Banach là ánh xạ tuyến tính.

Chứng minh rằng: liên tục .

Trong đó: là hai khơng gian đối ngẫu Chiều suy hiển nhiên,

Chiều ngược lại dùng nguyên lý đồ thị đóng

Bài : Chứng minh không gian metric x đầy đủ và là không gian metric đầy đủ

Bài : Giả sử hai dãy cauchy không gian metric Chứng

minh hội tụ

Bài 1: dùng định nghĩa kgmetric đầy đủ, sử dụng metric đồ thị oánh giá qua lại metric

Bài 2: Sử dụng tính đầy đủ , cần kiểm tra dãy dãy Cauchy

Chứng minh tốn tử tuyến tính sau liên tục tính chuẩn :

Liên tục đơn giản , cịn khoản tính chuẩn

Nhận xét Do ,

Xét hàm ta thấy

Archive for the ‘Giải tích lồi’ Category

Hàm lồi hàm lồi suy rộng - Phần 1: Hàm lồi, hàm lồi chặt, hàm lồi mạnh

(2)

Hàm lồi tập lồi nghiên cứu từ lâu kể Holder, Jensen, Minkowski Đặc biệt với cơng trình Fenchel, Moreau, Rockafellar vào thập niên 1960 1970 đưa giải tích lồi trở thành lĩnh vực phát triển tốn học Bên cạnh đó, số hàm không lồi theo nghĩa đầy đủ chia sẻ vài tính chất hàm lồi Chúng gọi hàm lồi suy rộng (generalized convex function) Có lẽ người đề xuất tính lồi suy rộng Finetti (1949) - người đưa khái niệm tựa lồi (quasiconvex) Trong series info@123doc.org đưa tranh toàn cảnh hàm lồi hàm lồi suy rộng

Ta giả thiết C tập lồi khác rỗng không gian Rn, f hàm số thực xác định tập lồi C. Hàm gọi lồi với x, y thuộc C \lambda thuộc khoảng (0,1) ta có

Nếu bất đẳng thức chặt với x khác y, ta nói f lồi chặt C Một định nghĩa tương đương, thể ý nghĩa hình học hàm lồi

lồi tập

gọi epigraph (trên đồ thị) tập lồi (epi - có nghĩa trên, phía mà) Hàm f gọi lồi mạnh tồn số \alpha dương cho bất đẳng thức sau với x, y thuộc C \lambda thuộc khoảng [0, 1]

Rõ ràng lồi mạnh suy lồi chặt lồi chặt suy lồi Chẳng hạn hàm y=x2 lồi mạnh, lồi

(3)

Hàm lồi hàm lồi suy rộng - Phần 2: Hàm tựa lồi hàm tựa lồi chặt

Posted by VnMaTh.CoM on 08:01 in Maths, Toán cao cấp| comments

Hàm f gọi tựa lồi với x, y thuộc C, \lambda thuộc khoảng [0,1] ta có

Hàm f gọi tựa lồi chặt với x, y thuộc C, x khác y, \lambda thuộc khoảng (0,1) ta có

Kết hợp với đăng: Phần 1: Hàm lồi, hàm lồi chặt, hàm lồi mạnh ta có thêm số kết sau:

Một hàm tựa lồi chặt tựa lồi Hàm tựa lồi chưa tựa lồi chặt, ví dụ y=1, hay y=|x|/x, x khác y=0 x=0

Nếu hàm f lồi tựa lồi Điều ngược lại không Chẳng hạn, hàm số cho công thức sau: f(x)=x x thuộc đoạn [0,1] f(x)= x >1

Hàm lồi không suy hàm tựa lồi chặt, phản thí dụ y=const Một câu hỏi khác hàm tựa lồi chặt có suy tính lồi lồi chặt khơng? Câu trả lời phủ định cụ thể căn bậc hai x(

)

Hàm lồi hàm lồi suy rộng - Phần 3: Hàm giả lồi hàm giả lồi chặt

(4)

Một hàm f gọi giả lồi với x, y thuộc C, f(x)bé f(y) tồn (beta) dương cho

với thuộc (0,1)

Một hàm f gọi giả lồi chặt với x, y thuộc C,x khác y, f(x)<=f(y) tồn dương cho

với thuộc (0,1)

Rõ ràng hàm lồi giả lồi, lồi chặt giả lồi chặt Nhưng hàm giả lồi khơng lồi Chẳng hạn, y=arctan(x) Hàm lồi khơng suy giả lồi chặt, y=1

Hàm giả lồi không suy giả lồi chặt, ví dụ y=0 x khác =1 x=0 Cũng với ví dụ ta chứng tỏ hàm giả lồi không suy hàm tựa lồi Hàm tựa lồi không suy hàm giả lồi Điều thể qua hàm bậc thang

Hàm lồi (1) – Định nghĩa tính chất bản

Posted by tqlong on Tháng Hai 5, 2008

Định nghĩa (hàm lồi): Hàm lồi

 Miền xác định lồi

 (*)

Định nghĩa tương đương: lồi tập

(5)

Chứng minh:

“ lồi lồi”: , suy Vì lồi nên Nghĩa

“ lồi lồi”: Nếu , suy , ta có

Nghĩa

Ý nghĩa: Với , ta có

Nếu lồi

Ví dụ:

 Hàm mũ chẵn:  Hàm lũy thừa:

 Nếu : ;

 Nếu : hàm affine , chuẩn Định lý (Bất đẳng thức Jensen): Nếu lồi

Chứng minh: Chứng minh quy nạp theo

Mở rộng: Nếu đóng, phân bố xác suất đồng thời liên tục

(6)

Chứng minh:

Chứng minh áp dụng bất đẳng thức Jensen cho hàm lồi

Định nghĩa (Mở rộng hàm lồi tồn ):

Lưu ý: tính chất (*)vẫn giữ nguyên áp dụng luật tính toán sau với giá trị

 

Like this:

Đăng Gi ả i tích lồ i | Tagged: hàm lồ i , Jensen, Kullback-Leibler | Leave a Comment »

Định lý Caratheodory, Radon, Helley Posted by tqlong on Tháng Hai 4, 2008

Định lý Caratheodory: Nếu điểm biểu diễn tổ hợp lồi không điểm thuộc

Chứng minh: Xét giả sử tổ hợp lồi

là tổ hợp lồi có số véctơ nhỏ Ta chứng minh Thật vậy, giả sử ngược lại, , vectơ độc lập affine , vậy, véctơ khơng thể độc lập tuyến tính Tức tồn số

(7)

Nếu đặt , ta có

Như vậy, viết lại sau

Rõ ràng, với đủ nhỏ, biểu thức tổ hợp lồi Tuy nhiên ta chọn

thì số hệ số dương tổ hợp lồi số hệ số dương tổ hợp ban đầu, mâu thuẫn với giả thiết nhỏ (Lưu ý: chắn tồn

)

Định lý Radon: Một tập có điểm chia thành hai tập có bao lồi giao

Chứng minh: Một tập có điểm khơng thể độc lập affine, thế, tồn

tại số cho

và

Đặt Ta có

và

Suy Nghĩa

(8)

Định lý Helley. Nếu tập lồi cho giao tập khác rỗng giao tất tập khác rỗng

Chứng minh: (Quy nạp theo )

Cơ sở: Định lý với

Quy nạp: Giả sử định lý với tập lồi Xét tập cho tập giao khác rỗng

Đặt Theo giả thiết quy nạp, khác rỗng, tức tồn Ta phân chia tập thành hai tập có bao lồi giao (theo định lý Radon) Khơng tính tổng quát, giả sử tồn cho

Ta chứng minh với Thật vậy, , ta có ,

Ngược lại, , ta có ,

Nhận xét:

1 Các định lý Caratheodory, Radon, Helly kết sâu, móng cho chuyên ngành tốn Hình học tổ hợp (Combinatorial Geometry)

2 Ứng dụng định lý rộng rãi, đặc biệt ta gặp lại chúng Quy hoạch tuyến tính, Hệ bất phương trình tuyến tính Các định lý ứng dụng để phân tích điều kiện nghiệm tối ưu

Hàm lồi (2) – Biến đổi giữ nguyên tính lồi

Để chứng minh tính lồi hàm, ngồi việc dùng định nghĩa, ta dựa vào số biến đổi giữ nguyên tính lồi để xây dựng nên hàm lồi chứng minh tính lồi hàm

Tổ hợp tuyến tính với hệ số dương: lồi lồi với

(9)

(i) Hiển nhiên, ta có lồi lồi (ii) Cũng dễ thấy lồi lồi

(iii) Từ (i) (ii) suy lồi lồi với

Lấy supremum: lồi lồi với

Chứng minh: Rõ ràng Do lồi giao tập lồi

Tổ hợp hàm: lồi, lồi đồng biến

lồi

Chứng minh: Nếu , ta có

Nhận xét:Nếu hàm affine, , khơng cần phải đồng biến, ta có lồi

Lấy minimum: Nếu lồi lồi

Chứng minh: Nếu , suy với , tồn cho

và Ta có

Bất đẳng thức với , ta có

(10)

« Nhữ ng viế t tr ướ c Bài kế »

Tập lồi (4) – Tính chất tơpơ Posted by tqlong on Tháng Hai 11, 2008

Định nghĩa (điểm giới hạn): Điểm điểm giới hạn tập có dãy hội tụ đến

Định nghĩa (tập đóng): Tập tập đóng chứa tất điểm giới hạn Ví dụ:

Tập hữu hạn, tập đóng Tập tập đóng

Tập tập đóng Định lý (giao hợp tập đóng):

Giao tập tập đóng tập đóng Hợp tập hữu hạn tập đóng tập đóng

Định nghĩa (bao đóng): Bao đóng tập định nghĩa cách tương đương sau: Là giao tập đóng chứa

Là tập hợp tất điểm giới hạn Kí hiệu bao đóng

Định nghĩa (điểm trong): Điểm điểm tập có hình cầu

Định nghĩa (tập mở): Tập tập mở tất điểm điểm Ví dụ:

là tập mở

Tập tập mở

Tập tập mở Định lý (giao hợp tập mở):

(11)

Định nghĩa (phần trong): Phần tập định nghĩa cách tương đương sau: Là hợp tập mở chứa

Là tập hợp tất điểm Kí hiệu phần Nhận xét:

Rõ ràng ta có quan hệ

Biên tập Biên ln tập đóng

Nếu khơng thể chứa hình cầu Định lý (tính lồi bao đóng phần trong): Nếu lồi lồi

Chứng minh: Nếu có dãy Dễ

thấy dãy Tức lồi

Nếu có hình cầu Dễ thấy hình cầu

, tức là điểm Vậy lồi

Định lý (tính trù mật phần tập lồi): Nếu lồi

Với , đoạn thẳng

trù mật , tức điểm điểm giới hạn Chứng minh (1): tức có dãy Xét tập

Vì lồi nên Vì nên

Nghĩa đó, ,

hay Vậy

Chứng minh (2): (2) hệ (1) với điểm , chọn điểm (do ), ta có dãy

đồng thời (1)

(12)

Định nghĩa (phần tương đối): Phần tương đối tập Kí hiệu phần tương đối

Biên tương đối tập

Định lý (phần tương đối trù mật bao đóng): Nếu tập lồi ta có lồi

Với , đoạn thẳng

trù mật , tức điểm điểm giới hạn

Chứng minh: Ta cần chứng minh , kết luận khác chứng minh tương tự định lý

Nếu , hay , rõ ràng

Nếu , suy phải có véctơ độc lập affine cho Các véctơ tạo thành đỉnh đơn hình nằm

Ta có

Rõ ràng, tập mở (tương ) nằm , nghĩa

Đăng Giải tích lồi | Tagged: bao đóng , biên , phần , tôpô , tập lồi | Leave a Comment »

Tập lồi (3) – Phép tốn giữ ngun tính lồi Posted by tqlong on Tháng Hai 11, 2008

Định lý: Các phép toán sau giữ nguyên tính lồi

1 Phép giao: Nếu lồi lồi

2 Tích Đề-các: Nếu lồi lồi

3 Tổ hợp tuyến tính: Nếu lồi lồi Biến đổi affine: Nếu lồi tập lồi

(13)

Chứng minh (1): hiển nhiên giao tập chứa đoạn thẳng đoạn thẳng nằm tất tập

Chứng minh (2): hiển nhiên (dùng định nghĩa)

Chứng minh (3): hiển nhiên (dùng định nghĩa)

Chứng minh (4): Nếu , suy Nếu

thì , nghĩa

Chứng minh (5): Nếu , suy Nếu

thì , nghĩa

Ví dụ:

1 Tập lồi

2 Tập lồi

3 Tập lồi vì:

+ Tập lân cận phép chiếu lên trục tập lồi + Tập tập lồi

Định lý: Đối với nón lồi ta có phép tốn sau Giao nón lồi nón lồi

là nón lồi nón lồi Tổ hợp tuyến tính nón lồi nón lồi

là nón lồi nón lồi Tích Đề-các: Nếu nón lồi

nón lồi

4 Biến đổi affine: Nếu nón lồi tập nón lồi Biến đổi ngược biến đổi affine: Nếu nón lồi tập

là nón lồi

Chứng minh (1): Giao nón lồi tập lồi, đồng thời tia thuộc vào tất nón thuộc vào giao nón

(14)

Chứng minh (3),(4),(5): Tương tự chứng minh (1),(2)

Tập lồi (2) – Tổ hợp lồi, bao lồi, bao affine, chiều, đơn hình, nón lồi, bao nón

Định nghĩa (tổ hợp lồi): Tổ hợp tuyến tính gọi tổ hợp lồi của

Định lý: Tập lồi đóng với phép tốn tổ hợp lồi

Chứng minh:

“ “: Ta chứng minh tổ hợp lồi điểm tập lồi phải thuộc tập lồi Thật vậy, quy nạp theo :

Cơ sở: rõ ràng định lý với

Quy nạp: Giả sử định lý với Xét tổ hợp lồi điểm

Rõ ràng tổ hợp thuộc vào tập lồi theo giả thiết quy nạp “ “: hiển nhiên ta xét

Định lý (giao tập lồi): Giao họ tập lồi tập lồi

Chứng minh: hiển nhiên

(15)

1 Là giao tất tập lồi chứa

2 Là tập hợp tất tổ hợp lồi điểm thuộc Kí hiệu bao lồi

Chứng minh: Đặt với lồi và đặt

Rõ ràng đóng với phép tốn tổ hợp lồi, nên lồi , suy

Ngược lại, lồi phải chứa tất tổ hợp lồi (vì đóng với phép toán tổ hợp lồi), suy với , tức Kết luận

Tương tự vậy, ta có định nghĩa tổ hợp affine bao affine

Định nghĩa (tổ hợp affine): Tổ hợp tuyến tính gọi tổ hợp affine của

Định lý: Tập tập affine đóng với phép tốn tổ hợp affine

Định nghĩa (bao affine):Bao affine tập định nghĩa theo cách tương đương sau:

1 Là giao tất tập affine chứa

2 Là tập tất tổ hợp affine điểm thuộc Kí hiệu bao affine

Định nghĩa (số chiều tập affine):Số chiều tập affine định nghĩa cách tương đương sau:

1 Là số chiều không gian gắn với , tức

2 Là số nhỏ để tồn véctơ cho Các véctơ gọi sở affine

(16)

Chứng minh: Đặt sở Ta chứng minh Thật vậy, , ta viết dạng:

,

tức là tổ hợp affine véctơ Ngược lại, xét tổ hợp affine

vì Vậy Suy

Để chứng minh , ta chứng minh Thật vậy, nên với véctơ , ta có với Suy

vì Tức là tổ hợp tuyến tính Vậy

Suy Kết luận (lưu ý: chứng minh )

Định lý (cơ sở tập affine): Nếu sở affine tập affine véctơ biểu diễn tổ hợp affine sở ta nói véctơ độc lập affine với nhau.

Chứng minh: Vì số chiều nên theo định lý trên, số chiều không gian gắn với Rõ ràng nên sở Với véctơ , ta có với Véctơ biểu diễn tổ hợp tuyến tính sở nên ta suy có biểu diễn affine sở afffine

(17)

Định nghĩa (đơn hình):Đơn hình với đỉnh độc lập affine bao lồi đỉnh

Ví dụ:

1 Trong , điểm, đoạn thẳng, tam giác đơn hình

2 Trong với hệ sở chuẩn Đơn hình có đỉnh véc tơ hệ sơ chuẩn tập

3 Trong , đơn hình có đỉnh tập

Định lý: Mọi điểm đơn hình biểu diễn tổ hợp lồi đỉnh

Chứng minh: Vì độc lập affine nên tổ hợp lồi điểm đơn hình tổ hợp affine điểm bao affine

Định nghĩa (nón lồi):

1 Một tập gọi nón đóng với phép tốn co dãn nón Một tập gọi nón lồi vừa tập lồi vừa nón

Ví dụ:

1 nón lồi

2 Nón Lorentz nón lồi Tập ma trận xác định khơng âm nón lồi

Định nghĩa (tổ hợp nón): Tổ hợp tuyến tính gọi tổ hợp nón của

Định lý: Tập nón lồi đóng với phép tốn tổ hợp nón

(18)

“ “: Hiển nhiên, nón lồi tổ hợp lồi tổ hợp nón nên đóng với phép tốn tổ hợp lồi

“ “: Nếu nón lồi, xét tổ hợp nón Rõ ràng

vì

Định nghĩa (bao nón):Bao nón tập định nghĩa theo cách tương đương sau Là giao tất nón lồi chứa

2 Là tập hợp tất tổ hợp nón điểm thuộc Kí hiệu bao nón

Đăng Giải tích lồi | Tagged: bao affine, bao lồi, bao nón, chiều, nón lồi, tập lồi, Tổ hợp lồi,

đơn hình | Leave a Comment »

Tập lồi (1) – Định nghĩa số ví dụ Posted by tqlong on Tháng Hai 10, 2008

Định nghĩa (tập lồi): Tập gọi tập lồi

Nghĩa đoạn thẳng

Ví dụ:

1 tập lồi

2 tập lồi, nửa không gian ngăn cách đường thẳng

Định nghĩa (tập affine): Tập gọi tập affine

Nghĩa đường thẳng qua nằm

Định lý (Tính chất tập affine):

(19)

2 Nếu affine , tập không gian , đồng thời không phụ thuộc vào Ta viết

3 Tập tập affine cho

Chứng minh (1): Đường thẳng qua chứa đoạn thẳng nên tính chất hiển nhiên

Chứng minh (2): Nếu , suy , ta có

vì

Nếu , suy , ta có

Để chứng minh nhất, xét với Xét , suy

với Rõ ràng , suy , tức Tương tự ta có Vậy

Chứng minh (3):

“ “: Hiển nhiên

“ “: Vì , xét khơng gian trực giao Khơng gian có hệ sở Đặt

Ta có

Định nghĩa (hình cầu): Hình cầu tâm , bán kính tập với chuẩn

Nhận xét: Dễ dàng chứng minh hình cầu tập đóng, lồi giới nội

Định nghĩa (lân cận ): Lân cận tập tập

(20)

Chứng minh: Xét , nghĩa tồn cho Giả sử Ta chứng minh khoảng cách từ đến

không lớn Thật

Vì nên

Hàm lồi (5) – Tính chất cực đại Posted by tqlong on Tháng Hai 9, 2008

Định lý: Nếu hàm lồi đạt cực đại số

Chứng minh: Xét điểm , ta chứng minh Thật vậy,

nên với đủ nhỏ, ta có Hiển nhiên ta có

tức nằm bên đoạn thẳng Vậy

Vì nên , tức Suy

Định lý (tồn điểm cực biên cực đại): Nếu hàm lồi đạt giá trị cực đại tập không chứa đường thẳng cực đại có điểm cực biên

Chứng minh: Xét điểm cực đại Nếu điểm cực biên, ta có điều phải chứng minh Nếu khơng phải điểm cực biên, , ta xét trường hợp

1 , theo định lý trên, số , tức đạt cực đại điểm cực biên (điểm ln tồn tập lồi không chứa đường thẳng)

2 Xét siêu phẳng qua đỡ lấy Xét tập Rõ ràng cực đại đồng thời

(21)

Định lý (hàm lồi bị chặn đa diện lồi có cực đại): Nếu hàm lồi bị chặn đa diện lồi đạt cực đại

Chứng minh: Theo định lý cấu trúc đa diện lồi, ta có

trong đó, hai tập hữu hạn

Bổ đề: Nếu bị chặn Nghĩa

là hàm không tăng với

Chứng minh: Giả sử ngược lại, tồn , cho

Rõ ràng, ta có Xét với Vì nên

Nhân hai vế với ta Nghĩa

lớn hàm tuyến tính với hệ số dương, nói cách khác khơng bị chặn trên, mâu thuẫn với giả thiết

Tiếp tục chứng minh định lý: Ta chứng minh

Thật vậy, với , ta viết dạng

trong Theo bổ đề ta có

(22)

Hàm lồi (4) – Điều kiện cực tiểu Posted by tqlong on Tháng Hai 7, 2008

Định lý (xấp xỉ Taylor cận hàm lồi): Xấp xỉ Taylor bậc mà có đạo hàm khơng lớn giá trị thực hàm lồi Tức với , ta có

Chứng minh: Xét nằm , tức với Vì lồi nên

Ta có

Cho , ta có (Đạo hàm theo dùng luật L’Hopital) Tức

Định lí (tính cục toàn cục cực tiểu): Cực tiểu cục hàm lồi cực đại toàn cục

Tức

Chứng minh: Xét , lồi, ta có

với nằm đoạn thẳng Chọn , ta có vế phải bất đẳng thức không âm, suy

Định lý (tính lồi tập cực tiểu): Tập cực tiểu hàm lồi tập lồi

Chứng minh: Định lý hệ bổ đề

(23)

Nhận xét:

1 Tập tập miền xác định cho giá trị hàm không lớn

2 Rõ ràng, tập tất cực tiểu hàm tập Nếu tập lồi (theo định nghĩa)

Tức

Định nghĩa (Hàm lồi chặt): Hàm gọi hàm lồi chặt

 lồi

 với

Định lý (điều kiện lồi chặt): Điều kiện đủ để lồi chặt ma trận Hessian xác định dương

Chứng minh: Tương tự chứng minh lồi ma trân Hessian xác định không âm

Định lý (tính cực tiểu): Nếu hàm lồi chặt cực tiểu (nếu tồn tại)

Chứng minh: Giả sử cực tiểu Ta có

Mâu thuẫn khơng thể nhận giá trị nhỏ giá trị nhỏ

Định lý (điều kiện cần đủ cực tiểu): Nếu lồi tập lồi có đạo hàm , điều kiện cần đủ để đạt cực tiểu

Chứng minh:

“ “: Nếu cực tiểu hàm tập lồi , với , ta có

(24)

“ “: Theo định lý xấp xỉ Taylor bậc hàm lồi , ta có

Nhận xét:

1 “ ” không phụ thuộc vào tính lồi hàm Tức điều kiện điều kiện cần để cực tiểu

2 Điều kiện có nghĩa tập nằm nửa không gian ngăn cách siêu phẳng qua có véc tơ pháp tuyến

3 Nếu lồi cực tiểu

Định nghĩa (Nón tâm): Xét tập lồi điểm , nón tâm tập ,

tức là tập tất hướng mà tia từ theo hướng có điểm thuộc

Điều kiện tương đương cực tiểu: Điều kiện cần đủ để cực tiểu hàm lồi tập lồi viết lại sau

Nếu đặt nón trực giao , tức

thì điều kiện tương đương với

Ví dụ:

1 Nếu (xem định nghĩa phần trong), , suy

Nghĩa điều kiện cần đủ để đạt cực tiểu điểm đạo hàm

2 Nếu (xem định nghĩa phần tương đối), giả sử ,

là khơng gian Rõ ràng Xét , , suy

tức Suy

(25)

Nếu , ta có

Điều kiện điều kiện tối ưu ta dùng phương pháp nhân tử Lagrange Nếu , điểm , tập tập nào?

Định nghĩa: Ràng buộc gọi được kích hoạt

Rõ ràng, ràng buộc khơng kích hoạt thỏa mãn ràng buộc với hướng bất kì, miễn đủ nhỏ Như ràng buộc bị vi phạm ràng buộc được kích hoạt

Nếu , để , rõ ràng ta phải có Vậy

với Còn tập nào?

Nếu Tức là hệ hệ bất đẳng thức Theo định lý Farkas nhất, điều kiện cần đủ

Vậy

và

Có thể viết lại điều kiện sau

Trong điều kiện thứ hai tính chất bù độ vênh ràng buộc mà ta gặp Bài tốn đối ngẫu Các điều kiện cịn gọi điều kiện cần Karush-Kuhn-Tucker (KKT necessary conditions) cho tốn tối ưu hóa có ràng buộc (Lưu ý: hàm lồi điều kiện đủ)

(26)

Giả sử điểm cực tiểu , theo ví dụ trên, điều kiện cần đủ để đạt cực tiểu

Do , ta giải

Điểm thỏa mãn điều kiện cần đủ nên cực tiểu hàm Để thấy cực tiểu nhất, tính ma trận Hessian chứng minh tính xác định dương Một cách khác sử dụng định lý tính lồi tập cực tiểu Điểm cực tiểu

, có điểm cực tiểu , rõ ràng điểm đoạn thẳng cực tiểu, mâu thuẫn đoạn thẳng chứa điểm thuộc (tính trù mật

của phần tương đối)

Hàm lồi (3) – Kiểm tra tính lồi Posted by tqlong on Tháng Hai 6, 2008

Hàm lồi phần sử dụng định nghĩa hàm lồi mở rộng

Định lý (Tính chất lồi có tính chiều):

lồi lồi với hướng

Chứng minh:

“ “: Nếu , tổ hợp hàm affine , nên lồi

“ “: Nếu lồi với hướng , lấy điểm , chọn , ta có

(27)

Điều kiện để hàm biến lồi: Định lý (Điều kiện cần đủ): Với

Nghĩa đạo hàm không giảm miền xác định

Chứng minh:

“ “: Ta có

với Cho cho ta có điều phải chứng minh “ “: Nếu , ta có

với

Vì nên theo giả thiết, ta có điều phải chứng minh

Định lý (Điều kiện đủ): Nếu đạo hàm bậc hai tồn khơng âm lồi

Chứng minh: tồn không âm chứng tỏ không giảm, suy lồi

Định lý (Điều kiện đủ cho hàm nhiều biến lồi: Nếu ma trận Hessian xác định khơng âm lồi

Chứng minh: Đặt với Đạo hàm bậc bậc

theo hướng

(28)

Nếu xác định không âm, với hướng , nghĩa lồi

Ví dụ: lồi

Nhận xét: Tuy hàm lồi, đồng biến lại hàm lõm ( lồi) nên ta dùng phương pháp tổ hợp để chứng minh hàm cho lồi

Chứng minh: Tính đạo hàm bậc hai theo hướng bất kì:

,

Để thấy , đặt , ta có

Do , đồng thời hàm lồi, ta có , điều phải chứng minh

Đăng Giải tích lồi | Tagged: hàm lồi, tính lồi | Leave a Comment »

Hàm lồi (2) – Biến đổi giữ nguyên tính lồi Posted by tqlong on Tháng Hai 5, 2008

Để chứng minh tính lồi hàm, ngồi việc dùng định nghĩa, ta dựa vào số biến đổi giữ nguyên tính lồi để xây dựng nên hàm lồi chứng minh tính lồi hàm

Tổ hợp tuyến tính với hệ số dương: lồi lồi với

Chứng minh:

(29)

(iii) Từ (i) (ii) suy lồi lồi với

Lấy supremum: lồi lồi với

Chứng minh: Rõ ràng Do lồi giao tập lồi

Tổ hợp hàm: lồi, lồi đồng biến

lồi

Nhận xét:Nếu hàm affine, , khơng cần phải đồng biến, ta có lồi

Lấy minimum: Nếu lồi lồi

Chứng minh: Nếu , suy với , tồn cho

và Ta có

Bất đẳng thức với , ta có

(30)

Định nghĩa (siêu phẳng): Tập siêu phẳng không gian affine chiều

Định lý (dạng tuyến tính siêu phẳng): Tập siêu phẳng biểu diễn dạng

Chứng minh: Hiển nhiên khơng gian gắn với có chiều Như vậy, siêu phẳng chia thành phần

Định nghĩa (phân cách siêu phẳng): Ta nói siêu phẳng phân

cách hai tập

1

2

Nhận xét: Ta nói dạng tuyến tính phân cách được tồn cho siêu phẳng tương ứng phân cách

Định lý: Dạng tuyến tính phân cách

1

2

Chứng minh:

“ “: Nếu phân cách , tồn cho siêu phẳng phân cách , tức

tức

(31)

“ “: Chọn cho , rõ ràng siêu phẳng phân cách

Định lý (phân cách tập lồi): Điều kiện cần đủ để hai tập lồi phân cách phần tương đối không giao

Chứng minh:

Bổ đề:Nếu dạng tuyến tính đạt giá trị cực đại (hoặc cực tiểu) tập lồi điểm số

Chứng minh: Ta cần chứng minh cho trường hợp cực đại, trường hợp cực tiểu hệ ta xét dạng tuyến tính Xét , nên với đủ nhỏ ta có

Ta có

Vì nên không vế phải nhỏ vế trái, suy

“ “: Giả sử ngược lại, tức tồn có dạng tuyến tính phân cách , ta có

Nghĩa đạt cực tiểu , đạt cực đại Theo bổ đề trên, số :

Như vậy, không phân cách , mâu thuẫn

“ “: Ta chứng minh theo thứ tự sau

(i) Trường hợp

(32)

(iii) Trường hợp hai tập lồi

(iv) Trường hợp hai tập lồi

Chứng minh (i): Đặt

Ta thấy khơng thể tổ hợp nón

Tức hay

Theo định lý Farkas nhất, phải tồn véctơ cho

nhưng

trong

Nghĩa hay Mặt khác,

thì

Tức dạng tuyến tính phân cách hai tập

Bổ đề 1: Nếu tập tồn chuỗi trù mật , nghĩa với điểm , có chuỗi

Chứng minh: Đặt chuỗi chuỗi tất véctơ hữu tỉ (lưu ý: tập véctơ hữu tỉ tập đếm được) Ta xây dựng chuỗi sau

1 Với , với , đưa điểm cho

(33)

điểm cho Vì , đồng thời tập đếm (do với có nhiều điểm đưa vào )

2 Tập tập đếm (hợp đếm tập đếm được) nên viết thành chuỗi

Ta chứng minh trù mật Thật vậy, với , với , ta có điểm cho Trong trình xây dựng , ta đưa vào điểm Tức là, với , với , ta ln tìm điểm cho , nói cách khác trù mật

Bổ đề 2: Hai tập phân cách tồn dạng tuyến tính phân cách

với

Chứng minh:

“ “: hiển nhiên

“ “: Nếu phân cách tồn dạng tuyến tính phân cách Chiếu xuống ta

Ta thấy dạng tuyến tính

phân cách

Chứng minh (ii): Xét tập lồi , rõ ràng khơng Theo

bổ đề có chuỗi trù mật , đồng thời theo (i) hai tập lồi phân cách với Như vậy, theo bổ đề 2, tồn dạng tuyến tính với

sao cho

(34)

Ta chứng minh Thật vậy, ngược lại , nghĩa

Do nên có khả , mâu thuẫn Như phân cách dạng tuyến tính Từ dễ dàng suy

cũng phân cách ảnh phép tịnh tiến

Chứng minh (iii) : Xét tập lồi Rõ ràng lồi tổ hợp tuyến tính hai tập lồi, đồng thời khơng Theo (ii), phải có dạng tuyến tính

phân cách Tức

Tức phân cách

Chứng minh (iv): Xét tập lồi , theo giả thiết nên theo (iii)

tồn dạng tuyến tính phân cách Tức

Vì phần tương đối trù mật bao đóng hàm liên tục nên

, vậy, phân cách

Định nghĩa (phân cách chặt): Hai tập phân cách chặt tồn dạng tuyến tính cho

Nhận xét:

1 phân cách chặt phân cách

(35)

Định lý (phân cách chặt hai tập lồi): Điều kiện cần đủ để hai tập lồi phân cách chặt khoảng cách chúng lớn

Chứng minh:

“ “: Giả sử hai tập lồi phân cách chặt tồn dạng tuyến tính cho

Ta chứng minh

Thật vậy, giả sử ngược lại , nghĩa tồn hai chuỗi , cho

Vì hàm liên tục nên Ta lại có

suy mâu thuẫn

“ “: Giả sử Xét lân cận S:

(36)

Tức , suy

Tối ưu không ràng buộc (5) – Tốc độ hội tụ phương pháp đạo hàm (hàm lồi)

Posted by tqlong on Tháng Tư 25, 2008

Ta biết, hàm lồi có tính chất “đẹp” thuật tốn tối ưu hóa Đặc biệt, cực tiểu cục hàm lồi cực tiểu toàn cục Tính chất cho phép ước lượng sai số

hay , đồng thời đảm bảo thuật toán tối ưu hoạt động hiệu hàm lồi ta thấy

Định lý (tốc độ hội tụ thuật toán ArD): Nếu hàm lồi với thuật tốn ArD (với tham số ), ta có

1 Quỹ đạo hội tụ đến cực tiểu tồn cục Tốc độ hội tụ sai số

trong hệ số Lipschitz , nghiệm ban đầu

Chứng minh (1): Để cho tiện, đặt

với (lưu ý khác ) Ta có

Vì hàm lồi nên xấp xỉ Taylor bậc cận hàm, ta có

(37)

Vậy, ta có

Hơn nữa, ta lại có ước lượng bước nhảy Armijo

nên hay

Tức khoảng cách khơng tăng theo , nói cách khác quỹ đạo bị chặn Theo định lý tính hội tụ phương pháp sử dụng đạo hàm, điểm giới hạn quỹ đạo

thỏa mãn tính chất Nhưng hàm lồi nên cực tiểu toàn cục

của Ngoài ra, điểm giới hạn quỹ đạo nên có dãy hội tụ , khoảng cách không tăng theo nên

hay

Chứng minh (2): Thay , ta có

Vì (do thuật tốn ln làm giảm hàm mục tiêu) nên

(38)

Định nghĩa (hàm lồi mạnh): Hàm lồi gọi hàm lồi mạnh (strongly convex) với tham số khả vi liên tục

Định lý (tính chất hàm lồi mạnh): Nếu hàm lồi mạnh với tham số Tập tập compact với

2 Hàm hàm lồi chặt có cực tiểu tồn cục Hàm hàm thuộc lớp với tham số

Bổ đề: Hàm hàm lồi mạnh với tham số

với giá trị riêng (eigenvalue) ma trận Hessian

Chứng minh:

“ “: Nếu hàm lồi mạnh với tham số , đặt , ta có

Suy

Cho ta Nếu chọn vectơ riêng ứng với giá trị riêng

hay Tương tự, ta có “ “: Giả sử

(39)

Ta có khai triển Taylor bậc

với Ta lại có

Vậy ta có điều phải chứng minh

Chứng minh (1): Ta chứng minh bị chặn Thật vậy, cố định , ta có

Vế phải hàm bậc hai với hệ số lũy thừa dương nên bị chặn dưới, bị chặn với Đặt , xét , ta có

Vế phải hàm bậc với hệ số lũy thừa dương nên bị chặn bị chặn Vậy tập bị chặn Hơn nữa, tính liên tục , tập tập đóng nên tập compact

Chứng minh (2): Tập tập compact nên phải tồn cực tiểu tập Rõ ràng, cực tiểu toàn cục Hơn hàm lồi chặt nên cực tiểu (ma trận Hessian xác định dương )

Chứng minh (3): Ta có

với Theo bổ đề trên, ta lại có

Vậy

(40)

Định lý (tốc độ hội tụ thuật toán ArD hàm mục tiêu lồi mạnh): Nếu hàm lồi mạnh với tham số với thuật tốn ArD (với tham số ), ta có

1 Quỹ đạo hội tụ cực tiểu Tốc độ hội tụ hàm sai số

với gọi tỉ số điều kiện (condition number) của hàm

3 Tốc độ hội tụ hàm sai số

Chứng minh (1): Dễ thấy tính chất hàm lồi mạnh nên điều kiện định lý tính hội tụ thuật toán ArD với hàm mục tiêu lồi thỏa mãn

Chứng minh (2): Theo định lý trên, ta có

Với điều kiện hàm lồi mạnh, ta ước lượng xác

do ,

(41)

Ta lại có

suy

Nhận xét:

1 Trong trường hợp tổng quát, ta đánh giá hàm mục tiêu có nhiều cực tiểu cục (và điểm KKT khác)

2 Trong trường hợp hàm lồi thuộc lớp , ta đánh giá hàm

vì điểm KKT cực tiểu toàn cục hàm mục tiêu Tuy nhiên ta khơng thể đánh giá hàm có nhiều cực tiểu toàn cục

3 Trong trường hợp hàm lồi mạnh, có cực tiểu nên ta có điều kiện ước

lượng

4 Tuy tốc độ hội tụ trường hợp hàm mục tiêu lồi mạnh tuyến tính, tỉ lệ hội tụ phụ thuộc nhiều vào tỉ số điều kiện Khi lớn gần tức thuật tốn hội tụ chậm Trường hợp ta nói hàm hàm có điều kiện tồi (ill-conditioned) Những hàm thay đổi mạnh hướng thay đổi hướng khác

những hàm có điều kiện tồi

(42)

6 Như vậy, phương pháp tối ưu theo hướng đạo hàm phụ thuộc vào hệ tọa độ quy chiếu, ví dụ ta đổi biến

thì , tỉ số điều kiện lúc thuật toán hội tụ nhanh Đăng Giải tích lồi, Quy hoạch lồi, Quy hoạch phi tuyến | Tagged: armijo, hàm lồi, tốc độ hội tụ | Leave a Comment »

Tập lồi (6) – Siêu phẳng đỡ điểm cực biên Posted by tqlong on Tháng Hai 12, 2008

Định nghĩa (siêu phẳng đỡ): Nếu tập lồi điểm , siêu phẳng qua phân tách gọi siêu phẳng đỡ

Nhận xét: Nếu khơng thể có siêu phẳng đỡ

Định lý (giao siêu phẳng đỡ tập lồi): Nếu Tồn siêu phẳng đỡ

2

(43)

Chứng minh (2): Giả sử ngược lại Ta thấy , tức Nhưng nên Mặt khác

nên Tức , suy

Mâu thuẫn vậy siêu phẳng đỡ (theo định nghĩa siêu phẳng phân cách)

Định nghĩa (điểm cực biên):Điểm cực biên tập đóng, lồi định nghĩa cách tương đương sau:

1 Không tồn hai điểm cho Không tồn véc tơ cho

3 Tập lồi

Kí hiệu tập điểm cực biên

Chứng minh:

: Hiển nhiên

: Giả sử khơng lồi, suy tồn đoạn thẳng chứa , tức có đoạn thẳng có trung điểm, trái với giả thiết

: Hiển nhiên tồn cho khơng thể lồi

Định lý: Nếu siêu phẳng đỡ tập lồi điểm cực biên điểm cực biên

Chứng minh: Nếu điểm cực biên điểm cực biên , tức

là có cho Ta có

Suy , tức Nói cách khác khơng điểm cực biên , mâu thuẫn

Định nghĩa (đỉnh): Đỉnh tập đóng, lồi định nghĩa cách tương đương sau:

1 Tồn siêu phẳng đỡ

2 Tồn dạng tuyến tính đạt giá trị cực đại

(44)

Định lý: Điểm điểm cực biên đỉnh

Chứng minh: Vì tồn dạng tuyến tính đạt giá trị cực đại nên tồn

tại véctơ cho

Định lý Krein-Milman (điều kiện tồn điểm cực biên): Nếu tập tập đóng, lồi thì: có điểm cực biên không chứa đường thẳng

2 Nếu giới nội bao lồi điểm cực biên

Chứng minh (1):

“ “: Giả sử không chứa đường thẳng Chọn điểm Nếu điểm cực biên, ta có điều phải chứng minh Ngược lại, điểm cực biên, chọn đường thẳng qua Đường thẳng phải thoát khỏi điểm (vì khơng chứa đường thẳng) Vì , ta có mặt phẳng đỡ Đặt , ta có

Nếu điểm cực biên ta lại lập luận giảm khơng chứa đường thẳng Q trình lập luận phải dừng bước mà điểm cực biên Theo định lý ta có , tức

là điểm cực biên

“ “: Giả sử có điểm cực biên đường thẳng Rõ ràng, đường thẳng qua điểm cực biên Ta chứng minh Thật vậy, với ta chọn điểm nằm cho

thì Hơn nữa, ta lại có , đóng nên Tương tự Suy điểm cực biên

Chứng minh (2): Rõ ràng lồi Ta chứng minh quy

nạp theo

Cơ sở: Định lý với , hay

Quy nạp: Giả sử định lý với , ta chứng minh định lý với Thật vậy, xét điểm , đường thẳng qua phải khỏi hai điểm

vì khơng chứa đường thẳng chứa tia, tức không bị giới nội Như có siêu phẳng đỡ Ta có

(45)

theo giả thiết quy nạp Như vậy,

vì

Tập lồi (7) – Cấu trúc đa diện lồi Posted by tqlong on Tháng Hai 14, 2008

Định nghĩa (đa diện lồi): Tập gọi đa diện lồi (polyhedra)

Nhận xét:

1 Đa diện lồi tập đóng, lồi

2 đa diện lồi ta chọn

3 Các ràng buộc toán quy hoạch tuyến tính tạo nên đa diện lồi

Định lý (cấu trúc đa diện lồi): Đa diện lồi biểu diễn dạng

trong tập đóng lồi khơng chứa đường thẳng, khơng gian

Lưu ý: Nhắc lại khái niệm đại số tuyến tính:

1 (nhân ma trận, cịn kí hiệu ) (khơng gian tạo cột ) Tính chất:

Chứng minh: Ta chứng minh theo thứ tự sau

1 Nếu , đường thẳng

2 Đặt khơng chứa

đường thẳng

(46)

Ngược lại, , tức ( dòng thứ ) Xét trường hợp:

 , rõ ràng ta có  ta có

Vậy khả , tức

Chứng minh (2): Rõ ràng nên theo (1) Ngược lại, , chiếu

xuống , ta có

Ta thấy nên theo (1), , suy Tức Kết luận

Để thấy không chứa đường thẳng, để ý nên đường thẳng đường thẳng , nghĩa hướng đường thẳng nằm , vơ lý nằm không gian trực giao với

Nhận xét:

1 Ta thấy đa diện lồi khơng gian nên đa diện lồi (ngoài điều kiện ta thêm vào điều kiện ) không chứa đường thằng

Định lý (cấu trúc đa diện lồi có điểm cực biên): Nếu đa diện lồi khơng chứa đường thẳng biểu diễn dạng

trong hữu hạn, tập hữu hạn véctơ

Chứng minh: Ta chứng minh theo thứ tự sau

1 Nếu cho tồn Hơn nữa, với vậy, với

3

4 Tập hữu hạn

5 Tập tập tất tổ hợp nón tập hữu hạn véctơ

Chứng minh (1): Ta có , tức Nếu

(47)

Chứng minh (2): Vì , với , ta có , tức tồn

tia

Chứng minh (3): Rõ ràng nên theo (2)

Ngược lại, , ta chứng minh quy nạp theo

Cơ sở: với tức định lý

Quy nạp: giả sử định lý với , ta chứng minh định lý với Thật vậy, chọn véctơ Vì khơng chứa đường thẳng nên (do

theo định lý trên) Đồng thời, tia phải thoát khỏi điểm đó, khơng chứa tồn đường thẳng Xét siêu phẳng đỡ , đặt Rõ ràng đa diện lồi, không chứa đường thẳng, theo giả thiết quy nạp điểm phải thuộc vào tập

(do ta thêm điều kiện vào đa diện lồi) Rõ ràng

tức Suy

Chứng minh (4): Kết luận (4) hệ bổ đề sau

Bổ đề (điều kiện cực biên đa diện lồi): Nếu điểm cực biên , ràng buộc

được kích hoạt , phải có ràng buộc độc lập tuyến tính, tức có

và độc lập tuyến tính

Chứng minh: Thật vậy, giả sử ngược lại, có ràng buộc độc lập tuyến tính Như vậy, tồn véctơ cho trực giao với tất ràng buộc kích hoạt Xét điểm Rõ ràng, ràng buộc kích hoạt kích hoạt

, ngồi ra, với đủ nhỏ, ràng buộc khơng kích hoạt thỏa mãn , với đủ nhỏ, tức là điểm cực biên, mâu thuẫn

Do số lượng ràng buộc ràng buộc ( số dòng ma trận A) hữu hạn nên số điểm cực biên, , hữu hạn

(48)

bị kích hoạt (tại phải có điều kiện kích hoạt, khơng phải nằm ) Theo giả thiết quy nạp,

với tập hữu hạn Như

Do số ràng buộc, , hữu hạn nên ta đặt ,

Nhận xét:

1 Qua hai định lý trên, tổng hợp lại, ta ln có khẳng định sau: Đa diện lồi ln viết dạng

(*)

trong hữu hạn

2 Có thể chứng minh tập có dạng (*) đa diện lồi

3 Nếu coi biểu diễn biểu diễn từ phía ngồi ( ràng buộc ) biểu diễn (*) biểu diễn từ phía trong, nghĩa có số hữu hạn véctơ mà tất véctơ khác biểu diễn véctơ

4 Với tập đóng, lồi bị chặn, ta biết

5 Hai cách biểu diễn giúp hiểu rõ cấu trúc đa diện lồi, đồng thời giúp trả lời vấn đề mà sử dụng biểu diễn ngồi khó giải thích (xem tiếp dưới)

6 Bổ đề điều kiện cực biên đa diện lồi sở phương pháp đơn hình giải

tốn quy hoạch tuyến tính

Định lý (các phép biến đổi đa diện lồi): Nếu đa diện lồi Ảnh đa diện lồi qua ánh xạ affine ngược đa diện lồi Ảnh đa diện lồi qua ánh xạ affine đa diện lồi Giao hai đa diện lồi đa diện lồi

(49)

Chứng minh: (1) (3) hệ trực tiếp biểu diễn ngoài, (2) (4) hệ trực tiếp biểu diễn phép tốn biến đổi tập lồi nón lồi (Lưu ý, khó chứng minh (2) (4) sử dụng biểu diễn ngồi)

Định lý (hàm tuyến tính bị chặn đạt cực trị đa diện lồi): Nếu hàm tuyến tính bị chặn (chặn dưới) đa diện lồi đạt cực đại (cực tiểu) đa diện lồi

Chứng minh: Nếu bị chặn đa diện lồi với

ta phải có Thật vậy, , rõ ràng với ta có

khơng bị chặn Suy ra, với ta có

Tức cực đại cực đại

Nhận xét:

1 Định lý đảm bảo toán quy hoạch tuyến tính ln có nghiệm hàm mục tiêu bị chặn

2 Khi không chứa đường thẳng, cực đại hàm mục tiêu ln đạt điểm cực biên

3 Với tốn quy hoạch tuyến tính dạng chuẩn tắc

Định dạng
Số trang	49
Dung lượng	796,91 KB