Khoa Toán - Cơ - Tin học, Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội... Tuy nhiên điều ngược lại không đúng.[r]
(1)Các kiến thức sở
Hoàng Nam Dũng
(2)Tập lồi
Định nghĩa
Tập hợpS ⊆Rn tập lồinếu
λx+ (1−λ)y ∈S, ∀λ∈[0,1],x,y ∈S
Nói cách khác đoạn thẳng nối hai điểm hoàn toàn nằm tập hợp hai đầu mút thuộc tập hợp
Tập lồi Tập không lồi
(3)Tập lồi
Định nghĩa
Tập hợpS ⊆Rn tập lồinếu
λx+ (1−λ)y ∈S, ∀λ∈[0,1],x,y ∈S
Nói cách khác đoạn thẳng nối hai điểm hoàn toàn nằm tập hợp hai đầu mút thuộc tập hợp
Tập lồi Tập không lồi
(4)Ví dụ tập lồi
I Tập rỗng, điểm, đường thẳng, tồn khơng gianRn.
I Hình cầu {x ∈Rn| kxk ≤r} với chuẩnk · k và bán kínr cho
trước
I Siêu phẳng (hyperplane) {x ∈Rn|aTx=b}vớia∈Rn, b ∈Rcho trước
I Nửa không gian (halfspace) {x ∈Rn|aTx≤b}vớia∈Rn,
b ∈Rcho trước
I {x ∈Rn|Ax =b}vớiA∈Rm×n,b∈Rm cho trước
I Đa diện {x ∈Rn|Ax ≤b} vớiA∈Rm×n,b ∈Rm cho trước
I
(5)Tổ hợp lồi bao lồi
Định nghĩa
Mộttổ hợp lồi củax1,x2, ,xk ∈Rn tổ hợp tuyến tính
λ1x1+λ2x2+· · ·+λkxk
với hệ sốλ1, λ2, , λk ≥0thỏa mãn
λ1+λ2+· · ·+λk =1
Định nghĩa
Bao lồicủa tập hợp S, conv(S), tập hợp tất tổ hợp lồi phần tử thuộcS
conv(S) tập lồi tập lồi bé chứaS
(6)Tổ hợp lồi bao lồi
Định nghĩa
Mộttổ hợp lồi củax1,x2, ,xk ∈Rn tổ hợp tuyến tính
λ1x1+λ2x2+· · ·+λkxk
với hệ sốλ1, λ2, , λk ≥0thỏa mãn
λ1+λ2+· · ·+λk =1
Định nghĩa
Bao lồicủa tập hợp S, conv(S), tập hợp tất tổ hợp lồi phần tử thuộcS
conv(S) tập lồi tập lồi bé chứaS
(7)Tổ hợp lồi bao lồi
Định nghĩa
Mộttổ hợp lồi củax1,x2, ,xk ∈Rn tổ hợp tuyến tính
λ1x1+λ2x2+· · ·+λkxk
với hệ sốλ1, λ2, , λk ≥0thỏa mãn
λ1+λ2+· · ·+λk =1
Định nghĩa
Bao lồicủa tập hợp S, conv(S), tập hợp tất tổ hợp lồi phần tử thuộcS
conv(S) tập lồi tập lồi bé chứaS
(8)Tổ hợp lồi bao lồi
Định nghĩa
Mộttổ hợp lồi củax1,x2, ,xk ∈Rn tổ hợp tuyến tính
λ1x1+λ2x2+· · ·+λkxk
với hệ sốλ1, λ2, , λk ≥0thỏa mãn
λ1+λ2+· · ·+λk =1
Định nghĩa
Bao lồicủa tập hợp S, conv(S), tập hợp tất tổ hợp lồi phần tử thuộcS
conv(S) tập lồi tập lồi bé chứaS
(9)Hàm lồi
Định nghĩa
Một hàm sốf :S →R,S ⊆Rn, gọi hàm lồinếu
I Miền định nghĩa S tập lồi
I Hàm f thỏa mãn
f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y), ∀λ∈[0,1],x,y ∈S
(10)Hàm lồi
Định nghĩa
Một hàm sốf :S →R,S ⊆Rn, gọi hàm lồinếu
I Miền định nghĩa S tập lồi
I Hàm f thỏa mãn
f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y), ∀λ∈[0,1],x,y ∈S
(11)Hàm lõm
Định nghĩa
Một hàm sốf :S →R,S ⊆Rn, gọi hàm lõmnếu
I Miền định nghĩa S tập lồi
I Hàm f thỏa mãn
f(λx+ (1−λ)y)≥λf(x) + (1−λ)f(y), ∀λ∈[0,1],x,y ∈S
f hàm lõm ⇐⇒ −f hàm lồi
(12)Hàm lồi ngặt hàm lồi mạnh
Định nghĩa
Một hàm lồif :S →Rđược gọi
I lồi ngặt ta có với mọiλ∈(0,1),x,y ∈S,x6=y f(λx+ (1−λ)y)< λf(x) + (1−λ)f(y)
Tức độ cong lớn độ cong hàm tuyến tính
I lồi mạnhnếu tồn tạim>0 chof −mkxk2
2 hàm lồi hay tương đương với
tồn tạim>0sao cho ta có với λ∈[0,1],x,y ∈S f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y)−12mλ(1−λ)kx−yk22
Mối quan hệ:
Lồi mạnh=⇒ lồi ngặt =⇒lồi
(13)Hàm lồi ngặt hàm lồi mạnh
Định nghĩa
Một hàm lồif :S →Rđược gọi
I lồi ngặt ta có với mọiλ∈(0,1),x,y ∈S,x6=y f(λx+ (1−λ)y)< λf(x) + (1−λ)f(y)
Tức độ cong lớn độ cong hàm tuyến tính
I lồi mạnhnếu tồn tạim>0sao cho f −mkxk2
2 hàm lồi hay tương đương với
tồn tạim>0 cho ta có với λ∈[0,1],x,y ∈S f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y)−12mλ(1−λ)kx−yk22
Mối quan hệ:
Lồi mạnh=⇒ lồi ngặt =⇒lồi
(14)Hàm lồi ngặt hàm lồi mạnh
Định nghĩa
Một hàm lồif :S →Rđược gọi
I lồi ngặt ta có với mọiλ∈(0,1),x,y ∈S,x6=y f(λx+ (1−λ)y)< λf(x) + (1−λ)f(y)
Tức độ cong lớn độ cong hàm tuyến tính
I lồi mạnhnếu tồn tạim>0sao cho f −mkxk2
2 hàm lồi hay tương đương với
tồn tạim>0 cho ta có với λ∈[0,1],x,y ∈S f(λx+ (1−λ)y)≤λf(x) + (1−λ)f(y)−12mλ(1−λ)kx−yk22
Mối quan hệ:
(15)Ví dụ hàm lồi
I Hàm đơn biến
• eax trênRvớia∈R • xa trênR
≥0 vớia6∈(0,1)
• −xa trênR≥0vớia∈[0,1]
• −logx trênR>0
I Hàm affine:aTx+b đồng thời vừa hàm lồi, vừa hàm lõm
I Hàm bậc 2: 12xTAx +bTx+c vớiA nửa xác định dương (A0)
I Least square lost: ky−Axk22
I Chuẩnkxkbất kì, ví dụ chuẩn Lp
I Hàm max: f(x) = max{x1,x2, ,xn}
I
(16)Đặc trưng hàm lồi
I Epigraph:
epi(f) ={(x,t)∈dom(f)×R|f(x)≤t}
f hàm lồi ⇐⇒ epi(f) tập lồi
I Tập mức dưới: Nếu f lồi tập mức
{x ∈dom(f)|f(x)≤α}
là lồi với α∈R Tuy nhiên điều ngược lại không
(17)Đặc trưng hàm lồi
I Epigraph:
epi(f) ={(x,t)∈dom(f)×R|f(x)≤t}
f hàm lồi ⇐⇒ epi(f) tập lồi
I Tập mức dưới: Nếu f lồi tập mức
{x ∈dom(f)|f(x)≤α}
là lồi với α∈R Tuy nhiên điều ngược lại không
(18)Đặc trưng hàm lồi
I Epigraph:
epi(f) ={(x,t)∈dom(f)×R|f(x)≤t}
f hàm lồi ⇐⇒ epi(f) tập lồi
I Tập mức dưới: Nếu f lồi tập mức
{x ∈dom(f)|f(x)≤α}
là lồi với α∈R Tuy nhiên điều ngược lại không
(19)Đặc trưng hàm lồi
I Epigraph:
epi(f) ={(x,t)∈dom(f)×R|f(x)≤t}
f hàm lồi ⇐⇒ epi(f) tập lồi
I Tập mức dưới: Nếu f lồi tập mức
{x ∈dom(f)|f(x)≤α}
(20)Đặc trưng hàm lồi
Định lý (Đặc trưng bậc nhất)
Nếuf khả vi f hàm lồi dom(f) tập lồi
f(y)≥f(x) +∇f(x)T(y−x), ∀x,y ∈dom(f)
Định lý (Đặc trưng bậc hai)
Nếuf khả vi hai lần hàm lồi dom(f) tập lồi
∇2f(x)0, ∀x∈dom(f)
Định lý (Bất đẳng thức Jenssen)
Nếuf hàm lồi X biến ngẫu nhiên dom(f) f(E[X])≤E[f(X)]