Giải bài toán Fermat–Torricelli tổng quát bằng kĩ thuật trơn hóa Nesterov_2

Kể từ đó tới nay, bài toán đã thu hútđược sự quan tâm nghiên cứu của nhiều nhà toán học khi tổng quát hóabài toán từ hệ 3 điểm sang hệ k điểm trong mặt phẳng cũng như trongkhông gian hữu

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

BỘ GIÁO DỤC VÀ ĐÀO TẠOTRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2

——————–o0o——————–

PHẠM THỊ HỒNG DUYÊN

GIẢI BÀI TOÁN FERMAT-TORICELLI TỔNG

QUÁT BẰNG KĨ THUẬT TRƠN HÓA

NESTEROV

Chuyên ngành: Toán giải tích

Mã số: 8 46 01 02

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI VĂN ĐỊNH

Hà Nội - 2018

Lời cảm ơn

Trước khi trình bày nội dung chính của khóa luận, em xin bày tỏ lòngbiết ơn sâu sắc tới TS Bùi Văn Định, người đã tận tình hướng dẫn để

em có thể hoàn thành khóa luận này

Em cũng xin bày tỏ lòng biết ơn chân thành tới phòng sau đại học,các thầy cô giáo khoa Toán, trường Đại học Sư phạm Hà Nội 2 đã dạybảo em tận tình trong suốt quá trình học tập tại trường

Nhân dịp này em cũng xin được gửi lời cảm ơn chân thành tới giađình, bạn bè đã luôn bên em, cổ vũ, động viên, giúp đỡ và tạo điều kiệnthuận lợi cho em trong suốt quá trình học tập và thực hiện khóa luậntốt nghiệp

Xin chân thành cảm ơn!

Hà Nội, ngày tháng 6 năm 2018

Tác giả

Phạm Thị Hồng Duyên

Lời cam đoan

Khóa luận được hoàn thành sau quá trình tự tìm hiểu, nghiên cứucủa bản thân và sự hướng dẫn của TS Bùi Văn Định, luận văn chuyênngành Toán Giải tích với đề tài “Giải bài toán Fermat-Toricelli tổng quátbằng kĩ thuật trơn hóa Nesterov”

Trong khóa luận em có tham khảo các kết quả nghiên cứu của cácnhà khoa học trong và ngoài nước Em xin cam đoan kết quả của khóaluận này là không sao chép từ bất cứ khóa luận nào Em xin chịu hoàntoàn trách nhiệm về lời cam đoan của mình

Hà Nội, ngày tháng 6 năm 2018

Tác giả

Phạm Thị Hồng Duyên

Mục lục

Mở đầu vii

Nội dung chính x

1 Kiến thức chuẩn bị 1 1.1 Một số khái niệm và kết quả cơ bản từ giải tích lồi 1

1.1.1 Tập lồi 1

1.1.2 Hàm lồi 5

1.2 Phương pháp gradient 10

1.3 Kĩ thuật trơn hóa Nesterov và tăng tốc thuật toán gradient 14 1.3.1 Kĩ thuật trơn hóa Nesterov 14

1.3.2 Tăng tốc thuật toán gradient 20

1.3.3 Nguyên lý MM 21

2 Bài toán Fermat - Torricelli đối với hệ hữu hạn điểm 23 2.1 Phát biểu bài toán Fermat - Torricelli 23

2.2 Phương pháp giải 25

2.2.1 Thuật toán 2.1 26

2.2.2 Chú ý 27

3 Bài toán Fermat–Torricelli đối với hệ hữu hạn tập hợp 28

3.1 Phát biểu bài toán Fermat–Torricelli 28

3.2 Phương pháp giải 30

3.2.1 Thuật toán 2.2 30

3.2.2 Một số ví dụ 39

Tài liệu tham khảo 45

Danh sách hình vẽ

1.1 Tập lồi, Tập không lồi 21.2 Hàm lồi, Hàm lõm 51.3 Nếu ∇f (x) 6= 0, ta có f (x − α∇f (x)) < f (x), ∀α ∈ (0, σ) 111.4 Hướng d tạo với ∇f (x) một góc lớn hơn 900 khi đó ∇f (x)0d <

0 và f (x − α∇f (x)) < f (x), ∀α ∈ (0; σ) 113.1 Thuật toán MM đối với một bài toán Fermat-Torricelli

suy rộng 303.2 Bài toán Fermat-Torricelli suy rộng với các chuẩn khác

nhau 403.3 Bài toán Fermat-Torricelli với các thành phố của Mỹ 413.4 Bài toán Fermat-Torricelli suy rộng với phương pháp MM 42

Mở đầu

1 Lý do chọn đề tài

Vào năm 1643, nhà toán học nổi tiếng người Pháp Pierre de Fermat

đã đưa ra trong cuốn sách Treatise on Maxima and Minima bài toán:Cho ba điểm trong mặt phẳng, tìm điểm thứ tư sao cho tổng khoảngcách từ điểm này tới ba điểm trên là nhỏ nhất Bài toán này đã được giảibởi nhà toán học người Ý Evangaelista Torricelli (1608-1647) và đượcgọi là bài toán Fermat-Torricelli Kể từ đó tới nay, bài toán đã thu hútđược sự quan tâm nghiên cứu của nhiều nhà toán học khi tổng quát hóabài toán từ hệ 3 điểm sang hệ k điểm trong mặt phẳng cũng như trongkhông gian hữu hạn chiều; từ tổng các khoảng cách trong hệ điểm không

có trọng số đến tổng các khoảng cách có trọng số và từ hệ hữu hạn điểmcho đến hệ hữu hạn tập Ngày nay, bài toán này đã và đang tìm đượcnhiều ứng dụng trong khoa học và kĩ thuật

Một trong những vấn đề quan trọng đặt ra khi tiếp cận bài toánFermat-Torricelli tổng quát là xây dựng các thuật toán hữu hiệu để giải,

vì vậy mục tiêu của bản luận văn là nhằm xây dựng một số thuật toángiải bài toán Fermat-Torricelli cho hệ hữu hạn điểm và bài toán Fermat-Torricelli cho hệ hữu hạn tập Do bài toán này có thể được viết dướidạng một bài toán tối ưu với hàm mục tiêu là không trơn, nên chúng tôitrình bày cách tiếp cận bài toán bằng cách sử dụng kĩ thuật trơn hóahàm mục tiêu của Nesterov và sử dụng thuật toán gradient cải biên để

giải bài toán.

Từ những lí do trên, chúng tôi chọn đề tài nghiên cứu của luận vănlà: “GIẢI BÀI TOÁN FERMAT-TORICELLI TỔNG QUÁTBẰNG KĨ THUẬT TRƠN HÓA NESTEROV” nhằm có điềukiện tiếp cận sâu hơn, làm phong phú kiến thức của mình và ứng dụngvào giải một lớp các bài toán nảy sinh từ thực tế

2 Mục đích nghiên cứu

Nghiên cứu một số kĩ thuật giải Bài toán Fermat-Torricelli tổng quát

và ứng dụng giải một số bài tập nảy sinh trong thực tế

3 Nhiệm vụ nghiên cứu

[1] Xây dựng các thuật toán số hữu hiệu giải bài toán Fermat-Torricelliđối với hệ hữu hạn điểm

[2] Xây dựng các thuật toán số hiệu quả giải bài toán Fermat-Torricelliđối với hệ hữu hạn tập

4 Đối tượng - Phạm vi nghiên cứu

Đối tượng nghiên cứu: Bài toán Fermat-Torricelli tổng quát

Phạm vi nghiên cứu: Tìm hiểu các bài báo và tài liệu liên quan đếnbài toán Fermat-Torricelli tổng quát để xây dựng thuật toán giải bàitoán Fermat-Torricelli

5 Phương pháp nghiên cứu

Sử dụng các công cụ của giải tích lồi, lý thuyết tối ưu, kĩ thuật trơnhóa Nesterov và phương pháp Gradient cải biên

6 Dự kiến đóng góp mới của đề tài

Đề tài hệ thống một số các kết quả gần đây về bài toán Torricelli cho hệ hữu hạn điểm và bài toán Fermat-Torricelli cho hệhữu hạn tập

Fermat-Nội dung chính

1 Kết cấu nội dung

Luận văn gồm 3 chương:

• Chương 1: Kiến thức chuẩn bị

1.1 Một số khái niệm và kết quả có bản từ giải tích lồi1.1.1 Tập lồi

1.1.2 Hàm lồi1.2 Phương pháp gradient1.3 Kĩ thuật trơn hóa Nesterov và tăng tốc thuật toán gradient1.3.1 Kĩ thuật trơn hóa Nesterov

1.3.2 Tăng tốc thuật toán gradient1.3.3 Nguyên lý MM

• Chương 2: Bài toán Fermat-Toricelli đối với hệ hữu hạnđiểm

2.1 Phát biểu bài toán2.2 Phương pháp giải2.2.1 Thuật toán 2.12.2.2 Một số ví dụ

• Chương 3 Bài toán Fermat-Toricelli đối với hệ hữuhạn tập hợp

3.1 Phát biểu bài toán

3.2 Phương pháp giải3.2.1 Thuật toán 2.23.2.2 Một số ví dụ

Chương 1

Kiến thức chuẩn bị

Trong chương này chúng tôi trình bày một số kiến thức cơ bản về tậplồi, hàm lồi trên không gian Euclid n chiều - Rn, phương pháp gradi-ent, kĩ thuật trơn hóa của Nesterov, tăng tốc thuật toán gradient, cùngnguyên lý MM để giải bài toán tối ưu có cấu trúc

lồi

1.1.1 Tập lồi

Định nghĩa 1.1.1 Tập F ⊂ Rn được gọi là lồi nếu F chứa mọi đoạnthẳng nối hai điểm bất kì của nó Nói cách khác, F là tập lồi khi và chỉkhi với mọi x, y ∈ F và với mọi t ∈ [0; 1] ta có tx + (1 − t)y ∈ F

Hình 1.1: Tập lồi, Tập không lồi

Ví dụ 1.1.1 Các tam giác và hình tròn trong mặt phẳng là các tập lồi.Hình cầu đơn vị trong không gian Rn là tập lồi

Định nghĩa 1.1.2 Giả sử Θ là một tập con lồi, đóng, và khác rỗng của

Rn và ¯x ∈ Θ Nón pháp tuyến của Θ tại ¯x được xác định như sau:

Dễ thấy tập F := {x ∈ Rn|kxkA ≤ 1} trơn do với kxkX = 1 ta có

N (x; F ) = cone {Ax}; xem [8, Mệnh đề 2.48]

Cho một tập hợp lồi, compact F ⊂ Rn chứa điểm gốc tọa độ là mộtđiểm trong, ta định nghĩa hàm

σF(u) := sup {hu, xi |x ∈ F } (1.1)Mệnh đề sau cho ta một số tính chất của hàm σF

Mệnh đề 1.1.1 Với hàm σF xác định bởi công thức (1.1), các tính chấtsau là đúng với mọi u, v ∈ Rn và λ ≥ 0

(i) kσF(u) − σF(v)k ≤ kF kku − vk ở đó kF k := sup{kf k|f ∈ F };

(ii) σF(u + v) ≤ σF(u) + σF(v);

(iii) σF(λu) = λσF(u) và σF(u) = 0 khi và chỉ khi u = 0;

(iv) σF là chuẩn nếu ta giả sử thêm F đối xứng, tức là F = −F ;

(v) γkuk ≤ σF(u) trong đó γ := sup{r > 0|B(0; r) ⊂ F }

Kí hiệu

BF∗ := {u ∈ Rn|σF(u) ≤ 1}

Định nghĩa 1.1.5 Tập con lồi Θ ⊂ Rn được gọi là lồi chặt nếu:

tu + (1 − t)v ∈ intΘ với mọi u, v ∈ Θ và t ∈ (0, 1)

Mệnh đề 1.1.2 Tập F là trơn khi và chỉ khi tập BF∗ là lồi chặt

Chứng minh Giả sử F trơn Chọn u, v ∈ BF∗ với u 6= v và t ∈(0, 1) Chúng ta sẽ chỉ ra tu + (1 − t)v ∈ intBF∗ hoặc tương đương

σF (tu + (1 − t)v) < 1 Ta chỉ cần xét trường hợp σF(u) = σF(v) = 1.Chọn ¯x, ¯y ∈ F sao cho:

hu, ¯xi = σF(u) = 1, hv, ¯yi = σF(v) = 1,

và chọn e ∈ F sao cho htu + (1 − t)v, ei = σF (tu + (1 − t)v) Dễ thấy

σF (tu + (1 − t)v) ≤ 1

Ngược lại, giả sử σF (tu + (1 − t)v) = 1 Khi đó

1 = htu + (1 − t)v, ei = t hu, ei+(1−t) hv, ei ≤ t hu, ¯xi+(1−t) hv, ¯yi = 1

Từ đó, ta thấy hu, ei = hu, ¯xi = 1 = σF(u) và hv, ei = hv, ¯yi = 1 = σF(v).Nên

hu, xi ≤ hu, ei , ∀x ∈ Fsuy ra u ∈ N (e, F ) Tương tự ta có v ∈ N (e, F ) Do F trơn nên u = λvtrong đó λ > 0 Vậy

α

α + β +

vβ

Chú ý 1.1.1 Giả sử F trơn Từ kết quả chứng minh Mệnh đề 1.1.2 với

u, v ∈ Rn trong đó u, v 6= 0, ta có σF(u + v) = σF(u) + σF(v) khi và chỉkhi u = λv với một số λ > 0

Định nghĩa 1.1.8 Hàm khoảng cách suy rộng xác định bởi F tới tập

Θ được xác định bởi

dF(x, Θ) := inf {σF(x − w)|w ∈ Θ} (1.2)Nếu F là hình cầu đơn vị đóng của Rn, thì hàm khoảng cách suy rộng(1.2) trở thành hàm khoảng cách thông thường

dF(x, Θ) := inf {kx − wk |w ∈ Θ} (1.3)Hình chiếu suy rộng từ một điểm x ∈ Rn đến tập hợp Θ được xác địnhdựa theo hàm khoảng cách suy rộng (1.2) như sau:

πF(x; Θ) := {w ∈ Θ|σF(x − w) = dF(x; Θ)} (1.4)Chú ý rằng hình chiếu suy rộng của một điểm có thể không duy nhất.Chúng ta trình bày một số tính chất quan trọng của hàm khoảng cáchsuy rộng và hình chiếu suy rộng sẽ được sử dụng về sau

Mệnh đề 1.1.3 Cho tập lồi, đóng, khác rỗng Θ, xét hàm khoảng cáchsuy rộng (1.2) và hình chiếu suy rộng (1.4) Những khẳng định sau đây

(iii) Giả sử ngược lại rằng ¯w ∈ intΘ Chọn t ∈ (0, 1) đủ nhỏ sao cho

(iv) Nếu ¯x ∈ Θ, thì πF(¯x; Θ) = {¯x} Xét trường hợp nếu ¯x /∈ Θ Giả sửngược lại rằng tồn tại ¯w1, ¯w2 ∈ πF(¯x; Θ) với ¯w1 6= ¯w2 Khi đó

σF(¯x − ( ¯w1 + ¯w2)/2) < γ = dF(¯x; Θ),điều này là mâu thuẫn

Định nghĩa 1.1.9 Giả sử f : Rn →R là một hàm lồi Với ¯x ∈ Rn, dướigradient của f tại ¯x là một véctơ v ∈ Rn thỏa mãn

hv, x − ¯xi ≤ f (x) − f (¯x), ∀x ∈ Rn

Tập hợp tất cả các dưới gradient của f tại ¯x được gọi là dưới vi phâncủa f tại ¯x và được kí hiệu là ∂f (¯x).

Định lý 1.1.1 • Giả sử fi : Rn → R, i = 1, , m là các hàm lồi,khi đó ta có:

(iii) Nếu F là trơn và tròn, thì hàm σF(.) khả vi tại mọi điểm kháckhông, và hàm dF(.; Θ) là khả vi liên tục trên tập phần bù của Θtrong Rn với

(ii) Hàm dF(.; Θ) có thể được biểu thị theo hàm tích chập infimal nhưsau:

dF(x; Θ) = inf {σF(x − w) + δ(w; Θ)|w ∈ Rn} = (g ⊕ σF)(x),với g(x) := δ(x; Θ) là hàm đặc trưng của Θ Tức là, δ(x; Θ) = 0nếu x ∈ Θ, và δ(x; Θ) = ∞ nếu x 6∈ Θ Với ¯w := πF(¯x; Θ), ta có

¯

x ∈ N (p1; F ) = cone {a1} , ¯x ∈ N (p2; F ) = cone {a2} Nên tồn tại λ1, λ2 > 0 sao cho ¯x = λ1a1 = λ2a2, và do đó N (p1; F ) =

N (p2; F ) mâu thuẫn với tính trơn và kín của F Do đó, ∂σF(¯x) =S(¯x) là duy nhất, và do đó σF khả vi tại ¯x theo [8, Định lý 3.3]

Hệ quả 1.1.1 Đối với một tập hợp lồi, đóng và khác rỗng Θ, dưới viphân của hàm khoảng cách suy rộng (1.3) cho bởi công thức sau:

, ¯x /∈ Θ

Phương pháp gradient là một trong những phương pháp cơ bản quantrọng được sử dụng để giải các bài toán cực tiểu không rằng buộc vì nóđơn giản, thuận tiện trong quá trình tính toán và có thể áp dụng cho cáclớp khá rộng các hàm khả vi Ý tưởng của phương pháp này là tại mỗibước lặp thứ k ta chọn hướng giảm dk = −∇f (xk) đây chính là hướng

mà hàm mục tiêu f giảm nhanh nhất tại xk Vì vậy người ta còn gọiphương pháp gradient là phương pháp hướng giảm nhanh nhất

Cho vectơ x thuộc Rn với ∇f (x) 6= 0, ta xét dáng điệu của hàm fdọc theo tia xuất phát từ điểm x theo hướng −∇f (x):

Từ quan sát trên ta có thuật toán hướng giảm sau:

Thuật toán Chọn x0 ∈ Rn và độ dài bước αk > 0 Tại mỗi bước lặp

k = 0, 1, có xk thực hiện các bước sau:

Bước 1 Tính ∇f (xk) Nếu ∇f (xk) = 0 thì thuật toán kết thúc và xk

là điểm dừng Trái lại chuyển sang Bước 2

Bước 2 Tính

xk+1 := xk − λk∇f (xk),trong đó λk > 0 (độ dài bước) sao cho f (xk+1) ≤ f (xk) Thay k := k + 1

và quay về bước lặp k

Một số cách xác định độ dài bước là:

1 Quy tắc chính xác: αk = argmin{f (xk + λdk) : λ ≥ 0}

2 Quy tắc Armijo: Lấy số tự nhiên nhỏ nhất m sao cho

f (xk − ξ/2m∇f (xk)) − f (xk) ≤ −ξ/2mk∇f (xk)k2, (A)trong đó 0 <  < 1, ξ > 0 cho trước Khi đó, lấy αk = 2ξm

Định lý 1.2.1 Giả sử f bị chặn dưới và gradient ∇f là Lipschitz, nghĩalà

Từ điều kiện 0 <  < 1, chúng ta luôn chọn được số tự nhiên nhỏ nhất

f (xk+1) − f (xk) < −(1 − )

2L k∇f (xk)k2 (1.10)Suy ra {f (xk)} đơn điệu giảm Theo giả thiết, f bị chặn dưới nênlim f (xk) > −∞ Do đó f (xk+1) − f (xk) → 0 Lấy giới hạn (1.10) khi

Thay t = m0 vào bất đẳng thức này, ta được

toán gradient

Trong phần này, chúng tôi nghiên cứu và cung cấp chi tiết hơn về kĩthuật trơn hóa và phương pháp tăng tốc gradient của Nesterov đã đượcgiới thiệu ở [10] Đồng thời, chúng tôi cũng đưa ra một dạng chung củanguyên tắc MM được biết đến rộng rãi trong thống kê máy tính

1.3.1 Kĩ thuật trơn hóa Nesterov

Cho f : Rn →R là một hàm lồi, xét bài toán tối ưu sau:

M inf (x) : x ∈ Ω ,trong đó f không nhất thiết là hàm số khả vi và Ω là một tập hợp conlồi đóng khác rỗng của Rn

Hàm mục tiêu được biểu diễn dưới dạng sau:

f (x) := max{hAx, ui − φ(u)|u ∈ Q}, x ∈ Rn

Ở đó A là ma trận m × n, Q là tập con compact lồi khác rỗng của Rm,

và φ là hàm lồi liên tục trên Q

Gọi d là hàm lồi mạnh liên tục trên Q với hệ số σ > 0 Hàm d đượcgọi là một hàm prox (gần kề) ở trên Q Do d là hàm lồi mạnh trên Qnên d có duy nhất nghiệm tối ưu trên tập này, cho bởi

fµ(x) := max{hAx, ui − φ(u) − µ|u ∈ Q} (1.14)Với ma trận cấp m × n, A = (aij m×n), thì

Định lý dưới đây, cho phép ta tính được hàm trơn hóa fµ của f

Định lý 1.3.1 Giả sử hàm f cho bởi công thức

f (x) := max{hAx, ui − hb, ui |u ∈ Q}, x ∈ Rn

Ở đó A là ma trận m × n và Q là tập con compact của Rm, và d(u) =1

d(¯u + Ax − b

µ ; Q)

2

.Ngoài ra, hàm f là khả vi liên tục trên Rn với gradient cho bởi

fµ(x) ≤ f (x) ≤ fµ(x) + µ

2[D(¯u; Q)]

2

với mọi x ∈ Rn, (1.16)trong đó D(¯u; Q) là khoảng cách từ ¯u tới Q và khoảng cách này đượcxác định công thức:

= kAx − bk2

2µ + hAx − b, ¯ui −

µ2

d

Từ tính chất của phép chiếu (xem [6, Mệnh đề 3.1.3 trang 118]) và bấtđẳng thức Cauchy-Schwarz, với mọi x, y ∈ Rn, ta có:

f (x) := kAx − bkX∗

1 + λkxkX∗

2,trong đó A là ma trận m × n, b ∈ Rm và λ > 0 Sử dụng hàm prox,d(u) = 1

2kuk2, ta có thể xác định được hàm xấp xỉ trơn fµ của f nhưsau:

fµ(x) = kAx − bk2

2µ −µ

2

d

x

µ; BX2

2!

.Gradient của fµ là

x

µ; BX2

, x ∈ Rn.Hằng số Lipschitz của fµ là

µ, e, −e

,

trong đó e = [1, , 1]T ∈ Rn

Dưới đây là một ví dụ khác về bài toán máy vector hỗ trợ (supportvector machines)

Ví dụ 1.3.2 Với s := {(Xi, yi)}mi=1, là một tập huấn luyện trong đó

Xi ∈ Rp là hàng thứ i của ma trận X và yi ∈ {−1; 1} Bài toán máyvectơ hỗ trợ tuyến tính tương ứng có thể đưa về bài toán sau:

và hằng số Lipschitz là:

Lµ = 1 + λkYXk2

µ .1.3.2 Tăng tốc thuật toán gradient

Giả sử, f : Rn →R là hàm lồi khả vi có gradient ∇f là Lipschitz, tức

là, tồn tại hằng số ` sao cho

k∇f (x) − ∇f (y)k ≤ `, kx − yk , ∀x, y ∈ Rn.Gọi Ω là tập lồi, đóng và khác rỗng Ta xét bài toán sau

M in{f (x) với x ∈ Ω}

Với mỗi x ∈Rn, ta định nghĩa

TΩ(x) := arg min

h∇f (x), y − xi + `

2kx − yk2|y ∈ Ω

.Gọi ρ :Rn → R là hàm lồi mạnh với hệ số σ > 0 và x0 ∈ Rn sao cho

Bước khởi tạo Chọn x0 ∈ Ω

Bước lặp thứ k Có xk, thực hiện các bước sau:

i + 1

2 [f (xi) + h∇f (xi), x − xii] |x ∈ Ω