Sỡ lữủc vã b i toĂn tối ữu
B i to¡n tèi ÷u
Cho f :R n → R Tẳm cỹc tiºu àa phữỡng x ∗ cừa f, nghắa l , f(x ∗ )≤ f(x),∀x ∈ U x ∗ , (1.1.1) trong õ, U x ∗ l lƠn cên àa phữỡng n o õ cừa x ∗ º ngưn gồn, ta viát minx f(x) (1.1.2)
• x ∗ : iºm cüc tiºu hay cüc tiºu,
• B i toĂn (1.1.1): B i toĂn cỹc tiºu khổng r ng buởc.
B i toĂn cỹc tiºu cõ r ng buởc (constrained optimization) l b i toĂn tẳm x ∗ sao cho f(x ∗ ) ≤ f(x),∀x∈ U x ∗ ∩ U, (1.1.3) vợi U cho trữợc Nõ cõ thº viát dữợi dÔng minx∈U f(x).
B i toĂn cỹc tiºu to n cửc (global optimization) l b i toĂn tẳm x ∗ sao cho f(x ∗ ) ≤ f(x),∀x (1.1.4) iãu kiằn tối ữu
CĂc iãu kiằn cƯn thiát cho sỹ tối ữu ữủc rút ra bơng cĂch giÊ sỷ rơng x ∗ l iºm cỹc tiºu àa phữỡng v sau õ chựng minh tẵnh chĐt cừa
∇f(x ∗ ) v ∇ 2 f(x ∗ ). ành lỵ 1.1.1 (iãu kiằn cƯn) Cho f ∈C 2 (Ux ∗ ) v x ∗ l mởt cỹc tiºu àa ph÷ìng cõa f Khi â
Hìn núa, ta cán câ
Tứ ành lẵ trản ta ành nghắa cĂc khĂi niằm sau: Điều kiện cần và đủ để một điểm x* là cực tiểu của hàm số f là ∇f(x*) = 0 và ∇²f(x*) > 0 Khi đó, x* thỏa mãn điều kiện cần và đủ mởt, và được gọi là điểm dừng hay điểm tối ưu.
KhĂi quĂt b i toĂn tối ữu cõ r ng buởc
Tứ mửc n y cho án hát chữỡng 1, ta s³ x²t b i toĂn tối ữu r ng buởc têng qu¡t nh÷ sau x∈minR n
Trong bài viết này, chúng ta xem xét các điều kiện cần thiết cho một hàm mục tiêu, trong đó \( c_i(x) = 0 \) cho \( i \in E \) và \( c_j(x) \geq 0 \) cho \( j \in I \) Các hàm này được định nghĩa trên tập hợp số hữu hạn, với \( f \) là hàm mục tiêu và \( c_i, c_j \) là các hàm ràng buộc Hàm \( c_i(x) \) đại diện cho các ràng buộc không thực hiện, trong khi \( c_j(x) \) thể hiện các ràng buộc thực hiện Điều này giúp chúng ta hiểu rõ hơn về cấu trúc của vấn đề tối ưu hóa.
Ω = {x∈ R n :c i (x) = 0, i ∈ E, c j (x) ≥ 0, j ∈ I} Theo đó, bài toán (1.1.5) có thể được viết lại dưới dạng minx∈Ω f(x) Một điểm x ∗ ∈ R n được gọi là một nghiệm tối ưu của (1.1.5) nếu x∈ Ω và có một lân cận N của x ∗ trong R n sao cho f(x) ≥ f(x ∗ ), ∀x∈ N ∩Ω Nếu ta thay dấu "≥" trong (1.1.8) bằng dấu ">", ta có khái niệm nghiệm tối ưu cục bộ Định nghĩa 1.1.4 cho x ∈ Ω, tập hoạt động (active set) A(x) được định nghĩa là.
Ràng buộc bắt đầu thực hiện được gọi là hoạt động khi điều kiện cận (x) = 0, trong khi ràng buộc lỏng khi điều kiện cận (x) > 0 Định nghĩa 1.1.5 cho thấy rằng chúng ta nói đến điều kiện kiểm tra ràng buộc ở lớp tuyến tính (LICQ) được thỏa mãn khi tôi tiếp cận các gradient của các ràng buộc hoạt động.
Để phát biểu các điều kiện tối ưu cho bài toán tối ưu có ràng buộc, ta sử dụng điều kiện Karush-Kuhn-Tucker (KKT) Trong bối cảnh này, khi giải quyết một bài toán tối ưu với hàm mục tiêu và ràng buộc, điều kiện LICQ cần được thỏa mãn Nếu tồn tại một nhân tử Lagrange λ ∗ = (λ ∗ i), với i thuộc tập E ∪ I, các điều kiện KKT phải được thỏa mãn tại điểm tối ưu (x ∗, λ ∗).
∇xL(x ∗ , λ ∗ ) = 0, (1.1.9) ci(x ∗ ) = 0,vợi mồi i ∈ E, (1.1.10) ci(x ∗ ) ≥ 0,vợi mồi i ∈ I, (1.1.11) λ ∗ i ≥ 0,vợi mồi i ∈ I, (1.1.12) λ ∗ i c i (x ∗ ) = 0,vợi mồi i ∈ E ∪ I (1.1.13)Chựng minh cừa ành lỵ n y ữủc trẳnh b y chi tiát trong [4].
Tối ữu h m mửc tiảu bêc hai vợi r ng buởc bĐt ¯ng thùc
Trong mửc n y, º tông tẵnh tờng quĂt chúng tổi s³ x²t b i toĂn sau minx q(x) = 1
Trong bài toán tối ưu hóa, chúng ta xem xét các điều kiện như \(a^T_i x = b_i\) với \(i \in E\) và \(a^T_i x \geq b_i\) với \(i \in I\) Nếu \(b_i\) là một vector không rỗng, ta có thể coi \(E = \emptyset\) trong các biểu thức So với bài toán tuyến tính, hàm mục tiêu là một hàm bậc hai và các ràng buộc là các hàm tuyến tính Nếu \(G\) là một ma trận xác định dương, bài toán được gọi là bài toán quy hoạch tối ưu Nếu \(G\) xác định dương, bài toán được gọi là bài toán tối ưu chất lượng Trong trường hợp có lỗi, việc giải bài toán (1.1.14)-(1.1.16) sẽ khó khăn hơn và có thể dẫn đến nhiều cực trị tại các phương hướng khác nhau.
Trữợc hát, ta hÂy Ăp dửng lỵ thuyát tờng quĂt cừa tối ữu cõ r ng buởc v o B i toĂn (1.1.14)-(1.1.16) H m Lagrange cho b i toĂn n y l
Khi õ, têp ch¿ số hoÔt tÔi x ∗ , A(x ∗ ) bao gỗm cĂc ch¿ số thọa mÂn
A(x ∗ ) i ∈ E ∪ I : a T i x ∗ = b i p dửng cĂc iãu kiằn cừa ành lỵ 1.1.6, ta suy ra iãu kiằn cƯn tối ữu cho nghiằm x ∗ l tỗn tÔi cĂc nhƠn tỷ Lagrange λ ∗ i , i ∈ A(x ∗ ) º cho
Lưu ý rằng chúng ta không còn cần áp dụng các điều kiện LICQ như đã nêu trong đoạn 1.1.6 Sau đó, chúng ta sẽ phát biểu một trường hợp đặc biệt liên quan đến những điểm quan trọng trong thực tế khi giải bài toán tối ưu toàn phương Đoạn 1.1.7 sẽ đề cập đến việc xác định các điều kiện (1.1.18)-(1.1.20) với các λ ∗ i ∈ A(x ∗) và nêu rõ việc xác định dữ liệu (bao gồm xác định dữ liệu) cho x ∗ liên quan đến bài toán (1.1.14)-(1.1.16).
Chựng minh cừa ành lỵ n y ữủc trẳnh b y trong [4] Cụng tứ chựng minh, ta suy rơng náu G xĂc ành dữỡng thẳ x ∗ l nghiằm duy nhĐt.
Mởt số phữỡng phĂp giÊi b i toĂn tối ữu
Ph÷ìng ph¡p Newton
Trong mửc n y, ta giÊ sỷ rơng cĂc iãu kiằn sau Ơy luổn ữủc thọa m¢n. ành nghắa 1.2.1 CĂc iãu kiằn sau êy ữủc gồi l giÊ thiát tiảu chu©n.
• f khÊ vi cĐp hai v thoÊ mÂn iãu kiằn Lipschitz vợi Hessian k∇ 2 f(x)− ∇ 2 f(x)k ≤γkx−yk.
• H m f thọa mÂn iãu kiằn cƯn tÔi x ∗
Phương pháp Newton xây dựng một dây lặp hỏi tử tại nghiệm Chúng ta sẽ tập trung phân tách việc tính giá trị tiếp theo x + và giá trị hàm tại x c Cách lặp này tìm cực tiểu của một hàm bậc hai, mà ta gọi là một hàm bậc hai, với f xung quanh x c được biểu diễn bởi f(x c ) + ∇f(x c ) T (x−x c ) + 1.
2(x−x c ) T ∇ 2 f(x c )(x−x c ). Náu ∇ 2 f(x c ) > 0, cỹc tiºu duy nhĐt x + cừa m c (x) l nghiằm duy nhĐt cừa phữỡng trẳnh ∇m c (x) = 0. iãu n y tữỡng ữỡng vợi
Khi õ, bữợc cêp nhêt s³ l x + = x c +s, vợi s= −(∇ 2 f(xc)) −1 ∇f(xc).
Lữu ỵ rơng náu x c xa cỹc tiºu thẳ ∇ 2 f(x c ) cõ thº khổng l spd nản nghiằm x + cõ thº l cỹc Ôi ho°c iºm yản ngỹa Tuy nhiên, điều này sẽ dẫn đến việc giá trị của hàm bậc hai ∇ 2 f(x ∗ ) > 0, cho thấy tính chất tiêu chuẩn của nó.
Sỹ hởi tử cừa phữỡng phĂp Newton ữủc nảu trong ành lẵ sau. ành lỵ 1.2.2 GiÊ sỷ cĂc giÊ thiát tiảu chuân ữủc thọa mÂn X²t dÂy l°p x k+1 = x k +p k , vợi pk = −∇ 2 f k −1 ∇f k Khi õ:
• Náu x 0 ừ gƯn x ∗ thẳ dÂy {x k } hởi tử tợi x ∗
• Tốc ở hởi tử l q-bêc hai.
• DÂy chuân cừa gradient {k∇f k k} hởi tử q-bêc hai tợi 0.
Ph÷ìng ph¡p gi£m s¥u nh§t
Nhữ Â biát hữợng giÊm sƠu nhĐt (steepest descent) tÔi x l d= −∇f(x) Phữỡng phĂp n y cêp nhêt x c bði cổng thực x + =x c −λ∇f(x c ), (1.2.1) trong õ λ > 0 l ở d i bữợc.
Mức độ giảm sút hiệu quả của phương pháp xác định ước lượng là rất quan trọng trong việc tối ưu hóa Việc lựa chọn λ phù hợp là yếu tố then chốt để đảm bảo hàm φ(λ) = f(xc - λ∇f(xc)) đạt được kết quả tối ưu nhất.
Những bài toán trong hữu hạn trường hợp cụng khổng đã giải hơn bài toán cực trị Vậy nên, người ta tìm một cách tiếp cận mới Ta xét mô hình xác định bậc mởt cửa f(x) m c (x) = f(x c ) + ∇f(x c )(x−x c ).
Qua bữợc cêp nhêt (1.2.1), mổ hẳnh bêc mởt (l xĐp x¿ Taylor bêc mởt cừa h m mửc tiảu) s³ giÊm p red = m c (x c )−m c (x + )
V ở giÊm tữỡng ựng cừa h m mửc tiảu l
Để đạt được điều kiện tối ưu cho hàm mục tiêu, ta cần đảm bảo rằng f(x c −λ∇)−f(x c ) < −αλk∇f(x c )k², với α thường được chọn là 10^−4 Để xác định giá trị λ, ta có thể sử dụng phương pháp truy hồi (backtracking), trong đó β được chọn trong khoảng (0; 1), thường là 0,9, và λ sẽ được điều chỉnh theo công thức λ = β^m Phương pháp này thường được áp dụng trong thuật toán lặp để cải thiện độ chính xác của việc xác định λ, phù hợp với các phương pháp tối ưu hóa khác nhau.
Algorithm 1 Thuêt toĂn giÊm sƠu-steep
4: while k∇f(x)k > tol and k < k max do
15: Náu k = k max thẳ bĂo chữỡng trẳnh thĐt bÔi
Khám phá điều kiện Armijo (1.2.2) cho thấy rằng f(xc + λd) - f(xc) < αλ∇f(xc)T d, với α ∈ (0,1) là tham số tối ưu Trong các phương pháp giảm thiểu, thường sử dụng α = 10^(-4) Điều kiện này được coi là điều kiện đủ cho việc giảm thiểu.
Ph÷ìng ph¡p h m chn logarith
Trong mửc n y, chúng ta tẳm hiºu phữỡng phĂp h m chưn logarith cho b i toĂn tối ữu r ng buởc dÔng bĐt ¯ng thực Cử thº ta x²t b i to¡n tèi ÷u minx f(x), sao cho: c i (x) ≥ 0, i ∈ I (1.2.3)
Ta ành nghắa miãn hỳu hÔn ng°t
F 0 :={x∈ R n : ci(x) >0, vợi mồi i∈ I}, (1.2.4) v giÊ sỷ rơng miãn khĂc rộng Ta s³ xƠy dỹng h m chưn cho B i toĂn (1.2.3), (1.2.4) vợi cĂc tẵnh chĐt sau:
(i) giĂ trà vổ cũng khi x /∈ F 0 ,
(iii) tián tợi ∞ khi x tián án biản F 0
Xem xét hàm logarithm logc i (x) trong (1.2.5), chúng ta nhận thấy rằng nó thể hiện mối quan hệ giữa các tính chất xác suất (i)-(iii) Hàm này được gọi là hàm chuẩn logarithm Khi áp dụng, hàm kết hợp giữa hàm mục tiêu và hàm chuẩn cho B i toán (1.2.3), (1.2.4) sẽ được sử dụng để phân tích.
Hàm P(x; à) = f(x) - àX logc i (x) thể hiện vai trò quan trọng của tham số chẩn trong hàm tối ưu hóa Hàm kết hợp P(x; à) cũng được gọi là hàm chẩn log, liên quan đến các biểu thức tối ưu hóa (1.2.3) và (1.2.4) Khi à tiến gần về 0, hàm chẩn logP(x; à) cho thấy sự chuyển biến về hàm mức tiêu chuẩn tối ưu.
Bài toán tối ưu hóa là một lĩnh vực quan trọng trong toán học, với các phương pháp như phương pháp lôgic có thể thay thế cho bài toán tối ưu hóa thông thường Việc áp dụng các phương pháp này giúp giải quyết bài toán một cách hiệu quả hơn, đặc biệt khi đối mặt với các tham số phức tạp Nhờ đó, chúng ta có thể mở rộng quy trình tối ưu hóa trong thuật toán 2.
Algorithm 2 Ph÷ìng ph¡p Log-barrier
Cho à 0 > 0 , dung sai τ 0 > 0 , iºm bưt Ưu x s 0 ; for k = 0, 1, 2,
Tẳm mởt tối thiºu gƯn úng x k cừa P (.; à k ) , bưt Ưu tứ x s k , v kát thúc khi k∇P (x; à k )k ≤ τ k ; if kiºm tra sỹ hởi tử cuối cũng  thọa mÂn stop vợi nghiằm gƯn úng x k ;
Chồn tham số chưn mợi à k+1 ∈ (0, à k ) ;
Trong bài viết này, chúng ta sẽ khám phá mối quan hệ giữa bài toán tối ưu khổng lồ và bài toán tối ưu có ràng buộc thông qua phương pháp Newton Đặc biệt, chúng ta sẽ xem xét cách áp dụng phương pháp này để giải quyết bài toán tối ưu trong không gian đa chiều Hình ảnh minh họa sẽ giúp làm rõ các khái niệm liên quan, từ đó cung cấp cái nhìn sâu sắc về các hàm lỗi và miền khả thi trong bài toán Chúng ta cũng sẽ tìm hiểu các đặc điểm của các không gian liên quan và cách mà chúng ảnh hưởng đến kết quả tối ưu.
(i) Vợi mồi à > 0, P(x;à) l lỗi trong F 0 v cõ mởt cỹc tiºu x(à)(khổng nhĐt thiát phÊi l duy nhĐt) trản F 0 BĐt ký cỹc tiºu àa phữỡng x(à) n o cụng l cỹc tiºu to n cửc cừa P(x, à).
(ii) BĐt ký dÂy tối thiºu {x(àk)} n o cụng cõ mởt dÂy con hởi tử v tĐt cÊ cĂc iºm giợi hÔn cõ thº cõ cừa cĂc dÂy õ nơm ð M.
Để tối ưu hóa hàm mục tiêu f(x(à k)), ta cần đảm bảo rằng các điều kiện KKT được thỏa mãn Trước tiên, chúng ta giới thiệu các khái niệm liên quan đến điều kiện bờ sung chặt chẽ, trong đó x* là nghiệm của phương trình (1.1.5) và λ* là vector thỏa mãn các điều kiện KKT Điều kiện bờ sung chặt chẽ được xác định khi λ*i > 0 cho mọi i ∈ I ∪ A(X*) Hơn nữa, giả thiết rằng tại x* ∈ Rn, tồn tại vector nhân tỷ lệ Lagrange λ* sao cho các điều kiện KKT được thỏa mãn, đồng thời có điều kiện wT∇xxL(x*, λ*)w > 0 cho mọi w ∈ F2(λ*), w ≠ 0.
Khi x ∗ l mởt nghiằm àa phữỡng ch°t cừa, GiÊ sỷ rơng F 0 là khổng rộng và x ∗ l mởt nghiằm àa phữỡng cừa B i toĂn m tÔi GiÊ sỷ và các iãu kiằn KKT ữủc thọa mÂn cho một số λ ∗ Các iãu kiằn r ng buởc ởc lêp tuyán tẵnh (LICQ), iãu kiằn bờ sung ng°t và các iãu kiằn ừ bêc hai thọa mÂn tÔi (x ∗ , λ ∗) Khi â, các kh¯ng ành sau l óng.
Cõ duy nhĐt mởt h m vectỡ khÊ vi liản tửc x(à) và xác định với mọi giá trị trà ừ nhọ à º x(à) là cực tiºu của phương trình P(x, à) trong một số lớn cên cừa x ∗, sao cho giới hạn lim à↓0 x(à) = x ∗.
(ii) ối vợi h m x(à) trong (i), ữợc lữủng nhƠn tỷ Lagrange λ(à) hởi tử vã λ ∗ khi à ↓ 0.
(iii) Hessian ∇ 2 xx P(x;à) l xĂc ành dữỡng vợi mồi à ừ nhọ.
Phữỡng phĂp chiáu gradient
Mở rộng phương pháp tối ưu cho thuật toán giảm sâu nhất cho bài toán có giới hạn Giả sử ta đang xác định, ta cập nhật nó bằng công thức x+ = P(xc − λ∇f(xc)), trong đó P là phép chiếu lên tập Ω và λ là bước nhảy được chọn bằng quy tắc Armijo Đặt x(λ) = P(x − λ∇f(x)).
Khi õ, náu muốn sỷ dửng Thuêt toĂn tẳm theo ữớng th¯ng, ta ành nghắa hữợng giÊm ừ nhữ sau f(x(λ))−f(x) = −α λ kx−x(λ)k 2 , (1.2.7) vợi α = 10 −4
Algorithm 3 Thuêt toĂn chiáu gradient -gradproj
2: Tẵnh f v ∇f , kiºm tra iãu kiằn dứng
3: Tẳm số nguyản dữỡng m nhọ nhĐt sao cho (1.2.7) thọa mÂn vợi λ = β m
6: Náu k = k max chÔy lÔi thuêt toĂn vợi iºm khði tÔo khĂc. a) Tiảu chuân dứng Trong mửc n y ta x²t b i toĂn sau: Cho Ω l miãn bà ch°n hẳnh chỳ nhêt trong R n ,
Ω = {x ∈ R n :Li ≤ xi ≤ Ui, i = 1, , n}, v h m f cho trữợc xĂc ành trản Ω Tẳm x ∗ sao cho f(x ∗ )≤ f(x),∀x ∈ U x ∗ ∩Ω, (1.2.8) trong õ U x ∗ l mởt cên n o õ cừa x ∗ B i toĂn (1.2.8) ữủc gồi l b i toĂn tối ữu (cỹc trà) àa phữỡng cõ r ng buởc (cên).
Khổng nhữ b i toĂn cỹc trà khổng r ng buởc sỷ dửng, k∇fk nhọ khổng °c trững cho iºm cỹc trà nản ta khổng thº sỷ dửng nõ l m tiảu chuân dứng Ta s³ sỷ dửng hiằu kx−x(1)k l tiảu chuân dứng Côn cự º thỹc hiằn iãu õ l kh¯ng ành sau Ơy GiÊ sỷ f ∈ C 2 (Ω) v x ∗ l iºm dứng khổng suy bián cừa B i toĂn (1.2.8) v iãu kiằn ừ cho cỹc trà ữủc thọa mÂn tÔi x ∗ Khi õ, tỗn tÔi δ v M sao cho náu kek < δ v A(x) = A(x ∗ ) thẳ kek.
Nhên x²t 1.2.8 Ta cõ thº sỷ dửng dÔng cừa tiảu chuân dứng kx−x(1)k ≤τ b) Sỹ hởi tử
Sỹ hởi tử cừa Thuêt toĂn chiáu gradient ữủc Êm bÊo bði kh¯ng ành sau ¥y GiÊ sỷ ∇f l liản tửc Lipschitz vợi hơng số L Khi õ, iºm giợi hÔn cừa dÂy {x n } sinh bði Thuêt toĂn chiáu gradient ãu l iºm dứng cừa B i toĂn (1.2.8).
B i toĂn hồc ở tữỡng tỹ 21
B i toĂn hồc ở tữỡng tỹ v cĂc kián thực liản quan
2.1.1 Mởt số kián thực liản quan a) Dỳ liằu Ênh trong MATLAB
MATLAB có thể lưu trữ nhiều loại dữ liệu như âm thanh, hình ảnh, và văn bản Do đó, việc lưu trữ và quản lý dữ liệu hình ảnh là một trong những yếu tố quan trọng mà người dùng cần chú ý khi làm việc với MATLAB.
MATLAB cung cấp một công cụ mạnh mẽ để xử lý hình ảnh hai chiều thông qua việc sử dụng ma trận dữ liệu Hình ảnh được lưu trữ dưới dạng ma trận, trong đó mỗi pixel (phần tử ảnh) được gán một giá trị số hoặc một bộ ba giá trị (RGB) Việc này cho phép người dùng dễ dàng thực hiện các phép biến đổi và phân tích hình ảnh, từ đó nâng cao khả năng xử lý và trực quan hóa dữ liệu trong MATLAB.
Hẳnh 2.1.1: Ch¿ số pixel. c) C¡c kiºu £nh
Giới thiệu về các loại hình ảnh trong MATLAB, bài viết này phân loại chúng thành ba nhóm chính: hình ảnh nhị phân, hình ảnh xám và hình ảnh màu Hình ảnh nhị phân chỉ sử dụng hai giá trị pixel là 0 và 1, với mỗi pixel được lưu trữ bằng một bit, giúp tiết kiệm không gian lưu trữ Hình ảnh xám cho phép các giá trị pixel nằm trong khoảng [0, 1], với mỗi giá trị được lưu trữ dưới dạng double chiếm 8 bytes, hoặc dưới dạng unit8 chiếm 1 byte, với 256 mức độ xám từ 0 đến 255 Cuối cùng, hình ảnh màu phức tạp hơn, yêu cầu ba giá trị cho mỗi pixel tương ứng với ba màu cơ bản đỏ, xanh lá và xanh dương (RGB), mỗi giá trị có thể được lưu trữ dưới dạng double hoặc unit8 Tóm lại, mỗi loại hình ảnh có cách lưu trữ và biểu diễn khác nhau, phù hợp với yêu cầu cụ thể trong xử lý ảnh.
Hẳnh 2.1.2: Mởt số ành dÔng Ênh thổng dửng.
Trong cĂc Hẳnh 2.1.2, chúng tổi lƯn lữủt minh hồa cĂc kiºu dỳ liằu Ênh khĂc nhau cừa cũng mởt Ênh. d) Trẵch rút °c trững
Trong MATLAB, việc chuyển đổi dữ liệu thành vector thường được thực hiện khi mở tệp dữ liệu hai hoặc ba chiều Quá trình này cho phép lưu trữ và xử lý dữ liệu một cách hiệu quả Một ma trận có thể được chuyển đổi thành một vector một chiều, tuy nhiên, việc lưu trữ dữ liệu trong tệp cần được thực hiện cẩn thận để tránh lãng phí Ví dụ, một tệp dữ liệu có kích thước 1.35Mb có thể được lưu trữ hiệu quả hơn bằng cách sử dụng các phương pháp nén Việc rút trích đặc trưng (feature extraction) là một bước quan trọng trong phân tích dữ liệu, và số lượng đặc trưng cần được điều chỉnh theo nhu cầu của người xử lý Trong MATLAB, các công cụ như Computer Vision System Toolbox và Statistics and Machine Learning Toolbox cung cấp các hàm hỗ trợ cho quá trình rút trích đặc trưng, giúp tối ưu hóa việc xử lý dữ liệu.
Bây giờ, ta sẽ mở rộng tập hợp các điểm trong không gian Euclid hơn những tập hợp các hình chóp một ngữ người, hay tập hợp các vecto bên Giả sử ta có thể biến đổi các đối tượng theo các đối tượng toán học như vectơ hoặc ma trận Ta cần phải xây dựng một phép toán có thể phân biệt được hai nhóm đối tượng tương tự nhau và khác nhau Về mặt hình học, hai đối tượng tương tự nhau nếu có khoảng cách nhỏ (theo phép toán vừa được xây dựng) và hai đối tượng khác nhau sẽ có khoảng cách lớn Câu hỏi tiếp theo là xây dựng phép toán này như thế nào? Điều này dẫn đến việc khám phá khoảng cách Euclid Ta có x, y ∈ R và thỏa mãn kx−yk E q kx−yk² q (x−y)T(x−y) q (x−y)T I(x−y), trong đó I là một ma trận xác định dương Bây giờ, ta thay I bằng một ma trận đối xứng xác định dương A và định nghĩa kx−ykA q (x−y)TA(x−y).
Lữu ỵ rơng khi õ (2.1.1) chỉ là một giới hạn khoảng cách, tức là hai điểm khác nhau có thể có khoảng cách bằng 0 Do đó, việc xây dựng khoảng cách được quy định và việc tắm một ma trên đối tượng này xác định dữ liệu Nếu không có gửi ỵ gẳ, thì đó là một bài toán không có giới hạn Để phân biệt được hai đối tượng là tường và không tường, ta phải dõi theo Thông tin gửi ỵ ð Ơy là việc cho trước hai tập con S và D của không gian các đối tượng (giới hạn là n) mà trong đó chứa những đối tượng tường nhau, còn chứa những đối tượng không tường Một phương pháp tốt trong trường hợp này là phải thỏa mãn ba điều kiện: i) Khoảng cách giữa các đối tượng thuộc S theo ma trên A cần nhỏ nhất; ii) Khoảng cách giữa các đối tượng thuộc D theo ma trên A phải lớn; iii) Ma trên A phải thỏa mãn các điều kiện để xây dựng được giới hạn khoảng cách, tức là A phải được sử dụng và nữa xác định đúng.
Nhỳng gợi ỵ trản  dăn án b i toĂn tối ữu sau: argmin
Bờ ã sau s³ nảu ra cĂc iãu kiằn º b i toĂn tối ữu (2.1.2), (2.1.3) l lỗi.
Bờ ã 2.1.1 Náu cĂc iãu kiằn sau thọa mÂn: i) Têp cĂc ma trên ối xựng nỷa xĂc ành dữỡng SPSD(n) l mởt têp lỗi. ii) H m mửc tiảu f(A) = X
2 A l lỗi ối vợi bián A. iii) H m g(A) = X
Khi õ b i toĂn tối ữu (2.1.2), (2.1.3) l lỗi.
Chựng minh Thêt vêy, cho A 1 , A 2 ∈ SPSD(n) vợi mồi λ ∈ (0; 1) v mồi x∈ R n ta cõ x T (λA 1 + (1−λ)A 2 )x =λx T A 1 x+ (1−λ)x T A 2 x≥ 0.
Do A 1 , A 2 ∈ SPSD(n) Tứ õ λA 1 + (1−λ)A 2 ∈ SPSD(n) hay SPSD(n) l mởt têp lỗi.
Kh¯ng ành (ii) v (iii) ữủc dạ d ng suy ra vẳ cÊ f(A) v g(A) l tuyán tẵnh ối vợi A vợi cĂc hằ số dữỡng Thêt vêy, cho M l mởt têp con b§t ký cõa R n ,
Nhữ vêy ối tữủng chẵnh cừa luên vôn l mởt b i toĂn tối ữu lỗi cõ r ng buởc.
Khoảng cách Mahalanobis là một khái niệm quan trọng trong thống kê, được sử dụng để đo lường độ tương đồng giữa các điểm dữ liệu trong không gian nhiều chiều Nó dựa trên ma trận hiệp phương sai của dữ liệu, cho phép xác định khoảng cách giữa hai điểm x(i) và x(j) theo công thức: dMahal(x(i), x(j)) := ((x(i) − x(j))^T Σ^(-1) (x(i) − x(j)))^(1/2) Khác với khoảng cách Euclid, khoảng cách Mahalanobis tính đến cấu trúc và phân phối của dữ liệu, giúp phát hiện các điểm ngoại lai và cải thiện độ chính xác trong phân tích dữ liệu.
Trong học ở tường tỷ, người ta sử dụng khoảng cách Mahalanobis để đo lường sự khác biệt Cụ thể, cho A là một ma trận trên không gian, khoảng cách được xác định như sau: d A (x, y) = ((x−y) T A(x−y)) 1/2.
Khoảng cách Mahalanobis có mối liên hệ chặt chẽ với khoảng cách Euclide thông qua phép chiếu như sau: giả sử rank(A) = k ≤ n, tồn tại ma trận L ∈ R^n sao cho A = LAL^T Khi đó, khoảng cách Mahalanobis giữa hai điểm x và y được định nghĩa bởi công thức: d_A(x, y) = ((x−y)^T L A L^T (x−y))^(1/2).
Phữỡng phĂp giÊi b i toĂn hồc ở tữỡng tỹ
2.2.1 Trữớng hủp khoÊng cĂch Euclide cõ trồng số
Ta nghiản cựu trong mửc n y mởt trữớng hủp °c biằt cừa khoÊng cĂch Mahalanobis khi A l mởt ma trên ch²o
Khoảng cách giữa các trồng số khác nhau được xác định bởi thành phần của vectơ x - y khi tính ở điểm d Điều kiện này xác định dữ liệu của A trong trường hợp các giá trị aii ≥ 0, với i = 1, , n.
Tiáp theo, ta s³ sỷ dửng phữỡng phĂp h m chưn log º giÊi b i toĂn n y H m chưn log tữỡng ựng vợi B i toĂn (2.1.2), (2.1.3) cõ dÔng
Trong bài viết này, chúng ta xem xét các điều kiện liên quan đến biến số a ≥ 0 và cách thức biểu diễn của A thông qua các biến b i toĂn n y Tham số chưn a đóng vai trò quan trọng trong việc xác định các giá trị nhọ dƯn và các tác giả trong tài liệu [5] Mục tiêu là giải quyết các bài toán phức tạp bằng cách áp dụng các phương pháp tiếp cận phù hợp, cho phép hiểu rõ hơn về các vấn đề liên quan đến b i toĂn.
Theo õ, ta s³ sỷ dửng phữỡng phĂp Newton º tối ữu hõa h m mửc tiảu
Trong nghiên cứu về tính toán, chúng ta không thể bỏ qua vai trò quan trọng của phương trình Newton khi áp dụng công thức ∇²P(ak) - 1∇P(ak) Đặc biệt, việc sử dụng tham số α để điều chỉnh phương trình này là cần thiết, nhằm đảm bảo rằng các điều kiện được duy trì một cách liên tục và chính xác Tham số α sẽ ảnh hưởng đến sự ổn định và độ chính xác của các phép tính trong quá trình giải quyết bài toán.
2.2.2 Phữỡng phĂp chiáu gradient cho b i toĂn hồc ở tữỡng tü
Ta x²t trữớng hủp tờng quĂt khi A l ma trên Ưy ừ Khi õ, bián
Phương pháp Newton được áp dụng để giải quyết bài toán tối ưu với hai biến, như đã trình bày trong Mục 1.2.1 Để cải thiện hiệu quả, chúng ta sẽ sử dụng phương pháp chiếu gradient được mô tả trong Mục 1.2.4 Phương pháp này yêu cầu xác định các ràng buộc cho biến trong khoảng ai < xi < bi Cần thiết phải khởi động từng bước để áp dụng phương pháp này cho bài toán tối ưu (2.1.2) và (2.1.3) Khi xem xét bài toán (2.1.2) và (2.1.3), có hai ràng buộc chính cần được xác định rõ ràng Trong mỗi bước lặp, việc thực hiện một phép chiếu là cần thiết, và chúng ta phải thực hiện hai phép chiếu cho mỗi bước lặp Một trong những ràng buộc này giúp phương pháp được thực hiện một cách chính xác trong việc tính toán phép chiếu Ràng buộc thứ hai (2.1.3) liên quan đến các vấn đề phức tạp, đặc biệt là so sánh với hàm mục tiêu Cuối cùng, chúng ta cần tối thiểu hóa khoảng cách giữa các điểm thuộc bài toán tối ưu.
S v Êm bÊo khoÊng cĂch cĂc iºm cừa D lợn hỡn 1, ta s³ tối a hõa khoÊng cĂch cĂc iºm thuởc D v giỳ cho khoÊng cĂch cĂc iºm thuởc
S nhọ hỡn 1 Theo õ, ta cõ b i toĂn tối ữu mợi tữỡng ữỡng vợi B i to¡n (2.1.2), (2.1.3). maxA g(A) = X
A ≥ 0 (2.2.8) B i toĂn (2.2.6)-(2.2.8) có sự khác biệt so với b i toĂn (2.1.2), (2.1.3) do l ta  thay thá r ng buởc (2.1.3) bði r ng buởc dÔng bêc hai (2.2.7) Điều này sẽ giúp cho việc thực hiện phép chiếu trở nên hiệu quả hơn và tăng cường hiểu quả của phương pháp khi áp dụng vào học ở từng bước.
Sau Ơy, ta s³ b n thảm mởt số khẵa cÔnh cử thº cừa b i toĂn Theo cĂch phĂt biºu mợi (2.2.6)-(2.2.8), ta kẵ hiằu:
Ta s³ tõm tưt cĂc thao tĂc chẵnh cừa phữỡng phĂp n y (thỹc hiằn trong mởt bữợc l°p) trong Thuêt toĂn 4:
Algorithm 4 Thuêt toĂn chiáu gradient cho b i toĂn hồc ở tữỡng tỹ.
A := arg min A 0 {kA 0 − Ak F : A 0 ∈ C 2 } án khi A hởi tử
Trong Thuêt toĂn 4, ph²p chiáu thự nhĐt ữủc thỹc hiằn thổng qua viằc tối ữu hõa mởt h m mửc tiảu bêc hai argmin
Vợi r ng buởc tuyán tẵnh (2.2.7) có thể được giải bày bằng phương pháp trình bày theo Mục 1.1.3 Phép chiếu thực hiện hai thực chất là tầm ma trên đối xứng, nhằm xác định dữ liệu gần vợi A nhất theo chuẩn Frobenius Việc này có thể thực hiện thông qua thuật toán ngắn gọn dựa trên kết quả của N J Higham [1].
Algorithm 5 Thuêt toĂn chiáu lản têp cĂc ma trên ối xựng nỷa xĂc ành dữỡng Ưu v o: ma trên ối xựng A Ưu ra: ma trên S ối xựng nỷa xĂc ành dữỡng gƯn A nhĐt
1: PhƠn tẵch giĂ trà riảng
Trong mục này, chúng tôi sẽ trình bày dữ liệu minh họa cho thuật toán được trình bày ở Mục 2.2.1 Các dữ liệu này được chúng tôi tạo ra bằng cách sử dụng MATLAB, dựa trên các thông số cụ thể được nêu trong tài liệu [5] Để tạo dữ liệu, chúng tôi đã chọn hai điểm P(1,4,3) và Q(3.5,2,4).
Chúng tôi đã tạo ra 100 điểm P và Q với khoảng cách 1/5 từ P tới Q Các điểm P, Q và các điểm khác được biểu thị trong Hình 2.2.1, cho thấy chúng được chia thành hai nhóm: nhóm P và nhóm Q Chúng tôi đã xác định mối quan hệ giữa các điểm thuộc từng nhóm là mối quan hệ tương tác, trong khi mối quan hệ giữa các điểm khác nhóm là mối quan hệ không tương tác Tiếp theo, chúng tôi thực hiện 10 bước lặp kiểu Newton với dữ liệu ban đầu và khoảng cách Euclide Chúng tôi sử dụng thuật toán truy ngược để xác định bước lặp α sao cho các bước cập nhật ak+1 = ak + α∇²P(ak) - 1∇P(ak) luôn thỏa mãn các điều kiện cần thiết.
10 bữợc l°p nhữ trản º thu ữủc a10 = [1.1606 1.0180 0.0000] T
Hẳnh 2.2.1: Hai nhõm iºm dỳ liằu.
Tốc ở giÊm cừa chuân cừa gradient v giĂ trà h m mửc tiảu ữủc thº hiằn trong Hẳnh 2.2.2(a) v Hẳnh 2.2.2(b).
Hẳnh 2.2.2: Chuân cừa gradient (a) v giĂ trà h m mửc tiảu (b) trong 10 bữợc l°p.
Cụng xin lữu ỵ rơng giĂ trà cừa h m mửc tiảu hƯu nhữ khổng giÊm ữủc nỳa v khi chÔy thảm thẳ tồa ở thự ba cừa a i , s³ dƯn vã 0 Chúng tổi cụng  thỷ nhiãu tẳnh huống khĂc nhau v thĐy rơng, th nh phƯn n o cừa P v Q cõ giĂ trà tuyằt ối cừa hiằu nhọ nhĐt thẳ tồa ở tữỡng ựng s³ tián vã 0 Trong trữớng hủp  x²t, cõ thº thĐy th nh phƯn thự ba cõ giĂ trà tuyằt ối cừa hiằu l nhọ nhĐt.
Cuối cũng, ta so sĂnh lÔi và trẵ cừa P v Q cũng cĂc nhiạu cừa chúng sau khi  chiáu qua Ănh xÔ √
A nhữ thÊo luên ð cuối Mửc 2.1.4 trong Hẳnh 2.2.3.
Cõ thº thĐy cĂc nhõm iºm tử lÔi tốt hỡn so vợi phƠn bố ban Ưu.
Hẳnh 2.2.3: Minh hồa hai nhõm iºm dỳ liằu trong khoÊng cĂch mợi.
Luên vôn  tẳm hiºu v trẳnh b y lÔi viằc giÊi b i toĂn tối ữu nÊy sinh trong hồc ở tữỡng tỹ, Cử thº:
Trình bày sự lược các khái niệm cơ bản của bài toán tối ưu với phương pháp tầm theo hướng thống cho bài toán tối ưu không ràng buộc Sau đó, chúng tôi trình bày khái quát lý thuyết tường quát của bài toán tối ưu không ràng buộc.
(2) Trẳnh b y chi tiát mởt số phữỡng phĂp cho b i toĂn tối ữu cõ r ng buởc bĐt ¯ng thực s³ dũng ð Chữỡng 2.
Trình bày khái quát và bài toán học ở tường tỷ, mở ra một số tính chất của bài toán tối ưu và trình bày lới giải cho bài toán Sau đó, chúng tôi trình bày một ví dụ minh họa cho lới giải của bài toán.