V. CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): PGS.TS Thoại Nam
3.3 Bài toán tối ưu hóa đa mục tiêu
3.3.1 Định nghĩa
Một bài toán tối ưu hóa đa mục tiêu thường sẽ bao gồm hai hay nhiều hơn các hàm mục tiêu cần tối ưu. Giả sử ta có bài toán tối ưu k mục tiêu, ta kí hiệu hàm mục tiêu thứ i là ( ) với x là là biến số thực đầu vào d chiều . Mục tiêu của bài toán này là tối thiểu hóa những mục tiêu này với không gian đầu vào X, tuy nhiên các mục tiêu này thường đối nghịch nhau. Trong bài toán đa mục tiêu, khi chỉ tập trung tối ưu một mục tiêu riêng lẻ có thể sẽ ảnh hưởng hay làm tệ đi những mục tiêu khác.
Để tìm nghiệm tối ưu cho bài toán đa mục tiêu, trước tiên ta phải định nghĩa một lời giải như thế nào thì tốt hơn một lời giải khác. Trong trường hợp bài toán đơn mục tiêu, sự “vượt trội” của lời giải được xác định đơn giản bởi sự so sánh giá trị của hàm mục tiêu đơn liên quan. Trong bài toán đa mục tiêu, sự vượt trội này được đánh giá qua khái niệm dominanace. Một lời giải x1được gọi là dominate x2 khi thỏa mãn cả 2 điều kiện sau:
x1 không tệ hơn x2 trong tất cả các mục tiêu. x1tốt hơn x2trong ít nhất một mục tiêu.
Một bài toán đa mục tiêu giải quyết theo cách tiếp cận Pareto sẽ có một tập nghiệm tối ưu được gọi là tập Pareto. Những nghiệm trong tập Pareto P (Pareto set)
sẽ không bị dominate bởi bất kỳ giá trị nào khác trong tập X. Nói cách khác, ta có các phát biểu sau cho bài toán tối thiểu hóa:
Hình 4 là ví dụ minh họa cho khái niệm dominate và Pareto front với bài toán có 2 mục tiêu , . A và B không dominate nhau, trong khi đó A và B đều dominate
C. Đường màu đỏ chứa các điểm là giá trị các hàm mục tiêu của các nghiệm tối ưu còn được gọi là Pareto front. Mỗi bài toán tối ưu hóa đa mục tiêu đều có một true Pareto front. Đây là Pareto front lý tưởng và không tồn tại một Pareto front nào “tốt” hơn. Mục tiêu cao nhất của hướng tiếp cận Pareto này là có thể tìm được true Pareto front của bài toán.
Hình 4: Ví dụ về Dominance và Pareto front cho bài toán 2 mục tiêu.
3.3.2 Độ đo
Để so sánh giữa các giải thuật tối ưu hóa đa mục tiêu theo cách tiếp cận Pareto, ta cần một độ đo để so sánh giữa các tập nghiệm Pareto. Một phép đo phổ biến thường được sử dụng trong mục đích này là Hypervolume Indicator [44]. Giả sử, ta có điểm tham khảo ∈ . Hypervolume Indicator của tập Pareto P là phép đo khu vực bị dominate bởi tập P và giới hạn bởi điểm tham khảo r. Với Λ(. ) là phép đo
Lebesgue, ta có công thức tính sau:
( ) = Λ({q ∈ R | ∃p ∈ P ∶ p ≤ q và q ≤ r }))
Hình 5 mô tả Hypervolume Indicator của 1 tập gồm 4 điểm {p1, p2, p3, p4} và điểm tham khảo r trong không gian 2 chiều.
.
Hình 5: Ví dụ Hypervolume trong không gian 2 chiều (diện tích vùng màu xám)
3.4 Giải thuật NSGA-II cho bài toán đa mục tiêu
Giải thuật NSGA-II là một trong những giải thuật cổ điển, phổ biến và điển hình nhất của hướng tiếp cận di truyền để giải quyết bài toán đa mục tiêu. Giải thuật này là giải thuật lặp, mỗi vòng lặp tương ứng với một thế hệ. Ta có thể tóm tắt vào trong 6 bước sau:
Bước 1: Khởi tạo population Pt. Population được khởi tạo dựa trên một số
chiến lược lấy mẫu, ví dụ như lấy mẫu ngẫu nhiên theo phân phối chuẩn, hay dựa trên phương pháp Latin Hypercube Sampling (LHS).
Bước 2: Thực hiện giải thuật Non-dominated sorting (NDS). Không mất tính tổng quát, xét trong bài toán tối thiểu hóa, giả sử rằng nghiệm của population Pt
được gán cho N Pareto fronts, ,∀i ∈ [1, N], được gọi là rank của Pareto front. Đầu tiên, giải thuật NDS sẽ chọn những nghiệm không bị dominate bởi bất kì nghiệm nào khác từ tập Ptvà gán chúng thuộc (Pareto front này có
rank 1). Tương tự với tập \ để tìm Pareto front . Giải thuật NDS sẽ lặp đến khi tất cả các mẫu trong Pt đều đã được gắn với một Pareto front.
Bước 3: Tính Crowding Distance [22] cho mỗi mẫu của từng Pareto front . Bước 4: Lựa chọn mẫu từ tập Pt dựa trên chiến lược Crowded Tournament
Bước 5: Thực hiện các phép toán di truyền: lai tạo và đột biến để tạo ra tập đời con S.
Bước 6: Kết hợp giữa tập đời con St và tập Pt ban đầu rồi lựa chọn các mẫu tốt nhất để tạo ra một thế hệ mới Pt+1 với cùng kích thước population như tập Pt
ban đầu. Quay lại bước 1.
3.5 Giải thuật Bayesian cho bài toán đa mục tiêu 3.5.1 Cơ sở lý thuyết cho giải thuật Bayesian tổng quát 3.5.1 Cơ sở lý thuyết cho giải thuật Bayesian tổng quát
3.5.1.1 Tổng quan
Giải thuật Bayesian là cách tiếp cận phổ biến và hiệu quả nhất để giải quyết các bài toán có hàm mục tiêu “đắt giá”. Hàm mục tiêu “đắt giá” nghĩa là việc tính toán, đánh giá mục tiêu cho mỗi điểm đầu vào có thể tốn nhiều thời gian hay các chi phí khác. Một trong những ưu điểm của giải thuật Bayesian là giải thuật này chỉ cần tính toán hàm này với một số lượng ít lần nhưng vẫn đạt được một kết quả chấp nhận được. Giải thuật Bayesian là một giải thuật lặp. Mỗi vòng lặp sẽ xây dựng và huấn luyện một surrogatemodel để có thể xấp xỉ được phân bố của hàm mục tiêu. Từ đó, thay vì tính toán hàm mục tiêu “đắt giá” để đánh giá một điểm dữ liệu mới, ta có thể sử dụng surrogate model. Một khác biệt chính giữa surrogate model và hàm mục tiêu là surrogate model trả về một phân bố xác suất cho các giá trị có thể có của hàm mục tiêu cho mỗi giá trị đầu vào, trong khi đó hàm mục tiêu trả về một giá trị hằng. Sau khi đã huấn luyện surrogate model, một acquisition function kết hợp với một tiêu chí lựa chọn được sử dụng để tìm điểm dữ liệu có tiềm năng mới. Điểm dữ liệu mới này sẽ được thêm vào tập huấn luyện cho surrogate model trong vòng lặp kế. Acquisition function sử dụng chính trong luận văn này là EI và UCB. Hình 6 mô tả giải thuật tối ưu hóa Bayesian tổng quát cho bài toán đơn mục tiêu.
Hình 6: Mã giả giải thuật tối ưu hóa Bayesian tổng quát.
Phần này sẽ giới thiệu phần nền tảng lý thuyết cho thuật toán Bayesian trong trường hợp bài toán đơn mục tiêu và sẽ được mở rộng cho nhiều hàm mục tiêu trong phần kế tiếp.
3.5.1.2 Gaussian Process Regression (GPR)
Một mô hình GP được định nghĩa như một phân bố xác suất tiên nghiệm trên hàm mục tiêu. Giả sử ta có một hàm mục tiêu f và một tập gồm k điểm giá trị đã quan sát được , , … , ∈ , các giá trị hàm mục tiêu tương ứng được viết dưới dạng vector [ ( ), ( ), … , ( )]. Ta giả sử giá trị vector này được lấy ngẫu nhiên từ một phân bố xác suất tiên nghiệm có dạng phân phối chuẩn đa chiều. Phân phối chuẩn này được đặc trưng bởi vector chứa giá trị trung bình cộng và ma trận hiệp phương sai.
Ta xây dựng vector trung bình cộng bởi đánh giá một hàm trung bình cộng µ0
cho mỗi giá trị xi. Ma trận hiệp phương sai được tính dựa trên một hàm hiệp phương
sai hay còn gọi là kernel K cho mỗi cặp giá trị xi và xj. Hàm kernel được chọn sao cho
nếu cặp điểm xi, xj càng gần nhau thì hệ số tương quan giữa chúng càng cao. Điều này
nhằm ngụ ý rằng nếu những điểm càng gần nhau thì càng nên có giá trị hàm mục tiêu giống nhau hơn những điểm ở xa chúng. Một đặc trưng cần lưu ý là ma trận hiệp phương sai phải là một ma trận nửa xác định dương và K không phải là một hàm đối xứng. Phân phối tiên nghiệm nhận được là:
Trong đó, : là chuỗi giá trị , , … , , ta có:
( : ) =[ ( 1), 2), … , ( ],
µ ( 1: )=[µ ( ), µ ( ), … , µ ( )],
( 1: , 1: )=[ ( , ), ( , ), … , ( , )].
Giả sử rằng ( : ) không có nhiễu, dựa trên k điểm dữ liệu đã quan sát được, ta cần dự đoán giá trị ( )với điểm dữ liệu tiềm năng mới xk+1.Ta có phân phối tiên nghiệm trên hàm [ ( : ), ( )] được tính như (1), vậy nên ta có thể tính phân phối hậu nghiệm dựa trên quan sát có được theo định lý Bayes như công thức sau:
( )| ( 1: )~ µ ( +1), 2( +1)
µ ( +1)= ( +1, 1: ) −1( +1, 1: ) ( 1: )−µ ( 1: ) +µ ( +1)
( ) = ( , ) − ( , : ) ( : , : ) ( : , )
Trong đó, giá trị trung bình hậu nghiệm µ ( +1) đơn giản là trung bình cộng có trọng số giữa giá trị trung bình tiên nghiệm µ ( +1) và dự đoán dựa trên tập dữ liệu đã quan sát ( : ). Phương sai hậu nghiệm ( ) bằng hiệp phương sai tiên nghiệm ( , ) trừ cho một đại lượng liên quan đến phần phương sai bị trừ bởi dữ liệu quan sát cũ ( : ). Đây là cách tính truyền thống để sử dụng GPR.
Luận văn này sử dụng một trong những kernel phổ biến nhất hàm Matèrn [45]. Hàm Matérn được tính như sau với Γ(.) là hàm gamma, α là tham số của kernel và là hàm Bessel [46].
( 1, 2)=α ( ) (√2 | 2− 1| ) (√2 | 2− 1|)
Đối với hàm tính mean µ , luận văn sử dụng lựa chọn đơn giản nhất là sử dụng hàm hằng µ ( ) = µ. Một vấn đề cần lưu ý là các tham số của kernel, cụ thể ở đây là α cần được tối ưu. Luận văn sử dụng phương pháp Maximum Likelihood Estimate (MLE) [23] để tìm tham số α tối ưu.
3.5.1.3 Acquisition function
Nhân tố chính ảnh hưởng đến hiệu năng và khả năng hội tụ của giải thuật
Bayesian là acquisition function (. ). Hàm này sử dụng phân phối xác suất hậu nghiệm trả về từ surrogate model để tính một đại lượng đánh giá về độ “tốt” của hàm mục tiêu với mỗi điểm giá trị đầu vào. Mục tiêu của hàm này là lựa chọn điểm giá trị có độ “tốt” tối ưu nhất và thêm điểm này vào tập dữ liệu cho vòng lặp kế tiếp. Giả sử giải thuật Bayesian đã thực hiện n vòng lặp trước đó. Điểm dữ liệu sẽ được
acquisitionfunction chọn sẽ được tính dưới dạng biểu thức sau: = ( ) (2)
Một điều đáng lưu ý ở đây là hàm (. ) không phụ thuộc trực tiếp vào hàm mục tiêu gốc, thay vào đó nó phụ thuộc vào phân phối hậu nghiệm của hàm này từ
surrogate model tại một điểm giá trị tiềm năng. Luận văn này sẽ sử dụng 2 acquisition function nổi tiếng là EI và UCB.
Hàm EI được tính bởi giá trị kỳ vọng của hàm u(y) = max(0, v − ) dưới phân bố xác suất hậu nghiệm của surrogate model với biến ngẫu nhiên y. Trong đó,
v = min(0, { } ) là giá trị quan sát được tốt nhất tới thời điểm hiện tại (giả sử bài toán tối ưu hóa là cực tiểu hóa). Do đó, hàm EI thực ra là phép đo trung bình về độ “tốt” hơn so với giải pháp tốt nhất hiện tại bởi việc thực hiện đánh giá cho mỗi điểm giá trị đầu tiềm năng. Hàm EI có thể được tính như sau:
(u(y)) = EI(u(y)) = E(u(y)) = σ(x)(γ(x)ϕ(γ(x) + φ(γ(x)))) (3) Trong đó, γ(x) =( µ( ) )( ) , với ϕ (.) và φ(.) lần lượt là hàm mật độ xác suất và hàm phân phối tích lũy của phân phối chuẩn Gaussian. Tham số là tham số cân bằng giữa exploration và exploitation. Thông thường, tham số này được gán là = 0.
Một acquisition function khác được đề xuất dựa trên ý tưởng về cận trên của khoảng tin cậy để cực đại hóa giá trị regret của việc lựa chọn giá trị tiềm năng. Cách
Trong đó, tham số được sử dụng để cân bằng exploitation và exploration của giải thuật. Có nhiều hướng tiếp cận heuristic để lựa chọn tham số này. Trong đó, lựa chọn phổ biến nhất là = ( ) với là số lượng mẫu trong tập giá trị tiềm năng tại vòng lặp thứ t.
3.5.2 Giải thuật Bayesian cho bài toán đa mục tiêu
Như đã đề cập ở phần phần 2.3.1, để áp dụng giải thuật Bayesian cho bài toán đa mục tiêu có hai hướng tiếp cận chính:
Đưa về bài toán đơn mục tiêu bằng cách trọng số hóa các hàm mục tiêu như giải thuật ParEGO.
Luận văn này theo hướng tiếp cận thứ hai là sẽ giải quyết bài toán theo dựa trên ý tưởng xấp xỉ true Pareto front của bài toán đa mục tiêu.
Cụ thể hơn, luận văn này sử dụng hai giải thuật SOTA là USeMO và TSEMO. Phần này sẽ đề cập đến ý tưởng cơ bản của hai giải thuật này. Giả sử ta có bài toán tối ưu k mục tiêu. Giải thuật Bayesian cho bài toán đa mục tiêu là giải thuật lặp gồm 4 bước chính như sau:
Bước 1: Đối với bài toán có k mục tiêu : (. ), ta sẽ xây dựng k mô hình GPR
, , … , . Mỗi mô hình này ứng với mỗi hàm mục tiêu của bài toán. Để huấn luyện các mô hình này ta sử dụng một tập dữ liệu đã quan sát được Dt với
t là thứ tự của vòng lặp hiện tại. Cụ thể hơn, luận văn này sử dụng hàm Matérn với tham số = . Sau mỗi vòng lặp, các tham số của kernel này sẽ được tối ưu theo phương pháp MLE như đã đề cập ở phần 3.6.1.2.
Bước 2: Thay vì phải giải quyết bài toán gốc với các hàm mục tiêu tốn chi phí, ta có thể quy về một bài toán đa mục tiêu mới “tiết kiệm hơn”, tận dụng mô hình GPR như một hàm xấp xỉ hàm mục tiêu gốc và vận dụng các giải thuật tối ưu hóa đa mục tiêu theo hướng tiếp cận Pareto như các giải thuật NSGA-II. Bài toán đa mục tiêu mới này gồm k mục tiêu ( ), ( ), … , ( ). Với
(. ) có thể là bất kì acquisition function nào trong giải thuật Bayesian cho bài toán đơn mục tiêu. Cụ thể, đối với giải thuật USeMO ta có thể sử dụng EI và
UCB. Đối với giải thuật TSEMO, acquisition function là Thompson Sampling [38].
Bước 3: Để lựa chọn giá trị tiềm năng mới xt giải thuật USeMO sử dụng tiêu chí về tối ưu hóa mức độ không chắc chắn (Uncertainty) [37]. Trong khi đó giải thuật TSEMO sử dụng tiêu chí cực đại hóa HVI [38].
Bước 4: Tập dữ liệu huấn luyện được cập nhật với các giá trị tiềm năng mới,
CHƯƠNG 4: THIẾT KẾ CỦA BỘ GIẢ LẬP
Luận văn được thực hiện dựa trên nhu cầu cần thiết về một môi trường giả lập thống CDN giúp các nhà cung cấp dịch vụ CDN đưa ra các quyết định đầu tư tối ưu. Họ cần có một môi trường thử nghiệm có độ tin cậy chấp nhận được và tính ổn định để đánh giá chi phí đầu tư, hiệu năng mong đợi của hệ thống dưới các thiết lập tài nguyên, cũng như phân tích hành vi của hệ thống trong các kịch bản khác nhau. Những công cụ mô phỏng trước đó thưởng chỉ mô phỏng lại hành vi của hệ thống ở mức luận lý và không cung cấp khả năng tái triển khai lại các ứng dụng thực tế cũng như các độ đo đánh giá về độ trễ và chất lượng dịch vụ của hệ thống. Bên cạnh đó, những test-bed chuyên dụng được xây dựng để thí nghiệm đã hiện thực lại toàn bộ hệ thống trên hệ thống máy thực thường cồng kềnh khi triển khai và tốn nhiều chi phí. Một trong những mục tiêu chính của luận văn này nhắm tới phát triển một công cụ giả lập có khả năng mô phỏng gần giống với môi trường thực tế nhất, đồng thời đem lại độ tin cậy và đa dạng các độ đo đánh giá chất lượng hệ thống. Chương này sẽ mô tả chi tiết các thành phần chính, module, cũng như cách hiện thực công cụ này.
4.1 Các thành phần chính
Thư viện Mininet cung cấp chức năng định tuyến và theo dõi gói tin trong mạng với các bộ SDN controller. Tuy nhiên, việc chạy thêm một bộ SDN controller trong ngữ cảnh công cụ giả lập CDN có thể tốn thêm tài nguyên không cần thiết. Trong luận văn này, thay vì định tuyến bằng các bộ controllers, tôi phát triển các routers ảo để mô phỏng hành vi của các routers trong môi trường thật. Cụ thể hơn, các routers ảo sử dụng giao thức Open Shortest Path First (OSPF) để định tuyến. Đồng thời, để giảm thời gian khởi tạo mạng, công cụ sẽ xây dựng trước ở mỗi routers ảo một bảng định tuyến tĩnh. Cụ thể hơn, công cụ này có 5 thành phần chính:
Client: Là các máy ảo trong công cụ được sử dụng để mô phỏng người dùng