Nghiên cứu và triển khai thuật toán lựa chọn nút đầu ra cho mạng sdn phân tán dựa trên học tăng cường

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu triển khai thuật toán lựa chọn nút đầu cho mạng SDN phân tán dựa học tăng cường PHẠM THẾ THẢO Thao.PT202470M@sis.hust.edu.vn Ngành Công nghệ thông tin (KT) Giảng viên hướng dẫn: TS Trần Hải Anh Trường: Công nghệ thông tin Truyền Thông Chữ ký GVHD HÀ NỘI, 06/2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Phạm Thế Thảo Đề tài luận văn: Nghiên cứu triển khai thuật toán lựa chọn nút đầu cho mạng SDN phân tán dựa học tăng cường Chuyên ngành: Công nghệ thông tin Mã số SV: 20202470M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28/04/2022 với nội dung sau: Bổ sung diễn giải bốn thuật toán học tăng cường - Bổ sung diễn giải thuật toán ꞓ-greedy mục 3.4 Đề xuất thuật toán lựa chọn Egress node dựa MAB trang 31, 32 luận văn - Bổ sung diễn giải thuật toán Softmax mục 3.4 Đề xuất thuật toán lựa chọn Egress node dựa MAB trang 32, 33 luận văn - Bổ sung diễn giải thuật toán UCB1 mục 3.4 Đề xuất thuật toán lựa chọn Egress node dựa MAB trang 33, 34, 35 luận văn - Bổ sung diễn giải thuật toán SP-UCB2 mục 3.4 Đề xuất thuật toán lựa chọn Egress node dựa MAB trang 35, 36 luận văn Lược bớt nội dung toán routing - Lược bỏ nội dung đánh giá hiệu suất định tuyến Hot-Potato liên quan tới thay đổi ảnh hưởng liên miền, mục 2.2.1 Cách tiếp cận truyền thống trang 11,12 13 luận văn - Lược bỏ nội dung định tuyến liên miền (giữa AS) mục 2.2.2 Cách tiếp cận thuật toán học tăng cường trang 16,17 luận văn Kiểm tra nhầm lẫn Ingress node Egress node - Rà sốt lại tồn nội dung luận văn sửa đổi lỗi - Việt hóa thuật ngữ tiếng Anh: Chuyển “ingress node” thành “nút đầu vào”, “egress node” thành “nút đầu ra”, “ingress router” thành “bộ định tuyến đầu vào”, “egress router” thành “bộ định tuyến đầu ra”, “ingress point” thành “điểm đầu vào”, “egress point” thành “điểm đầu ra” Vấn đề tính tốn ước lượng “giá” đường định tuyến liên kế nhiều AS (giải pháp cho phần đường nằm AS) - Bổ sung diễn giải cơng thức tính “giá” hay “phần thưởng” mục 4.1 Thiết lập thực nghiệm trang 44 luận văn - Đề cập vấn đề ước lượng “giá” định tuyến liên miền (giữa AS với nhau) mục 5.2 Hướng phát triển tương lai trang 52, 53 luận văn Hà Nội, ngày 07 tháng 06 năm 2023 Giáo viên hướng dẫn Tác giả luận văn TS Trần Hải Anh Phạm Thế Thảo CHỦ TỊCH HỘI ĐỒNG PGS.TS Trương Thị Diệu Linh LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn với đề tài “Nghiên cứu triển khai thuật toán lựa chọn nút đầu cho mạng SDN phân tán dựa học tăng cường” công trình nghiên cứu độc lập thân hướng dẫn TS Trần Hải Anh Các số liệu, hình ảnh, trích dẫn có nguồn gốc rõ ràng tn thủ ngun tắc Luận văn khơng có chép từ cơng trình, nghiên cứu người khác mà không ghi rõ mục tài liệu tham khảo Mọi chép không hợp lệ, vi phạm quy chế hay gian trá tơi xin hồn tồn chịu trách nhiệm Hà Nội, ngày 07 tháng 06 năm 2023 Học Viên Phạm Thế Thảo LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn lòng biết ơn sâu sắc tới thầy giáo TS Trần Hải Anh giúp lựa chọn đề tài, định hướng nghiên cứu, tận tình hướng dẫn tạo điều kiện cho tơi hồn thành luận văn Trong trình làm luận văn tốt nghiệp, thầy cô Trường Công nghệ thông tin Truyền thơng nhiệt tình hướng dẫn giúp đỡ mặt Tôi xin cảm ơn nhiều! Cuối cùng, muốn gửi lời cảm ơn tới gia đình, người thân bạn bè Tất người bên, động viên giúp đỡ nhiều trình thực thực luận văn Với thời gian nghiên cứu cịn hạn chế, thực tiễn cơng tác lại vơ sinh động, luận văn khơng tránh khỏi thiếu sót, tác giả mong nhận ý kiến đóng góp chân thành từ thầy giáo, giáo, đồng nghiệp, bạn bè Hà Nội, ngày 07 tháng 06 năm 2023 Học Viên Phạm Thế Thảo TÓM TẮT NỘI DUNG LUẬN VĂN Một định tuyến (Ingress router) thường có nhiều nút đầu (Egress node) tiềm mạng rộng khắp nơi mà định tuyến truyền lưu lượng truy cập đến mạng bên Giải pháp truyền thống chọn nút gần (với đường ngắn nhất) đến nút nội mạng Luận văn hạn chế cách tiếp cận hệ thống mạng linh hoạt giới thiệu cách tiếp cận khác gọi Lựa chọn nút đầu dựa Multi-Armed Bandit (MAB) Phương pháp tiếp cận sử dụng số kỹ thuật học tăng cường (Reinforcement Learning - RL), thường sử dụng để giải toán MAB, phép ingress router định kỳ chọn lại nút đầu ra, từ tối ưu hóa hiệu suất lâu dài traffic transmission Để coi q trình lựa chọn nút đầu tốn MAB, tơi sử dụng điểm kết hợp tỷ lệ mát gói tin Loss độ trễ Delay đại diện cho link status “Phần thưởng” (Reward) Tuy nhiên, việc nắm bắt tham số gặp phải số vấn đề kiểm soát phân tán chế độ local view (xem cục bộ) nút mạng bị hạn chế Để thực phương pháp này, kiến trúc kiểm soát tập trung, ví dụ mạng SDN (Software-Defined Networking), giải pháp tiềm đầy hứa hẹn Luận văn áp dụng bốn thuật toán phổ biến ꞓ-greedy, Softmax, UCB1 (Upper Confidence Bound version 1) SP-UCB2 (Single-Pulled UCB) cho trình lựa chọn nút đầu Các mơ hình đánh giá theo hai topology mạng mơ với tình khác tình trạng lưu lượng mạng Kết thực nghiệm cho thấy thuật toán UCB tạo hiệu suất tốt nhất, đặc biệt mạng với số luồng luân chuyển cao Hà Nội, ngày 07 tháng 06 năm 2023 Học Viên Phạm Thế Thảo MỤC LỤC DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ DANH MỤC BẢNG BIỂU CHƯƠNG PHẦN MỞ ĐẦU 1.1 Đặt vấn đề 1.2 Mục đích, ý nghĩa đề tài 1.3 1.2.1 Lý lựa chọn đề tài 1.2.2 Tính cấp thiết đề tài 1.2.3 Mục đích đề tài 1.2.4 Đối tượng phạm vi nghiên cứu 1.2.5 Ý nghĩa khoa học thực tiễn Nội dung luận văn CHƯƠNG TỔNG QUAN 2.1 Lựa chọn nút biên định tuyến nội miền 2.2 Các giải pháp liên quan 10 2.2.1 Cách tiếp cận truyền thống 10 A Định tuyến Hot-Potato 10 B Fixed Ranking 11 2.2.2 Cách tiếp cận thuật toán học tăng cường 12 CHƯƠNG ĐỀ XUẤT GIẢI PHÁP LỰA CHỌN NÚT ĐẦU RA 19 3.1 Bài toán MAB 19 3.2 Đề xuất sử dụng MAB toán lựa chọn nút đầu 22 3.3 Đề xuất phương pháp đo Delay Loss SDN 24 3.4 3.3.1 Phương pháp đo Delay 25 3.3.2 Phương pháp đo Loss 26 Đề xuất thuật toán lựa chọn bút đầu dựa MAB 27 CHƯƠNG KẾT QUẢ THỰC HIỆN 34 4.1 Thiết lập thực nghiệm 34 4.2 Kết thực nghiệm 41 4.3 Đánh giá thực nghiệm 48 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 49 5.1 Kết luận 49 5.2 Hướng phát triển tương lai 49 TÀI LIỆU THAM KHẢO 51 DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT TT Viết tắt RL MAB Dạng đầy đủ Diễn giải Reinforcement Learning Học tăng cường Multi-Armed Bandit Bài toán MAB – toán Học tăng cường cổ điển IGP Interior Gateway Protocol Giao thức định tuyến nội miền EGP Exterior Gateway Protocol Giao thức định tuyến liên miền BGP Border Gateway Protocol Giao thức định tuyến BGP iBGP Internal Border Gateway Giao thức định tuyến BGP Protocol nội miền External Gateway Protocol Giao thức định tuyến BGP eBGP liên miềm RIP Routing Information Giao thức định tuyến nội Protocol miền sử dụng thuật toán Distance-Vector OSPF Open Shortest Path First Giao thức định tuyến nội miền 10 AS Autonomous System Hệ thống tự trị 11 ISP Internet Service Provider Nhà cung cấp dịch vụ Internet 12 VPN 13 MPLS 14 QoS 15 LLDP Virtual Private Network Mạng riêng ảo Multi-Protocol Label Một công nghệ chuyển tếp Switching liệu mạng Quality of Service Chất lượng dịch vụ Link Layer Discovery Giao thức mạng dùng Protocol để thu thập liệu từ thiết bị lân cận 16 RTT Round-Trip Time Chỉ số thời gian trễ round 17 SDN 18 OF 19 HPR Software-Defined Kiến trúc mạng có khả Networking lập trình OpenFlow Một giao thức SDN Hot-Potato Routing Một giải pháp định tuyến đơn giản cách chọn nút gần nhất, chi phí thấp 20 TE 21 MLU Traffic Engineering Kỹ thuật lưu lượng Maximum Link Utilization Một số kỹ thuật lưu lượng 22 MDP Markov Decision Process Một framework toán học dùng để mơ hình hóa Decision-Making 23 UCB Upper Confidence Bound Một thuât toán dựa xác suất thống kê, thường sử dụng để giải toán MAB 24 SP-UCB Single-Pulled UCB Một phương sai UCB (bộ chuyển mạch định tuyến) nhằm sửa đổi cách mạng xử lý luồng lưu lượng Hình 4.6 Ryu Controller Trong luận văn này, Ryu application có hai chương trình routing.py enode_select.py Chương trình routing.py cập nhật topology mạng bao gồm trạng thái switch (connect/disconnect) link switch liền nhau, song song với tính tốn routing path cho tất switch với theo Shortest Path First Trên thực tế tính tốn routing đến host (mỗi host ứng với switch) cài đặt routing rules cho switch để mạng thơng suốt def get_shortest_path(self, src, dst): paths = self.get_paths(src, dst) if not paths: return paths = len(paths[0]) + shortest_path = [] for path in paths: if len(path) < min: shortest_path = path = len(path) return shortest_path Chương trình enode_select.py tương tự tính bảng routing nội này, độc lập so với chương trình routing.py Giả sử hai routing table giống 39 (do hàm tính tốn giống nhau) Như nói phần trên, luồng traffic vào từ switch có source IP 11.0.0.1 destination IP 11.0.02 Các nút đầu chọn xác định sẵn EGRESS_NODES Trong chu kỳ, dựa thuật toán MAB chọn, chương trình chọn nút đầu nút EGRESS_NODES, đồng thời:  Cài đặt lại routing table cho tuyến đường từ 11.0.0.1 đến 11.0.0.2 (Outbound traffic)  Tính tốn Delay Loss tuyến đường dùng hai thông số để tính tốn reward  Reward lưu lại thuật toán MAB sử dụng lịch sử reward tương ứng với nút đầu để chọn nút đầu chu kỳ Ngoài ra, để tạo luồng lưu lượng bên mạng, thực nghiệm sử dụng mẫu pcap từ Netresec [10], Wireshark [11] Các mẫu thu thập lưu lượng mạng thực tế với danh mục lưu lượng khác nhau, từ lướt web, phát video, DNS, đến lưu lượng kết hợp Một số công cụ chỉnh sửa, chẳng hạn tcprewrite, editcap bittwiste, sử dụng để sửa đổi địa timestamp tệp pcap thành giá trị khác Cuối cùng, tcpreplay sử dụng để truyền gói tệp pcap mạng thơng qua máy chủ ảo gắn vào thiết bị chuyển mạch Ngoài ra, để mô điều kiện khác mạng, thực nghiệm sử dụng công cụ Netem để thay đổi Loss Delay thành giá trị tùy ý theo thời gian Đối với topology mạng, thực nghiệm thiết lập hai kịch lưu lượng, tình trạng underload overload Trong kịch (underload), throughput 50% băng thơng cho phép, dẫn đến tỷ lệ Loss Delay thấp Trong kịch nâng cao (overload), throughput truy cập với cường độ cao, tỷ lệ Loss Delay cao tuyến đường Mục tiêu thực nghiệm quan sát hiệu suất phương pháp tiếp cận hai tình Trong thực nghiệm này, trình chọn đầu thực sau khoảng thời gian định đặt trước chương trình, sau 40 phút Nói cách khác, lựa chọn đầu thực định kỳ để giữ thay đổi thành nút đầu khác def selecting(self): hub.sleep(3) action_list = [] for node in EGRESS_NODES: action_list.append(Action(node)) mab_model = SP_UCB2(action_list, len(action_list),0.1) self.logger.info(mab_model.actions) Chương trình sử dụng hàm để đo Loss Delay: get_path_stats(), calculate_loss() calculate_link_delay() def calculate_loss(self, tx1, rx1, tx2, rx2): tx_diff = tx2 - tx1 rx_diff = rx2 - rx1 loss = (1.0 - float(rx_diff) / tx_diff) if tx_diff > else return max(0,loss) Hàm reward hàm tuyến tính giá trị độ trễ Delay tỷ lệ mát gói tin Loss Trong đó, giá trị độ trễ Delay chiếm trọng số 25% tỷ lệ mát gói tin Loss chiếm trọng số 75% 4.2 Kết thực nghiệm Các công cụ Mininet giúp thực nghiệm tạo host trạng thái liên kết, lưu lượng truy cập mạng Các thực nghiệm diễn hai topology mạng chọn trước BSO FUNET Để đánh giá thực nghiệm, cần quan sát điểm phần thưởng hệ thống nắm bắt phần thưởng trung bình Mỗi thuật tốn chạy riêng 12 cho kịch topology mạng Các Hình 4.7, Hình 4.8, Hình 4.9, Hình 4.10 minh họa cho lần chạy chương trình Chúng ta đánh giá hiệu suất họ cách so sánh phần thưởng tích lũy qua thời kỳ (Bảng 4.1) 41 Hình 4.7 Tạo BSO topology Mininet Hình 4.8 Kết thu BSO topology 42 Hình 4.9 Tạo FUNET topology Mininet Hình 4.10 Kết thu FUNET topology 43 Bảng 4.1 Bảng kết Reward Score FUNET TOPOLOGY Time Underload Overload ꞓ-greedy Softmax UCB1 SP-UCB2 ꞓ-greedy Softmax UCB1 SP-UCB2 9.98 9.98 9.98 9.98 3.24 4.68 5.80 4.68 9.39 9.99 10.02 10.02 3.80 4.89 5.28 5.51 9.68 9.55 9.80 10.14 3.97 4.85 5.32 5.67 9.62 9.93 10.04 9.85 3.37 5.08 5.48 5.87 9.58 9.90 10.10 10.07 3.32 4.89 5.40 5.76 8.62 9.89 9.99 10.18 3.67 4.79 5.51 5.26 9.18 10.06 10.06 10.13 3.36 5.08 5.41 5.41 9.21 9.90 10.04 9.90 3.60 5.00 5.87 5.72 8.71 10.16 10.07 10.12 3.98 4.99 5.32 5.80 8.92 9.83 9.91 9.97 3.77 5.20 5.43 5.62 10 9.28 9.86 10.01 10.06 3.38 5.06 5.39 5.49 11 8.98 10.10 10.06 10.14 3.89 5.04 5.39 5.64 12 8.86 9.97 10.26 10.13 3.96 5.03 5.49 5.59 BSO TOPOLOGY Time Underload ꞓ-greedy Softmax UCB1 10.02 10.02 10.02 9.99 10.24 10.12 Overload ꞓ-greedy Softmax 10.02 4.78 4.78 4.78 4.68 10.12 10.29 4.25 5.06 5.45 5.51 10.17 10.27 10.37 4.59 5.14 5.83 5.67 9.78 10.12 10.34 10.26 4.25 4.64 5.70 5.87 9.83 10.09 10.37 10.31 3.87 4.44 5.89 5.76 10.04 10.18 10.30 10.43 4.08 4.60 5.37 5.26 9.91 10.13 10.30 10.22 4.02 5.14 5.36 5.41 9.85 10.11 10.25 10.26 4.16 4.90 5.63 5.72 9.95 10.14 10.19 10.36 4.33 4.73 5.73 5.80 9.88 10.01 10.28 10.45 4.67 4.68 5.43 5.62 10 9.92 10.10 10.18 10.28 4.76 4.75 5.45 5.49 11 9.71 10.12 10.33 10.39 4.37 4.61 5.39 5.64 12 8.86 9.97 10.26 10.13 3.96 5.03 5.49 5.59 44 SP-UCB2 UCB1 SP-UCB2 Hình 4.11 Mơ BSO kịch underload Hình 4.12 Mơ BSO kịch overload 45 Hình 4.13 Mơ FUNET kịch underload Hình 4.14 Mơ FUNET kịch overload Kết là, kịch underload hai topology BSO FUNET, hiệu suất bốn thuật toán tương đối giống nhau, UCB1 SPUCB2 có điểm thưởng cao chút Điều giải thích thực tế điều kiện nhàn rỗi, thay đổi hành vi mạng tương đối không đáng kể, giữ cho điểm thưởng tất nút đầu phạm vi nhỏ Do đó, việc thay đổi nút đầu thăm dị có tác động đến phần thưởng tích lũy theo thời gian Tuy nhiên, kịch overload, lưu lượng mạng có thay đổi liên tục, điểm số đường dẫn dao động theo thời gian Sau đó, 46 khoảng thời gian khác nhau, có nút đầu lý tưởng khác cho lưu lượng Trong trường hợp này, nhận thấy ꞓ-greedy có hiệu suất UCB1 SP-UCB2 tạo phần thưởng cao theo thời gian Chúng ta rút bảng so sánh Reward Score trung bình thuật tốn kịch sau: Bảng 4.2 Bảng so sánh điểm thưởng trung bình thuật tốn ꞓ-greedy Softmax UCB1 SP-UCB2 BSO Underload 100% 102.1% 103.5% 103.9% BSO Overload 100% 110.1% 126.9% 126.1% FUNET Underload 100% 107.6% 110.8% 111% FUNET Overload 100% 132.4% 143.5% 147.7% Scenario Trong bốn thuật tốn chọn ꞓ-greedy cho hiệu suất thấp So với ꞓ-greedy, UCB1 SP-UCB2 hoạt động tốt khoảng 26% mạng BSO kịch Overload Con số cho FUNET chí cịn cao hơn, với 43,5% cho UCB1 47,7% cho SP-UCB2 Trong đó, thuật tốn Softmax hoạt động tốt so với ꞓ-greedy hai mạng Ngoài ra, hai sách UCB trở nên ổn định sau vài chạy ꞓ-greedy Softmax có xu hướng dao động suốt q trình thử nghiệm Điều giải thích khác biệt cốt lõi ꞓ-greedy, softmax hai thuật tốn UCB, tính ngẫu nhiên Các kỹ thuật trước sử dụng tính ngẫu nhiên để định điểm đầu tiếp theo, điểm hoạt động tốt có hội chọn cao (softmax), chí nghiêm ngặt ꞓ-greedy, có khả chọn lại nút đầu trung bình cao trước Ngược lại, thuật tốn UCB khơng hiển thị ngẫu nhiên Thay vào đó, chúng sử dụng phương pháp lập index để khai thác giai đoạn mà thời điểm cho nhánh hoạt động "một hội khác" để có trạng thái reward Bằng cách này, hệ thống thích ứng nhiều với hành vi thay đổi liên tục mạng mà không trông cậy vào may rủi 47 4.3 Đánh giá thực nghiệm Thực nghiệm diễn thành công nêu khác biệt kết bốn thuật toán học tăng cường hai kịch lựa chọn – Underload Overload Trong trường hợp, thuật toán UCB tỏ hiệu ổn định Về mạng rộng lớn phức tạp, cách tiếp cận phương pháp học tăng cường phát huy khả lựa chọn nút đầu tối ưu so với cách tiếp cận truyền thống Tuy nhiên cần xác định rằng, thử nghiệm thực kiến trúc SDN, nơi cung cấp mơi trường để thực giám sát triển khai hệ thống SDN cho nhìn tổng quan topology mạng việc tính toán Loss, Delay dễ dàng Thực nghiệm thực số điều kiện cố định, chưa thể hét độ phức tạp thay đổi mạng thực tế Ví dụ, phần cập nhật lại routing nội mạng (giữa host mạng) triggered có thay đổi topology mạng (switch/link connect/disconnect) thay cập nhật lại sau khoảng thời gian giây chương trình Hoặc hàm tính tốn reward đơn giản hàm tuyến tính Loss Delay, chưa thể dựa hồn tồn vào để đánh giá xác hiệu tuyến đường mạng Hoặc là, hàm routing hardcode với địa IP mặc định tương ứng với switch (IP 10.0.0.x tương ứng với switch x) mà chưa thể detect địa IP cách linh động Chính thế, thực nghiệm thành cơng việc nêu trình bày bốn thuật tốn học tăng cường dựa toàn MAB đạt mục tiêu luận văn Các hạn chế thực nghiệm phải nghiên cứu thêm để dần tiệm cận với điều kiện mạng thực tế phức tạp liên tục có thay đổi 48 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Luận văn với đề tài “Nghiên cứu triển khai thuật toán lựa chọn nút đầu cho mạng SDN phân tán dựa học tăng cường” hồn thành đạt mục tiêu trước - Nêu hạn chế cách tiếp cận truyền thống việc lựa chọn nút đầu ra, đặc biệt phức tạp, dễ gây gián đoạn mạng, vv - Đề xuất hướng tiếp cận khác dựa thuật toán học tăng cường – Multi-Armed Bandit dựa tương đồng hai tốn, ta coi nút đầu tiềm “Hành động” “Phần thưởng” số QoS, công thức Delay Loss - Đề xuất phương pháp đo tham số Delay Loss mạng SDN - Triền khai mạng SDN để tính tốn, cài đặt tuyến đường thực tác vụ lựa chọn nút đầu (dựa vào Shortest Part First), thử nghiệm để tạo luồng traffic internal – external - Áp dụng bốn thuật toán học tăng cường đề xuất hai topology mạng FUNET BSO Từ kết rút đánh giá thuật tốn UCB có hiệu suất cao thuật tốn cịn lại, kịch mạng overload 5.2 Hướng phát triển tương lai Mặc dù luận văn có kết ban đầu, nhiên thực nghiệm thực điều kiện đơn giản, chưa thể thay đổi liên tục phức tạp mạng thực tế Đây điểm thiếu sót mà từ tác giả cần theo hướng thực tế hơn, phát triển thuật toán đặc biệt phương pháp tính giá trị QoS để đáp ứng yêu cầu thực tế, áp dụng thực tế Mặt khác, nội dung luận văn thực nghiệm hướng tới chiến lược định tuyến nội miền AS, với nút đầu tiềm nút biên AS nhằm đưa lưu lượng tới AS khác Lựa chọn nút đầu tối ưu AS khơng có nghĩa tuyến đường từ nguồn tới đích qua nút đầu tối ưu, 49 biết “giá” phân đoạn mạng để tới đích Việc lựa chọn nút đầu tối ưu để có tuyến đường tối ưu từ nguồn tới đích địi hỏi có nhìn tổng quan (global view), chiến lược phương án định tuyến liên miền (giữa AS) Đây tốn lớn mang tính cấp thiết mơi trường mạng nay, địi hỏi tác giả tiếp tục nghiên cứu tương lai 50 TÀI LIỆU THAM KHẢO [1] Wang, Zheng and Crowcroft, Jon, "Shortest path first with emergency exits," in Proceedings of the ACM symposium on Communications architectures & protocols, 1990, pp 166-176 [2] Kuleshov, Volodymyr and Precup, Doina, "Algorithms for multi-armed bandit problems," arXiv preprint arXiv:1402.6028, 2014 [3] Kreutz, Diego and Ramos, Fernando MV and Verissimo, Paulo Esteves and Rothenberg, Christian Esteve and Azodolmolky, Siamak and Uhlig, Steve, "Software-defined networking: A comprehensive survey," Proceedings of the IEEE, vol 103, pp 14-76, 2014 [4] Teixeira, Renata and Shaikh, Aman and Griffin, Timothy G and Rexford, Jennifer, "Impact of hot-potato routing changes in IP networks," IEEE/ACM Transactions On Networking, vol 16, pp 1295-1307, 2008 [5] Auer, Peter and Cesa-Bianchi, Nicolo and Fischer, Paul, "Finite-time analysis of the multiarmed bandit problem," Machine learning, vol 47, pp 235-256, 2002 [6] R Degenne, V Perchet and Vianney, "Anytime optimal algorithms in stochastic multi-armed bandits," in International Conference on Machine Learning, 2016, pp 1587-1595 [7] Knight, Simon and Nguyen, Hung X and Falkner, Nickolas and Bowden, Rhys and Roughan, Matthew, "The internet topology zoo," IEEE Journal on Selected Areas in Communications, vol 29, pp 1765-1775, 2011 [8] "Mininet," [Online] Available: http://mininet.org/ [9] "RYU," [Online] Available: https://ryu-sdn.org/ [10] "Netresec," [Online] Available: https://www.netresec.com/ [11] "Wireshark sample captures," https://wiki.wireshark.org/SampleCaptures [Online] Available: [12] Rekhter, Yakov and Li, Tony and Hares, Susan, "A border gateway protocol (BGP-4)," 2006 [13] Teixeira, Renata and Griffin, Timothy G and Resende, Mauricio GC and Rexford, Jennifer, "Tie breaking: Tunable interdomain egress selection," in Proceedings of the 2005 ACM conference on Emerging network experiment and technology, 2005, pp 93-104 [14] Teixeira, Renata and Shaikh, Aman and Griffin, Tim and Rexford, Jennifer, "Dynamics of hot-potato routing in IP networks," in Proceedings of the joint international conference on Measurement and modeling of computer systems, 2004, pp 307-319 51 [15] Teixeira, Renata and Duffield, Nick and Rexford, Jennifer and Roughan, Matthew, "Traffic matrix reloaded: Impact of routing changes," in Passive and Active Network Measurement: 6th International Workshop, PAM 2005, Boston, MA, USA, March 31-April 1, 2005 Proceedings 6, 2005, pp 251264 [16] Labovitz, Craig and Ahuja, Abha and Bose, Abhijit and Jahanian, Farnam, "Delayed Internet Routing Convergence," ACM SIGCOMM Computer Communication Review, vol 30, pp 175-187, 2000 [17] Iannaccone, Gianluca and Chuah, Chen-Nee and Bhattacharyya, Supratik and Diot, Christophe, "Feasibility of IP Restoration in a Tier-1 Backbone," IEEE Network, vol 18, pp 13-19, 2004 [18] Fortz, Bernard and Rexford, Jennifer and Thorup, Mikkel, "Traffic Engineering with Traditional IP Routing Protocols," IEEE communications Magazine, vol 40, pp 118-124, 2002 [19] Hedrick, Charles L, RFC1058: Routing information protocol, RFC Editor, 1988 [20] Moy, John, RFC2328: OSPF Version 2, RFC Editor, 1998 [21] Bressoud, Thomas C and Rastogi, Rajeev and Smith, Mark A, "Optimal configuration for BGP route selection," in IEEE INFOCOM 2003 Twentysecond Annual Joint Conference of the IEEE Computer and Communications Societies (IEEE Cat No 03CH37428), 2003, pp 916-926 [22] Kadiyala, Krishna P and Cobb, Jorge A, "Inter-as traffic engineering with sdn," in 2017 IEEE Conference on Network Function Virtualization and Software Defined Networks (NFV-SDN), 2017, pp 1-7 [23] Sutton, Richard S and Barto, Andrew G and others, Introduction to reinforcement learning, MIT press Cambridge, 1998 [24] Tran, Hai Anh and Hoceini, Said and Mellouk, Abdelhamid and Perez, Julien and Zeadally, Sherali, "Qoebased server selection for content distribution networks," IEEE Transactions on Computers, vol 63, pp 28032815, 2013 [25] McKeown, Nick and Anderson, Tom and Balakrishnan, Hari and Parulkar, Guru and Peterson, Larry and Rexford, Jennifer and Shenker, Scott and Turner, Jonathan, "Openflow: Enabling innovation in campus networks," ACM SIGCOMM computer communication review, vol 38, pp 69-74, 2008 [26] Li, Yang and Cai, Zhi-Ping and Xu, Hong, "LLMP: Exploiting lldp for latency measurement in software-defined data center networks," Journal of Computer Science and Technology, vol 33, pp 277-285, 2018 [27] DeVore, Ronald A and Temlyakov, Vladimir N, "Some remarks on greedy algorithms.," Advances in computational Mathematics, vol 5, pp 173-187, 52 1996 [28] Senouci, Mustapha Reda and Habbouchi, Ahmed and Mordjana, Yakoub, "Bandit algorithms for robust forwarding in named data networking," in Advances in Computing Systems and Applications: Proceedings of the 5th Conference on Computing Systems and Applications, Springer, 2022, pp 211-221 [29] Gelfand, Alan E, "Gibbs sampling," Journal of the American statistical Association, vol 95, pp 1300-1304, 2000 53