Xây dựng mô hình điều khiển lưu lượng trong ảo hóa chức năng mạng sử dụng học tăng cường sâu

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Xây dựng mơ hình điều khiển lưu lượng ảo hóa chức mạng sử dụng học tăng cường sâu NGUYỄN XUÂN TUẤN TRUNG Trung.nxt202893M@sis.hust.edu.vn Ngành Kỹ thuật viễn thông Chữ ký GVHD Giảng viên hướng dẫ n: TS Phạm Tuấn Minh PGS.TS Nguyễn Hữu Thanh Trường: Điện - Điện tử HÀ NỘI, 09/2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn : Nguyễn Xuân Tuấn Trung Đề tài luận văn: Xây dựng mô hình điều khiển lưu lượng ảo hóa chức mạng sử dụng học tăng cường sâu Chuyên ngành: Kỹ thuật viễn thông Mã số SV: 20202893M Tác giả, người hướng dẫn khoa học hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 27/10/2022 với nội dung sau: • Bổ sung thơng tin thiếu mục 2.2 bao gồm: luồng phục vụ thành công; không phục vụ thành công; mối quan hệ thành phần dịch vụ lực tính tốn nút • Giải thích cách huấn luyện mạng nơ-ron tác nhân nhà phê bình mục 2.3.2.3 Giải thích kết hình 3.2, 3.3, 3.4 Thêm bảng định nghĩa cơng thức tốn học • • Giáo viên hướng dẫn Hà Nội, Ngày tháng 11 năm 2022 Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG LỜI CAM ĐOAN Tôi Nguyễn Xuân Tuấn Trung, mã số học viên 20202893M, học viên lớp kỹ thuật viễn thơng (KH), khóa 2020B Người hướng dẫn TS Phạm Tuấn Minh PGS TS Nguyễn Hữu Thanh Tơi xin cam đoan tồn nội dung trình bày luận văn “Xây dựng mơ hình điều khiển lưu lượng ảo hóa chức mạng sử dụng học tăng cường sâu” kết q trình tìm hiểu nghiên cứu tơi Các liệu nêu luận văn hoàn tồn trung thực, phản ánh kết mơ thực tế Mọi thơng tin trích dẫn tn thủ quy định sở hữu trí tuệ, tài liệu tham khảo liệt kê rõ ràng Tôi xin chịu hoàn toàn trách nhiệm với nội dung viết luận văn Hà Nội, ngày 29 tháng 09 năm 2022 Người cam đoan Nguyễn Xuân Tuấn Trung MỞ ĐẦU Ảo hóa chức mạng (Network Function Virtualization - NFV) dần trở thành thành phần kiến trúc mạng Internet hệ Dịch vụ NFV bao gồm thành phần chức kết nối với nhau, gọi chuỗi chức dịch vụ (Service Function Chaining - SFC), chạy nhiều nút mạng theo yêu cầu Để đáp ứng yêu cầu dịch vụ, chức dịch vụ cần khởi tạo nút Sau luồng liệu yêu cầu dịch vụ điều khiển đến nút này, tùy theo chuỗi chức dịch vụ mục tiêu tối ưu nhà cung cấp dịch vụ NFV Thông thường để giải vấn đề điều khiển lưu lượng, nhà cung cấp thường tiếp cận phương pháp tùy chỉnh thiết kế chuyên gia Tuy nhiên, phương pháp hoạt động tốt cho kịch định mơ hình thường dựa vào giả định khơng thực tế kiến thức khơng có sẵn Học tăng cường sâu năm gần trở nên phổ biến với toán định phức tạp với thông tin môi trường không đầy đủ Phương pháp học cách đưa định điều phối dịch vụ tốt hướng tới giả định thực tế Nó tương tác trực tiếp với môi trường mạng hoạt động dựa thơng tin giám sát có sẵn Một tác nhân huấn luyện ngoại tuyến mà không cần tới kiến thức chuyên gia sau triển khai trực tuyến mạng Tác nhân học định điều khiển lưu lượng tốt nhằm tối ưu hóa mục tiêu khác So sánh với thuật toán heuristic, mơ hình học tăng cường sâu có khả áp dụng linh hoạt cho mơ hình lưu lượng liệu mục tiêu tối ưu khác Vì vậy, em xin chọn đề tài "Xây dựng mơ hình điều khiển lưu lượng ảo hóa chức mạng sử dụng học tăng cường sâu” Qua luận văn này, em xin chân thành cảm ơn hướng dẫn trực tiếp hỗ trợ từ TS Phạm Tuấn Minh góp ý đến từ PGS.TS Nguyễn Hữu Thanh Em xin bày tỏ biết ơn tới gia đình, người thân bạn bè hỗ trợ động viên tinh thần suốt trình nghiên cứu hồn thành luận văn HỌC VIÊN TĨM TẮT LUẬN VĂN Mục tiêu luận văn áp dụng học tăng cường sâu để xây dựng mơ hình điều khiển lưu lượng ảo hóa chức mạng đáp ứng nhiều mục tiêu tối ưu mơ hình lưu lượng khác Đồng thời, so sánh đánh giá hiệu với mơ hình ứng dụng học tăng cường sâu với thuật toán heuristic việc điều khiển lưu lượng Mơ hình đưa dựa vào thơng tin giám sát có sẵn từ hệ thống mạng, học tìm giải pháp điều khiển lưu lượng nhằm tối ưu mục tiêu tỷ lệ chấp nhận yêu cầu trễ đầu cuối trung bình luồng Tác nhân mơ hình đề xuất huấn luyện ngoại tuyến triển khai trực tuyến mạng Các kết từ mơ cho thấy, mơ hình mà tác giả đề xuất vượt trội so với thuật toán xấp xỉ luyện kim Ngồi trường hợp quy mơ mạng thay đổi thực tế, mơ hình cho kết khả quan Luận văn trình bày thành chương sau: Chương giới thiệu tổng quan lý thuyết ảo hóa chức mạng bao gồm khái niệm, đặc điểm, kiến trúc mơ hình dịch vụ NFV Trong chương tác giả giới thiệu phương pháp học tăng cường sâu, bao gồm khái niệm, mơ hình, phương pháp lịch sử phát triển loại hình học máy Chương tiền đề để xây dựng mơ hình đề xuất chương sau Chương hai luận văn trình bày vấn đề điều khiển lưu lượng ảo hóa chức mạng, hạn chế phương pháp sử dụng Cùng với khảo sát tác giả nghiên cứu có Tiếp đó, tác giả đưa mơ hình hóa tốn điều khiển lưu lượng NFV đưa phương pháp giải vấn đề mà tác giả đề xuất dựa học tăng cường sâu phương pháp xấp xỉ Chương ba luận văn đưa đề xuất mơ hình thí nghiệm mà tác giả tiến hành để đánh giá hiệu thuật toán đề xuất với thuật toán xấp xỉ Các thí nghiệm tiến hành kịch khác tăng số lượng nút đầu vào, tăng lực tính tốn nút mạng mở rộng quy mơ mạng Kết đánh giá cho thấy tính hiệu mơ hình đề xuất với thơng số hiệu độ trễ đầu cuối tỷ lệ đáp ứng yêu cầu dịch vụ HỌC VIÊN MỤC LỤC MỤC LỤC i DANH MỤC CÁC KÝ HIỆU TOÁN HỌC iii DANH MỤC THUẬT NGỮ VIẾT TẮT iv DANH MỤC HÌNH VẼ vi DANH MỤC BẢNG BIỂU vii CHƯƠNG GIỚI THIỆU VỀ ẢO HÓA CHỨC NĂNG MẠNG VÀ HỌC TĂNG CƯỜNG SÂU 1.1 Giới thiệu ảo hóa chức mạng 1.1.1 Khái niệm 1.1.2 Đặc điểm NFV 1.1.3 Kiến trúc NFV 1.1.4 Dịch vụ NFV 10 1.2 Giới thiệu học tăng cường sâu 12 1.2.1 Giới thiệu học tăng cường 12 1.2.2 Phân loại thuật toán 14 1.2.3 Học sâu cho học tăng cường 19 1.2.4 Lịch sử phát triển 21 1.3 Kết luận chương 28 CHƯƠNG BÀI TOÁN ĐIỀU KHIỂN LƯU LƯỢNG TRONG ẢO HÓA CHỨC NĂNG MẠNG 29 2.1 Giới thiệu toán điều khiển lưu lượng NFV 29 2.1.1 Mơ tả tốn 29 2.1.2 Các nghiên cứu liên quan 31 2.2 Mơ hình hóa tốn 32 2.2.1 Mơ hình hóa đầu vào 32 2.2.2 Mơ hình hóa đầu 34 2.2.3 Mơ hình hóa mục tiêu tối ưu 34 2.3 Thuật toán học tăng cường sâu để điều khiển lưu lượng NFV 35 i 2.3.1 Mô tả thuật toán 35 2.3.2 Xây dựng thuật toán học tăng cường sâu cho toán NFV 40 2.4 Thuật toán luyện kim để điều khiển lưu lượng NFV 45 2.4.1 Mơ tả thuật tốn 45 2.4.2 Xây dựng thuật toán luyện kim để giải toán 47 2.5 Kết luận chương 48 CHƯƠNG ĐÁNH GIÁ THUẬT TOÁN 49 3.1 Cài đặt thuật toán 49 3.1.1 Thuật toán học tăng cường sâu DDPG 49 3.1.2 Thuật toán luyện kim SA 49 3.2 Kịch đánh giá 49 3.2.1 Mơ hình lưu lượng liệu 49 3.2.2 Mơ hình mạng 53 3.2.3 Mơ hình chuỗi dịch vụ 54 3.2.4 Môi trường mô 55 3.3 Kết đánh giá 55 3.3.1 Chọn số vòng lặp huấn luyện 55 3.3.2 Số nút đầu vào dịch vụ thay đổi 56 3.3.3 Khả tính tốn nút mơ hình mạng thay đổi 62 3.3.4 Quy mơ mơ hình mạng thay đổi 64 3.4 Kết luận 65 TÀI LIỆU THAM KHẢO 67 ii