Điều khiển tắc nghẽn mạng internet bằng deep reinforcement learning

UBND TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT LÊ HUY TÊN ĐỀ TÀI ĐIỀU KHIỂN TẮC NGHẼN MẠNG INTERNET BẰNG DEEP REINFORCEMENT LEARNING CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ BÌNH DƯƠNG, năm 2020 UBND TỈNH BÌNH DƯƠNG TRƯỜNG ĐẠI HỌC THỦ DẦU MỘT LÊ HUY TÊN ĐỀ TÀI ĐIỀU KHIỂN TẮC NGHẼN MẠNG INTERNET BẰNG DEEP REINFORCEMENT LEARNING CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 8480104 LUẬN VĂN THẠC SỸ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS.TS LÊ TUẤN ANH BÌNH DƯƠNG, năm 2020 LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu Luận văn trung thực chưa công bố cơng trình khác Tơi xin cam đoan giúp đỡ cho việc thực Luận văn cảm ơn thơng tin trích dẫn Luận văn rõ nguồn gốc Học viên thực đề tài i LỜI CẢM ƠN Để hoàn thành luận văn thạc sĩ này, tơi xin bày tỏ cảm kích đặc biệt tới thầy hướng dẫn khoa học tơi, Phó Giáo sư Tiến sĩ Lê Tuấn Anh - Người định hướng, trực tiếp dẫn dắt cố vấn cho suốt thời gian thực luận văn Xin chân thành cảm ơn giảng báo khoa học thầy giới thiệu giúp cho mở mang thêm nhiều kiến thức hữu ích điều khiển tắc nghẽn mạng internet Đồng thời, thầy người cho lời khuyên vô quý giá kiến thức chuyên môn định hướng phát triển nghiệp Một lần nữa, xin gửi lời cảm ơn đến thầy tất lòng biết ơn Tơi xin gửi lời cảm ơn chân thành đến Viện Đào tạo Sau Đại học, trường đại học Thủ Dầu Một, giảng dạy hỗ trợ tơi suốt q trình học trình làm luận văn thạc sĩ Sau cùng, tơi xin tỏ lịng biết ơn đến cha mẹ, người thân bạn bè bên cạnh ủng hộ, động viên sống thời gian hoàn thành luận văn thạc sĩ Học viên thực đề tài ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC BẢNG iv DANH MỤC HÌNH, ĐỒ THỊ v DANH MỤC CHỮ VIẾT TẮT vi MỞ ĐẦU Chương TỔNG QUAN 1.1 Giao thức TCP/IP 1.2 TCP chế điều khiển tắc nghẽn 1.2.1 Quá trình slow-start congestion avoidance 1.2.2 Quá trình Fast-Retransmit 1.2.3 Quá trình Fast-Recovery 1.3 Học tăng cường 1.3.1 Các khái niệm 1.3.2 Quy trình định Markov (Markov Decision Process – MDP) 1.3.3 Q – Learning 1.3.4 Học tăng cường sâu (Deep Q – Learning) Chương CÁC NGHIÊN CỨU LIÊN QUAN 11 2.1 Kỹ thuật điều khiển tắc nghẽn dựa vào rule-based 11 2.1.1 TCP Tahoe 11 2.1.2 TCP Reno 11 2.1.3 TCP New Reno 12 2.1.4 TCP Cubic 13 2.2 Kỹ thuật điều khiển tắc nghẽn dựa vào ML 14 2.3 DRL - PCC Aurora 15 Chương ĐỀ XUẤT GIẢI PHÁP 17 3.1 Đề xuất cải tiến 17 3.2 Xây dựng mô hình 21 2.4 Đánh giá mơ hình đề xuất 23 3.3.1 Đánh giá huấn luyện 23 3.3.2 Đánh giá thích ứng độ ổn định 24 2.5 Cài đặt thực nghiệm (Testbed) kết 25 2.6 Đánh giá kết thực nghiệm 27 KẾT LUẬN 28 Tài Liệu Tham Khảo 29 iii DANH MỤC BẢNG iv DANH MỤC HÌNH, ĐỒ THỊ Hình Mơ hình TCP / IP Hình Mơ hình học tăng cường Hình Quy trình định Markov Hình Mơ hình Deep Q Learning Hình So sánh thơng lượng TCP CUBIC Aurora 16 Hình So sánh thông lượng phương pháp TCP CUBIC Aurora, thông lượng điều chỉnh sau giây từ 20Mbps đến 40Mbps ngược lại 16 Hình Mơ hình huấn luyện PCC Aurora Loss 19 Hình Mơ hình điều khiển PCC Aurora Loss 21 Hình Giá trị hàm reward với giá trị k khác 22 Hình 10 Giá trị hàm reward với giá trị k khác 23 Hình 11 Kết hàm reward huấn luyện Aurora Loss 23 Hình 12 Kết hàm reward huấn luyện Aurora 24 Hình 13 So sánh thơng lượng TCP CUBIC, Aurora, Aurora Loss với giả lập tỉ lệ gói 3-5% 24 Hình 14 Độ đáp ứng giao thức môi trường mạng thay đổi sau giây 25 Hình 15 Mơ hình thực nghiệm mạng internet 25 Hình 16 Thông lượng PCC Aurora 26 Hình 17 Thơng lượng PCC Aurora loss 27 v DANH MỤC CHỮ VIẾT TẮT TCP : Transmission Control Protocol IP : Internet Protocol RL : Reinforcement Learning DRL : Deep Reinforcement Learning ML: Machine learning NN: Neural Network FFNN : Feed Forwarding Neural Network PCC : Performance Oriented Congestion Control Cwnd : Congestion Window vi MỞ ĐẦU Sự tăng trưởng chưa có lưu lượng truy cập mạng, đặc biệt lưu lượng truy cập mạng di động, ảnh hưởng lớn tới mạng Internet ngày Mặc dù lực liên kết có dây khơng dây liên tục tăng lên khoảng cách nhu cầu người dùng mạng Internet cung cấp lớn dần lên Hơn nữa, nhiều ứng dụng khơng địi hỏi thơng lượng độ tin cậy cao, mà cịn cần độ trễ thấp, nói cách khác đòi hỏi trải nghiệm người dùng cao (Quality of Experience – QoE) Mặc dù cách tiếp cận mạnh mẽ việc triển khai liên kết có dây không dây với công suất cao giúp giảm phần vấn đề, nhiên cách tiếp cận khả thi xem xét lại thiết kế lớp giao thức cao hơn, để sử dụng hiệu khả liên kết lớp vật lý Điều khiển tắc nghẽn chức kết nối mạng quan trọng lớp vận chuyển, đảm bảo phân phối liệu ứng dụng đáng tin cậy Tuy nhiên, việc thiết kế giao thức điều khiển tắc nghẽn khó khăn Đầu tiên, mạng lưới giao vận mạng lưới hàng đợi phức tạp quy mô lớn Bản thân máy chủ đầu cuối TCP bao gồm hàng đợi kết nối với kernel Khi luồng TCP xâm nhập vào Internet, qua hàng đợi khác định tuyến/chuyển mạch dọc theo đường dẫn từ đầu cuối đến đầu cuối, luồng chia sẻ chung lưu lượng với giao thức khác (ví dụ: TCP UDP) vận hành theo số quy tắc lập lịch định Để hiểu mạng lưới phức tạp vậy, phát triển giao thức điều khiển tắc nghẽn hiệu quả, ta cần nguồn lực lớn Thứ hai, tuân theo nguyên tắc đầu cuối, tác nhân máy chủ đầu cuối phải thăm dò trạng thái mạng đưa định độc lập mà không cần phối hợp với Trạng thái mạng thu thập thường dễ bị lỗi bị trễ, tác động định bị trễ phụ thuộc vào hành động máy chủ cạnh tranh khác, lúc định dường khơng cịn nhiều ý nghĩa Thứ ba, nói đến định tuyến, thuật tốn phải đơn giản (ví dụ: stateless) để đảm bảo khả mở rộng, định tuyến thường phải xử lý lưu lượng lớn Cuối cùng, nhiều thiết bị không dây kết nối vào hệ thống, liên kết không dây với đa dạng độ tiêu hao băng thông đặt nhiều thách thức lớn thiết kế điều khiển tắc nghẽn Nhiều giao thức điều khiển tắc nghẽn hiệu phát triển ba thập kỷ qua Tuy nhiên, nhiều đề án có dựa số giả định Ví dụ thuật tốn điều khiển tắc nghẽn phần khơng cịn phù hợp độ gói ngẫu nhiên đường truyền băng thơng lớn Với thuật tốn điều khiển tắc nghẽn nay, phát gói tin bị mất, thuật tốn liền giảm 1/2 tốc độ truyền, dẫn tới băng thông bị lãng phí 1/2 gói khơng nói lên tình trạng mạng tắc nghẽn, mà kiện gói nhỏ Để giải vấn đề này, cần phải thiết kế thuật tốn nhận biết đâu tắc nghẽn thật đâu gói ngẫu nhiên khơng liền mạch Với phát triển mạnh mẽ học máy học sâu nay, nhiều lĩnh vực sống cải tiến thành công Học máy học sâu dựa nhiều vào liệu thu thập khứ, giải nhiều tốn phức tạp với nhiều biến số Vì để tránh sử dụng giả định có sẵn có phần khơng cịn với mật độ, phức tạp mạng internet tại, nghiên cứu áp dụng kết hợp học máy học sâu để phát triển giao thức điều khiển tắc nghẽn Dựa vào liệu có hệ thống mạng, học máy học sâu rút trích tính chất quan trọng việc điều khiển tắc nghẽn mạng internet Cụ thể luận văn này, trọng nghiên cứu phương pháp học máy đáp ứng với mơi trường thay đổi ngẫu nhiên phương pháp học tăng cường sâu (Deep Reinforcement Learning – DRL) để áp dụng vào điều khiển tắc nghẽn mạng internet Luận văn chia làm phần sau: Chương nói khái quát cấu trúc mạng internet; điều khiển tắc nghẽn các chế điều khiển tắc nghẽn; học tăng cường học tăng cường sâu; Chương giới thiệu nghiên cứu liên quan hướng tiếp cận rule-based ML-based Chương đề xuất giải pháp đánh giá hiệu 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 ... DRL) để áp dụng vào điều khiển tắc nghẽn mạng internet Luận văn chia làm phần sau: Chương nói khái quát cấu trúc mạng internet; điều khiển tắc nghẽn các chế điều khiển tắc nghẽn; học tăng cường... thức lớn thiết kế điều khiển tắc nghẽn Nhiều giao thức điều khiển tắc nghẽn hiệu phát triển ba thập kỷ qua Tuy nhiên, nhiều đề án có dựa số giả định Ví dụ thuật tốn điều khiển tắc nghẽn phần khơng... thuật toán điều khiển tắc nghẽn chia làm hai tiếp cập: phương pháp rule-based phương pháp ML-based 2.1 Kỹ thuật điều khiển tắc nghẽn dựa vào rule-based Thông thường, điều khiển tắc nghẽn thuật