Với sự phát triển của Internet, smartphone và đặc biệt là các thiết bị cảm biến, Internet of Things (IoT) đang trở thành xu hướng mới của thế giới ngày nay. IoT là một công nghệ mới nhằm kết nối các thiết bị thông minh theo kiểu không đồng nhất. Những năm gần đây, IoT đã trở thành môi trường kết nối giữa các thiết bị thông minh với các hệ thống công nghiệp. Bằng cách đó, dữ liệu lớn ngày càng được tạo ra nhiều hơn trong môi trường IoT, trong đó một số loại dữ liệu có thể được thu thập cho các dịch vụ trong nhiều ứng dụng. Ví dụ như nhà thông minh, chăm sóc sức khỏe, thành phố thông minh, và ngành công nghiệp tự động. Ngoài ra, những tiến bộ gần đây trong công nghệ phần cứng, phần mềm, mạng và máy móc đều góp phần vào sự phát triển của IoT. Tuy nhiên, IoT cũng tồn tại nhiều thách thức khác nhau trong quản lý và điều khiển mạng như kỹ thuật giám sát lưu lượng và dò tìm lỗi. Do đó, một trong những điều đáng lưu tâm là phải có được một cơ chế có thể tự động cung cấp khả năng giám sát lưu lượng chi tiết, điều này giúp hỗ trợ các ứng dụng khác nhau yêu cầu thông tin lưu lượng chi tiết từ các mạng IoT. Tuy nhiên, sự cần thiết cơ bản này còn nhiều thách thức để đạt được do sự đa dạng của các loại lưu lượng IoT trong môi trường chung. Gần đây, mạng định nghĩa bởi phần mềm (SDN) đã được giới thiệu là một công nghệ đột phá trong các ngành viễn thông với những ưu điểm vượt trội liên quan đến tính linh hoạt trong điều khiển và quản lý mạng. Đặc biệt, SDN giới thiệu một cách tiếp cận thiết kế và quản lý mới cho mạng. Đặc điểm chính của mô hình này là sự tách biệt của mặt phẳng điều khiển và mặt phẳng dữ liệu. Bộ điều khiển SDN thực hiện quyết định, trong khi các switch SDN xử lý chuyển tiếp dữ liệu và giao tiếp giữa hai mặt phẳng được thực hiện thông qua các API. Do đó, sự phát triển của SDN đã cho phép áp dụng các tính năng và khả năng mới cho các mạng IoT để khắc phục những hạn chế hiện tại của chúng trong việc kiểm soát và giám sát lưu lượng mạng. Việc tối ưu hệ thống giám sát lưu lượng để tối đa hóa và cung cấp sự cân bằng về khả năng giám sát, tức là mức độ chi tiết của thống kê lưu lượng, cho nhiều nhóm lưu lượng trong IoT dựa trên SDN là một chủ đề quan trọng cần tiến hành nghiên cứu. Do vậy tôi đã lựa chọn đề tài: “Áp dụng học tăng cường cho giám sát lưu lượng trong mạng IoT dựa trên SDN” làm luận văn tốt nghiệp. 2. Mục tiêu nghiên cứu Luận văn này gồm có các mục tiêu sau: Tìm hiểu lý thuyết tổng quan về IoT, SDN, các kỹ thuật và mô hình kết hợp mạng IoT dựa trên SDN. Nghiên cứu thuật toán học tăng cường, cụ thể là thuật toán Qlearning để nâng cao khả năng giám sát lưu lượng trong mạng IoT dựa trên SDN. Nghiên cứu và mô phỏng thuật toán để thực nghiệm kết quả việc áp dụng thuật toán học tăng cường cho mô hình mạng IoT dựa trên SDN. 3. Đối tượng và phạm vi nghiên cứu Đối tượng nghiên cứu: mạng IoT, công nghệ mạng SDN, thuật toán Qlearning. Phạm vi nghiên cứu: mạng IoT dựa trên SDN. 4. Phương pháp nghiên cứu Phương pháp phân tích và tổng hợp: phân tích đối tượng nghiên cứu để xây dựng mô hình và tổng hợp các yếu tố cấu thành. Phương pháp thực nghiệm: xây dựng mô phỏng để thu thập kết quả đánh giá. 5. Bố cục của luận văn Với mục tiêu, đối tượng và phạm vi nghiên cứu như trên, bố cục luận văn được xây dựng gồm phần mở đầu, 3 chương nội dung chính, và phần kết luận. Chương 1: Tổng quan về Internet of Things (IoT) và Software Define Networking (SDN) Chương 2: Thuật toán học tăng cường giám sát lưu lượng mạng IoT dựa trên SDN Chương 3: Mô phỏng và đánh giá kết quả
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN PHẠM THỊ MỸ SEN ÁP DỤNG HỌC TĂNG CƯỜNG CHO GIÁM SÁT LƯU LƯỢNG TRONG MẠNG IOT DỰA TRÊN SDN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH ĐÀ NẴNG – 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DUY TÂN PHẠM THỊ MỸ SEN ÁP DỤNG HỌC TĂNG CƯỜNG CHO GIÁM SÁT LƯU LƯỢNG TRONG MẠNG IOT DỰA TRÊN SDN Chuyên ngành: Khoa học máy tính Mã số: 8480101 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: TS Nguyễn Gia Trí ĐÀ NẴNG – 2022 LỜI CẢM ƠN Để thực hồn thành luận văn này, tơi nhận hỗ trợ, quan tâm của nhiều cán thầy giáo Trường Khoa học máy tính, Đại học Duy Tân giúp đỡ, tạo điều kiện vật chất tinh thần từ phía gia đình, bạn bè đồng nghiệp, đặc biệt hướng dẫn, hỗ trợ thầy TS Nguyễn Gia Trí Luận văn hoàn thành dựa tham khảo, học tập kinh nghiệm từ kết nghiên cứu liên quan, sách, báo chuyên ngành nhiều tác giả trường Đại học, tổ chức nghiên cứu, tổ chức trị… Trước hết, tơi xin gửi lời cảm ơn sâu sắc đến thầy TS Nguyễn Gia Trí, người trực tiếp hướng dẫn luận văn dành nhiều thời gian, công sức hướng dẫn tơi suốt q trình thực đề tài hồn thành luận văn Tơi xin trân trọng cám ơn thầy cô giáo công tác trường tận tình truyền đạt kiến thức quý báu, giúp đỡ tơi q trình học tập nghiên cứu Tuy có nhiều cố gắng, luận văn khơng tránh khỏi thiếu sót Tơi kính mong quý thầy cô, chuyên gia, người quan tâm đến đề tài, đồng nghiệp, tiếp tục có ý kiến đóng góp, giúp đỡ để đề tài hồn thiện Một lần tơi xin chân thành cám ơn! Đà Nẵng, ngày tháng năm 2022 Tác giả luận văn PHẠM THỊ MỸ SEN LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Đà Nẵng, ngày tháng năm 2022 Tác giả luận văn PHẠM THỊ MỸ SEN MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vi DANH MỤC HÌNH VẼ .viii MỞ ĐẦU 1.Tính cấp thiết đề tài Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Bố cục luận văn Chương TỔNG QUAN VỀ INTERNET OF THINGS (IoT) VÀ SOFTWARE DEFINE NETWORKING (SDN) 1.1 Tổng quan Internet of Things 1.1.1 Khái niệm IoT 1.1.2 Lịch sử hình thành IoT 1.1.3 Cơ sở kỹ thuật IoT .5 1.1.4 Các ứng dụng Internet of Things .9 1.1.5 Các thách thức IoT .12 1.2 Software Define Networking (SDN) 13 1.2.1 Khái nhiệm SDN 13 1.2.2 Kiến trúc SDN .16 1.2.3 Nguyên lý hoạt động SDN 17 1.2.4 Lợi ích giải pháp SDN .18 1.2.5 Đảm bảo an ninh mạng SDN 20 1.3 Tóm lượt chương 22 Chương ÁP DỤNG HỌC TĂNG CƯỜNG GIÁM SÁT LƯU LƯỢNG TRONG MẠNG IOT DỰA TRÊN SDN 23 2.1 Học tăng cường 23 2.1.1 Ý tưởng chung phương pháp học tăng cường 23 2.1.2 Ưu điểm, nhược điểm Reinforcement Learning .26 2.1.3 Ứng dụng Reinforcement Learning 27 2.1.4 Phân loại thuật toán học tăng cường .28 2.2 Thuật toán Q-Learning 29 2.2.1 Ý tưởng thuật toán Q-learning .29 2.2.2 Các biến thể Q-learning 31 2.3 Áp dụng Q-learning giám sát lưu lượng mạng IoT dựa SDN .32 2.3.1 Mơ hình hệ thống 32 2.3.2 Mơ hình tốn 35 2.3.3 Áp dụng Q-learning .38 2.4 Tóm lượt chương 40 Chương MÔ PHỎNG VÀ ĐÁNH GIÁ KÉT QUẢ .41 3.1 Thiết lập mô .41 3.2 Đánh giá kết 42 3.2.1 Hiệu tránh tràn mặt phẳng liệu 42 3.2.2 Hiệu hiệu mạng 44 KẾT LUẬN 47 TÀI LIỆU THAM KHẢO QUYẾT ĐỊNH GIAO ĐỀ TÀI (Bản sao) DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh IoT Internet of things RFID Radio Frequency Identification EPC Electronic Product Code International Telecommunications ITU Union D2D Device to Device S2S Server to Server D2S Device to Server MQTT Message Queue Telemetry Transport Extensible Messaging Presence XMPP Protocol Software-Defined Networking SDN API CP DP ASIC SD-WAN HSM RL DRL AI MDP DoS DDoS IDS TCP/ IP VLAN VPN Nghĩa tiếng Việt Internet vạn vật Định nghĩa tần số vô tuyến Mã sản phẩm điện tử Liên minh Viễn thông Quốc tế Giao thức truyền thông điệp Giao thức truyền thông điệp Mạng điều khiển phần mềm Application Programming Interface Giao diện lập trình Control Plane Mặt phẳng điều khiển Data forwarding plane Mặt phẳng chuyển tiếp liệu Application Specific Integrated Circuit Mạng tích hợp chuyên dụng Software Define Wide Area Network Mạng diện rộng phần mềm định Hardware Security Modules Reinforcement Learning Deep Reinforcement Learning Artificial intelligence Markov Decision Process Denial of Service Distributed Denial of Service nghĩa Mô-đun bảo mật phần cứng Học tăng cường Học tăng cường sâu Trí tuệ nhân tạo Quy trình định Markov Tấn công từ chối dịch vụ Tấn công từ chối dịch vụ phân Intrusion Detection Systems Transmission Control Protocol/ tán Hệ thống phát xâm nhập Giao thức điều khiển truyền Internet Protocol VLAN Virtual Local Area Network Virtual Private Network nhận/ Giao thức liên mạng Mạng riêng ảo Mạng riêng ảo DANH MỤC HÌNH VẼ MỞ ĐẦU 1.Tính cấp thiết đề tài Với phát triển Internet, smartphone đặc biệt thiết bị cảm biến, Internet of Things (IoT) trở thành xu hướng giới ngày IoT công nghệ nhằm kết nối thiết bị thông minh theo kiểu không đồng Những năm gần đây, IoT trở thành môi trường kết nối thiết bị thông minh với hệ thống công nghiệp Bằng cách đó, liệu lớn ngày tạo nhiều mơi trường IoT, số loại liệu thu thập cho dịch vụ nhiều ứng dụng Ví dụ nhà thơng minh, chăm sóc sức khỏe, thành phố thơng minh, ngành cơng nghiệp tự động Ngồi ra, tiến gần công nghệ phần cứng, phần mềm, mạng máy móc góp phần vào phát triển IoT Tuy nhiên, IoT tồn nhiều thách thức khác quản lý điều khiển mạng kỹ thuật giám sát lưu lượng dị tìm lỗi Do đó, điều đáng lưu tâm phải có chế tự động cung cấp khả giám sát lưu lượng chi tiết, điều giúp hỗ trợ ứng dụng khác yêu cầu thông tin lưu lượng chi tiết từ mạng IoT Tuy nhiên, cần thiết nhiều thách thức để đạt đa dạng loại lưu lượng IoT môi trường chung Gần đây, mạng định nghĩa phần mềm (SDN) giới thiệu công nghệ đột phá ngành viễn thông với ưu điểm vượt trội liên quan đến tính linh hoạt điều khiển quản lý mạng Đặc biệt, SDN giới thiệu cách tiếp cận thiết kế quản lý cho mạng Đặc điểm mơ hình tách biệt mặt phẳng điều khiển mặt phẳng liệu Bộ điều khiển SDN thực định, switch SDN xử lý chuyển tiếp liệu giao tiếp hai mặt phẳng thực thơng qua API Do đó, phát triển SDN cho phép áp dụng tính khả cho mạng IoT để khắc phục hạn chế chúng việc kiểm soát giám sát lưu lượng mạng