Đồ án tốt nghiệp: “Ứng dụng AI trong quản lý tài nguyên và búp sóng vô tuyến cho mạng 5G”

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA VIỄN THÔNG I ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Đề tài: “Ứng dụng AI quản lý tài nguyên búp sóng vơ tuyến cho mạng 5G” Giảng viên hướng dẫn Ths Lê Tùng Hoa Sinh viên Lớp Khóa Mã Sinh Viên Hệ Đỗ Minh Toàn D17CQVT07-B D17 (2017-2022) B17DCVT359 Đại học quy Hà Nội, tháng 11/2021 Hệ thống hỗ trợ nâng cao chất lượng tài liệu KẾT QUẢ KIỂM TRA TRÙNG LẶP TÀI LIỆU THÔNG TIN TÀI LIỆU Tác giả Đỗ Minh Toàn Tên tài liệu Đồ án - Đỗ Minh Toàn - B17DCVT359 Thời gian kiểm tra 20-12-2021, 15:00:50 Thời gian tạo báo cáo 20-12-2021, 15:02:26 KẾT QUẢ KIỂM TRA TRÙNG LẶP Điểm 15 Nguồn trùng lặp tiêu biểu [text.123doc.org, dominhhai.github.io, nguyenvanhieu.vn] (*) Kết trùng lặp phụ thuộc vào liệu hệ thống thời điểm kiểm tra NHẬN XÉT (Của giáo viên hướng dẫn) Đồ án tốt nghiệp “Ứng dụng AI quản lý tài ngun búp sóng vơ tuyến cho mạng 5G” sinh viên Đỗ Minh Toàn nhằm đưa nhìn việc áp dụng số thuật tốn AI cụ thể K-mean, DBSCAN dùng cho trường hợp phân cụm, quản lý búp sóng thuật tốn Q-learning mạng LSTM sử dụng cho phân bổ tài nguyên vơ tuyến Thời gian làm đồ án cịn ngắn sinh viên thể chủ động tìm tịi tài liệu thực q trình nghiên cứu chu Kết mô dừng lại việc phân tích kết có sẵn phần thể nỗ lực tìm hiểu sâu mảng AI sinh viên Đề nghị hội đồng chấm đồ án giáo viên phản biện cho sinh viên báo cáo hoàn thành đồ án tốt Điểm: …… (Bằng chữ: ……………….) Ngày … tháng … năm 2021 NHẬN XÉT (Của Giảng viên phản biện) Điểm: …… (Bằng chữ: ……………….) Ngày … tháng … năm 2021 Đồ án tốt nghiệp Đại học LỜI CẢM ƠN Trong thời gian làm đồ án tốt nghiệp, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy cơ, gia đình bạn bè Em xin gửi lời cảm ơn chân thành đến cô Lê Tùng Hoa giảng viên Bộ môn Vô Tuyến - Học viện Công nghệ Bưu Viễn Thơng, người tận tình hướng dẫn, bảo em suốt trình làm đồ án Em xin chân thành cảm ơn thầy cô giáo Học viện nói chung, thầy Bộ mơn Vơ Tuyến nói riêng dạy dỗ cho em kiến thức môn đại cương mơn chun ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện giúp đỡ em suốt trình học tập Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, tạo điều kiện, quan tâm, giúp đỡ, động viên em suốt q trình học tập hồn thành đồ án tốt nghiệp Với điều kiện thời gian kinh nghiệm hạn chế học viên, đồ án tránh thiếu sót Em mong nhận bảo, đóng góp ý kiến thầy để em có điều kiện bổ sung, nâng cao ý thức mình, phục vụ tốt công tác thực tế sau Hà Nội, ngày tháng 11 năm 2021 Sinh viên thực Đỗ Minh Toàn Đỗ Minh Toàn - D17CQVT07-B i Đồ án tốt nghiệp Đại học MỤC LỤC LỜI CẢM ƠN i MỤC LỤC ii DANH MỤC HÌNH iv DANH MỤC BẢNG BIỂU v DANH MỤC VIẾT TẮT vi PHẦN MỞ ĐẦU viii CHƯƠNG 1: TỔNG QUAN VỀ MACHINE LEARNING VÀ REINFORCEMENT LEARNING 1 Machine learning 1.1 Lịch sử đời phát triển 1.2 Các phương pháp phổ biến 1.3 Thuật toán K-mean 1.3.1 Thuật tốn k-means gì? 1.3.2 Ý tưởng thuật toán k-means 1.4 Thuật toán DBSCAN 1.4.1 Thuật toán DBSCAN gì? 1.4.2 Các định nghĩa DBSCAN 1.4.3 Phân loại dạng điểm DBSCAN .7 1.4.4 Các bước thuật toán DBSCAN Reinforcement Learning 10 2.1 Reinforcement Learning gì? 10 2.2 Thuật toán Q – learning 12 2.3 Mạng hồi quy LSTM .14 2.3.1 Mạng RNNs 14 2.3.2 Mạng LSTM .15 2.3.3 Ý tưởng cốt lõi LSTM .17 2.3.4 Bên LSTM .18 Kết luận chương .20 CHƯƠNG 2: TỔNG QUAN VỀ MẠNG 5G 21 Thực trạng triển khai mạng 5G giới Việt Nam 21 Đỗ Minh Toàn - D17CQVT07-B ii Đồ án tốt nghiệp Đại học 1.1 Thực trạng triển khai mạng 5G giới 21 1.2 Thực trạng triển khai mạng 5G Việt Nam 22 Các yêu cầu kỹ thuật trường hợp sử dụng mạng 5G 23 2.1 Các yêu cầu kỹ thuật mạng 5G 23 2.2 Các trường hợp sử dụng mạng 5G 25 2.2.1 Các trường hợp sử dụng Internet di động 25 2.2.2 Các trường hợp sử dụng Internet of Things .26 Kết luận chương .31 CHƯƠNG 3: ỨNG DỤNG AI TRONG QUẢN LÝ TÀI NGUN VÀ BÚP SĨNG VƠ TUYẾN CHO MẠNG 5G 32 Giới thiệu toán 32 Mơ hình hệ thống 33 2.1 Mơ hình mạng 33 2.2 Yêu cầu QoS 34 Deep Q learning với DBSCAN (DQLD) .35 Mô đánh giá 38 4.1 Thiết lập mô 38 4.2 Thuật toán đường sở 39 4.3 Kết hoạt động 40 Kết luận chương .43 KẾT LUẬN VÀ KIẾN NGHỊ 44 DANH MỤC TÀI LIỆU THAM KHẢO 45 Đỗ Minh Toàn - D17CQVT07-B iii Đồ án tốt nghiệp Đại học DANH MỤC HÌNH Hình 1: lịch sử phát triển machine learning Hình 2: Các phương pháp phổ biến machine learning Hình 3: Kết phân cụm thuật toán kmeans [2] Hình 4: Hình minh hoạ cách xác định ba loại điểm [3] Hình Quá trình lan truyền để xác định cụm thuật toán DBSCAN [3] Hình 6: Quy trình tốn Reinforcement learning .10 Hình 7: Trị chơi minh họa cách tìm đường RL [4] 11 Hình 8: Trị chơi áp dụng thuật tốn Bellman Equation .12 Hình 9: Minh họa thuật toán q-learning 13 Hình 10: Recurrent Neural Network có vòng lặp [5] .15 Hình 11: Recurrent Neural Network chưa lặp [5] 15 Hình 12: Mô-đun lặp lại RNN tiêu chuẩn chứa lớp 16 Hình 13: Mơ-đun lặp lại LSTM chứa bốn lớp tương tác .16 Hình 14: Các ký hiệu mạng RNN .16 Hình 15: Băng truyền trạng thái tế bào .17 Hình 16: Các cổng sàng lọc thơng tin 17 Hình 17: LSTM Lọc thơng tin cần loại bỏ 18 Hình 18: LSTM Quyết định thông tin lưu .19 Hình 19: LSTM cập nhật trạng thái 19 Hình 20: LSTM định đầu 19 Hình 1: So sánh tốc độ mạng 4G 5G quốc gia vùng lãnh thổ giới [6] .21 Hình 2: Thái Lan có tỷ lệ chênh lệch tốc độ mạng 5G 4G cao giới [4] 22 Hình 3: Các nhóm ứng dụng 5G (theo ITU) [7] .23 Hình 4: Tăng trưởng kết nối IoT giới 2010-2030 [7] .28 Hình 5: Các họ trường hợp sử dụng 5G ví dụ trường hợp liên quan 29 Hình 6: Các kịch kỹ thuật cho mạng 5G 30 Hình 7: Ánh xạ tám họ ca sử dụng thành ba kịch sử dụng .31 Hình 1: Mơ hình hệ thống mạng mmWave [10] 33 Đỗ Minh Toàn - D17CQVT07-B iv Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G CHƯƠNG 3: ỨNG DỤNG AI TRONG QUẢN LÝ TÀI NGUN VÀ BÚP SĨNG VƠ TUYẾN CHO MẠNG 5G Giới thiệu toán Với tốc độ tăng trưởng chưa có lưu lượng liệu di động xuất phát từ việc sử dụng ngày nhiều ứng dụng ngốn liệu, mạng không dây hệ cần áp dụng thay đổi mơ hình cách quản lý tài ngun Cơng nghệ Sóng milimet (mmWave) hứa hẹn có quang phổ lớn chưa sử dụng tối đa 30 300 GHz, giải vấn đề khan phổ tần biết Băng tần sub-6 GHz Tuy nhiên, mmWave bị tổn thất lan truyền cao làm cản trở phạm vi phủ sóng Một cách tiếp cận để chống lại tổn thất sử dụng giao tiếp định hướng định dạng búp sóng sử dụng để định hình lại kiểu truyền theo hướng người dùng Mặc dù hiệu suất đạt mà tạo búp sóng với mmWave mang lại, tồn nhiều thách thức Sự phân bổ người dùng lưu lượng truy cập thay đổi nhanh chóng khoảng thời gian ngắn Tiêu chuẩn hệ thứ năm (5G) giới thiệu ba danh mục dịch vụ: Độ trễ thấp đáng tin cậy (URLLC), Băng thông rộng di động nâng cao (eMBB) giao tiếp kiểu máy lớn (mMTC) Ngoài ra, mạng khơng dây ngồi 5G 6G dự kiến phục vụ ứng dụng có u cầu khơng đồng chất lượng dịch vụ (QoS) chặt chẽ Hơn nữa, lớp phức tạp thêm phát sinh tính di động người dùng Với tính động mạng vậy, việc quản lý búp sóng phân bổ tài ngun vơ tuyến trở nên khó khăn Đầu tiên, điều yêu cầu thuật tốn quản lý búp sóng thơng minh nắm bắt Qos tính di động người dùng Thứ hai, phân bổ tài nguyên vô tuyến thông minh cần thiết để chủ động xem xét biến thể tải búp sóng hình thành [10] Trong đồ án này, ta xem xét mạng mmWave không đồng sử dụng định dạng búp sóng để phục vụ người dùng URLLC eMBB Vì người dùng thiết bị di động, nhóm trực tuyến tìm cách để nhóm người dùng phục vụ búp sóng Ngồi ra, thực tế tải búp sóng thay đổi người dùng di chuyển cụm, phân bổ Khối tài nguyên (RB) cần thiết để phân bổ hiệu tài nguyên người dùng búp sóng Với mục đích này, ta đề xuất kỹ thuật phân nhóm phân bổ khối tài nguyên nhận biết QoS cho mạng mmWave Đặc biệt, ta đề xuất thuật tốn dựa DBSCAN để phân nhóm người dùng quản lý búp sóng, ngồi việc Deep Reinforcement Learning dựa Long Short Term Memory (LSTM) để phân bổ RB Ta gọi thuật toán Deep Q-learning với DBSCAN (DQLD) Hơn nữa, ta so sánh thuật toán đề xuất với thuật toán sở sử dụng phân cụm K-mean thay DBSCAN Cơng tỷ lệ dựa mức độ ưu tiên Đỗ Minh Toàn – D17CQVT07-B Trang 32 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G (KPPF - Priority-based Proportional Fairness) thay DRL để phân bổ tài nguyên Kết mô cho thấy DQLD vượt trội KPPF độ trễ, độ tin cậy tỷ lệ người dùng URLLC tỷ lệ người dùng eMBB Mơ hình hệ thống 2.1 Mơ hình mạng Xem xét mạng mmWave với 𝑔 ∈ 𝐺 5G-NodeBs (gNBs), gNB bao phủ 𝑢 ∈ 𝑈 người dùng anten Người dùng phân vùng thành cụm khác nhau, cụm phục vụ búp sóng đơn ký hiệu 𝑏 ∈ 𝐵 thể Hình 3.1 Em xem xét hai loại người dùng có QoS khác nhau: URLLC người dùng eMBB Cụ thể, người dùng URLLC yêu cầu giao tiếp với độ trễ thấp độ tin cậy cao, người dùng eMBB yêu cầu giao tiếp tốc độ cao Cho 𝑈𝑏 tập hợp người dùng bao phủ búp sóng 𝑏 𝑡ℎ giao tiếp búp sóng người dùng liên quan họ tuân theo phát hành 5G-NR 15 Hơn nữa, búp sóng sử dụng Phân chia tần số trực giao Đa truy cập (OFDMA) để phân bổ tài nguyên trực giao cho người dùng họ, bỏ qua nhiễu búp sóng, Băng thơng, 𝑊𝑏 , búp sóng 𝑏 𝑡ℎ chia nhỏ thành số Khối Tài Nguyên (RB), RB bao gồm 12 sóng mang Ngồi ra, RB liền kề nhóm lại để tạo thành RBG Để 𝑘 ∈ 𝐾 biểu thị RBG băng thông RBG ký hiệu 𝑊𝑘,𝑏 Khoảng thời gian RB (hoặc RBG) kéo dài nhiều ký hiệu OFDM theo thời gian, ký hiệu Khoảng thời gian truyền (TTI) Do đó, tỷ lệ phân bổ tài nguyên tối thiểu coi RBG, ta chọn ký hiệu OFDM làm độ dài TTI để khuyến khích độ trễ thấp cho người dùng URLLC [10] Beam 𝜃𝑢,𝑏 Beam Beam gNodeB URLLC user Beam 𝜃𝑢,𝑏 eMBB user Hình 1: Mơ hình hệ thống mạng mmWave [10] Vị trí ban đầu người dùng tuân theo Poisson Cluster Process (PCP - Q trình Cụm Poisson), người đứng đầu cụm phân bổ đồng người dùng Đỗ Minh Toàn – D17CQVT07-B Trang 33 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G cụm phân bổ đồng bán kính cụm Ngồi ra, tính di động người dùng theo mơ hình di động điểm tham chiếu ngẫu nhiên Lưu lượng truy cập người dùng theo phân phối Poisson với 𝜆 thời gian lần đến kích thước gói cố định 32byte Do đó, người dùng có xu hướng rời khỏi nhóm họ tham gia nhóm thời gian trơi qua Kênh MmWave mơ hình hóa cách sử dụng mơ hình đường dẫn Line-of-Sight (LoS), độ lợi đường dẫn LoS lớn so với độ lợi đường dẫn Line-of-Sight (nLoS) [11] Như vậy, vectơ kênh, ℎ𝑘,𝑢,𝑏 ∈ ℂ𝑀∗1 , búp sóng 𝑏 𝑡ℎ người dùng 𝑢𝑡ℎ RBG 𝑘 𝑡ℎ biểu diễn dạng: ℎ𝑘,𝑢,𝑏 = 𝑣(𝜃𝑢,𝑏 ) 𝛼𝑘,𝑢,𝑏 √𝑀(1 + (3.1) 𝑛 𝑑𝑢,𝑏 ) 𝑛 Trong 𝛼𝑘,𝑢,𝑏 ∈ ℂ𝑁(0, 𝜎 ) độ lợi phức, M Số lượng đường đi, 𝑑𝑢,𝑏 khoảng cách Euclide, số mũ n số mũ đường dẫn Lưu ý nội dung gNB xóa để giữ cho cơng thức đọc Ngồi ra, 𝑣(𝜃𝑢,𝑏 ) vectơ hoạt động, biểu diễn sau: 𝑣(𝜃𝑢,𝑏 ) = 𝑇 𝐿 𝐿 −𝑗2𝜋 𝑠𝑖𝑛(𝜃𝑢,𝑏 ) −𝑗2𝜋(𝑁−1) 𝑠𝑖𝑛(𝜃𝑢,𝑏 ) 𝜆 𝜆 [1, 𝑒 ,…,𝑒 ] (3.2) Trong L khoảng cách ăng-ten gNB, N số phần tử ăng-ten, λ bước sóng, 𝜃𝑢,𝑏 Góc khởi hành (AoD) 2.2 Yêu cầu QoS Đề án đề xuất nhằm giải khác biệt QoS người dùng mạng Đặc biệt, người dùng URLLC cần trì độ tin cậy cao liên kết thơng tin liên lạc có độ trễ thấp, người dùng eMBB cần đạt tốc độ cao 1) Tỷ lệ người dùng eMBB: Tổng tỷ lệ người dùng eMBB gNB công thức sau: 𝐶 = ∑ ∑ ∑ 𝛿𝑘,𝑢,𝑏 𝑤𝑘,𝑏 𝑙𝑜𝑔2 (1 + 𝛤𝑘,𝑢,𝑏 ), (3.3) 𝑏∈𝐵 𝑢∈𝑈𝑏𝑒 𝑘∈𝑘𝑏 Trong 𝛿𝑘,𝑢,𝑏 số phân bổ RBG, 𝑊𝑘,𝑏 kích thước RBG tính Hz, 𝑢𝑏𝑒 tập hợp người dùng eMBB thuộc búp sóng 𝑏 𝑡ℎ 𝛤𝑘,𝑢,𝑏 SINR liên kết (𝑘, 𝑢, 𝑏)𝑡ℎ , biểu thị bằng: 𝜞𝑘,𝑢,𝑏 = 𝑝𝑘,𝑏 |𝒉𝐻 𝑘,𝑢,𝑏 𝒘𝑘,𝑏 | 𝜎2 +∑ 𝑏′ ≠𝑘 Đỗ Minh Toàn – D17CQVT07-B ′| 𝑝𝑘,𝑏′ |𝒉𝐻 𝒘 ′ ′ 𝑘,𝑏 𝑘,𝑢 ,𝑏 (3.4) Trang 34 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G Trong 𝑝𝑘,𝑏 𝑤𝑘,𝑏 biểu thị cơng suất vectơ tạo tia RBG 𝑘 𝑡ℎ búp sóng 𝑏 𝑡ℎ 𝑝𝑘,𝑏′ 𝑤𝑘,𝑏′ biểu thị công suất vectơ tạo búp sóng RBG 𝑘 𝑡ℎ búp sóng giao thoa 𝑏 𝑡ℎ 𝜎 đại diện cho phương sai nhiễu máy thu 2) Độ trễ độ tin cậy người dùng URLLC: Độ trễ người dùng URLLC xây dựng sau: 𝑞 ℎ𝑎𝑟𝑞 𝑡𝑥 𝐷𝑢,𝑏 = 𝐷𝑢,𝑏 + 𝐷𝑢,𝑏 + 𝐷𝑢,𝑏 (3.5) 𝑞 𝑡𝑥 𝐷𝑢,𝑏 độ trễ truyền, 𝐷𝑢,𝑏 độ trễ xếp hàng (tức độ trễ gói chờ xử lý ℎ𝑎𝑟𝑞 đệm truyền) 𝐷𝑢,𝑏 độ trễ truyền lại Yêu cầu lặp lại tự động kết hợp (Hybrid Automatic Repeat Request - HARQ) độ trễ truyền lại người dùng 𝑢𝑡ℎ búp sóng ℎ𝑎𝑟𝑞 𝑏 𝑡ℎ Phù hợp với [12], ta giả sử 𝐷𝑢,𝑏 = 𝑇𝑇𝐼 Đặc biệt, độ trễ xếp hàng truyền lại cấu thành yếu tố chi phối công thức (3.5) Hơn nữa, độ trễ xếp hàng kết trực tiếp định người lập lịch (tức độ trễ xếp hàng lập lịch giống hệt nhau) Do đó, để đạt độ trễ thấp cho người dùng URLLC, lập lịch phải phân bổ tài nguyên cho lưu lượng URLLC đến Hơn nữa, số lần truyền lại phải giới hạn, đó, cơng việc này, ta giả định lần truyền lại HARQ Tuy nhiên, việc hạn chế số lần truyền lại ảnh hưởng đến độ tin cậy người dùng URLLC Để trì khả tin cậy cao, điều chỉnh liên kết thực hiện, người dùng báo cáo định kỳ phép đo SINR cho gNB dạng giá trị Chỉ số Chất lượng Kênh (Channel Quality Indicator - CQI) CQI cho biết chất lượng (tức SINR) liên kết với búp sóng liên kết Đổi lại, tài khoản gNB cho phép đo sách lập lịch Phần sau cách DRL đề xuất xử lý độ trễ độ tin cậy người dùng URLLC Deep Q learning với DBSCAN (DQLD) Để trì QoS cao URLLC eMBB điều kiện mạng thay đổi, thuật tốn đề xuất xem xét phân nhóm trực tuyến (với mục đích quản lý nhóm) phân bổ tài nguyên dựa máy học Phân cụm trực tuyến sử dụng để phân cụm người dùng gần bao phủ búp sóng Ngồi ra, thuật tốn phân cụm trực tuyến nhằm mục đích tìm số lượng búp sóng tối ưu cho vùng phủ sóng Mặt khác, để phân bổ khối tài nguyên, ta sử dụng Deep Q-learning Kế hoạch quản lý tài nguyên búp sóng chung Deep Q-learning với DBSCAN (DQLD) DBSCAN sử dụng để phân cụm trực tuyến Deep Q-learning sử dụng để phân bổ khối tài nguyên Một thuật toán trực tuyến cần thiết để trì phạm vi phủ sóng hiệu người dùng di động Trong toán này, ta áp dụng DBSCAN để phân nhóm người dùng lựa chọn số lượng búp sóng ưu điểm so với kỹ thuật phân Đỗ Minh Toàn – D17CQVT07-B Trang 35 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G nhóm khác DBSCAN khơng u cầu số lượng cụm xác định trước Thay vào đó, thuật tốn xác định người dùng thuộc cụm từ người dùng thưa thớt trả số lượng cấu trúc nhóm Ngồi ra, DBSCAN có độ phức tạp thấp dễ thực Lưu ý rằng, việc phân cụm trực tuyến thường xuyên dẫn đến vấn đề phân bổ tài nguyên đầy thách thức Đặc biệt, việc thực phân cụm thường xuyên dẫn đến kết cấu số lượng dầm thường xuyên bị thay đổi Như vậy, việc phân bổ tài ngun phải đối phó với mơi trường động Hơn nữa, phân nhóm cần thiết búp sóng khơng đủ hiệu để bao phủ người dùng (tức người dùng thay đổi vị trí họ có xu hướng thuộc cụm mới) Do đó, việc xác định tần suất phân cụm quan trọng Ta chọn thực phân cụm SINR trung bình búp sóng giảm xuống ngưỡng xác định trước Clustering trả tập hợp búp sóng để bao phủ người dùng mạng Trong búp sóng, ta thực phân bổ khối tài nguyên cách sử dụng kỹ thuật Deep Q-learning dựa LSTM, cụ thể DQL Các thành phần DQL định nghĩa sau: Agents: DQL thuật toán phân tán đa Agents thực độc lập gNB (tức gNB Agents độc lập) Mỗi gNB thực DQL để phân bổ RBG búp sóng Actions: Các Actions định nghĩa RBG phân bổ cho người dùng búp sóng như: 𝑎𝑘,𝑏 = {𝑢𝑘,𝑏 } (3.6) 𝑎𝑘,𝑏 biểu thị hành động RBG 𝑘 𝑡ℎ búp sóng 𝑏 𝑡ℎ , 𝑢𝑘,𝑏 index người dùng States: Ta thiết kế States theo cách nắm bắt mức độ giao thoa búp sóng Đặc biệt, States xác định dựa phản hồi CQI đo lường người dùng Do đó, States RBG 𝑘 𝑡ℎ búp sóng 𝑏 𝑡ℎ định nghĩa là: 𝑠𝑘,𝑏 = {𝑞𝑘,𝑏 } (3.7) 𝑞𝑘,𝑏 CQI RBG 𝑘 𝑡ℎ búp sóng 𝑏 𝑡ℎ Reward: Chức reward thiết kế để tính đến lớp người dùng khác (tức URLLC eMBB) Đặc biệt, người dùng URLLC yêu cầu độ trễ độ tin cậy chặt chẽ, người dùng eMBB yêu cầu thơng lượng cao Do đó, chức reward định nghĩa là: (𝑚𝑏𝑏) (𝐿𝐿𝑐) 𝑟𝑘,𝑏 ), (𝑚𝑏𝑏) 𝑠𝑖𝑔𝑚(𝑟𝑘,𝑏 ), 𝑟𝑘,𝑏 = { 𝑠𝑖𝑔𝑚(𝑟𝑘,𝑏 𝐶(𝑢)=1, 𝐶(𝑢)=2, (3.8) Trong 𝑠𝑖𝑔𝑚 (𝑥) biểu thị hàm sigmoid định nghĩa là: Đỗ Minh Toàn – D17CQVT07-B Trang 36 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G 𝑠𝑖𝑔𝑚(𝑥 ) = 1 + 𝑒 −𝑥 (3.9) Trong cơng thức (3.8), 𝐶(𝑢) trình bày Chỉ số phân loại chất lượng (QCI) người dùng 𝑢𝑡ℎ 𝐶(𝑢) = biểu thị người dùng URLLC, 𝐶(𝑢) = biểu (𝑚𝑏𝑏) thị người dùng eMBB 𝑟𝑘,𝑏 (𝑙𝑙𝑐) 𝑣à 𝑟𝑘,𝑏 chức reward người dùng eMBB URLLC tương ứng định nghĩa sau: 𝐷 𝑄𝑜 𝑆 = 𝐷𝑘,𝑏 (𝑢) 𝛤𝑘,𝑏 (𝑚𝑏𝑏) 𝑟𝑘,𝑏 = 𝑄𝑆 𝛤 𝑜 (𝑙𝑙𝑐) 𝑟𝑘,𝑏 (3.10) (3.11) 𝐷𝑘,𝑏 (𝑢) độ trễ xếp hàng cấp phát RBG 𝑘 𝑡ℎ búp sóng 𝑏 𝑡ℎ tới người dùng 𝑢𝑡ℎ , 𝐷 𝑄𝑜 𝑠 độ trễ yêu cầu 𝑄𝑜𝑆 𝛤 𝑄0 𝑆 yêu cầu 𝑄𝑜𝑆 𝑆𝐼𝑁𝑅 Điều đáng nói gNB có kiến thức QCI người dùng mang thiết bị vô tuyến độ trễ xếp hàng người dùng Do đó, lưu lượng truy cập liên kết (𝑘, 𝑏) thuộc người dùng URLLC, phần thưởng tạo thành kết hợp độ tin cậy độ trễ xếp hàng Thật vậy, độ trễ xếp hàng chi phối tổng độ trễ trình truyền đường xuống Mặt khác, lưu lượng truy cập liên kết (𝑘, 𝑏) thuộc người dùng eMBB, phần thưởng tạo nên độ tin cậy, dẫn đến thông lượng truyền cao (nghĩa là, cải thiện SINR cho phép phân bổ kế hoạch mã hóa điều chế cao kích thước khối truyền tải cao hơn) Cuối cùng, hàm sigmoid sử dụng để giữ phần thưởng khoảng [0, 1] Hình 3.2 trình bày kế hoạch khái niệm phương pháp tiếp cận DQL dựa LSTM Điều đáng nói 𝑔𝑁𝐵 có thực thể DQL riêng biệt cho búp sóng mà tạo thành Đối với búp sóng, DQL hoạt động sau 𝑔𝑁𝐵 tính tốn states rewards tương ứng (7) (8), từ phản hồi CQI SINR nhận từ người dùng Trải nghiệm, {𝑠𝑡 , 𝑎𝑡 , 𝑟𝑡+1 , 𝑠𝑡+1 }, sau lưu trữ nhớ phát lại trải nghiệm để sử dụng sau để đào tạo mạng thần kinh LSTM, đó, 𝑎𝑡 , 𝑟𝑡+1 , 𝑠𝑡+1 states, actions bước thời gian 𝑡 𝑡ℎ , rewards states bước thời gian (t + 1)th Sau đó, LSTM sử dụng để dự đoán giá trị Q tất actions states (tức 𝑄 (𝑠𝑡+1 , 𝑎 ′) Cuối cùng, giá trị Q cung cấp cho thuật toán 𝜖 − 𝑔𝑟𝑒𝑒𝑑𝑦 để lựa chọn actions tiếp theo, thuật tốn 𝜖 − 𝑔𝑟𝑒𝑒𝑑𝑦 Đỗ Minh Tồn – D17CQVT07-B Trang 37 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G chọn action ngẫu nhiên với khả xảy (𝜖 ) action tuân theo sách 𝑔𝑟𝑒𝑒𝑑𝑦 với xác suất (1 − 𝜖 ) CQI (𝐪𝐮 ) gNB Next State 𝐒𝐭+𝟏 Prediction User Reward 𝐫𝐭+𝟏 Tranning User 𝐚𝐭 Experience Replay Memory User u Tranning LSTM Neural Network Copy Target LSTM Q - values 𝛜 − 𝐠𝐫𝐞𝐞𝐝𝐲 Action (𝐚𝐭 ) Action Selection Hình 2: Sơ đồ khái niệm Deep Q-learning dựa LSTM [10] Để trì độ phức tạp thấp, việc đào tạo LSTM thực T TTI Đặc biệt, gói mẫu trải nghiệm rút ngẫu nhiên từ nhớ nhắc lại trải nghiệm Gói cung cấp cho Target LSTM để tính tốn chuỗi phản hồi tham chiếu Các phản hồi tạo thành nhãn sử dụng để huấn luyện mạng LSTM Ngồi ra, Target LSTM ban đầu tải với trọng số mạng Tuy nhiên, việc cập nhật trọng số Target LSTM thực C TTI để trì ổn định Mô đánh giá 4.1 Thiết lập mô Đồ án thiết lập lấy kết mô báo [10] Bài báo thực mô cách sử dụng mô kiện rời rạc dựa Hộp công cụ 5G Matlab Bảng I trình bày cài đặt thuật tốn mơ mạng cài đặt thuật tốn DQLD Mạng bao gồm hai gNB với khoảng cách 300m gNB Các vị trí ban đầu người dùng theo PCP với cụm, cụm có bán kính 20m Hiệu suất thuật tốn kiểm tra tải lưu lượng khác (tức {0,5, 1, 1.5, 2} Mbps gNB) Thuật toán DQLD bao gồm 15 states (tức tương ứng với số CQI) 24 Đỗ Minh Toàn – D17CQVT07-B Trang 38 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G actions (tức actions tương ứng với tổng số người dùng gNB) Cấu hình 5G PHY Băng thơng Tần số sóng mang Khoảng cách sóng mang Sóng mang RB kích thước TTI Cơng suất truyền tối đa BLER mục tiêu URLLC BLER mục tiêu eMMB HARQ Kiểu Độ trễ truyền lại Số lượng quy trình Số lần truyền lại tối đa Mơ hình mạng Các vị trí ban đầu Tính di động Số lượng URLLC cụm Số eMBB cụm Số lượng cụm Bán kính cụm Số lượng gNB Bán kính Khoảng cách điểm 20 MHz 30 GHz 15 KHz 12 ký hiệu OFDM (0.1429 msec) 28 dBm 1% 10% Không đồng HARQ TTIs Quá trình phân cụm Poisson Điểm tham chiếu ngẫu nhiên 2 20 m 150 m 300 m Lưu lượng liệu Phân phối Kích thước gói Poisson 32 Bytes Q-learning Learning rate (α) Discount factor (γ) Xác suất thăm dị ( 𝜖) 𝐷𝑄0𝑆 𝛤 𝑄0𝑆 LSTM Kích thước lớp đầu vào Số lượng đơn vị ẩn Kích thước lớp đầu Kích thước gói nhỏ Kích thước nhớ phát lại Thời gian đào tạo (T) Thời gian chép (C) DBSCAN minP ts eps Các thông số mô Thời gian mô Số lần chạy Mức độ tin cậy 0.5 0.9 0.1 msec 15 dB 20 24 20 60 60 120 30 1.5 s 10 95% Bảng 1: Cài đặt cấu hình [10] 4.2 Thuật tốn đường sở Để so sánh cơng bằng, ta sử dụng thuật tốn đường sở hoạt động theo cách tương tự thuật toán đề xuất sử dụng tài liệu trước Trong đường sở, K-means sử dụng để thực phân nhóm trực tuyến [11], priority-based proportional fairness sử dụng để phân bổ tài nguyên đề xuất [13] Trong [11], phân nhóm sử dụng K-means thực dựa thuộc tính kênh phía người dùng, tức người dùng gần có nhiều khả trải nghiệm kênh tương tự Hơn nữa, [11], phân bổ khối tài nguyên thực cách sử dụng tiêu chí nhận biết QoS cứng Cụ thể, RBG cấp cho người dùng URLLC với việc truyền liệu chờ xử lý trước, sau RBG lại cấp phát cho người dùng eMBB Trong lớp người dùng, RBG phân phối theo tiêu chí cơng tỷ lệ sau: 𝑪 𝑢∗ = 𝑎𝑟𝑔 𝑚𝑎𝑥 ̅𝑘,𝑢,𝑏 𝑪𝑘,𝑢,𝑏 Đỗ Minh Toàn – D17CQVT07-B (3.12) Trang 39 Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI mạng 5G Trong 𝑢∗ người dùng chọn để cấp phát RBG 𝑘 𝑡ℎ 4.3 Kết hoạt động Phần trình bày kết mơ lược đồ DQLD đề xuất so sánh với thuật toán KPPF đường sở Hiệu suất đánh giá theo yêu cầu QoS URLLC eMBB Hình 3.3 Hình 3.4 trình bày Hàm phân phối tích lũy bổ sung theo kinh nghiệm (Empirical Complementary Cumulative Distribution Function - ECCDF) độ trễ người dùng URLLC Các số liệu cho thấy độ trễ tải lưu lượng truy cập URLLC ngày tăng Cả hai số liệu chứng minh vượt trội DQLD so với KPPF KPPF áp dụng quy tắc QoS cứng để lên lịch cho người dùng URLLC trước Cụ thể, Hình 3.3 cho thấy cải thiện khoảng ms phân vị 10-4 tải cung ECCDF cấp Mbps Hơn nữa, tải cung cấp tăng lên, KPPF khơng trì hiệu suất hợp lý cho người dùng URLLC Độ trễ người dùng URLLC (mili giây) Hình 3: Độ trễ người dùng URLLC so với tổng tải URLLC cung cấp ([0,5, 1] Mbps) [10] Đỗ Minh Toàn – D17CQVT07-B Trang 40 Chương 3: Ứng dụng AI mạng 5G ECCDF Đồ án tốt nghiệp Đại học Độ trễ người dùng URLLC (mili giây) Hình 4: Độ trễ người dùng URLLC so với tổng tải URLLC cung cấp ([1,5, 2] Mbps) [10] Trong Hình 3.4, hiệu suất độ trễ KPPF giảm đáng kể, DQLD đạt độ trễ thấp nhiều với chênh lệch khoảng 350 ms so với KPPF Mbps Sự suy giảm hiệu suất đáng kể KPPF cho Tỷ lệ gói (PLR) cao thể Hình 3.5 Hình trình bày PLR người dùng URLLC tải lưu lượng khác Như thấy Hình 3.5, DQLD cho thấy PLR cải thiện 50% so với KPPF Hơn nữa, Hình 3.6 trình bày tỷ lệ đạt người dùng URLLC tải lưu lượng URLLC khác Một lần nữa, DQLD hoạt động tốt KPPF Trên thực tế, việc tăng tải lưu lượng ảnh hưởng đáng kể đến KPPF, Mbps tạo thành điểm ngắt cho thuật tốn Điều đáng nói mơ thực cách tăng tải lượng truy cập người dùng URLLC eMBB đồng thời Ví dụ: Mbps Hình 3.6 đề cập đến tải URLLC eMBB (tức tổng tải gNB Mbps) Do đó, việc tăng tải URLLC eMBB cung cấp gây căng thẳng cho hai thuật tốn Hình 3.7 trình bày tỷ lệ đạt người dùng eMBB tải lưu lượng truy cập khác Một lần nữa, xu hướng tương tự xuất KPPF, Mbps tạo thành điểm đột phá hiệu suất KPPF, DQLD thể khả cân tài nguyên người dùng đáp ứng yêu cầu QoS xung đột Đỗ Minh Toàn – D17CQVT07-B Trang 41 Chương 3: Ứng dụng AI mạng 5G PLR trung bình người dùng URLLC [%] Đồ án tốt nghiệp Đại học Tổng tải cung cấp người dùng URLLC [Mbps] Hình 5: Tỷ lệ gói người dùng URLLC so với tổng tải URLLC cung Thông lượng người dùng URLLC [Mbps] cấp [10] Tổng tải cung cấp người dùng URLLC [Mbps] Hình 6: Tổng tỷ lệ người dùng URLLC so với tổng tải URLLC cung cấp [10] Đỗ Minh Toàn – D17CQVT07-B Trang 42 Chương 3: Ứng dụng AI mạng 5G Thông lượng người dùng eMBB [Mbps] Đồ án tốt nghiệp Đại học Tổng tải cung cấp người dùng eMBB [Mbps] Hình 7: Tổng tỷ lệ người dùng eMBB so với tổng tải eMBB cung cấp [10] Kết luận chương Chương đề cập đến vấn đề phân bổ nhận biết QoS (đối với định dạng búp sóng) phân bổ tài ngun vơ tuyến mạng sóng 5G milimet Các thuật tốn áp dụng DBCSAN cho phân cụm xác định số lượng cấu tạo búp sóng, ngồi thuật tốn Deep Q-learning dựa LSTM để phân bổ tài nguyên vô tuyến Kết mô cho thấy hiệu thuật toán cải thiện tốt so với thuật toán áp dụng trước Đỗ Minh Tồn – D17CQVT07-B Trang 43 Đồ án tốt nghiệp Đại học Kết luận kiến nghị KẾT LUẬN VÀ KIẾN NGHỊ Kết luận Sau xây dựng mạng 4G, nhà mạng cung cấp Internet di động băng thông rộng thực với dung lượng lên đến 600 Mbps Tuy nhiên, yêu cầu dịch vụ thuê bao phát triển đến mức khắt khe chưa có để có chất lượng dịch vụ cao Thực tế ảo thực tế tăng cường đòi hỏi dung lượng cực cao Internet phương tiện yêu cầu giao tiếp đáng tin cậy độ trễ cực thấp Điều thúc đẩy nhà khai thác mạng di động bắt đầu chuyển sang 5G Thật vậy, công nghệ phát triển cho phép 5G đạt tốc độ bit 1Gbps, thông qua giao diện vô tuyến mới, MIMO lớn, định dạng chùm, v.v Tuy nhiên, nhà khai thác phải tăng cường trí thơng minh mạng họ, để tìm hiểu ngắn gọn môi trường hoạt động họ dự báo phát triển để tối ưu hóa việc sử dụng tài ngun, thích ứng cấu hình tự động mạng để đáp ứng với nhiều loại dịch vụ Đồ án đề cập đến vấn đề phân bổ nhận biết QoS (đối với định dạng búp sóng) phân bổ tài nguyên mạng sóng 5G milimet, đề xuất thuật toán phân cụm trực tuyến để xác định số lượng cấu trúc búp sóng để bao phủ người dùng mạng, việc deep reinforcement learning dựa LSTM để thực phân bổ tài nguyên búp sóng Thuật tốn đề xuất so sánh với đường sở sử dụng K-mean để phân cụm độ công tỷ lệ dựa mức độ ưu tiên (priority-based proportional fairness) để phân bổ tài nguyên Kết mô cho thấy thuật toán đề xuất vượt trội so với đường sở mức độ phổ biến, độ tin cậy tỷ lệ người dùng URLLC tỷ lệ người dùng eMBB Kiến nghị Sau đồ án em hiểu rõ cách mà AI áp dụng việc quản lý tài nguyên búp sóng vơ tuyến Bài tốn cịn mẻ nhiều thách thức việc tối ưu hóa hàm tính tốn, cho thấy hiệu mơ hình AI thử nghiệm Trong tương lai em tìm hiểu, áp dụng thử nghiệm thuật tốn AI khác để tìm mơ hình tối ưu cho tốn Đỗ Minh Tồn – D17CQVT07-B Trang 44 Đồ án tốt nghiệp Đại học Danh mục tài liệu tham khảo DANH MỤC TÀI LIỆU THAM KHẢO [1] J Kot, "concisesoftware," A brief history of machine learning, 10 2020 [Online] [2] N V Hiếu, “nguyenvanhieu,” Thuật tốn K-Means (K-Means clustering) ví dụ, 2018 [Trực tuyến] Available: https://nguyenvanhieu.vn/thuat-toanphan-cum-k-means/#lua-chon-so-luong-cum [3] P Đ Khánh, “Deep AI KhanhBlog,” Phương pháp phân cụm dựa mật độ (Density-Based Clustering), 2021 [Trực tuyến] Available: https://phamdinhkhanh.github.io/deepai-book/ch_ml/DBSCAN.html [4] L P Long, “Viblo,” Reinforcement Learning: Q-Learning, 2020 [Trực tuyến] Available: 63vKjO7VZ2R [5] https://viblo.asia/p/reinforcement-learning-q-learning- Oinkina, "colah's blog," Understanding LSTM Networks, 2015 [Online] Available: https://colah.github.io/posts/2015-08-UnderstandingLSTMs/?fbclid=IwAR32du0jS8M26KIERg4Jf5-k5LEax6F74pH2mWcQs6AmtNjospaVQc8DW8 [6] P Linh, “VTV,” Tốc độ mạng 5G Việt Nam mức so với giới?, 2020 [Trực tuyến] Available: https://vtv.vn/cong-nghe/toc-do-mang5g-tai-viet-nam-o-muc-nao-so-voi-the-gioi-20201214213658276.htm [7] D Jiang and Guangyi Liu, "An Overview of 5G Requirements," Researchgate, 2017 [8] Report, "IMT Traffic estimates for the years 2020 to 2030," ITU-R, 2015 [9] "NGMN," 5G white paper, 2015 [10] M Erol-Kantarci and Medhat Elsayed, "Radio Resource and Beam Management in 5GmmWave Using Clustering and Deep ReinforcementLearning," Researchgate, 2021 [11] J Cui, Z Ding, P Fan and N Al-Dhahir, "Unsupervised Machine Learning-Based User Clustering in Millimeter-Wave-NOMA Systems," IEEE Transactions on Wireless Communications, vol 17, no 11, p 7425–7440, 2018 [12] G Pocovi , B Soret , K I Pedersen and P Moge, "MAC layer enhancements for ultra-reliable low-latency communications in cellular networks," IEEE International Conference on Communications Workshops (ICC Workshops), p 1005–1010, 2017 Đỗ Minh Toàn – D17CQVT07-B Trang 45 Đồ án tốt nghiệp Đại học [13] Danh mục tài liệu tham khảo G Pocovi , K I Pedersen and P Mogens, "Joint Link Adaptation and Scheduling for 5G Ultra-Reliable Low-Latency Communications," IEEE Access, vol 6, pp 28912 - 28922, 2018 [14] Y Arjoune, "Artificial Intelligence for 5G Wireless Systems: Opportunities, Challenges, and Future Research Directions," Researchgate, 2020 [15] A Haidine, Fatima Zahra Salmam, Abdelhak Aqqal and Aziz Dahbi, "Artificial Intelligence and Machine Learning in 5G and beyond: A Survey and Perspectives," Intechopen, 2021 [16] A Amini, "YouTube," MIT 6.S191: Reinforcement Learning, 2021 [Online] Available: https://www.youtube.com/watch?v=93M1l_nrhpQ [17] A f Good, "YouTube," Towards Autonomous 6G Networks and the Role of Advanced ML Techniques | AI/ML in 5G Challenge, 2021 [Online] Available: https://www.youtube.com/watch?v=sMCK2GAPXbE Đỗ Minh Toàn – D17CQVT07-B Trang 46 ... Ứng dụng AI nhiều khía cạnh thiết kế truyền thông không dây 5G bao gồm phân bổ tài nguyên vô tuyến, quản lý mạng an ninh mạng Vì thế, em chọn đề tài “Ứng dụng AI quản lý tài nguyên búp sóng vơ tuyến. .. thuật toán Kmean, DBSCAN, Q-learning mạng LSTM Các thuật toán thuật toán để áp dụng cho hệ thống quản lý búp sóng tài ngun vơ tuyến mạng di động 5G Đỗ Minh Toàn - D17CQVT07-B 20 Đồ án tốt nghiệp... tuyến cho mạng 5G” sinh viên Đỗ Minh Toàn nhằm đưa nhìn việc áp dụng số thuật toán AI cụ thể K-mean, DBSCAN dùng cho trường hợp phân cụm, quản lý búp sóng thuật toán Q-learning mạng LSTM sử dụng