Phân bổ công suất tối ưu cho mạng massive mimo ứng dụng học sâu tăng cường

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA HUỲNH VŨ HOÀNG PHÚC PHÂN BỔ CÔNG SUẤT TỐI ƯU CHO MẠNG MASSIVE MIMO ỨNG DỤNG HỌC SÂU TĂNG CƯỜNG Chuyên ngành: Kỹ Thuật Điện Tử Mã số: 8520203 LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng 07 năm 2023 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG-HCM Cán hướng dẫn khoa học : PGS.TS Hà Hoàng Kha Cán chấm nhận xét : PGS.TS Đỗ Hồng Tuấn Cán chấm nhận xét : TS Nguyễn Đình Long Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 06 tháng 07 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: Chủ tịch hội đồng: GS.TS Lê Tiến Thường Thư ký hội đồng: TS Huỳnh Thế Thiện Phản biện 1: PGS.TS Đỗ Hồng Tuấn Phản biện 2: TS Nguyễn Đình Long Phản biện 3: TS Huỳnh Phú Minh Cường Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Huỳnh Vũ Hoàng Phúc Ngày, tháng, năm sinh: 12/07/1997 Chuyên ngành: Kỹ Thuật Điện Tử MSHV: 2070149 Nơi sinh: Lâm Đồng Mã số : 8520203 I TÊN ĐỀ TÀI: Phân bổ công suất tối ưu cho mạng Massive MIMO ứng dụng học sâu tăng cường (Power allocation for Massive MIMO network using deep reinforcement learning) II NHIỆM VỤ VÀ NỘI DUNG: • Nghiên cứu mơ hình hệ thống thơng tin di động Massive MIMO dùng mạng viễn thông 5G 6G • Giới thiệu mơ hình tốn lời giải cho tốn tối ưu hóa vấn đề phân bổ công suất nhằm tối ưu hiệu suất phổ kênh truyền tuyến xuống mạng Massive MIMO dùng giải thuật học sâu tăng cường • Phát triển mơ hình mơ mạng Massive MIMO để huấn luyện đánh giá hiệu giải thuật học sâu tăng cường đề III NGÀY GIAO NHIỆM VỤ: 06/02/2023 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 11/06/2023 V CÁN BỘ HƯỚNG DẪN: PSG.TS.Hà Hoàng Kha Tp HCM, tháng 06 năm 2022 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO TRƯỞNG KHOA ĐIỆN - ĐIỆN TỬ i LỜI CÁM ƠN Lời đầu tiên, em xin phép gửi lời cảm ơn chân thành Thầy PGS TS Hà Hoàng Kha hướng dẫn tận tình giúp em hồn thành luận văn Trong suốt trình thực luận văn, thầy kiên nhẫn giảng giải, định hướng cho em tiếp cận kiến thức mà em thiếu giúp em củng cố kiến thức nắm để em nghiên cứu đề tài cách hồn chỉnh Khơng dừng lại kiến thức chun mơn, thầy có chia sẻ, động viên giúp em nhận thấy thiếu sót sống cách làm việc, từ em khắc phục theo thời gian trở nên hoàn thiện Ngoài ra, em xin cảm ơn thầy, cô giảng dạy môn Điện Tử Viễn Thông, trường Đại Học Bách Khoa thành phố Hồ Chí Minh Các thầy, truyền dạy kiến thức học bổ ích từ trải nghiệm với tân tâm đam mê Những kiến thức, kinh nghiệm kỹ từ thầy, cô mà em may mắn tiếp xúc tiếp thu thời gian học trường giúp ích cho em nhiều thực luận văn nói riêng cơng việc sống nói chung Và hết, em xin gửi lời cảm ơn đến Gia Đình em, người đứng sau giúp đỡ, củng cố tinh thần tạo điều kiện tốt cho em để em tập trung hồn thiện luận văn Cuối cùng, em xin gửi lời cảm ơn đến bạn bè, anh chị sinh viên trước anh chị đồng nghiệp chia sẻ, góp ý, giúp đỡ hỗ trợ em mặt tinh thần suốt trình thực luận văn Tp Hồ Chí Minh, ngày 10 tháng 06 năm 2023 Huỳnh Vũ Hồng Phúc ii TĨM TẮT Với bùng nổ số lượng thiết bị kết nối vào mạng di động ứng dụng đòi hỏi lưu lượng liệu lớn với tốc độ truyền tải cao, hệ mạng viễn thông thứ (5G), thứ (6G) thể hệ có nhiều tiềm để nghiên cứu phát triển Để đáp ứng yêu cầu tốc độ mật độ kết nối, mạng Massive MIMO công nghệ chủ chốt cho 5G hệ mạng tương lai Luận văn đề xuất mơ hình máy học sử dụng phương pháp học sâu tăng cường để thực nhiệm vụ phân bổ công suất cho mạng Massive MIMO cho tổng hiệu suất phổ toàn mạng đạt giá trị tốt dựa vào vị trí tương đối thiết bị người dùng (UEs) trạm gốc (BSs) mạng Sau huấn luyện thành cơng, mơ hình học sâu tăng cường dùng để đưa chiến lược phân bổ công suất cho vị trí phân bố UEs chưa biết, với độ tối ưu kiểm chứng thông qua phương pháp giải tối ưu Việc sử dụng mơ hình máy học kỳ vọng đưa lời giải cho tốn phân bổ cơng suất thời gian ngắn nhiều so với phương pháp tối ưu, từ sử dụng để phân bổ công suất cho mạng Massive MIMO hệ thống 5G 6G iii ABSTRACT With the outburst of number of wireless devices connecting to mobile neworks as well as the number of applications demanding massive ammount of data at high speed, the 5th or the 6t h generation of wireless mobile network and beyond are lucrative fields of research, both in potential and ideas In order to meet the requirements of dense connectivity, high data rate and low response time, Massive MIMO networks are considered a key technology that enables 5G and beyond This thessis proposes a machine learning model utilizing deep reinforcement learning to provide power allocation schemes that maximize the spectral effciency of a Massive MIMO network based on the relative location of user equipments (UEs) to the base stations (BSs) in the network After being successfully trained, the model will be used to devise a power allocation strategy for new, unknown UEs locations, with the optimality degree being verified by geometric programming By using machine leanrning models, it is expected that the solution to accomplish the task of allocating power to reach highest spectral efficiency possible will be identified faster as compared to traditional programming methods, hence this method can be used to provide power for real life Massive MIMO networks in 5G and 6G systems iv LỜI CAM ĐOAN Em tên Huỳnh Vũ Hoàng Phúc, học viên cao học chuyên ngành Kỹ thuật Điện tử, khóa 2020, Đại Học Quốc Gia TP.HCM - Trường Đại Học Bách Khoa Thành Phố Hồ Chí Minh Em xin cam đoan nội dung sau thật: - Cơng trình nghiên cứu hồn tồn em thực suốt trình thực đề tài hướng dẫn PGS.TS.Hà Hoàng Kha - Các tài liệu trích dẫn luận văn tham khảo từ nguồn thực tế, uy tín độ xác cao - Các số liệu kết mô thực cách độc lập hoàn toàn trung thực Tp Hồ Chí Minh, ngày 10 tháng 06 năm 2023 Huỳnh Vũ Hoàng Phúc v Mục lục Mục lục vi Danh sách hình vẽ viii Danh sách giải thuật x Từ viết tắt xii MỞ ĐẦU 1.1 Đặt vấn đề nghiên cứu 1.1.1 Xu hướng phát triển truyền thông vô tuyến 1.1.2 Massive MIMO kỹ thuật quan trọng 5G-6G 1.1.3 Trí tuệ nhân tạo giúp giải tốn viễn thơng 1.2 Lý thực đề tài 1.3 Mục tiêu nhiệm vụ luận văn 1.4 Đối tượng phạm vi nghiên cứu 1.4.1 Đối tượng nghiên cứu 1.4.2 Phạm vi nghiên cứu 1.5 Phương pháp nghiên cứu 1.6 Bố cục luận văn 1 10 10 10 11 12 12 CƠ 2.1 2.2 2.3 2.4 SỞ LÝ THUYẾT VỀ MẠNG MASSIVE Định nghĩa mạng Massive MIMO Kênh truyền mạng Massive MIMO Hiệu suất phổ Kết luận chương 14 14 16 18 21 LÝ 3.1 3.2 3.3 THUYẾT VỀ HỌC SÂU TĂNG CƯỜNG Lý thuyết học tăng cường Học sâu tăng cường Kết luận chương 22 22 30 36 vi MIMO MỤC LỤC TỐI ƯU HIỆU SUẤT PHỔ CHO MẠNG MASSIVE MIMO ỨNG DỤNG HỌC SÂU TĂNG CƯỜNG 4.1 Mơ hình mạng Massive MIMO 4.1.1 Ước lượng kênh truyền 4.1.2 Hiệu suất phổ mô hình mạng Massive MIMO fading Rayleigh 4.2 Xây dựng toán tối ưu hiệu suất phổ 4.3 Phương pháp tối ưu hiệu suất phổ dùng học sâu tăng cường 4.3.1 Trạng thái 4.3.2 Hành động 4.3.3 Điểm thưởng 4.3.4 Trạng thái 4.3.5 Huấn luyện triển khai mơ hình học sâu tăng cường 4.4 Kết luận chương 37 37 38 44 47 49 49 50 50 51 51 55 CHƯƠNG TRÌNH MƠ PHỎNG VÀ KẾT QUẢ 5.1 Chương trình mơ 5.1.1 Mô mạng Massive MIMO 5.1.2 Mơ hình tác nhân học sâu tăng cường 5.2 Kết mô 5.3 Kết luận chương 56 56 56 63 64 70 KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO 71 6.1 Kết luận 71 6.2 Hướng phát triển 72 Tài liệu tham khảo 74 vii Danh sách hình vẽ 1.1 1.6 1.7 1.8 Xu hướng tăng trưởng số người đăng ký dịch vụ di động toàn cầu từ năm 2018 đến năm 2023 [4] Xu hướng tăng trưởng số lượng thiết bị kết nối với mạng di động từ năm 2018 đến năm 2023 [4] Tốc độ trung bình loại thơng tin di động toàn cầu [4] Dự đốn số lượng th bao di động tồn cầu GSMA [5] Xu hướng chuyển giao thị phần mạng di động theo vùng năm 2022 2030 [5] Các dòng sản phẩm Massive MIMO thương mại Erricson[11] Khảo sát tình hình triển khai Massive MIMO quốc gia Đơng Á[11] Mạng neuron 2.1 2.2 Ví dụ mạng Massive MIMO 15 Kênh truyền rời rạc 20 3.1 Mơ hình học tăng cường tổng quát 23 4.1 4.2 4.3 4.4 Mơ hình mạng Massive MIMO chồng lập với L = 2, K = 5, N = Mơ hình ULA Các loại tín hiệu khối ổn định Sơ đồ khối bước cập nhật mạng Actor Critic trình huấn luyện Sơ đồ khối mơ hình phân bổ cơng suất để tối ưu hố hiệu suất phổ tuyến xuống hệ thống Massive MIMO ứng dụng học sâu tăng cường 1.2 1.3 1.4 1.5 4.5 5.1 5.2 5.3 5.4 5.5 Sơ đồ giải thuật mô mạng Massive MIMO Hàm kích hoạt lớp mạng mạng Actor CDF tổng hiệu suất phổ Trung bình động điểm thưởng nhận 100 episodes Trung bình tổng SE đạt mơ hình học sâu tăng cường TD3 lời giải tối ưu thay đổi số antenna viii 4 7 38 39 41 52 53 57 63 66 67 68