3. Kết luận chương 2
Với sự bắt đầu triển khai mạng di động 5G tại các nước trên thế giới, Việt Nam cũng đã nhanh chóng triển khai, lắp đặt và phát triển hệ thống 5G. Hiện trạng này đã được nêu trong chương 2, cùng với đó là các số liệu thống kê tốc độ của mạng di động 5G của các nước trên thế giới. Vấn đề kỹ thuật và các trường hợp sử dụng mạng 5G cũng được đề cập trong chương này.
URLLC eMBB mMTC
Truy cập băng thông rộng mọi nơi Truy cập băng
thơng rộng trong các khu vực dày đặc
Tính di động của người dùng cao hơn
Internet vạn vật cực lớn
Thông tin liên lạc huyết mạch Thông tin liên lạc
thời gian thực cực cao
Thông tin liên lạc cực kỳ đáng tin cậy
Các dịch vụ như phát sóng
Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI trong mạng 5G
Đỗ Minh Toàn – D17CQVT07-B Trang 32
CHƯƠNG 3: ỨNG DỤNG AI TRONG QUẢN LÝ TÀI NGUYÊN VÀ BÚP SĨNG VƠ TUYẾN CHO MẠNG 5G
1. Giới thiệu bài toán
Với tốc độ tăng trưởng chưa từng có của lưu lượng dữ liệu di động xuất phát từ việc sử dụng ngày càng nhiều các ứng dụng ngốn dữ liệu, các mạng không dây thế hệ tiếp theo cần áp dụng sự thay đổi mơ hình trong cách quản lý tài ngun. Cơng nghệ Sóng milimet (mmWave) hứa hẹn sẽ có quang phổ lớn và chưa được sử dụng tối đa giữa 30 và 300 GHz, giải quyết vấn đề khan hiếm phổ tần đã biết của Băng tần sub-6 GHz. Tuy nhiên, mmWave bị tổn thất lan truyền cao làm cản trở phạm vi phủ sóng của nó. Một cách tiếp cận để chống lại những tổn thất đó là sử dụng giao tiếp định hướng trong đó định dạng búp sóng được sử dụng để định hình lại kiểu truyền theo hướng của người dùng.
Mặc dù hiệu suất đạt được mà tạo búp sóng cùng với mmWave mang lại, nhưng vẫn tồn tại nhiều thách thức. Sự phân bổ người dùng và lưu lượng truy cập có thể thay đổi nhanh chóng trong một khoảng thời gian ngắn. Tiêu chuẩn thế hệ thứ năm (5G) giới thiệu ba danh mục dịch vụ: Độ trễ thấp cực kỳ đáng tin cậy (URLLC), Băng thông rộng di động nâng cao (eMBB) và giao tiếp kiểu máy lớn (mMTC). Ngoài ra, các mạng khơng dây ngồi 5G và 6G dự kiến sẽ phục vụ các ứng dụng có u cầu khơng đồng nhất hơn và chất lượng dịch vụ (QoS) chặt chẽ hơn. Hơn nữa, một lớp phức tạp thêm phát sinh do tính di động của người dùng. Với tính năng động của mạng như vậy, việc quản lý búp sóng và phân bổ tài ngun vơ tuyến trở nên khó khăn hơn. Đầu tiên, điều này yêu cầu một thuật tốn quản lý búp sóng thơng minh nắm bắt Qos và tính di động của người dùng. Thứ hai, phân bổ tài nguyên vô tuyến thông minh là cần thiết để chủ động xem xét các biến thể tải trên các búp sóng được hình thành [10].
Trong đồ án này, ta xem xét một mạng mmWave không đồng nhất sử dụng định dạng búp sóng để phục vụ người dùng URLLC và eMBB. Vì người dùng là thiết bị di động, một nhóm trực tuyến được tìm cách để nhóm những người dùng có thể được phục vụ bởi một búp sóng duy nhất. Ngồi ra, do thực tế là tải trên mỗi búp sóng thay đổi khi người dùng di chuyển giữa các cụm, phân bổ Khối tài nguyên (RB) là cần thiết để phân bổ hiệu quả tài nguyên giữa những người dùng trong cùng một búp sóng. Với mục đích này, ta đề xuất kỹ thuật phân nhóm và phân bổ khối tài nguyên nhận biết QoS cho mạng mmWave. Đặc biệt, ta đề xuất một thuật tốn dựa trên DBSCAN để phân nhóm người dùng và quản lý búp sóng, ngồi việc Deep Reinforcement Learning dựa trên Long Short Term Memory (LSTM) để phân bổ RB. Ta gọi thuật toán này là Deep Q-learning với DBSCAN (DQLD). Hơn nữa, ta so sánh thuật toán được đề xuất với thuật toán cơ sở sử dụng phân cụm K-mean thay vì DBSCAN và Cơng bằng tỷ lệ dựa trên mức độ ưu tiên
Đỗ Minh Toàn – D17CQVT07-B Trang 33
(KPPF - Priority-based Proportional Fairness) thay vì DRL để phân bổ tài nguyên. Kết quả mô phỏng cho thấy DQLD vượt trội hơn KPPF về độ trễ, độ tin cậy và tỷ lệ người dùng URLLC cũng như tỷ lệ người dùng eMBB.
2. Mơ hình hệ thống 2.1. Mơ hình mạng 2.1. Mơ hình mạng
Xem xét một mạng mmWave với 𝑔 ∈ 𝐺 của 5G-NodeBs (gNBs), trong đó mỗi
gNB bao phủ 𝑢 ∈ 𝑈 người dùng một anten. Người dùng được phân vùng thành các cụm khác nhau, trong đó mỗi cụm được phục vụ bởi một búp sóng đơn ký hiệu là 𝑏 ∈ 𝐵 như được thể hiện trong Hình 3.1. Em xem xét hai loại người dùng có QoS khác nhau: URLLC và người dùng eMBB. Cụ thể, người dùng URLLC yêu cầu giao tiếp với độ trễ thấp và độ tin cậy cao, trong khi người dùng eMBB yêu cầu giao tiếp tốc độ cao. Cho
𝑈𝑏 là tập hợp của người dùng được bao phủ bởi búp sóng 𝑏𝑡ℎ và giao tiếp giữa các búp sóng và người dùng liên quan của họ tuân theo bản phát hành 5G-NR 15. Hơn nữa, các búp sóng sử dụng Phân chia tần số trực giao Đa truy cập (OFDMA) để phân bổ tài nguyên trực giao cho người dùng của họ, do đó có thể bỏ qua nhiễu trong búp sóng, Băng thơng, 𝑊𝑏, của búp sóng 𝑏𝑡ℎ được chia nhỏ thành một số Khối Tài Nguyên (RB), trong đó RB bao gồm 12 sóng mang con. Ngồi ra, các RB liền kề được nhóm lại để tạo thành RBG. Để 𝑘 ∈ 𝐾 biểu thị một RBG và băng thông của một RBG được ký hiệu là
𝑊𝑘,𝑏. Khoảng thời gian của RB (hoặc RBG) có thể kéo dài nhiều ký hiệu OFDM theo thời gian, được ký hiệu là Khoảng thời gian truyền (TTI). Do đó, các tỷ lệ phân bổ tài nguyên tối thiểu được coi là một RBG, trong đó ta chọn các ký hiệu 2 OFDM làm độ dài của TTI để khuyến khích độ trễ thấp cho người dùng URLLC [10].
Hình 3. 1: Mơ hình hệ thống của mạng mmWave [10]
Vị trí ban đầu của người dùng tuân theo Poisson Cluster Process (PCP - Q trình Cụm Poisson), trong đó người đứng đầu các cụm được phân bổ đồng nhất và người dùng
Beam 2 Beam 1
Beam 2 Beam 1
gNodeB URLLC user eMBB user
𝜃𝑢,𝑏
Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI trong mạng 5G
Đỗ Minh Toàn – D17CQVT07-B Trang 34
trong mỗi cụm được phân bổ đồng nhất trong bán kính của cụm. Ngồi ra, tính di động của người dùng theo mơ hình di động điểm tham chiếu ngẫu nhiên. Lưu lượng truy cập của người dùng theo phân phối Poisson với 𝜆 thời gian giữa các lần đến và kích thước gói được cố định là 32byte. Do đó, người dùng có xu hướng rời khỏi nhóm của họ và tham gia nhóm mới khi thời gian trơi qua. Kênh MmWave có thể được mơ hình hóa bằng cách sử dụng một mơ hình đường dẫn Line-of-Sight (LoS), trong đó độ lợi của đường dẫn LoS lớn hơn so với độ lợi của các đường dẫn không phải Line-of-Sight (nLoS) [11]. Như vậy, vectơ kênh, ℎ𝑘,𝑢,𝑏 ∈ ℂ𝑀∗1, giữa búp sóng 𝑏𝑡ℎ và người dùng
𝑢𝑡ℎ trên RBG 𝑘𝑡ℎ được biểu diễn dưới dạng:
ℎ𝑘,𝑢,𝑏 = 𝑣(𝜃𝑢,𝑏) 𝛼𝑘,𝑢,𝑏
√𝑀(1 + 𝑑𝑢,𝑏𝑛 )
(3.1) Trong đó 𝛼𝑘,𝑢,𝑏 ∈ ℂ𝑁(0, 𝜎2) là độ lợi phức, M là Số lượng đường đi, 𝑑𝑢,𝑏𝑛 là
khoảng cách Euclide, và số mũ n là số mũ mất đi đường dẫn. Lưu ý rằng nội dung của gNB đã được xóa để giữ cho cơng thức có thể đọc được. Ngồi ra, 𝑣(𝜃𝑢,𝑏) là vectơ hoạt
động, có thể được biểu diễn như sau:
𝑣(𝜃𝑢,𝑏) = [1, 𝑒−𝑗2𝜋𝜆𝐿𝑠𝑖𝑛(𝜃𝑢,𝑏), … , 𝑒−𝑗2𝜋(𝑁−1)𝐿𝜆𝑠𝑖𝑛(𝜃𝑢,𝑏)]
𝑇
(3.2) Trong đó L là khoảng cách ăng-ten của gNB, N là số phần tử của ăng-ten, λ là bước sóng, 𝜃𝑢,𝑏 là Góc khởi hành (AoD).
2.2. Yêu cầu QoS
Đề án được đề xuất nhằm giải quyết sự khác biệt về QoS giữa những người dùng trong mạng. Đặc biệt, người dùng URLLC cần duy trì độ tin cậy cao và các liên kết thơng tin liên lạc có độ trễ thấp, trong khi người dùng eMBB cần đạt được tốc độ cao.
1) Tỷ lệ người dùng eMBB: Tổng tỷ lệ người dùng eMBB trên mỗi gNB được công thức như sau:
𝐶 = ∑. 𝑏∈𝐵 ∑ . 𝑢∈𝑈𝑏𝑒 ∑ 𝛿𝑘,𝑢,𝑏𝑤𝑘,𝑏𝑙𝑜𝑔2(1 + 𝛤𝑘,𝑢,𝑏), (3.3) 𝑘∈𝑘𝑏
Trong đó 𝛿𝑘,𝑢,𝑏 là chỉ số phân bổ RBG, 𝑊𝑘,𝑏 là kích thước của RBG tính bằng Hz,
𝑢𝑏𝑒 là tập hợp người dùng eMBB thuộc búp sóng 𝑏𝑡ℎ và 𝛤𝑘,𝑢,𝑏 là SINR của liên kết
(𝑘, 𝑢, 𝑏)𝑡ℎ, có thể được biểu thị bằng: 𝜞𝑘,𝑢,𝑏 = 𝑝𝑘,𝑏|𝒉𝑘,𝑢,𝑏 𝐻 𝒘𝑘,𝑏|2 𝜎2 + ∑ 𝑝𝑘,𝑏′|𝒉𝑘,𝑢′,𝑏′ 𝐻 𝒘𝑘,𝑏′|2 𝑏′≠𝑘 (3.4)
Đỗ Minh Tồn – D17CQVT07-B Trang 35
Trong đó 𝑝𝑘,𝑏 và 𝑤𝑘,𝑏 biểu thị công suất và vectơ tạo tia của RBG 𝑘𝑡ℎ của búp sóng 𝑏𝑡ℎ. 𝑝𝑘,𝑏′ và 𝑤𝑘,𝑏′ biểu thị công suất và vectơ tạo búp sóng RBG 𝑘𝑡ℎ của búp sóng giao thoa 𝑏𝑡ℎ. 𝜎2 đại diện cho phương sai nhiễu của máy thu.
2) Độ trễ và độ tin cậy của người dùng URLLC: Độ trễ của người dùng URLLC được xây dựng như sau:
𝐷𝑢,𝑏 = 𝐷𝑢,𝑏𝑡𝑥 + 𝐷𝑢,𝑏𝑞 + 𝐷𝑢,𝑏ℎ𝑎𝑟𝑞 (3.5)
𝐷𝑢,𝑏𝑡𝑥 là độ trễ truyền, 𝐷𝑢,𝑏𝑞 là độ trễ xếp hàng (tức là độ trễ của gói đang chờ xử lý
trong bộ đệm truyền) 𝐷𝑢,𝑏ℎ𝑎𝑟𝑞 là độ trễ truyền lại Yêu cầu lặp lại tự động kết hợp (Hybrid Automatic Repeat Request - HARQ) độ trễ truyền lại của người dùng 𝑢𝑡ℎ trên búp sóng
𝑏𝑡ℎ. Phù hợp với [12], ta giả sử 𝐷𝑢,𝑏ℎ𝑎𝑟𝑞 = 4 𝑇𝑇𝐼. Đặc biệt, độ trễ xếp hàng và truyền
lại cấu thành các yếu tố chi phối trong công thức (3.5). Hơn nữa, độ trễ xếp hàng là kết quả trực tiếp của quyết định của người lập lịch (tức là độ trễ xếp hàng và lập lịch giống hệt nhau). Do đó, để đạt được độ trễ thấp cho người dùng URLLC, bộ lập lịch phải phân bổ tài nguyên ngay lập tức cho lưu lượng URLLC khi nó đến. Hơn nữa, số lần truyền lại phải được giới hạn, trong đó, trong cơng việc này, ta giả định là 1 lần truyền lại HARQ.
Tuy nhiên, việc hạn chế số lần truyền lại có thể ảnh hưởng đến độ tin cậy của người dùng URLLC. Để duy trì khả năng tin cậy cao, điều chỉnh liên kết được thực hiện, trong đó người dùng báo cáo định kỳ các phép đo SINR cho gNB dưới dạng các giá trị Chỉ số Chất lượng Kênh (Channel Quality Indicator - CQI). CQI cho biết chất lượng (tức là SINR) của liên kết với búp sóng liên kết. Đổi lại, các tài khoản gNB cho các phép đo đó trong chính sách lập lịch. Phần sau sẽ chỉ ra cách DRL được đề xuất xử lý cả độ trễ và độ tin cậy của người dùng URLLC.
3. Deep Q learning với DBSCAN (DQLD)
Để duy trì QoS cao của URLLC và eMBB trong điều kiện mạng thay đổi, thuật tốn đề xuất xem xét phân nhóm trực tuyến (với mục đích quản lý nhóm) và phân bổ tài nguyên dựa trên máy học. Phân cụm trực tuyến được sử dụng để phân cụm người dùng ở gần nhau và có thể được bao phủ bởi một búp sóng duy nhất. Ngồi ra, thuật tốn phân cụm trực tuyến nhằm mục đích tìm số lượng búp sóng tối ưu cho vùng phủ sóng. Mặt khác, để phân bổ khối tài nguyên, ta sử dụng Deep Q-learning. Kế hoạch quản lý tài nguyên và búp sóng chung là Deep Q-learning với DBSCAN (DQLD). DBSCAN được sử dụng để phân cụm trực tuyến và Deep Q-learning được sử dụng để phân bổ khối tài nguyên. Một thuật toán trực tuyến là cần thiết để duy trì phạm vi phủ sóng hiệu quả của người dùng di động. Trong bài tốn này, ta áp dụng DBSCAN để phân nhóm người dùng và lựa chọn số lượng búp sóng do những ưu điểm của nó so với các kỹ thuật phân
Đồ án tốt nghiệp Đại học Chương 3: Ứng dụng AI trong mạng 5G
Đỗ Minh Toàn – D17CQVT07-B Trang 36
nhóm khác. DBSCAN khơng u cầu số lượng cụm được xác định trước. Thay vào đó, thuật tốn xác định những người dùng có thể thuộc về một cụm từ những người dùng thưa thớt và trả về số lượng và cấu trúc của các nhóm. Ngồi ra, DBSCAN có độ phức tạp thấp và dễ thực hiện.
Lưu ý rằng, việc phân cụm trực tuyến thường xuyên có thể dẫn đến vấn đề phân bổ tài nguyên đầy thách thức. Đặc biệt, việc thực hiện phân cụm rất thường xuyên dẫn đến kết cấu và số lượng dầm thường xuyên bị thay đổi. Như vậy, việc phân bổ tài nguyên phải đối phó với một mơi trường rất năng động. Hơn nữa, phân nhóm có thể chỉ cần thiết bất cứ khi nào các búp sóng khơng đủ hiệu quả để bao phủ người dùng (tức là người dùng đã thay đổi vị trí của họ và có xu hướng thuộc về các cụm mới). Do đó, việc xác định tần suất phân cụm là rất quan trọng. Ta chọn chỉ thực hiện phân cụm khi SINR trung bình của búp sóng giảm xuống dưới ngưỡng xác định trước.
Clustering trả về một tập hợp các búp sóng để bao phủ người dùng mạng. Trong mỗi búp sóng, ta thực hiện phân bổ khối tài nguyên bằng cách sử dụng kỹ thuật Deep Q-learning dựa trên LSTM, cụ thể là DQL. Các thành phần của DQL được định nghĩa như sau:
Agents: DQL là một thuật toán phân tán đa Agents được thực hiện độc lập bởi mỗi
gNB (tức là mỗi gNB là Agents độc lập). Mỗi gNB thực hiện DQL để phân bổ RBG trong mỗi búp sóng của nó.
Actions: Các Actions được định nghĩa là các RBG được phân bổ cho người dùng
trên mỗi búp sóng như:
𝑎𝑘,𝑏 = {𝑢𝑘,𝑏} (3.6)
𝑎𝑘,𝑏 biểu thị hành động RBG 𝑘𝑡ℎ của búp sóng 𝑏𝑡ℎ, và 𝑢𝑘,𝑏 là index người dùng.
States: Ta thiết kế các States theo cách nắm bắt mức độ giao thoa giữa các búp sóng.
Đặc biệt, các States được xác định dựa trên phản hồi CQI được đo lường ở người dùng. Do đó, States của RBG 𝑘𝑡ℎ của búp sóng 𝑏𝑡ℎ được định nghĩa là:
𝑠𝑘,𝑏 = {𝑞𝑘,𝑏} (3.7)
𝑞𝑘,𝑏 là CQI của RBG 𝑘𝑡ℎ của búp sóng 𝑏𝑡ℎ.
Reward: Chức năng reward được thiết kế để tính đến các lớp người dùng khác nhau
(tức là URLLC và eMBB). Đặc biệt, người dùng URLLC yêu cầu độ trễ và độ tin cậy chặt chẽ, trong khi người dùng eMBB yêu cầu thông lượng cao. Do đó, chức năng reward được định nghĩa là:
𝑟𝑘,𝑏 = {
𝑠𝑖𝑔𝑚(𝑟𝑘,𝑏(𝑚𝑏𝑏)), 𝐶(𝑢)=2, 𝑠𝑖𝑔𝑚(𝑟𝑘,𝑏(𝑚𝑏𝑏)𝑟𝑘,𝑏(𝐿𝐿𝑐)), 𝐶(𝑢)=1,
(3.8)
Đỗ Minh Toàn – D17CQVT07-B Trang 37
𝑠𝑖𝑔𝑚(𝑥) = 1
1 + 𝑒−𝑥 (3.9)
Trong công thức (3.8), 𝐶(𝑢) trình bày Chỉ số phân loại chất lượng (QCI) của người dùng 𝑢𝑡ℎ trong đó 𝐶(𝑢) = 1 biểu thị người dùng URLLC, trong khi 𝐶(𝑢) = 2 biểu thị người dùng eMBB. 𝑟𝑘,𝑏(𝑚𝑏𝑏) 𝑣à 𝑟𝑘,𝑏(𝑙𝑙𝑐) là các chức năng reward của người dùng eMBB và URLLC tương ứng được định nghĩa như sau:
𝑟𝑘,𝑏(𝑙𝑙𝑐) = 𝐷
𝑄𝑜𝑆
𝐷𝑘,𝑏(𝑢) (3.10)
𝑟𝑘,𝑏(𝑚𝑏𝑏) = 𝛤𝑘,𝑏
𝛤𝑄𝑜𝑆 (3.11)
trong đó 𝐷𝑘,𝑏(𝑢) là độ trễ xếp hàng do cấp phát RBG 𝑘𝑡ℎ của búp sóng 𝑏𝑡ℎ tới người dùng 𝑢𝑡ℎ, 𝐷𝑄𝑜𝑠 là độ trễ yêu cầu 𝑄𝑜𝑆 và 𝛤𝑄0𝑆 là yêu cầu 𝑄𝑜𝑆 của 𝑆𝐼𝑁𝑅. Điều
đáng nói là gNB có kiến thức về QCI của những người dùng mang thiết bị vô tuyến và độ trễ xếp hàng của người dùng. Do đó, khi lưu lượng truy cập trên liên kết (𝑘, 𝑏) thuộc về người dùng URLLC, phần thưởng tạo thành sự kết hợp giữa độ tin cậy và độ trễ xếp hàng. Thật vậy, độ trễ xếp hàng chi phối tổng độ trễ của quá trình truyền đường xuống. Mặt khác, khi lưu lượng truy cập trên liên kết (𝑘, 𝑏) thuộc về người dùng eMBB, phần thưởng tạo nên độ tin cậy, dẫn đến thông lượng truyền cao hơn (nghĩa là, cải thiện SINR cho phép phân bổ kế hoạch mã hóa và điều chế cao hơn và kích thước khối truyền tải cao hơn). Cuối cùng, hàm sigmoid được sử dụng để giữ phần thưởng trong khoảng [0, 1].
Hình 3.2 trình bày một kế hoạch khái niệm của phương pháp tiếp cận DQL dựa trên LSTM. Điều đáng nói là 𝑔𝑁𝐵 có một thực thể DQL riêng biệt cho mỗi búp sóng mà nó tạo thành. Đối với mỗi búp sóng, DQL hoạt động như sau. 𝑔𝑁𝐵 tính tốn states tiếp theo và rewards tương ứng như trong (7) và (8), từ phản hồi CQI và SINR nhận được từ người dùng của nó. Trải nghiệm, {𝑠𝑡, 𝑎𝑡, 𝑟𝑡+1, 𝑠𝑡+1}, sau đó được lưu trữ trong bộ nhớ