Một hướng tiếp cận kỹ thuật phản hồi CSI mới sử dụng mạng Nơron tích chập dựa trên cơ chế LSTM – Attention dùng cho hệ thống massive MIMO

Kỹ thuật phản hồi CSI sử dụng Nơron tích chập dựa trên cơ chế LSTMAttention dùng cho hệ thống massive MIMO. Là kết hợp của các kỹ thuật khá tiềm năng trong mạng massive MIMO sử dụng mạng nơron để tối ưu hóa và dùng cơ chế LSTMAttention để giảm số lượng tham số huấn luyện, kết quả đạt được cho thấy hiệu quả cả về hiệu năng hệ thống cũng như giảm công việc tính toán

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA ĐÀO TẠO SAU ĐẠI HỌC TIỂU LUẬN TRUYỀN THÔNG SỐ NÂNG CAO “Một hướng tiếp cận kỹ thuật phản hồi CSI sử dụng mạng Nơron tích chập dựa chế LSTM – Attention dùng cho hệ thống massive MIMO” Giáo viên : PGS TS Lê Nhật Thăng Nhóm học viên : Nguyễn Thị Hồng Phạm Thị Huyền Nguyễn Xuân Diệu Lớp : M21CQTE01-B Hà Nội – 4/2022 Một hướng tiếp cận kỹ thuật phản hồi CSI sử dụng mạng Nơron tích chập dựa chế LSTM – Attention dùng cho hệ thống massive MIMO MỤC LỤC LỜI NÓI ĐẦU CÁC THUẬT NGỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU Chương 1: Giới thiệu Chương 2: Mơ hình hệ thống Chương 3: Các mạng Nơ-ron phản hồi CSI đề xuất 3.1 LSTM-ATTENTION CSINET 3.1.1 Bộ nhớ dài hạn – ngắn hạn LSTM 10 3.1.2 Cơ chế Attention 11 3.2 LSTM - Attention CsiNet rút gọn 12 Chương 4: Mô thảo luận 15 4.1 Hiệu NMSE thuật toán đề xuất 15 4.2 Phân tích độ tương tự cosin thuật toán đề xuất 17 KẾT LUẬN 20 TÀI LIỆU THAM KHẢO 21 LỜI NÓI ĐẦU Trong báo này, chế nghiên cứu để cải thiện hiệu phản hồi trạng thái kênh (CSI) hệ thống massive – MIMO (Đa đầu vào – đa đầu lớn) Cơ chế đề xuất bao gồm cấu trúc nén tái tạo thông tin trạng thái kênh CSI dựa mạng nơ-ron tích chập (CNN) Trong cấu trúc này, nhớ dài hạn – ngắn hạn (LSTM) sử dụng để tìm mối tương quan thời gian kênh, sau chế ý (cơ chế Attention) phát triển để nhận thức thông tin cục tự động cân nhắc thơng tin đặc tính Ngồi ra, cấu trúc nơ-ron tích chập CNN điều chỉnh thêm để giảm số lượng tham số huấn luyện tăng tốc phục hồi trạng thái kênh CSI Cấu trúc CNN với tham số huấn luyện tối ưu đạt thông qua huấn luyện (training) học tập (learning) lặp lặp lại dựa liệu huấn luyện khác Các nghiên cứu thực nghiệm so sánh cho thấy hiệu phương pháp tiếp cận CNN huấn luyện đạt độ xác phản hồi cao hiệu hệ thống tốt việc tái tạo phản hồi trực tuyến trạng thái kênh CSI hệ thống massive - MIMO Hơn nữa, lược đồ đề xuất tham số có hiệu cao với độ phức tạp tính tốn thấp so với thuật tốn thơng thường Nội dung báo gồm bốn chương sau: Chương 1: Giới thiệu Chương 2: Mô hình hệ thống Chương 3: Các mạng nơ-ron phản hồi CSI đề xuất Chương 4: Mô thảo luận CÁC THUẬT NGỮ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt CSI Channel State Information Thông tin trạng thái kênh MIMO Multiple Input and Multiple Output Nhiều đầu vào, nhiều đầu LSTM Long Short-term Memory Bộ nhớ dài hạn – ngắn hạn CNN Convolutional Neural Network Mạng nơron tích chập BS Base Station Trạm gốc UE User Equipment Thiết bị người dùng FDD Frequency Division Duplex Song công phân chia theo tần số CS Compressive Sensing Cảm biến nén LASSO Least Absolute Shrinkage and Selection Operator Tốn tử co ngót chọn lọc tối thiểu tuyệt đối AMP Approximate Message Passing Truyền thông số xấp xỉ TVAL Total Variation Augmented Lagrangian BM3DAMP Block-Matching and 3D-AMP Tốn tử Lagrang tăng cường có tổng biến thiên Kỹ thuật Khớp – Khối truyền thông số xấp xỉ ba chiều DL Deep Learning Học sâu FCN Fully-connected Network Mạng đầy đủ kết nối ULA Uniform Linear Array Mảng tuyến tính đồng OFDM Orthogonal Frequency Division Multiplexing Ghép kênh phân chia theo tần số trực giao DFT Discrete Fourier Transform Biến đổi Fourier rời rạc MSE Mean Squared Error Sai số tồn phương trung bình ADAM Adaptive Moment Estimation Ước lượng moment thích nghi NMSE Normalized Mean Square Error Sai số tồn phương trung bình chuẩn hóa DANH MỤC CÁC HÌNH VẼ Hình 2.1: Sơ đồ khối phản hồi kênh hệ thống massive MIMO Hình 3.1: Cấu trúc mạng Nơ-ron dựa LSTM-Attention đề xuất sử dụng mã hóa – giải mã tự động Hình 3.2: LSTM-Attention 10 Hình 3.3: Khối LSTM-Attention rút gọn tham số 13 Hình 4.1: So sánh hiệu suất NMSE với thuật toán phổ biến 16 Hình 4.2: So sánh hiệu ρ với thuật toán phổ biến 18 DANH MỤC CÁC BẢNG BIỂU Bảng 1: Sơ đồ thuật tốn có huấn lun phục hồi dùng cho phản hồi CSI 13 Bảng 2: Các tham số mô 15 Bảng 3: So sánh tham số thời gian chạy với thuật toán phổ biến 17 Chương 1: Giới thiệu Gần đây, massive MIMO coi công nghệ quan trọng ứng dụng hệ mạng không dây [1] Bằng cách trang bị hàng chục hàng trăm ăng ten trạm gốc (BS), thu hiệu qủa sử dụng lượng hiệu sử dụng phổ cao [2] - [6] Lợi ích tiềm công nghệ massive MIMO phụ thuộc vào thơng tin trạng thái kênh CSI phải đạt xác Trong hệ thống MIMO song công phân chia tần số (FDD), CSI đường xuống trước tiên thu thiết bị người dùng (UE) thông qua điều khiển đường xuống, sau trả BS thông qua liên kết phản hồi đường lên [7] [8] Tuy nhiên, với việc áp dụng số lượng lớn ăng-ten BS, mào đầu (overhead) phản hồi kênh đường lên tăng lên đáng kể Do đó, làm để giảm thiểu mào đầu phản hồi có ý nghĩa quan trọng hệ thống massive MIMO thực tế Trong năm gần đây, số thuật toán đề xuất để giảm mào đầu phản hồi [9] - [12] Các phương pháp lượng tử hóa véc tơ thơng thường phương pháp dựa sách mã hóa (codebook) giảm thiểu mào đầu phản hồi hiệu [9] Tuy nhiên, số lượng ăng-ten tăng, số lượng phản hồi tăng lên, dẫn đến hiệu phản hồi giảm đáng kể Dựa lý thuyết cảm biến nén (CS), [10] đề xuất trạng thái kênh nén phân tán sơ đồ ước lượng máy phát (CSIT) nhằm giảm tải công việc huấn luyện mào đầu phản hồi ước lượng trạng thái kênh máy phát CSIT Một số nghiên cứu khác, bao gồm toán tử co ngót chọn lọc tối thiểu tuyệt đối (LASSO) ℓ1-solver [11] thuật tốn truyền thơng báo gần (AMP) [12], đề xuất để khôi phục CSI nén Các giải pháp dựa số lượng liệu mồi ban đầu hạn chế khó phục hồi kênh truyền thực tế có CSI gần thưa thớt Để cung cấp liệu mồi ban đầu xác cho q trình tái tạo kênh truyền, thuật toán hướng xoay chiều Lagrang tăng cường biến thiên tổng thể (TVAL3) [13] so khớp khối kết hợp AMP – lọc 3D (BM3DAMP) [14] đề xuất thông qua việc gán liệu mồi ban đầu nhằm cải thiện chất lượng tái tạo kênh mức độ Tuy nhiên, thuật tốn khó khăn để cải thiện tính xác tái tạo CSI Gần đây, lý thuyết học sâu (DL) áp dụng thành công truyền thông không dây [15] - [19], đặc biệt phản hồi kênh [17] [18] Trong [17], tác giả cung cấp mã hóa-giải mã tự động gọi CsiNet Trong thuật toán này, mã hóa nén vectơ đặc trưng, sau giải mã giải nén thông tin khôi phục CSI Tuy nhiên, kênh biến thiên theo thời gian đặc điểm tương quan thời gian chưa nghiên cứu đầy đủ để cải thiện hiệu [18] tập trung vào việc nâng cao hiệu mô-đun khôi phục kênh lại gây vấn đề thơng số huấn luyện q mức Ngồi ra, với mạng đầy đủ kết nối tuyến tính (FCN) sử dụng để nghiên cứu [17] [18] mô-đun nén giải nén, mà không khai thác triệt để thông tin đặc trưng kênh truyền, từ làm giảm độ xác tái tạo kênh Khác với cơng trình trước đây, báo tập trung vào việc nâng cao đặc tính mơ-đun nén giải nén, nhằm mục đích cải thiện độ xác phản hồi kênh Những đóng góp bao gồm: • Chúng tơi đề xuất chế phản hồi phục hồi CSI hệ thống massive MIMO FDD gọi LSTM-Attention CsiNet Các mô-đun nén giải nén chế sử dụng LSTM-Attention để nâng cao hiệu khôi phục kênh LSTM-Attention tận dụng đặc tính nhớ LSTM để tìm tương quan thời gian kênh, nữa, chế Attention [20] để ưu tiên cân nhắc thơng tin tính tự động, phân bổ ý đến thơng tin tính quan trọng • Chúng tơi đề xuất CsiNet LSTM-Attention trọng số nhẹ cách điều chỉnh chế độ kết nối LSTM-Attention FCN Mạng trọng số nhẹ sử dụng thơng tin tính nén FCN vào vectơ chiều hơn, sau nhập vào LSTM-Attention, giúp giảm số lượng trọng số sai lệch từ LSTM-Attention hiệu tăng tốc độ khôi phục kênh Chương 2: Mơ hình hệ thống Hãy xem xét hệ thống massive MIMO FDD, BS trang bị Nt ăng-ten phát mảng tuyến tính đồng (ULA) thiết bị người dùng (UE) có ăng-ten Tín hiệu phát điều chế phương pháp ghép kênh phân chia theo tần số trực giao (OFDM) với sóng mang N c kênh truyền fading phẳng Rayleigh Mơ hình hệ thống thể Hình 2.1 Hình 2.1: Sơ đồ khối phản hồi kênh hệ thống massive MIMO Trong đường xuống hệ thống FDD này, BS mã hóa trước tín hiệu mang liệu, sau truyền tín hiệu mơi trường khơng dây Tín hiệu nhận sóng mang thứ n máy thu yn = hn H xn + z n (1) Trong hn  C N 1 vectơ kênh truyền sóng mang thứ n,  C N 1 vectơ tiền mã t t hóa sóng mang thứ n, xn  C ký hiệu cho symbol liệu điều chế, zn  C kí hiệu cho tạp âm trắng cộng chuẩn Gauss với giá trị trung bình phương sai H H =  h1h2 hNc   C Nc  Nt thông tin trạng thái kênh CSI miền không gian - tần số   Sau thu tín hiệu điều khiển, người dùng tính tốn giá trị véctơ H thơng qua modul ước lượng kênh, sau đó, gửi kết lại cho BS kênh đường lên Tồn có Nc Nt tham số gửi đi, điều dẫn tới số lượng lớn mào đầu phản hồi hệ thống massive MIMO Ở đây, sử dụng lý thuyết né để giảm số lượng tham số giảm mào đầu phản hồi Trong cơng trình này, ma trận kênh truyền H chuyển đổi thành ma trận xấp xỉ thưa H thông qua biến đổi Fourier rời rạc DFT, xác định sau H = Rd HRaH (2) Trong Rd  C N  N Ra  C N  N ma trận biến đổi DFT Do thời gian trễ c t t t tia tới đa đường nằm khoảng giới hạn, nên H ma trận thưa theo [17], phần tử khác khơng N c hàng ma trận H chứa giá trị Chúng ta giữ lại phần tử khác không, ký hiệu H  C N  N ma trận thông tin rút gọn Sau đó, mã hóa tự động c t nén thơng tin CSI xử lý H thành từ mã gửi lại cho BS thông qua kênh đường lên để khơi phục CSI Tại BS, CSI nhận lại qua giải mã tự động Chương 3: Các mạng Nơ-ron phản hồi CSI đề xuất Trong phần này, kết hợp LSTM-Attention CsiNet mạng nơ-ron thông thường cho phản hồi kênh MIMO, bao gồm hai bước: mã hóa giải mã Hình 3.1 Hơn nữa, CsiNet LSTM – Attention rút gọn sử dụng để giảm tham số huấn luyện độ phức tạp mạng tiểu mục B Hình 3.1: Cấu trúc mạng Nơ-ron dựa LSTM-Attention đề xuất sử dụng mã hóa – giải mã tự động 3.1 LSTM-ATTENTION CSINET Trong tiểu mục này, cấu trúc phản hồi CSI dựa LSTM - Attention, gọi LSTMAttention CsiNet, đề xuất để giải vấn đề mào đầu phản hồi CSI hệ thống massive - MIMO FDD Trong cấu trúc này, N1 × N2 × N3 chiều dài, chiều rộng số lượng đồ tính Tại UE, để giảm độ phức tạp tính tốn, phần thực phần ảo ma trận thông tin rút gọn H  C N  N tách hợp thành H '  R N N 2 H ' xử lý đưa vào mã c t c t hóa để mã hóa thành từ mã Một mã hóa bao gồm hai phần: trích xuất tính nén tính Tính trích xuất thực lớp tích chập, lớp chuẩn hóa băng đơn vị tuyến tính chỉnh lưu rị (Leaky Relu) Phép tốn tích chập thực với hai hạt nhân × chiều Sau đó, đặc tính nén, chúng tơi định hình lại hai ma trận đặc trưng với kích thước Nt  N c thành vectơ đặc trưng l  R N 1 , N = Nt Nc , l  R N 1 đầu vào hai bộ: FCN tuyến tính: FCN kết nối bước nhảy để biến đổi vectơ l thành vectơ s1  R M 1 Giúp mạng tăng tốc độ hội tụ giải vấn đề gradient biến [21] Bộ LSTM - Attention: Đầu vào mô-đun l đầu s2  R M 1 LSTMAttention nâng cao hiệu nén tính cách tìm tương quan thời gian tính tốn phù hợp hóa phân phối xác suất mềm 3.1.1 Bộ nhớ dài hạn – ngắn hạn LSTM Mạng LSTM đề xuất để giảm thiểu vấn đề gradient biến gradient lớn cách sử dụng đơn vị nhớ để giữ thông tin phụ thuộc chứa liệu khoảng thời gian dài Chức nhớ nội LSTM, lưu giữ thơng tin trích xuất trước thời gian dài Trong báo này, LSTM sử dụng để tìm tương quan thời gian từ bước thời gian trước mơ-đun nén tính giải nén tính Mỗi đơn vị LSTM bao gồm cổng quên, cổng đầu vào cổng đầu ra, mơ tả Hình 3.2 Kết cổng qn cổng đầu vào dựa cập nhật trạng thái ô t ký hiệu bước thời gian Biểu diễn toán học cấu trúc LSTM sau: ft =  (Wlf lt + Wmf mt −1 + b f ) (3) it =  (Wli lt + Wmi mt −1 + bi ) (4) ot =  (Wlolt + Wmo mt −1 + bo ) (5) at = tanh(Wlilt + Wmi mt −1 + bi ) (6) ct = ct −1  ft + it  at (7) mt = ot  ct (8)  hàm logic sigmoid ft , it , ot cổng quên, cổng vào cổng ct , at ô nhớ vectơ ẩn Wl* = Wlf , Wli , Wla , Wlo  Wm* = Wmf , Wmi , Wma , Wmo  trọng số trùy hồi cổng tương ứng, b f , bi , ba , bo chênh lệch đầu ⊗ tích Hadamard Hình 3.2: LSTM-Attention 10 Trong thuật tốn LSTM, độ dài chuỗi đầu vào mã hóa thành vectơ có độ dài cố định, có tính hạn chế mặt giải mã làm giảm đặc tính thể chúng [22] Do đó, chế Attention áp dụng để nâng cao chức tìm tiết chế thời gian phía sau khối LSTM 3.1.2 Cơ chế Attention Như mơ tả Hình 3, q trình chế Attention lớp mật độ cao hàm kích hoạt softmax Tín hiệu đầu l ' =  m1m2 mT  khối LSTM tín hiệu đầu vào khối Attention Tín hiệu s2 khối Attention tính tổng trọng số tuyến tính 𝑙′ mơ tả biểu thức sau: 𝑇 (9) (𝑠2 )𝑖 = ∑ 𝜆𝑖𝑗 𝑚𝑗 𝑗 Trong đó: Trọng số λij thể cho khả điều chỉnh phân phối sắc xuất mềm tương ứng mj Và λij đạt từ chuẩn hóa trọng số nhờ sử dụng hàm softmax, thể biểu thức: 𝜆𝑖𝑗 = 𝑒𝑥𝑝(𝛽𝑖𝑗 ) ∑𝑇𝑘=1 𝑒𝑥𝑝(𝛽𝑖𝑘 ) (10) 𝑚𝑒𝑐ℎ Trong đó: βij=a(𝜑i-1,mj) =𝑊𝑖−1 mj mẫu điều chỉnh đầu phân lớp Mật độ cao, 𝑚𝑒𝑐ℎ 𝑊𝑖−1 trọng số phần tử nhớ thứ (i - 1) βij kí hiệu cho trọng số nhận từ phép độ tương tự thể cho mối tương quan tương tự φ𝑖−1 mj Cơ chế Attention ứng dụng mạng phản hồi CSI kết hợp với môđun mạng nơ-ron khác Kỹ thuật ưu tiên chuỗi số triển vọng thông qua nhận thức cục định linh hoạt nâng cao khả biểu diễn thơng tin đặc tính tương quan thời gian kênh MIMO Tín hiệu từ mo-đun thuật tốn LSTM-Attention s1 FCN s2 cộng với 𝑀 để thu đầu mã hóa tỉ lệ mã hóa mã hóa 𝑟 = Tổng đầu 𝑁 mã hóa s = s1 + s2 Sau đó, vector nén M chiều phát trở lại BS để khôi phục CSI 11 Trong trình truyền trở lại kênh phản hồi giả thuyết lý tưởng đảm bảo truyền từ mã nén mà không bị Tại BS, từ mã s nhận từ UE sử dụng để phục hồi ma trận cắt gọn H cách áp dụng giải mã có giải nén đặc tính phục hồi kênh Đầu tiên, mơ-đun giải nén đặc tính giống mơ-đun nén đặc tính mã hóa gồm có LSTM-Attention FCN song song Sự khác hai kích cỡ đầu vào giải nén M×1 đầu N×1 Thứ hai, theo nguyên lý giải nén từ mã ld ∈ RN×1 đưa đến khối lọc Các khối lọc giải vấn đề bị độ dốc suốt q trình tái tạo, tăng độ xác ̂ ghép vào ma trận kênh gốc 𝑯 ̃, khôi phục thông tin [17] Cuối cùng, ma trận kênh tái tạo 𝑯 q trình khơi phục phép biến đổi ngược DFT kết nối khác không Hiệu khơi phục mã hóa – giải mã tự động phụ thuộc vào số lượng kích thước tham số huấn luyện Các tham số chủ yếu từ mô-đun nén giải nén Tuy nhiên, tham số huấn luyện lưu trữ lượng thông tin dư thừa lớn thông tin quan trọng, điều làm tăng độ phức tạp hệ thống phản hồi thời gian khôi phục kênh Kiến trúc sau đề xuất dựa chế LSTM-Attention CsiNet rút gọn có độ phức tạp thấp 3.2 LSTM - Attention CsiNet rút gọn LSTM-Attention CsiNet có hạn chế có nhiều tham số huấn luyện điều làm tăng độ phức tạp hệ thống kênh Ở đây, cung cấp cấu trúc khác có hiệu Như thể hình 3.3, mơ-đun nén bao gồm FCN LSTM-Attention nối tiếp thay song song Ngồi ra, sử dụng cách tích hợp thơng tin đặc tính từ khối FCN mơđun LSTM-Attention để khắc phục tượng độ dốc Đối với mô-đun nén đặc tính, chuỗi vec tơ M chiều từ FCN truyền trực tiếp đến mô-đun LSTM- Attention lấy ý tưởng từ Lu.C [23] Vector đặc tính l N chiều từ mơ-đun đặc tính bắt buộc chuyển đổi thành s1 M chiều giữ ngun kích thước khơng đổi qua LSTM-Attention Hơn nữa, mô-đun giải nén đặc tính, vectơ s - M chiều thu từ UE chuyển sang kích thước M thơng qua LSTM-Attention, sau tích hợp đầu LSTM-Attention với vectơ s Do đó, kết nối nhảy LSTM-Attention khơng cần chuyển đổi kích thước trước qua cộng Sau đó, vectơ M chiều đưa vào FCN để giải nén vectơ đặc tính 12 Hình 3.3: Khối LSTM-Attention rút gọn tham số Hai mạng phản hồi kênh huấn luyện lặp lặp lại từ đầu cuối đến đầu cuối, nhằm tối thiểu thơng tin bị mát, từ đạt tham số sai lệch tốt mạng Ở đây, sử dụng số sai số tồn phương trung bình (MSE) hàm mát để đo hiệu khôi phục sử dụng thuật tốn tối ưu ước lượng moment thích nghi (ADAM) để cập nhật chuỗi tham số thông qua độ dốc vòng lặp MSE ma trận kênh ước lượng tính theo cơng thức đây: 𝐾 𝐿(𝜃𝑒 , 𝜃𝑑 ) = ∑‖𝑓𝑑 (𝑓𝑒 (𝐻𝑖 , 𝜃𝑒 ), 𝜃𝑑 ) − 𝐻𝑖 ‖22 𝐾 (11) 𝑖=1 Trong đó: θe, θd tham số mã hóa giải mã fe , fd tham số đặc trưng cho mạng mã hóa giải mã K kí hiệu kích thước băng, Hi CSI vòng lặp thứ i Hai sơ đồ thuật tốn đề xuất trình bày Bảng 1, bao gồm huấn luyện trực tiếp phục hồi trực tuyến Mạng nơ-ron huấn luyện sử dụng trực tiếp để phản hồi CSI Bảng 1: Sơ đồ thuật tốn có huấn lun phục hồi dùng cho phản hồi CSI Thuật toán: (Rút gọn) Thuật toán phản hồi kênh CsiNet LSTM-Attention cho Hệ thống massive MIMO Đầu vào: Ma trận kênh tạo H Đầu ra: Ma trận phản hồi trạng thái kênh CSI Hˆ Quá trình huấn luyện offline: Bước 1: Tạo ma trận kênh gốc H mô-đun COST 2100 MIMO [24] Thực biến đổi DFT cắt bớt ma trận kênh H Tách phần thực phần ảo Tiếp nối chúng thành ma trận hiệu ứng H′ với kích thước 13 Bước 2: Tại UE, nhập ma trận H′ vào mã hóa Trích xuất vectơ đặc tính thao tác tích chập định hình Nén vectơ thành từ mã s nhờ hai FCN LSTM-Attention Bước 3: Phát từ mã s nhận từ mã hóa UE đến BS Bước 4: Tại BS, giải nén s thông qua FCN LSTM- Attention thành vectơ có N t N c chiều, sau khôi phục thành CSI thông qua lọc Bước 5: Tính tốn hàm suy hao L với MSE cập nhật tham số huấn luyện cấu trúc cách sử dụng tối ưu hóa ADAM để giảm sai số ma trận hiệu ứng ban đầu H ma trận ước lượng Hˆ Lặp lại bước đến bước thu mạng nơ-ron phản hồi CSI tối ưu Khôi phục trực tuyến: Tại UE, CSI ước tính nhập vào mơ-đun mã hóa tự động mạng nơ-ron tối ưu gửi đến BS Tại BS, vectơ thu được truyền tới giải mã sử dụng cho phản hồi CSI mà không cần lặp lại nhiều lần làm giảm phức tạp hệ thống phản hồi kênh hiệu 14 Chương 4: Mô thảo luận Trong phần này, để xác minh tính hiệu thuật tốn đề xuất tác giả thực mô thử nghiệm hai trường hợp sử dụng nhà ngồi trời Chúng tơi so sánh hiệu suất thuật toán đề xuất với số thuật tốn phản hồi phổ biến thơng qua tensorflow PC với Geforce GTX 1080 Ti GPU Trong trình huấn luyện, tập liệu ma trận kênh, bao gồm tập huấn luyện, tập xác nhận tập kiểm tra, thu mơ hình kênh 2100 MIMO COST [24] Tồn tham số mơ mơ hình kênh MIMO liệt kê Bảng Bảng 2: Các tham số mơ Các tham số Mơ hình kênh 2100 COST [24] Thiết lập Mạng di động cỡ nhỏ nhà: 5,3 GHz Mạng nơng thơn ngồi trời: 300MHz Số lượng anten Nt = 32 Các sóng mang N c = 1024 Độ dài cắt gọn Nc = 32 Chế độ song công FDD Điều chế Fading phẳng Rayleigh 4.1 Hiệu NMSE thuật toán đề xuất Tập liệu huấn luyện, xác nhận kiểm tra 100000, 30000 20000 mẫu Độ dài băng, chu kỳ tốc độ huấn luyện chọn K = 200, 1000 0,001 Trong mơ-đun nén giải nén có sáu khối LSTM trước khối Attention Trong báo này, chúng tơi áp dụng sai số bình phương trung bình chuẩn hóa (N-MSE) để so sánh hiệu thuật toán phản hồi CSI dựa LSTM-Attention CsiNet đề xuất với phương pháp LASSO [11], CS-CsiNet [17], CsiNet [17] RecCsiNet [23] tỉ lệ nén r , r = M 1 1    , , ,  , NMSE xác định sau: N  32 32 64  15  H −H  NMSE = E   H       (12) Cần lưu ý NMSE nhỏ tỷ lệ lỗi khôi phục CSI nhỏ hiệu cao Như thấy từ Hình 4.1, hệ thống thông tin trang bị 32 anten phát BS người dùng thiết bị đầu cuối thu Đối với trường hợp thông tin di động nhà, giá trị NMSE cấu trúc phản hồi CSI sử dụng LSTM-Attention CsiNet nhỏ thuật toán LASSO, CS-CsiNet , CsiNet RecCsiNet , đặc biệt, nhỏ khoảng dB so với mạng nơ-ron CsiNet tỉ lệ mã hóa r = Hơn nữa, trường hợp ngồi trời vùng nơng thôn băng tần 300MHz, giá trị NMSE nhỏ khoảng 1.5-3 dB so với CsiNet Hình 4.1 cho thấy nhà hay trời, cấu trúc LSTM-Attention CsiNet đề xuất có hiệu NMSE vượt trội Tại mô-đun nén giải nén, mạng sử dụng khối LSTM để tận dụng đầy đủ tương quan thời gian thông tin kênh massive MIMO, kết hợp chế Attention triển khai để tìm đặc tính cấu trúc kênh tốt Do đó, cấu trúc LSTM-Attention CsiNet chứng tỏ đạt hiệu hiệu mặt tái tạo ma trận kênh (a) Trường hợp mạng di động cỡ nhỏ (b) Trường hợp nơng thơn ngồi trời nhà Hình 4.1: So sánh hiệu suất NMSE với thuật toán phổ biến 16 Bảng 3: So sánh tham số thời gian chạy với thuật toán phổ biến Tỷ lệ mã 16 32 64 CsiNet LSTM-Attention Giảm ý CsiNet LSTM CsiNet Thông số Δt Thông số Δt Thông số Δt 2103904 0,0001 10247148 0,008 2924912 0,004 530656 0,0001 7484688 0,008 582704 0,001 268448 0,0001 7024272 0,008 281936 0,0007 137344 0,0001 6794064 0,008 141152 0,0005 Ngoài ra, với điều kiện thử nghiệm, kết kiểm tra hệ thống phản hồi kênh LSTM-Attention CsiNet rút gọn thể Hình 4.1 Đối với trường hợp nhà, LSTM-Attention CsiNet rút gọn đạt hiệu NMSE tốt so với thuật tốn phổ biến khác, đường cong nhỏ trường hợp CsiNet khoảng 1-3 dB Đối với trường hợp trời, LSTM-Attention CsiNet rút gọn cho thấy hiệu tốt hơn, tốt 0.5 2dB so với CsiNet FCN mô-đun nén giải nén LSTM-Attention CsiNet rút gọn, mạng kết nối nhảy, trì kích thước đầu vào đầu mơ-đun LSTMAttention khơng thay đổi, làm giảm số lượng tham số giảm độ phức tạp mạng phản hồi 4.2 Phân tích độ tương tự cosin thuật toán đề xuất Để xác minh thêm tính hiệu thuật tốn đề xuất, xem xét tính tương tự cosin cách tính:     = E Nc   H Nc  n =1     hn    hn hn H hn 17 (13) ̂ ̃ 𝑛 ký hiệu vectơ kênh tái tạo sóng mang thứ n 𝒉 ̃𝑛 / ‖𝒉 ̃𝐻 đó, 𝒉 𝑛 ‖ sử dụng vector định dạng chùm tia Giá trị 𝜌 lớn hiệu cao Hiệu độ tương tự cosine, độ lợi chùm tia, sử dụng để đo độ xác tái tạo kênh hệ thống massive MIMO Xét với người dùng đơn UE, 32 ăng ten phát BS, Hình 4.2 cho thấy hiệu ρ số thuật toán, bao gồm TVAL3 [13], LASSO [11], CSCsiNet [17], CsiNet [17], RecCsiNet [23] hai thuật toán phản hồi đề xuất Đối với môi trường nhà với băng tần 5.3 GHz, hiệu hai thuật toán đề xuất, LSTM-Attention CsiNet rút gọn LSTM-Attention CsiNet , tốt so với thuật tốn thơng thường khác tốt trung bình 1% 1.5% so với CsiNet Đối với trường hợp mơi trường ngồi trời, hiệu suất 𝜌 cải thiện hình vẽ Vì đặc tính trích xuất từ ma trận kênh nén FCN xuống số chiều thấp hơn, làm số thơng tin so với LSTM-Attention CsiNet Bên cạnh đó, M lớn tỉ lệ mã hóa lớn độ xác phản hồi CSI tốt (a) Trường hợp mạng di động cỡ nhỏ (b) Trường hợp nông thơn ngồi trời nhà Hình 4.2: So sánh hiệu ρ với thuật toán phổ biến Điều đáng nói hiệu đầy hứa hẹn phản hồi kênh LSTM-Attention CsiNet phụ thuộc vào loạt tham số huấn luyện bao gồm trọng số độ lệch, điều làm tăng độ phức tạp mạng khôi phục Các thông số chủ yếu từ mô-đun nén giải nén Đối với LSTM - Attention, 𝑾𝑦 ,𝑾𝑥 b có 𝑵𝐼𝑛 × 𝑵𝑙𝑠𝑡𝑚 , 𝑵𝐼𝑛 × 𝑵𝐼𝑛 𝑵𝐼𝑛 tham số mô-đun LSTM, chế Attention có 𝑀2 + 𝑀 tham số, 𝑵𝐼𝑛 𝑵𝑙𝑠𝑡𝑚 số chiều đầu vào LSTM 18 số lượng khối LSTM Hơn nữa, FCN có 𝑁𝑀 + 𝑀 tham số Đối với mô-đun nén CsiNet LSTM-Attention rút gọn 𝑾𝑦 ,𝑾𝑥 b có 𝑵𝐼𝑛 × 𝑵𝑙𝑠𝑡𝑚 , 𝑵𝐼𝑛 × 𝑵𝐼𝑛 𝑵𝐼𝑛 tham số mơ-đun LSTM, chế Attention có ( 𝑀 𝑁𝐼𝑛 ) + 𝑀 𝑁𝐼𝑛 tham số FCN có 𝑁𝑀 + 𝑀 tham số Nhìn chung, số lượng tham số khác mà chủ yếu từ chế Attention Trong báo này, Bảng chứa toàn tham số thống kê thuật toán CsiNet , LSTM-Attention CsiNet LSTMAttention CsiNet rút gọn Chúng ta thấy tham số huấn luyện mạng nơ-ron đơn giản phản hồi thơng tin kênh nhanh LSTM-Attention CsiNet Reduced LSTM-Attention CsiNet rút gọn áp dụng khối LSTM để ghi nhớ thơng tin cách có chọn lọc tìm mối tương quan thời gian, sau áp dụng chế Attention để trực quan hóa q trình định khối LSTM hiệu chỉnh mềm trực tiếp từ cải thiện độ xác q trình tái tạo ma trận kênh Bởi FCN nén vectơ từ kích thước N chiều thành vectơ M chiều, dẫn đến số thông tin đặc trưng, hiệu LSTM-Attention CsiNet rút gọn so với LSTM-Attention CsiNet 19 KẾT LUẬN Trong nội dung báo nghiên cứu thuật tốn phản hồi CSI mã hóa – giải mã tự động dựa tương quan thời gian cho hệ thống FDD massive MIMO Mục tiêu tập chung vào vấn đề hiệu độ phức tạp cao thuật toán phản hồi CSI truyền thống dựa sách mã cảm biến nén, CsiNet LSTM - Attention đề xuất cho hệ thống massive MIMO FDD, xem chế mã hóa-giải mã tự động dựa học sâu Dựa liệu lớn, thuật toán khám phá mối tương quan thời gian cách ghi nhớ có chọn lọc sử dụng LSTM, phân bổ ý nhiều đến thơng tin đặc tính quan trọng cách tính trọng số tự động với chế Attention sau đó, tìm thơng tin đặc tính CSI, cải thiện độ xác q trình khơi phục ma trận kênh Hơn nữa, để giảm độ phức tạp mạng phản hồi CSI, báo đề xuất thuật toán CsiNet LSTM – Attention rút gọn, chuyển đổi vectơ đặc tính từ N chiều thành véc tơ M chiều với khối FCN, giảm số lượng tham số huấn luyện độ phức tạp mạng, tăng tốc độ phản hồi CSI 20 TÀI LIỆU THAM KHẢO [1] C Li, P Liu, C Zou, F Sun, J M Cioffi and L Yang, "SpectralEfficient Cellular Communications with Coexistent One- and Two-Hop Transmissions," in IEEE Transactions on Vehicular Technology, vol 65, no 8, pp 6765-6772, Aug 2016 [2] H Huang, S Guo, G Gui, Z Yang, J Zhang, H Sari and F Adachi, "Deep learning for physical-layer 5G wireless techniques: Opportunities, challenges and solutions," IEEE Wireless Communications Magazine, to be published, doi: 10.1109/MWC.2019.1900027 [3] Chunguo L I, Yanshan L I, Song K, et al, "Energy efficient design for multiuser downlink energy and uplink information transfer in 5G," Science China, Vol.59, NO.2, pp.1-8, February, 2016 [4] H Huang, Y Peng, J Yang, W Xia, G Gui, "Fast beamforming design via deep learning," IEEE Transactions on Vehicular Technology, to be published, doi: 10.1109/TVT.2019.2949122 [5] G Gui, H Huang, Y Song, and H Sari, "Deep learning for an effective nonorthogonal multiple access scheme," IEEE Transactions on Vehicular Technology, vol 67, no 9, pp 84408450, Sept 2018 [6] H Huang, J Yang, H Huang, Y Song and G Gui, "Deep learning for super-resolution channel estimation and DOA estimation based massive MIMO system," IEEE Transactions on Vehicular Technology, vol 67, no 9, pp 8549-8560, Sept 2018 [7] C K Sung, I Ahmad, G Lechner and H Suzuiki, "Performance Analysis of Distributed Transmit Beamforming with Quantized Channel Feedback," 2019 IEEE 89th Vehicular Technology Conference (VTC2019-Spring), Kuala Lumpur, Malaysia, 2019, pp 1-5 [8] J Wang, Y Ding, S Bian, Y Peng, M Liu, G Gui, "UL-CSI data driven deep learning forpredicting DL-CSI in cellular FDD systems," IEEE Access, vol 7, no 1, pp 1-10, 2019 [9] W Shen, L Dai, B Shim, Z Wang and R W Heath, "Channel Feedback Based on AoDAdaptive Subspace Codebook in FDD Massive MIMO Systems," in IEEE Transactions on Communications, vol 66, no 11, pp 5235-5248, Nov 2018 21 [10] X Rao and V K N Lau, "Distributed Compressive CSIT Estimation and Feedback for FDD Multi-User Massive MIMO Systems," in IEEE Transactions on Signal Processing, vol 62, no 12, pp 3261-3271, June15, 2014 [11] Daubechies I, Defrise M, De Mol C, "An iterative thresholding algorithm for linear inverse problems with a sparsity constraint," Communications on Pure & Applied Mathematics, Vol 57, NO 11, pp 1413-1457, August, 2003 [12] B C Jung and Woohyuk Chang, "A message passing algorithm for compressed sensing in wireless random access networks," 2013 19th AsiaPacific Conference on Communications (APCC), Denpasar, 2013, pp 463464 [13] S H Chan, R Khoshabeh, K B Gibson, P E Gill and T Q Nguyen, "An Augmented Lagrangian Method for Total Variation Video Restoration," in IEEE Transactions on Image Processing, vol 20, no 11, pp 3097-3111, Nov 2011 [14] C A Metzler, A Maleki and R G Baraniuk, "From Denoising to Compressed Sensing," in IEEE Transactions on Information Theory, vol 62, no 9, pp 5117-5144, Sept 2016 [15] N Samuel, T Diskin and A Wiesel, "Deep MIMO detection," 2017 IEEE 18th International Workshop on Signal Processing Advances in Wireless Communications (SPAWC), Sapporo, 2017, pp 1-5 [16] H Huang, Y Song, J Yang, G Gui, "Deep-Learning-Based MillimeterWave Massive MIMO for Hybrid Precoding," in IEEE Transactions on Vehicular Technology, vol 68, no 3, pp 3027-3032, March 2019 [17] C Wen, W Shih and S Jin, "Deep Learning for Massive MIMO CSI Feedback," in IEEE Wireless Communications Letters, vol 7, no 5, pp 748-751, Oct 2018 [18] T Wang, C Wen, S Jin and G Y Li, "Deep Learning-Based CSI Feedback Approach for Time-Varying Massive MIMO Channels," in IEEE Wireless Communications Letters, vol 8, no 2, pp 416-419, April 2019 22 [19] Y Wang, M Liu, J Yang, G Gui, "Data-driven deep learning for automatic modulation recognition in cognitive radios," IEEE Transactions on Vehicular Technology, vol 68, no 4, pp 4074-4077, Apr 2019 [20] F Karim, S Majumdar, H Darabi and S Chen, "LSTM Fully Convolutional Networks for Time Series Classification," in IEEE Access, vol 6, pp 1662-1669, 2018 [21] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image Recognition," 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, 2016, pp 770-778 [22] D Bahdanau, K Cho, and Y Bengio, "Neural Machine Translation by Jointly Learning to Align and Translate," arXiv preprint arXiv: 1409.0473, 2014 [23] C Lu, W Xu, H Shen, J Zhu and K Wang, "MIMO Channel Information Feedback Using Deep Recurrent Network," in IEEE Communications Letters, vol 23, no 1, pp 188-191, Jan 2019 [24] L Liu et al., "The COST 2100 MIMO channel model," in IEEE Wireless Communications, vol 19, no 6, pp 92-99, December 2012 23 .. .Một hướng tiếp cận kỹ thuật phản hồi CSI sử dụng mạng Nơron tích chập dựa chế LSTM – Attention dùng cho hệ thống massive MIMO MỤC LỤC LỜI NÓI ĐẦU CÁC THUẬT NGỮ VIẾT... hồi dùng cho phản hồi CSI Thuật toán: (Rút gọn) Thuật toán phản hồi kênh CsiNet LSTM- Attention cho Hệ thống massive MIMO Đầu vào: Ma trận kênh tạo H Đầu ra: Ma trận phản hồi trạng thái kênh CSI. .. phục hồi CSI hệ thống massive MIMO FDD gọi LSTM- Attention CsiNet Các mô-đun nén giải nén chế sử dụng LSTM- Attention để nâng cao hiệu khôi phục kênh LSTM- Attention tận dụng đặc tính nhớ LSTM để