Khảo sát điều khiển chấp nhận dịch vụ trong mạng 5g (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN TỰ CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ : 8.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) Hà Nội - 2019 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS NGUYỄN VĂN THỦY (Ghi rõ học hàm, học vị) Phản biện 1: ………………………………………………………… Phản biện 2: ………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Lý chọn đề tài Với nhu cầu sử dụng mạng không dây không ngừng gia tăng nhà mạng viễn thông cải tiến áp dụng mô hình mạng tiên tiến để đáp ứng nhu cầu sử dụng mạng không dây người dùng Nếu mạng 1G hệ thống thông tin di động không dây giới vào khoảng thập niên 80, làm thay đổi giới việc kết nối thơng tin người với người, mạng 5G hệ hệ thống thông tin di động kỳ vọng áp dụng vào năm 2020 với khoảng tỷ lượt sử dụng giới [1] Ngày nay, nhờ tăng trưởng vượt bậc thiết bị thông minh đời Internet vạn vật (IoT), mạng 5G hướng đến kết nối vật với Không mạng di động hệ trước, mạng 5G thiết kế dựa tập hợp cơng nghệ có hiệu cao để tối ưu theo số hiệu suất (KPIs) Cụ thể, theo góc nhìn nhà vận hành, số KPIs xem xét là: hiệu mạng, chất lượng dịch vụ (QoS), chi tiêu vốn (CAPEX) chi phí hoạt động (OPEX) Mặt khác, theo góc nhìn người tiêu dùng số KPIs chủ yếu gồm: kết nối liền mạch, độ trễ không đáng kể chi phí dịch vụ thấp Đề tài “Khảo sát điều khiển tự chấp nhận dịch vụ mạng 5G” nhằm nghiên cứu thử nghiệm kỹ thuật, thuật toán tự tối ưu chấp nhận dịch vụ việc nâng cao hiệu mạng 5G Tổng quan vấn đề nghiên cứu Để giải nhu cầu dung lượng mạng gia tăng khơng ngừng, có ba giải pháp đề xuất: cải thiện hiệu suất băng tần công nghệ không dây (3-5 lần), cho phép phân bổ nhiều băng tần (5-10 lần), triển khai nhiều nút mạng (40-50 lần) cách khai thác ba cách tiếp cận nói cho phép tổng dung lượng tăng 600-2.500 lần minh họa kích thước tăng trưởng mạng 5G bên Sự phức tạp hoạt động mạng lưới 5G tương lai tăng tuyến tính với mật độ mạng tăng độ phức tạp thiết kế phần cứng tăng[10] 2 Minh họa kích thước tăng trưởng cơng suất dự kiến 5G [10] Trong bối cảnh mạng không dây phát triển, hệ thống mạng 5G yêu cầu phải có tính tự tổ chức để đảm bảo lợi nhuận mơ hình kinh doanh khác Trong bối cảnh này, việc giới thiệu mạng tự tổ chức (SON) cho phép khai thác thuật tốn thơng minh nhân tạo (AI) để quản lý hiệu tài nguyên mạng, cho phép người dùng cảm nhận kết nối liền mạch suốt Do đó, SONs cho phép giảm OPEX (Chi phí hoạt động) với tính tự cấu hình, tự tối ưu hóa tự phục hồi dịch vụ Các hệ thống mạng tại: mạng 4G, 3G chí 2G thường tn theo hình minh họa Tuy nhiên, cách tiếp cận SONs chưa tối ưu, khơng cung cấp mơ hình động để dự đốn hành vi hệ thống theo kiểu hoạt động trực tiếp nhằm đáp ứng yêu cầu độ trễ nghiêm ngặt hệ di động tới [10] Mơ hình SON mạng 2G, 3G 4G [10] Một mơ hình làm việc hoạt động cho mạng 5G SON mô tả Có thể thấy liệu lớn, định nghĩa ngắn gọn lượng thông tin khổng lồ có sẵn từ nguồn khác mạng di động, tính giúp SONs tương lai khác biệt với hệ thống di động trước Các nguồn liệu lớn cho mạng 5G SONs chia thành ba lớp chính: liệu cấp th bao (ví dụ: tỷ lệ thành cơng gọi, tỷ lệ gọi hỏng, chất lượng âm thanh, lưu lượng IP), liệu cấp trạm gốc (ví dụ: cơng suất nhiễu nhiệt, công suất sở kênh) liệu cấp độ mạng lõi (ví dụ: nhật ký báo động, ghi cấu hình thiết bị, xác thực) Bên cạnh việc thu thập liệu, việc giới thiệu công cụ học máy phân tích liệu cho phép chuyển đổi tự động từ liệu lớn (thô) sang liệu (có ý nghĩa) Khi liệu phù hợp có giá trị, mơ hình hành vi hệ thống người dùng trích xuất gửi đến máy SON để thực chức SON thích hợp Khn làm việc dự kiến tương lai cho mạng 5G SON [10] SON cho phép khai thác kỹ thuật dựa trí thơng minh nhân tạo (ví dụ: học máy, thuật toán lấy cảm hứng từ sinh học, Q-Learning…) để xử lý cách hiệu vấn đề hệ thống phức tạp quy mơ lớn Trong đó, kỹ thuật trí tuệ nhân tạo chọn để phát triển thuật toán kiểm soát tự tổ chức nhập cell cho mạng 5G Mặt khác, phương pháp chọn phương pháp tối ưu số tất giải pháp đề cử, lựa chọn theo thuộc tính dễ áp dụng để phù hợp với hầu hết quy trình tự tối ưu hóa Mục đích nghiên cứu  Tìm hiểu tổng quan lý thuyết SON kỹ thuật dựa AI để tự tối ưu hóa mạng khơng đồng (HetNets)  Phân tích lý thuyết kiểm soát đầu vào cho hệ thống truy cập vơ tuyến nhiều người dùng  Từ đó, xác định thuật tốn tự tối ưu hóa phù hợp cho đề tài nghiên cứu thực  Phân tích kết thuật tốn AI nghiên cứu tính khả thi AI triển khai SON giả thuyết  Nắm kỹ thuật phương pháp xử lý thuật toán đề tài Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu: Hệ thống mạng tự tổ chức SON, sử dụng trí tuệ nhân tạo cho mạng không đồng HetNets Cách thức điều khiển tự chấp nhận dịch vụ mạng 5G Phạm vi nghiên cứu: Giới hạn môi trường mô Phương pháp nghiên cứu Phương pháp nghiên cứu kết hợp nghiên cứu lý thuyết thực nghiệm 5 CHƯƠNG 1: CƠ SỞ LÝ LUẬN 1.1 Hệ thống mạng tự tổ chức SON 1.1.1 Định nghĩa Hệ thống mạng tự tổ chức định nghĩa công nghệ tự động hóa thiết kế để giúp cho việc lập kế hoạch, cấu hình, quản lý, tối ưu hóa bảo trì mạng truy cập vơ tuyến đơn giản nhanh Với mục đích làm rõ nhu cầu áp dụng SONs cho mạng 5G tương lai, thuật ngữ mức độ tự (DoF) giới thiệu DoF hệ thống định nghĩa số lượng thơng số tinh chỉnh mạng khơng dây Tuy nhiên số DoF có tỷ lệ phụ thuộc lẫn cao HetNets định nghĩa mạng không dây chứa nhiều RAT, định dạng nhiều khía cạnh khác, nhằm kết hợp chúng để vận hành cách liền mạch minh họa hình 1.1 Do đó, DoF tăng đáng kể với HetNets phát triển đó, xác suất thứ trở nên sai (ví dụ cố ngừng hoạt động, lỗi chuyển giao) Hình 1.1: Minh Họa mạng HetNets [6] SONs nhằm giảm thiểu hiệu DoF HetNets cải thiện khả mở rộng tồn hệ thống, cách giảm chi phí vịng đời (O / CAPEX) tối ưu hóa hiệu suất mạng vơ tuyến q trình hoạt động 1.1.2 Cấu trúc (1) Địa phương hóa (2) Phân tán (3) Tập trung (4) Hỗn hợp 1.1.3 Các chức tự làm việc  Tự cấu hình  Tự tối ưu hóa  Tự phục hồi 1.1.4 Đặc điểm 1.2 Kỹ thuật trí thơng minh nhân tạo cho mạng HetNet HetNets trở nên khó khăn để giải số lượng tài nguyên mạng liên tục tăng lên Kỹ thuật trí thơng minh nhân tạo (AI) nhằm khắc phục hạn chế hệ thống quy mô lớn đó, việc thực chúng bổ sung trí thơng minh cho HetNets tương lai để giảm tham gia người, mục tiêu SON Sau đó, kỹ thuật dựa AI giảm đáng kể chi phí hoạt động vốn (O / CAPEX) tối ưu hóa dung lượng mạng, độ phủ sóng Chất lượng dịch vụ (QoS) HetNets, theo tính tự làm việc [20] Các kỹ thuật trí thơng minh nhân tạo góp phần mục tiêu việc biến HetNets thơng minh hơn, chúng khác mơ hình hoạt động Một số lấy cảm hứng từ phát thiên nhiên (ví dụ: Thuật tốn lấy cảm hứng từ Sinh học), vài số chúng thúc đẩy cách thức lý luận người (ví dụ: Hệ thống mờ) số khác dựa tương tác cục học tập dựa phản hồi đệ quy (ví dụ: Machine Learning) Phần tiếp tục nghiên cứu kỹ thuật AI tính khả thi, tìm hiểu đươc ưu nhược điểm loại ứng dụng mạng định Các kỹ thuật dựa AI có liên quan nghiên cứu cho triển khai HetNets trình bày với phương pháp chọn để thực AC tự tổ chức cho thuật toán mạng 5G nhiều người dùng 1.2.1 Học máy Học máy (ML) lĩnh vực trí tuệ nhân tạo liên quan đến việc nghiên cứu xây dựng kĩ thuật cho phép hệ thống học tự động từ liệu để giải vấn đề cụ thể Ngày nay, có nhiều ứng dụng dựa ML thành cơng lĩnh vực khác Ví dụ, công ty bán lẻ thu thập liệu mua hàng khứ để phân tích hành vi khách hàng, nhờ cải thiện dịch vụ Các cơng ty tài xem xét giao dịch khứ để dự phóng rủi ro tín dụng khách hàng Hầu hết ứng dụng email, không xem xét mức độ phổ biến chúng, sử dụng ML để định xem thư đến có nên coi spam hay không Trong thông tin sinh học, số lượng liệu khổng lồ có sẵn phân tích trích xuất cách sử khai thác liệu (data mining) [1] Hình 1.2: Lược đồ tối ưu hóa dựa học máy HetNets [20] 1.2.2 Thuật toán lấy cảm hứng từ sinh học 1.3 Kết luận chương CHƯƠNG 2: PHƯƠNG PHÁP TỰ CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 2.1 Điều khiển dịch vụ cho mạng truy cập vô tuyến 2.1.1 Kiểm soát điều khiển nhập cell nhiều người dùng 2.1.2 Kết thuật toán 2.1.3 Đánh giá hiệu 2.2 Điều khiển tự chấp nhận dịch vụ mạng 5G Trong phần này, số kỹ thuật AI đề xuất để phát triển AC tự tổ chức cho mạng 5G nhiều người dùng Cụ thể hơn, mục tiêu tập trung vào tự học giá trị tối ưu thuật ngữ ∆𝐶 (𝑠, 𝑛) mà trước định nghĩa Các phương pháp đề xuất tương ứng với AI tiếng ML, hai thuật tốn học tập phát sinh:  Học tập giám sát: chủ yếu sử dụng hai biến đầu vào đầu hệ thống xác định, hàm ánh xạ xác định (Y = f (x)) Tuy nhiên, mục tiêu ước tính hàm ánh xạ theo cách mà biến đầu dự đốn xác có liệu đầu vào (tức liệu chưa thực hiện)  Học tập không giám sát: không giống học tập giám sát, học tập không giám sát thiếu chức ánh xạ, liệu đầu khơng rõ khó có Do đó, thuật tốn khơng giám sát thiết kế để khám phá cấu trúc tối ưu mối quan hệ đầu vào/đầu khác 2.2.1 Học tập giám sát Việc thực phương pháp học có giám sát để khai thác kiến thức ∆𝐶 (𝑠, 𝑛) có hai mục tiêu Trước hết, kiến thức cho phép xác định giới hạn ∆𝐶 (𝑠, 𝑛)và hành vi tổng thể tình tải lưu lượng khác Điều dẫn đến mục tiêu thứ hai, nhằm mục đích tạo thuận lợi cho việc thực phương pháp học AC khơng giám sát Vì có biến để tự tối ưu hóa (∆𝐶 (1,1), ∆𝐶 (1,2), ∆𝐶 (2,1), ∆𝐶(2,2)), thời gian hội tụ giải pháp tối ưu cao, việc học có giám sát áp dụng số biến ∆𝐶(𝑠, 𝑛) mục đích đơn giản, biến bên trái chọn để tối ưu hóa Đối với phạm vi nghiên cứu, hệ thống suy luận thần kinh thích nghi mờ (ANFIS) đề xuất kỹ thuật học giám sát ANFIS loại ANN kết hợp động suy luận mờ Takagi-Sugeno, tạo đầu sau giai đoạn làm mờ (tức ∆𝐶(𝑠, 𝑛)) Mặt khác, đầu vào xem xét, tương ứng với tải trọng cung cấp đối tượng thuê ô, lấy trực tiếp từ môi trường/hệ thống mô mạng Hơn nữa, hệ thống suy luận mờ (FIS) kết hợp hai kiểu phân cụm liệu: phân vùng lưới phân cụm trừ Mỗi đầu vào có nhiều chức số lượng cụm xác định Ví dụ, 10 cụm xác định hình 2.7, tìm thấy số lượng cụm nhiều hơn, cần xem xét đánh đổi lỗi đào tạo thời gian đào tạo Hình 2.1: Kỹ thuật phân cụm trừ (Bán kính cụm ảnh hưởng = 0,65) Tổng quan đề án học tập đề xuất minh họa hình 2.8 10 Hình 2.2: Đề án học máy có giám sát nhằm khai thác kiến thức ∆C(s,n) Cuối cùng, liệu đầu vào/đầu xử lý thơng qua lược đồ nói trên, kiến thức ∆𝐶(𝑠, 𝑛) có sẵn để xác (> 99%) khai thác liệu đầu vào chưa xử lý Một vài biểu diễn ∆𝐶(𝑠, 𝑛) hàm tải cung cấp khác thể hình 2.9 Hình 2.3: ∆C(s,n) chức T1 cung cấp (Mb/s) hai ô Bước lấy giá trị tối ưu ∆𝐶(𝑠, 𝑛) với điều kiện tải lưu lượng cho trước lần lặp tối ưu hóa chương trình học khơng giám sát, để lại đặc tính ∆𝐶(𝑠, 𝑛) tự tối ưu hóa, với mục đích đơn giản hóa 11 2.2.2 Học tập không giám sát (Fuzzy Q-Learning) Để đạt việc tự tối ưu hóa, tác nhân phân tán cần biết tham số cần điều chỉnh theo trạng thái hoạt động Các khái niệm FQL trình bày đây: a Hệ thống mờ “Sự mơ hồ phần phổ biến kinh nghiệm người Ngôn ngữ người cơng cụ khơng xác Nhận thức người đầy thiếu xác Những kỷ niệm thật thoáng qua dễ chỉnh sửa Thế giới thực khơng phải trừu tượng, khơng nhận thức rõ ràng, xác định rõ ràng tính tốn xác" Lý thuyết mờ phát triển để xử lý thơng tin khơng xác Nó bắt đầu với khái niệm tập mờ, có chức ánh xạ (tức làm mờ) tập hợp phần tử đầu vào thành hàm cho biết mức độ chân lý thuộc tập hợp 𝜇𝐴 : 𝑋 → [0,1] (2.6) Công thức 2.6 biểu diễn mức độ chân lý μ tập mờ A lấy biến đầu vào x nằm khoảng từ (tức x không thuộc A) đến (tức cách khác) Tuy nhiên, bên cạnh tập hợp cổ điển đặc biệt mà phần tử thuộc hay khơng, logic mờ cho phép biến đầu vào ánh xạ tập hợp định theo nghĩa rộng Con người làm loại lý luận lúc, khái niệm mẻ máy tính Hình 2.4: Hình dạng hàm thành viên (Matlab Fuzzy Logic ToolboxTM) Ngoài ra, logic mờ cho phép thực kiến thức người dạng quy tắc suy luận if-then Một quy tắc if-then mờ có dạng sau: If x is A, then y is B A B giá trị ngơn ngữ (ví dụ: thấp, trung bình cao) xác định tập mờ X, Y tương ứng Giá trị đầu vào đầu ngôn ngữ sắc nét (ví dụ: chất lượng tín hiệu định chuyển giao) x y, tương ứng 12 Phần “if” quy tắc "x A" gọi tiền tố quy tắc, phần “then” quy tắc "y B" gọi hậu tố Đối với quy tắc if-then, tiền tố, p, ngụ ý hậu tố, q Trong logic nhị phân, p đúng, q (𝑝 → 𝑞) Tuy nhiên, logic mờ, p với số mức độ, q với mức độ [13] Hơn nữa, nhận thấy quy tắc dựa người logic mờ khơng tối ưu đó, kỹ thuật tối ưu hóa cần thực để xây dựng sở kiến thức xác Cuối cùng, bước cuối trình suy luận mờ làm mờ, phương pháp xác định giá trị sắc nét từ tập hợp đầu Phương pháp logic mờ phù hợp với xử lý thiếu xác mạng di động không dây [19] Trên thực tế, kỹ thuật hệ thống mờ đề xuất gần để xử lý thuật toán định Ví dụ, nghiên cứu báo cáo đề xuất thuật toán định dựa logic mờ dạng 2, có tính đến loạt mạng truy cập thuộc tính người dùng, chọn mạng có giá trị thỏa mãn tối đa Một minh họa việc xử lý logic mờ HetNets thể hình 2.11 Hình 2.5: Minh họa Logic mờ cho HetNets [20] b Tăng cường học máy (Reinforcement Learning) c Q-Learning (QL) Trong số mơ hình RL, địi hỏi thơng tin xác xác suất truyền dẫn trạng thái kết Tuy nhiên, số mơ hình hệ thống, thơng tin khơng có sẵn tương đối Khi có vấn đề xây dựng mơ hình RL cho hệ thống QL trường hợp đặc biệt RL giải vấn đề mơ hình hệ thống khơng có sẵn Thay vào đó, dựa khác biệt tạm thời để bước giải vấn đề học máy QL đạt mục tiêu cách ước lượng hàm giá trị cặp trạng thái hành động gọi giá trị Q Chức ước tính 13 đến giá trị kết dự kiến lấy hoạt động a thuộc A khỏi tập hành động A từ bắt đầu trạng thái s đến có trạng thái cố định π Mỗi hoạt động chuyển nhân tố từ trạng thái si sang trạng thái si+1 nhận kết ri+1 Mục tiêu để mở rộng tập kết Các chức giá trị định nghĩa theo phương trình 2.7: ∞ 𝑄𝜋 (𝑠, 𝑎) = 𝐸𝜋 [∑ 𝛾 𝑖 𝑟(𝑠𝑖 , 𝑎𝑖 )|𝑠0 = 𝑠, 𝑎0 = 𝑎] (2.7) 𝑖=0 Và ước tính cách sử dụng phương pháp cập nhật khác biệt tạm thời cách lặp lặp lại: 𝑄𝑖+1 (𝑠𝑖 , 𝑎𝑖 ) = 𝑄𝑖 (𝑠𝑖 , 𝑎𝑖 ) + 𝛽[𝑟𝑖+1 + 𝛾𝑀𝑎𝑥|𝑎 𝑄𝑖 (𝑠𝑖+1 , 𝑎) − 𝑄𝑖 (𝑠𝑖 , 𝑎𝑖 )] (2.8) Trong đó: β tỷ lệ học tập (0 ≤ β ≤ 1), tham số tỷ lệ học tập để xác định việc học tập diễn nhanh hay chậm Sự điều khiển thuật tốn QL thay đổi giá trị Q với biến thiên trạng thái hoạt động Nếu tỷ lệ học tập nhỏ, trình học tập diễn chậm Nếu β q cao thuật tốn khơng hội tụ γ hệ số chiết khấu (0 ≤ γ ≤ 1), γ = tác nhân xem xét kết trước mắt, hệ số γ gần có nhiều nhân tố xác định trước QL phương pháp RL, người học xây bước hàm Q, cố gắng để ước tính chi phí tương laic ho hành động trạng thái nhân tố Kết hàm Q gọi giá trị Q Giá trị Q QL ước tính giá trị chi phí tương lai chi nhánh có hành động đặc trưng a trạng thái s Bằng cách khảo sát môi trường, nhân tố lập bảng giá trị Q cho trạng thái hành động Trong khoảng thời gian ngắn, QL kỹ thuật RL với mục tiêu tối đa hóa giá trị tích lũy cách thực hành động mơi trường QL tích lũy hàm Q, biểu thị Q (s, a), cách ước tính giá trị tương lai chiết khấu để thực hành động từ trạng thái s cho Một phiên mờ QL xem xét cơng việc để kế thừa lợi ích lý thuyết mờ Về bản, FQL cho phép giải phóng trạng thái khơng gian hành động để tránh đối phó với khơng gian phức tạp liên tục Cấu trúc quy trình tự tối ưu hóa thể hình 2.12, phân phối rõ ràng Bên cạnh khối QL trình tối ưu hóa, cập nhật hàm Q cho phù hợp với giá trị thu được, điều khiển logic mờ quản lý tập hợp trạng thái môi trường đầu vào (nghĩa tải lưu lượng truy cập ∆𝐶(𝑠, 1)) tập kết đầu (mức độ tăng 14 ∆𝐶(𝑠, 1)) Ban đầu, kế hoạch để tự tối ưu hóa hai ∆𝐶(𝑠, 1) để lại ∆𝐶(𝑠, 2) tối ưu hóa thơng qua việc học có giám sát Tuy nhiên, thời gian tối ưu hóa dài, ∆𝐶(1,1) biến tự tối ưu hóa Hình 2.6: Kiến trúc thủ tục tự tối ưu hóa đề xuất Các thuật tốn mơ linh hoạt xuất ứng viên tiềm cho việc giải vấn đề Nó giải pháp đốn nghiên cứu, xác suất cách mơ trình vật lý luyện kim nghĩa chất dần nguội để đạt trạng thái lượng tối thiểu Phương pháp áp dụng rộng rãi việc quy hoạch mạng lưới tối ưu hóa Ví dụ để giải vấn đề bao phủ khả tối ưu hóa dung lượng Nó cho thấy thuật tốn mơ mềm dẻo phát triển áp dụng việc giải vấn đề phức tạp tối ưu hóa mạng Đó khởi nguồn thuật tốn FQL Nó phát triển dựa ý tưởng mơ luyện kim QL hình thức thực tế RL, lĩnh vực quan trọng việc học tập máy tính RL kiểu học máy mà tác nhân đạt mục tiêu cuối cách tương tác với môi trường xung quanh cách xem xét kinh nghiệm khứ bắt nguồn từ hành động trước Trong tình xử lý tính bền vững tính xác, FL mở rộng để xử lý khái niệm thật, giá trị dao động từ hồn toàn thật hoàn toàn sai d Fuzzy Q-Learning QL phải trì giá trị Q cho cặp trạng thái hoạt động, trở nên phức tạp không thực tế không gian trạng thái hay không gian hoạt động liên 15 tục Vì FL cung cấp để rời rạc biến liên tục FQL kỹ thuật kết hợp FL với QL nhằm khắc phục thiếu sót Trong FQL trạng thái hoạt động hệ thống xác định cách sử dụng hàm thành phần mờ Các biến trạng thái liên tục chuyển đổi thành số hữu hạn hàm thành phần biến mờ Quá trình gọi fuzzification Từ biến mờ kết tương ứng tính tốn dựa hệ thống suy luận mờ (FIS) Cuối kết mờ FIS ánh xạ biến đầu liên tục thông qua trình gọi defuzzication e Hệ thống suy luận mờ 2.3 Kết luận chương 16 CHƯƠNG 3: ĐÁNH GIÁ, CÀI ĐẶT, THỬ NGHIỆM 3.1 Đánh giá 3.2 Cài đặt MatLab 3.3 Thử nghiệm 3.3.1 Mô giả lập mạng 3.3.2 Thuật toán Fuzzy Q-Learning Trước hết, cần xác định khái niệm giá trị q Đối với quy tắc FIS, a[i, j] định nghĩa hành động thứ j quy tắc i q[i, j] chất lượng giá trị liên quan (giá trị q) Do đó, giá trị q[i, j] cao, độ tin cậy hành động điều chỉnh tương ứng chọn cao Để khởi tạo giá trị q thuật tốn, tiêu chí đơn giản sau sử dụng: 𝑞 [𝑖, 𝑗] = 0, ≤ 𝑖 ≤ 𝑁 𝑎𝑛𝑑 ≤ 𝑗 ≤ 𝐴 (3.1) q[i, j] giá trị q quy tắc i hành động j N tổng số quy tắc A số hành động có sẵn cho quy tắc Đối với quy tắc kích hoạt (những quy tắc có mức độ chân lý khác khơng), hành động chọn theo sách thăm dò/khai thác Chủ thể nên chọn hành động tạo giá trị cao khứ Tuy nhiên, chủ thể học từ kết hành động cách thử hành động chưa chọn trước Sau đó, ngồi giai đoạn khai thác, cần xem xét sách thăm dị để theo dõi hành động chưa khám phá mang lại giá trị dài hạn tối đa Cụ thể: 𝑎𝑖 = { 𝑟𝑎𝑛𝑑𝑜𝑚{𝑎𝑘 , 𝑘 = 1, 2, … , 𝐴}, 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 𝔗 𝑎𝑟𝑔𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑘 ], 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 − 𝔗 (3.2) hành động cụ thể cho quy tắc i 𝔗 tỷ lệ học tập sách thăm dị/khai thác Thơng thường, 𝔗 khơng cố định q trình tối ưu hóa Thay vào đó, giảm xuống giá trị gần khơng, có nghĩa việc khám phá hành động tiềm giảm Tiếp theo, hành động tổng thể xác định bởi: 𝑁 𝑎(𝑡 ) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝛼𝑖 (𝑡) 𝑖=1 (3.3) 17 a hành động điều chỉnh tham số 𝛼𝑖 (𝑠(𝑡 )) hàm kích hoạt cho quy tắc i Nói cách khác, 𝛼𝑖 (𝑠(𝑡 )) đại diện cho mức độ chân lý trạng thái đầu vào s(t) lần lặp thứ t: 𝑀 𝛼𝑖 (𝑠(𝑡 )) = ∏ 𝜇𝑖𝑗 (𝑥𝑗 (𝑡 )) (3.4) 𝑖=1 M số đầu vào FIS 𝜇𝑖𝑗 (𝑥𝑗 (𝑡 )) giá trị hàm cho đầu vào thứ j quy tắc thứ i Ví dụ, xem xét quy tắc bốn đầu vào dán nhãn thấp (L), hàm kích hoạt cho bởi: 𝛼1 (𝑠(𝑡 )) = 𝜇11 (𝑥1 (𝑡 )) 𝜇12 (𝑥2 (𝑡 )) 𝜇13 (𝑥3 (𝑡 )) 𝜇14 (𝑥4 (𝑡 )) (3.5) Các hình dạng hàm minh họa hình 3.2 Đối với tải lưu lượng truy cập cung cấp cho hai đối tượng thuê, ba hàm thành viên gaussian chọn, gắn nhãn Thấp (L), Trung bình (M) Cao (H), tương ứng Đối với ∆𝐶(𝑠, 1), sử dụng hai hàm thành viên hình thang hàm hình tam giác Tuy nhiên có nhiều tùy chọn chọn hình dạng thành viên phù hợp Hình 3.1: Chức thành phần mờ Q (s (t), a (t)) giá trị hàm Q cho trạng thái hành động a Hàm Q tính tốn từ hàm kích hoạt giá trị q quy tắc khác nhau: 𝑁 𝑄(𝑠(𝑡 ), 𝑎(𝑡)) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝑞[𝑖, 𝛼𝑖 ] 𝑖=1 (3.6) 18 Q(s(t), a(t)) giá trị hàm Q trạng thái s hành động a Bước để hệ thống tự phát triển sang trạng thái s(t + 1) Tại thời điểm này, tín hiệu tăng cường r(t + 1) quan sát Trong nghiên cứu này, tín hiệu tăng cường sau xem xét, tương tự đề xuất [14]: 𝑟(𝑡 ) = 𝑟1 (𝑡 ) + 𝑟2 (𝑡 ) + 𝑘1; (3.7) r (t) tín hiệu tăng cường tổng thể, 𝑟1 (𝑡 ) 𝑟2 (𝑡 )là yếu tố đóng góp tín hiệu hai đối tượng thuê dọc theo hai ô, k1 số Cụ thể, tín hiệu 𝑟𝑖 (𝑡 )được tính sau: 𝑟1 (𝑡 ) = 𝑘2 log( + 1) (𝑃𝑏𝑙𝑜𝑐𝑘 (𝑇𝑖 ) + 𝑘3 ).100 (3.8) 𝑘2 𝑘3 tham số khơng đổi 𝑃𝑏𝑙𝑜𝑐𝑘 (𝑇𝑖 ) xác suất chặn đối tượng th Ti tồn trường hợp Các thơng số sử dụng để tính tốn tín hiệu tăng cường tìm thấy bảng 3.1 Bên cạnh đó, minh họa tín hiệu tăng cường thể hình 3.3 Có thể quan sát thấy xác suất chặn hai người dùng khơng, cốt lõi giá trị thu tối đa (tức 1) Bảng 3.1: Thơng số tín hiệu cốt thép Tham số Giá trị k1 0.1357 k2 100 k3 0.1 Hình 3.2: Tín hiệu tăng cường 19 Khi tín hiệu tăng cường trạng thái r(t + 1) quan sát, giá trị trạng thái biểu thị Vt(s(t + 1)) tính sau: 𝑁 𝑉𝑡 (𝑠(𝑡 + 1)) = ∑ ∝𝑖 (𝑠(𝑡 + 1)) 𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑎𝑘 ] (3.9) 𝑖=1 Tín hiệu lỗi hàm Q liên tiếp hữu ích để cập nhật giá trị q Nó tính bởi: ∆𝑄 = 𝑟(𝑡 + 1) + 𝛾𝑉𝑡 (𝑠(𝑡 + 1)) − 𝑄(𝑠(𝑡 ), 𝑎(𝑡 )) (3.10) ∆𝑄 tín hiệu lỗi, r(t + 1) tín hiệu tăng cường, 𝛾 hệ số chiết khấu Q(s(t), a(t)) hàm Q trạng thái trước 𝛾 đặt mức 0,7, trọng giá trị dài hạn Cuối cùng, giá trị q cập nhật phương thức gốc gradient thông thường: 𝑞 [𝑖, 𝑎𝑖 ] = 𝑞 [𝑖, 𝑎𝑖 ] + 𝜂 ∆𝑄 𝛼𝑖 (𝑠(𝑡 )) (3.11) 𝜂 tỷ lệ học tập, có giá trị đặt mức 0,5, có nghĩa thơng tin cũ coi trọng ngang với thơng tin Q trình nói lặp lại từ việc lựa chọn hành động đạt hội tụ Bản tóm tắt thuật tốn FQL [14] mơ tả trình bày đây: Khởi tạo giá trị q: 𝑞[𝑖, 𝑗] = 0, ≤ 𝑖 ≤ 𝑁 𝑎𝑛𝑑 ≤ 𝑗 ≤ 𝐴 Chọn hành động cho quy tắc kích hoạt: 𝑎𝑖 = { 𝑟𝑎𝑛𝑑𝑜𝑚{𝑎𝑘 , 𝑘 = 1, 2, … , 𝐴}, 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 𝔗 𝑎𝑟𝑔𝑚𝑎𝑥𝑘 𝑞 [𝑖, 𝑘 ], 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 − 𝔗 Tính hành động tổng thể: 𝑁 𝑎(𝑡 ) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝛼𝑖 (𝑡) 𝑖=1 Hàm Q tính từ giá trị q mức độ chuẩn quy tắc: 𝑁 𝑄(𝑠(𝑡 ), 𝑎(𝑡)) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝑞[𝑖, 𝛼𝑖 ] 𝑖=1 Chờ hệ thống giải đến bước trạng thái tiếp theo, s(t+1) 20 Quan sát tín hiệu tăng cường, r(t+1), tính tốn giá trị trạng thái biểu thị 𝑉𝑡 (𝑠(𝑡 + 1)): 𝑁 𝑉𝑡 (𝑠(𝑡 + 1)) = ∑ ∝𝑖 (𝑠(𝑡 + 1)) 𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑎𝑘 ] 𝑖=1 Tính giá trị tín hiệu lỗi: ∆𝑄 = 𝑟(𝑡 + 1) + 𝛾𝑉𝑡 (𝑠(𝑡 + 1)) − 𝑄(𝑠(𝑡 ), 𝑎(𝑡 )) Cập nhật giá trị q phương thức gốc gradient thông thường: 𝑞 [𝑖, 𝑎𝑖 ] = 𝑞[𝑖, 𝑎𝑖 ] + 𝜂 ∆𝑄 𝛼𝑖 (𝑠(𝑡 )) Lặp lại trình mô tả bước cho trạng thái đạt hội tụ 3.4 Kết luận chương 21 KẾT LUẬN Các kết đạt Luận văn tập trung nghiên cứu hệ thống mạng tự tổ chức SON, mạng không đồng HetNets Cụ thể luận văn đạt kết sau: - Nghiên cứu tổng quan hệ thống mạng tự tổ chức SON, định nghĩa, cấu trúc, chức tự làm việc - Các kỹ thuật dựa trí tuệ nhân tạo AI để tự tối ưu hóa mạng khơng đồng HetNets: kỹ thuật học máy, thuật toán lấy cảm hứng từ sinh học, hệ thống mờ - Phân tích lý thuyết kiểm soát nhập cell cho hệ thống truy cập vô tuyến nhiều người thuê - Từ lý thuyết kỹ thuật xử lý thuật toán nghiên cứu đưa đề xuất việc sử dụng kỹ thuật học máy hai thuật tốn học tập giám sát học tập không giám sát (Fuzzy Q-Learning) triển khai giả thuyết điều khiển tự chấp nhận dịch vụ mạng 5G - Cài đặt MatLab, khảo sát kết thuật toán Fuzzy Q-Learning Hướng phát triển Luận văn phát triển theo hướng nghiên cứu áp dụng mơ hình thử nghiệm triển khai môi trường thực Lấy kết kiểm thử, triển khai lắp đặt hạ tầng mạng 5G nhà mạng cụ thể Tổng Công ty viễn thơng MobiFone để đánh giá xác lập luận lý thuyết nghiên cứu  ... chi phí dịch vụ thấp Đề tài ? ?Khảo sát điều khiển tự chấp nhận dịch vụ mạng 5G? ?? nhằm nghiên cứu thử nghiệm kỹ thuật, thuật toán tự tối ưu chấp nhận dịch vụ việc nâng cao hiệu mạng 5G Tổng quan... TỰ CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 2.1 Điều khiển dịch vụ cho mạng truy cập vô tuyến 2.1.1 Kiểm soát điều khiển nhập cell nhiều người dùng 2.1.2 Kết thuật toán 2.1.3 Đánh giá hiệu 2.2 Điều khiển. .. máy hai thuật tốn học tập giám sát học tập không giám sát (Fuzzy Q-Learning) triển khai giả thuyết điều khiển tự chấp nhận dịch vụ mạng 5G - Cài đặt MatLab, khảo sát kết thuật toán Fuzzy Q-Learning