Khảo sát điều khiển chấp nhận dịch vụ trong mạng 5g

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) Hà Nội - 2019 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ : 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHÓA HỌC: TS NGUYỄN VĂN THỦY Hà Nội - 2019 i LỜI CAM ĐOAN Tôi xin cam đoan, luận văn cơng trình nghiên cứu khoa học thực thụ cá nhân, thực hướng dẫn khoa học TS Nguyễn Văn Thủy Các số liệu, kết nghiên cứu kết luận trình bày luận văn trung thực chưa cơng bố hình thức Tơi xin chịu trách nhiệm cơng trình nghiên cứu Học viên Phan Hồng Tiến ii LỜI CẢM ƠN Lời đầu tiên, xin chân thành cảm ơn TS Nguyễn Văn Thủy – Học viện Công nghệ Bưu Viễn thơng, người trực tiếp hướng dẫn tơi thực luận văn Với hướng dẫn cung cấp tài liệu, động viên Thầy giúp vượt qua nhiều khó khăn chun mơn suốt q trình thực luận văn Tơi xin chân thành cảm ơn Ban Giám đốc, Ban Chủ nhiệm Khoa Sau Đại học Khoa Công nghệ Thông tin, Thầy, Cô giảng dạy quản lý đào tạo suốt hai năm theo học Học viện Công nghệ Bưu Viễn thơng Tơi xin chân thành cảm ơn Hội đồng chấm đề cương góp ý cho đề cương luận văn Cuối cùng, xin cảm ơn gia đình, đồng nghiệp, bạn bè Tổng cơng ty viễn thông MobiFone động viên, tạo điều kiện cho suốt hai năm học tập nghiên cứu Xin chân thành cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT .v DANH MỤC CÁC HÌNH VẼ ix DANH MỤC CÁC BẢNG xi MỞ ĐẦU CHƯƠNG 1: CƠ SỞ LÝ LUẬN 1.1 Hệ thống mạng tự tổ chức SON 1.1.1 Định nghĩa 1.1.2 Cấu trúc .8 1.1.3 Các chức tự làm việc 10 1.1.4 Đặc điểm 11 1.2 Kỹ thuật trí thơng minh nhân tạo cho mạng HetNet 13 1.2.1 Học máy 13 1.2.2 Thuật toán lấy cảm hứng từ sinh học 18 1.3 Kết luận chương 21 CHƯƠNG 2: PHƯƠNG PHÁP CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 22 2.1 Điều khiển dịch vụ cho mạng truy cập vô tuyến 22 2.1.1 Kiểm soát điều khiển nhập cell nhiều người dùng 23 2.1.2 Kết thuật toán .24 2.1.3 Đánh giá hiệu 26 2.2 Điều khiển chấp nhận dịch vụ mạng 5G 31 2.2.1 Học tập giám sát .31 2.2.2 Học tập không giám sát (Fuzzy Q-learning) 34 2.3 Kết luận chương 41 CHƯƠNG 3: ĐÁNH GIÁ, CÀI ĐẶT, THỬ NGHIỆM 42 3.1 Đánh giá .42 iv 3.2 Cài đặt MatLab 43 3.3 Thử nghiệm .44 3.3.1 Mô giả lập mạng 44 3.3.2 Thuật toán Fuzzy Q-Learning 44 3.4 Kết luận chương 53 KẾT LUẬN .54 DANH MỤC TÀI LIỆU THAM KHẢO 55 v DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT Từ viết tắt 2/3/4/5G 3GPP Tiếng Anh Second/Third/Fourth/Fifth Generation 3rd Generation Partnership Project Tiếng việt Thế hệ mạng 2/3/4/5 Dự án hợp tác hệ thứ AC Admission Control Kiểm soát nhập cell AI Artificial Intelligence Trí tuệ nhân tạo CAPEX Capital Expenditure Chi phí vốn DoF Degrees of Freedom Độ tự E-RAB Evolved-Radio Access Bearer Phát triển truy cập vô tuyến FIS Fuzzy Inference System Hệ thống suy luận mờ FQL Fuzzy Q-Learning Học tăng cường mờ GA Genetic Algorithm Thuật toán di truyền GWCN Gateway Core Network Mạng lõi theo cổng HeNB Home evolved NodeB Trang chủ phát triển NodeB HetNets Heterogeneous Networks Mạng không đồng HSPA High-Speed Packet Access Truy cập gói tốc độ cao KPI Key Performance Indicator Chỉ số hoạt động quan trọng LOS Line-Of-Sight Đường ngầm LTE Long Term Evolution Sự phát triển dài hạn OMC Operation and Management Center Trung tâm điều hành quản lý OPEX Operational Expenditure Chi phí hoạt động MDP Markov Decision Process Quy trình định Markov ML Machine Learning Học máy MNO Mobile Network Operator Nhà khai vận hành mạng di động MOCN Multi-Operator Core Network Mạng lõi nhiều nhà khai thác vi Từ viết tắt NGMN Tiếng Anh Next Generation Mobile Networks Tiếng việt Mạng di động hệ Tầm nhìn xa gần đường NLOS No Line-Of-Sight truyền vô tuyến qua đường bị cản trở phần QoS Quality of Service Chất lượng dịch vụ Q-Value Quality Value Giá trị chất lượng RAB Radio Access Bearer RAN Radio Access Network Mạng truy cập vô tuyến RAT Radio Access Technology Công nghệ truy cập vô tuyến RB Resource Block Khối tài nguyên RF Radio Frequency Tần số vô tuyến RL Reinforcement Learning Học tăng cường Scenario Aggregated Tỷ lệ bit đảm bảo tổng hợp Guaranteed Bit Rate theo kịch SDN Software Defined Network Phần mềm xác định mạng SLA Service Level Agreement Thỏa thuận cấp độ dịch vụ SAGBR SOCRATES Self-Organizing Computational substRATES Chuyển liệu người dùng truy cập vơ tuyến Các tổ chức tính tốn tự tổ chức SON Self-Organizing Networks Hệ thống mạng tự tổ chức UE User Equipment Thiết bị người dùng Universal Mobile Hệ thống viễn thơng di động tồn Telecommunications System cầu Work Package Gói cơng việc UMTS WP vii Ký hiệu Tiếng Anh D F G N Nominal capacity share of the sth tenant Inter-Site Distance Frequency Base station antenna gain Number of cells Tiếng Việt Hành động cụ thể cho nguyên tắc thứ i Hành động toàn cầu thực thi Chia sẻ lực người dùng thứ s Khoảng cách trang web Tần số Tăng ăng ten trạm gốc Số lượng tế bào P(s0|s,a) State transition probability Xác suất chuyển trạng thái Blocking probability of the tenant Ti Cumulative-time system failure probability Transmitted power per RB Associated q-value to the rule i and action j Q-value for the state s and action a Total reinforcement signal Estimated bit rate per RB Required bit rate Number of tenants Value of the new transitioned state Activation function for the i-th rule Discount factor Variable that considers the possible unused capacity left by other tenants Variable that ensures capacity share balance across all the cells Xác suất chặn người dùng Ti Specific action for the i-th rule a(t) Global action to be executed C(s) Pblock(Ti) Pr Pt q[i,j] Q(s,a) r(t) rˆ(n) Rreq S Vt(s(t+1)) αi(s(t)) Γ ∆C(s,n) ∆Cb(s,n) Xác suất lỗi thời gian tích lũy Công suất truyền RB Liên kết giá trị q với quy tắc i hành động j Giá trị Q cho trạng thái s hành động a Tổng tín hiệu cốt thép Tốc độ bit ước tính RB Tốc độ bit cần thiết Số người dùng Giá trị trạng thái chuyển đổi Chức kích hoạt cho quy tắc thứ i Yếu tố giảm Biến xem xét khả khơng sử dụng có người dùng khác Biến đảm bảo cân chia sẻ dung lượng tất ô viii Ký hiệu ∆Ce(s,n) Tiếng Anh Tiếng Việt Extra capacity which is available Khả bổ sung có sẵn cho for the s-th tenant in the n-th cell người dùng thứ s ô thứ n Error signal between consecutive Q-functions Estimated number of RBs required by the newly admitted RAB Learning rate Session arrival rate Degree of truth of a fuzzy set A Membership function value for the i-th rule and j-th input Tín hiệu lỗi chức Q liên tiếp Optimal Q-Learning policy for a given state s Number of available RBs in the n-th cell Average number of RBs assigned to the RABs of the s-th tenant Chính sách Q-Learning tối ưu cho trạng thái s ρ(n)αth(n) Cell-level AC threshold Ngưỡng AC cấp độ tế bào Σ Shadowing standard deviation Độ lệch chuẩn ∆Q ∆ρ Η Λ µA µij(xj(t)) π(s) ρ(n) ρG(s0,n) Số lượng RB ước tính theo yêu cầu RAB thừa nhận Tỷ lệ học Tỷ lệ đến phiên Mức độ tập A mờ Giá trị thành viên cho quy tắc thứ i đầu vào thứ j Số lượng RB có sẵn thứ n Số RB trung bình gán cho RAB người dùng thứ s 42 CHƯƠNG 3: ĐÁNH GIÁ, CÀI ĐẶT, THỬ NGHIỆM 3.1 Đánh giá Bên cạnh kỹ thuật SON liên quan đến AI, việc đưa công nghệ phần mềm hóa Mạng Phần mềm Định nghĩa (SDN) thay đổi đáng kể cách thức quản lý mạng 5G [15] Các công nghệ mạng phần mềm, minh họa hình 3.1, nhằm mục đích trở thành trình tạo để đáp ứng yêu cầu khả lập trình (ví dụ tính đa dạng dịch vụ hiệu tài nguyên), tính linh hoạt (ví dụ tái cấu hình, tái sử dụng chia sẻ sở hạ tầng), khả thích ứng (ví dụ tự cấu hình, tự chữa lỗi tự tối ưu hóa) khả (ví dụ cắt mạng, quản lý mạng tự động) dự kiến có mạng 5G Những lợi ích tiềm việc phần mềm hóa 5G bao gồm giảm O/CAPEX, rút ngắn thời gian để tạo dịch vụ thích ứng dịch vụ, quản lý vịng đời dịch vụ hiệu quả, giảm tiêu thụ lượng mạng xanh bền vững nâng cao chất lượng trải nghiệm cho người dùng Thật vậy, SDNs dự tính tính mạng 5G chúng thúc đẩy thay đổi mơ hình thiết kế triển khai mạng di động Hình 3.1: Cơng nghệ mạng phần mềm kiến trúc tổng thể 5G Các ứng dụng kỹ thuật trí tuệ nhân tạo phù hợp cho HetNets xem xét cẩn thận luận án Hơn nữa, khả ứng dụng tính khả thi 43 ứng dụng chức tự làm việc đánh giá chi tiết Một mục tiêu công việc nghiên cứu tối ưu hóa QoS cho HetNets tương lai Cụ thể hơn, việc kiểm soát yếu tố AC RAN cho nhiều người dùng chủ đề chọn để bắt đầu tìm hiểu phương pháp AI để tự tối ưu hóa thơng số AC thích hợp Do đó, nghiên cứu chiến lược AC tự tối ưu hóa để điều chỉnh phần tài nguyên sử dụng người dùng yêu cầu để giới thiệu thuật toán AI đề xuất Trong số tất giải pháp AI khả thi, thuật toán FQL lựa chọn cho q trình tự tối ưu hóa, cách tiếp cận khơng có mơ hình cho phép xây dựng sách lựa chọn hành động tối ưu mà không cần kiến thức môi trường mạng Các tùy chọn AI khác thuật toán lấy cảm hứng từ sinh học mạng thần kinh nhân tạo xem xét Một phân tích dựa mơ thuật tốn học tăng cường đề xuất trình bày để đánh giá cải tiến tiềm đạt đối tượng thuê ô sơ đồ Về kết quả, mức giảm đạt xác suất chặn thuật toán FQL, liên quan đến trường hợp tham chiếu ∆𝐶 (𝑠, 𝑛) = 0, xem xét sách khai thác/thăm dị, 45,2% 51,5% cho T1 cell cell Tuy nhiên, T2 có lợi từ cách tiếp cận đề xuất (cải thiện 3,5% 7% tương ứng), tải trọng cung cấp thấp SAGBR nó, cho phép T1 xử lý hiệu phần tài nguyên hai cell giảm đáng kể khả chặn Cuối cùng, hiệu suất xem xét hệ thống khai thác hoàn toàn (tức 𝔗 = 0) đánh giá Mặc dù cải thiện hiệu suất (lên tới 39,4%) tương quan với sách khai thác/thăm dị, khơng xem xét hành động tiềm mang lại giá trị cao tương lai dài hạn 3.2 Cài đặt MatLab Cấu hình: Matlab 2019 - Hệ điều hành: Window 10 - RAM: 4GB - Dung lượng: 500 GB - CPU: Bất kỳ xử lý Intel 44 - Card đồ hoạ: Khơng có card đồ họa cụ thể yêu cầu Nên dùng card đồ họa tăng tốc phần cứng hỗ trợ OpenGL 3.3 với nhớ GPU 1GB - Tăng tốc GPU cách sử dụng Hộp cơng cụ tính tốn song song yêu cầu GPU CUDA 3.3 Thử nghiệm 3.3.1 Mô giả lập mạng 3.3.2 Thuật toán Fuzzy Q-Learning Trước hết, cần xác định khái niệm giá trị q Đối với quy tắc FIS, a[i, j] định nghĩa hành động thứ j quy tắc i q[i, j] chất lượng giá trị liên quan (giá trị q) Do đó, giá trị q[i, j] cao, độ tin cậy hành động điều chỉnh tương ứng chọn cao Để khởi tạo giá trị q thuật tốn, tiêu chí đơn giản sau sử dụng: 𝑞 [𝑖, 𝑗] = 0, ≤ 𝑖 ≤ 𝑁 𝑎𝑛𝑑 ≤ 𝑗 ≤ 𝐴 (3.1) q[i, j] giá trị q quy tắc i hành động j N tổng số quy tắc A số hành động có sẵn cho quy tắc Đối với quy tắc kích hoạt (những quy tắc có mức độ chân lý khác không), hành động chọn theo sách thăm dị/khai thác Chủ thể nên chọn hành động tạo giá trị cao khứ Tuy nhiên, chủ thể học từ kết hành động cách thử hành động chưa chọn trước Sau đó, ngồi giai đoạn khai thác, cần xem xét sách thăm dị để theo dõi hành động chưa khám phá mang lại giá trị dài hạn tối đa Cụ thể: 𝑎𝑖 = { 𝑟𝑎𝑛𝑑𝑜𝑚{𝑎𝑘 , 𝑘 = 1, 2, … , 𝐴}, 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 𝔗 𝑎𝑟𝑔𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑘 ], 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 − 𝔗 (3.2) hành động cụ thể cho quy tắc i 𝔗 tỷ lệ học tập sách thăm dị/khai thác Thơng thường, 𝔗 khơng cố định q trình tối ưu hóa Thay vào đó, giảm xuống giá trị gần khơng, có nghĩa việc khám phá hành động tiềm giảm Tiếp theo, hành động tổng thể xác định bởi: 45 𝑁 𝑎(𝑡 ) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝛼𝑖 (𝑡) (3.3) 𝑖=1 a hành động điều chỉnh tham số 𝛼𝑖 (𝑠(𝑡 )) hàm kích hoạt cho quy tắc i Nói cách khác, 𝛼𝑖 (𝑠(𝑡 )) đại diện cho mức độ chân lý trạng thái đầu vào s(t) lần lặp thứ t: 𝑀 𝛼𝑖 (𝑠(𝑡 )) = ∏ 𝜇𝑖𝑗 (𝑥𝑗 (𝑡 )) (3.4) 𝑖=1 M số đầu vào FIS 𝜇𝑖𝑗 (𝑥𝑗 (𝑡 )) giá trị hàm cho đầu vào thứ j quy tắc thứ i Ví dụ, xem xét quy tắc bốn đầu vào dán nhãn thấp (L), hàm kích hoạt cho bởi: 𝛼1 (𝑠(𝑡 )) = 𝜇11 (𝑥1 (𝑡 )) 𝜇12 (𝑥2 (𝑡 )) 𝜇13 (𝑥3 (𝑡 )) 𝜇14 (𝑥4 (𝑡 )) (3.5) Các hình dạng hàm minh họa hình 3.2 Đối với tải lưu lượng truy cập cung cấp cho hai đối tượng thuê, ba hàm thành viên gaussian chọn, gắn nhãn Thấp (L), Trung bình (M) Cao (H), tương ứng Đối với ∆𝐶(𝑠, 1), sử dụng hai hàm thành viên hình thang hàm hình tam giác Tuy nhiên có nhiều tùy chọn chọn hình dạng thành viên phù hợp Hình 3.2: Chức thành phần mờ 46 Q (s (t), a (t)) giá trị hàm Q cho trạng thái hành động a Hàm Q tính tốn từ hàm kích hoạt giá trị q quy tắc khác nhau: 𝑁 𝑄(𝑠(𝑡 ), 𝑎(𝑡)) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝑞[𝑖, 𝛼𝑖 ] (3.6) 𝑖=1 Q(s(t), a(t)) giá trị hàm Q trạng thái s hành động a Bước để hệ thống tự phát triển sang trạng thái s(t + 1) Tại thời điểm này, tín hiệu tăng cường r(t + 1) quan sát Trong nghiên cứu này, tín hiệu tăng cường sau xem xét, tương tự đề xuất [14]: 𝑟(𝑡 ) = 𝑟1 (𝑡 ) + 𝑟2 (𝑡 ) + 𝑘1; (3.7) r (t) tín hiệu tăng cường tổng thể, 𝑟1 (𝑡 ) 𝑟2 (𝑡 )là yếu tố đóng góp tín hiệu hai đối tượng thuê dọc theo hai ô, k1 số Cụ thể, tín hiệu 𝑟𝑖 (𝑡 )được tính sau: 𝑟1 (𝑡 ) = 𝑘2 log( + 1) (𝑃𝑏𝑙𝑜𝑐𝑘 (𝑇𝑖 ) + 𝑘3 ).100 (3.8) 𝑘2 𝑘3 tham số khơng đổi 𝑃𝑏𝑙𝑜𝑐𝑘 (𝑇𝑖 ) xác suất chặn đối tượng thuê Ti toàn trường hợp Các thơng số sử dụng để tính tốn tín hiệu tăng cường tìm thấy bảng 3.1 Bên cạnh đó, minh họa tín hiệu tăng cường thể hình 3.3 Có thể quan sát thấy xác suất chặn hai người dùng khơng, cốt lõi giá trị thu tối đa (tức 1) Bảng 3.1: Thơng số tín hiệu cốt thép Tham số Giá trị k1 0.1357 k2 100 k3 0.1 47 Hình 3.3: Tín hiệu tăng cường Khi tín hiệu tăng cường trạng thái r(t + 1) quan sát, giá trị trạng thái biểu thị Vt(s(t + 1)) tính sau: 𝑁 𝑉𝑡 (𝑠(𝑡 + 1)) = ∑ ∝𝑖 (𝑠(𝑡 + 1)) 𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑎𝑘 ] (3.9) 𝑖=1 Tín hiệu lỗi hàm Q liên tiếp hữu ích để cập nhật giá trị q Nó tính bởi: ∆𝑄 = 𝑟(𝑡 + 1) + 𝛾𝑉𝑡 (𝑠(𝑡 + 1)) − 𝑄(𝑠(𝑡 ), 𝑎(𝑡 )) (3.10) ∆𝑄 tín hiệu lỗi, r(t + 1) tín hiệu tăng cường, 𝛾 hệ số chiết khấu Q(s(t), a(t)) hàm Q trạng thái trước 𝛾 đặt mức 0,7, trọng giá trị dài hạn Cuối cùng, giá trị q cập nhật phương thức gốc gradient thông thường: 𝑞[𝑖, 𝑎𝑖 ] = 𝑞 [𝑖, 𝑎𝑖 ] + 𝜂 ∆𝑄 𝛼𝑖 (𝑠(𝑡 )) (3.11) 𝜂 tỷ lệ học tập, có giá trị đặt mức 0,5, có nghĩa thơng tin cũ coi trọng ngang với thơng tin Q trình nói lặp lại từ việc lựa chọn hành động đạt hội tụ 48 Bản tóm tắt thuật tốn FQL [14] mơ tả trình bày đây: Khởi tạo giá trị q: 𝑞 [𝑖, 𝑗] = 0, ≤ 𝑖 ≤ 𝑁 𝑎𝑛𝑑 ≤ 𝑗 ≤ 𝐴 Chọn hành động cho quy tắc kích hoạt: 𝑎𝑖 = { 𝑟𝑎𝑛𝑑𝑜𝑚{𝑎𝑘 , 𝑘 = 1, 2, … , 𝐴}, 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 𝔗 𝑎𝑟𝑔𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑘 ], 𝑤𝑖𝑡ℎ 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑡𝑦 − 𝔗 Tính hành động tổng thể: 𝑁 𝑎(𝑡 ) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝛼𝑖 (𝑡) 𝑖=1 Hàm Q tính từ giá trị q mức độ chuẩn quy tắc: 𝑁 𝑄(𝑠(𝑡 ), 𝑎(𝑡)) = ∑ 𝛼𝑖 (𝑠(𝑡 )) 𝑞[𝑖, 𝛼𝑖 ] 𝑖=1 Chờ hệ thống giải đến bước trạng thái tiếp theo, s(t+1) Quan sát tín hiệu tăng cường, r(t+1), tính tốn giá trị trạng thái biểu thị 𝑉𝑡 (𝑠(𝑡 + 1)): 𝑁 𝑉𝑡 (𝑠(𝑡 + 1)) = ∑ ∝𝑖 (𝑠(𝑡 + 1)) 𝑚𝑎𝑥𝑘 𝑞[𝑖, 𝑎𝑘 ] 𝑖=1 Tính giá trị tín hiệu lỗi: ∆𝑄 = 𝑟(𝑡 + 1) + 𝛾𝑉𝑡 (𝑠(𝑡 + 1)) − 𝑄(𝑠(𝑡 ), 𝑎(𝑡 )) Cập nhật giá trị q phương thức gốc gradient thông thường: 𝑞 [𝑖, 𝑎𝑖 ] = 𝑞 [𝑖, 𝑎𝑖 ] + 𝜂 ∆𝑄 𝛼𝑖 (𝑠(𝑡 )) Lặp lại trình mơ tả bước cho trạng thái đạt hội tụ Bảng 3.2 tóm tắt thơng số cấu hình tối ưu hóa sử dụng kịch mô đề xuất Số trạng thái tương ứng với tổng số quy tắc hành động ∆𝐶 (𝑠, 𝑛) = 𝑎 + ∆𝐶(𝑠, 𝑛)) có sẵn cho quy tắc chọn sau: tăng (+0.05), giảm tương đồng (-0.05), khơng thay đổi (0) 49 Bảng 3.2: Tối ưu hóa tham số Tham số Giá trị Tham số mạng Nhìn 2.1 Số lượng trạm 34 (81) Không gian hoạt động [-0.05 +0.05] Tác nhân tham lam ban đầu 0.9 Tỷ lệ giảm 1/650 thời kỳ Tác nhân giảm γ 0.7 Tỷ lệ học tập η 0.5 Hình 3.4 cho thấy hành động thăm dị nhận thấy số tín hiệu tăng cường khơng mang lại gần giá trị tối đa Do đó, đảm bảo tồn khơng gian trạng thái hồn tồn (hoặc gần như) kiểm tra Hình 3.4: Tín hiệu gia cố mô sau 500 epichs Hệ tốt cho quy tắc xác định giá trị q cao Bảng 3.3 cho thấy ba quy tắc cụ thể với ba hành động khác 50 Hình 3.5 minh họa cách lựa chọn kết tốt cho quy tắc thứ 14 Có thể thấy giá trị q cao tồn q trình tối ưu hóa tương ứng với hành động khơng thay đổi (tức 0), có nghĩa là, trung dài hạn, hành động đề cập mang lại giá trị cao Về quy tắc 32 hình 3.6 41 hình 3.7, hành động tốt để thực tăng ∆𝐶(1,1) thêm 0,05 ngược lại Hình 3.5: Tiến hóa giá trị q cho quy tắc 14 Hình 3.6: Tiến hóa giá trị q cho quy tắc 32 51 Hình 3.7: Tiến hóa giá trị q cho quy tắc 41 Bảng 3.3: Cơ sở quy tắc suy luận mờ có Q-Learning Quy Cung Cung tắc cấp tải cấp tải T1 T2 ∆C(1,1) ∆C(2,1) Trạng thái có Trạng thái thể tốt 14 L M M M [-0.05 +0.05] 32 M L M M [-0.05 +0.05] +0.05 41 M M M M [-0.05 +0.05] -0.05 Khi sở quy tắc suy luận mờ thu thuật toán đề xuất xây dựng, hiệu suất mạng đánh giá Trong trường hợp cụ thể này, xác suất chặn đối tượng thuê cell chọn làm phép đo hiệu suất mạng Ngoài ra, kết đưa thuật toán Q-learning mờ đề xuất so sánh với trường hợp tham chiếu ∆(𝑠, 𝑛) cố định (được biểu thị trường hợp 'NoDelta') Xác suất chặn ô đối tượng thuê giai đoạn khai thác/thăm dòđược quan sát thấy cải thiện đáng kể đạt cách tiếp cận FQL liên quan đến cấu hình cố định ('NoDelta'), đặc biệt miền T1 Hơn nữa, hình 52 3.8 minh họa khác biệt việc khai thác hoàn toàn hệ thống (cố định 𝔗 = 0) đánh đổi khai thác/thăm dò (𝔗 ban đầu = 0.9, với tốc độ giảm 1/650 thời kỳ) Theo dự kiến, hiệu suất mạng tốt chút khơng tính đến thăm dị Tuy nhiên, cơng việc xem xét hành động tiềm mang lại giá trị cao tương lai, phương pháp thứ hai áp dụng Hình 3.8: Xác suất chặn ô đối tượng thuê giai đoạn khai thác thăm dò (hệ số tham lam ban đầu = 0.9) Hình 3.9: Xác suất chặn khai thác (hệ số tham lam cố định = 0) giai đoạn khai thác thăm dò (hệ số tham lam ban đầu = 0.9) 53 Cuối cùng, giá trị xác mơ cho ô hiển thị tương ứng bảng 3.4 3.5 Bảng 3.4: Xác suất chặn (ô 1) trường hợp tham chiếu, khai thác thăm dò (hệ số tham lam = 0,9) giai đoạn khai thác (hệ số tham lam cố định = 0) Xác suất chặn NoDelta =⇒ FQL (= 0.9) =⇒ FQL (= 0) Cell T1 0.157 +45.2% 0.0860 +39.4% 0.0521 T2 0.0483 +3.5% 0.0466 -1.5% 0.0473 Bảng 3.5: Xác suất chặn (ô 2) trường hợp tham chiếu, khai thác thăm dò (hệ số tham lam = 0,9) giai đoạn khai thác (hệ số tham lam cố định = 0) Xác suất chặn NoDelta =⇒ FQL (= 0.9) =⇒ FQL (= 0) Cell T1 0.188 +51.5% 0.0911 +6.8% 0.0849 T2 0.0485 +7% 0.0451 +10.1% 0.0405 3.4 Kết luận chương Chương luận văn đánh giá tổng quan rút việc sử dụng thuật toán FQL thuật toán AI phù hợp cho đề tài nghiên cứu Cài đặt môi trường kiểm thử Matlab khảo sát kết thuật tốn FQL từ nghiên cứu tính khả thi AI triển khai SON giả thuyết 54 KẾT LUẬN Các kết đạt Luận văn tập trung nghiên cứu hệ thống mạng tự tổ chức SON, mạng không đồng HetNets Cụ thể luận văn đạt kết sau: - Nghiên cứu tổng quan hệ thống mạng tự tổ chức SON, định nghĩa, cấu trúc, chức tự làm việc - Các kỹ thuật dựa trí tuệ nhân tạo AI để tự tối ưu hóa mạng không đồng HetNets: kỹ thuật học máy, thuật toán lấy cảm hứng từ sinh học, hệ thống mờ - Phân tích lý thuyết kiểm sốt nhập cell cho hệ thống truy cập vô tuyến nhiều người thuê - Từ lý thuyết kỹ thuật xử lý thuật toán nghiên cứu đưa đề xuất việc sử dụng kỹ thuật học máy hai thuật toán học tập giám sát học tập không giám sát (Fuzzy Q-Learning) triển khai giả thuyết điều khiển tự chấp nhận dịch vụ mạng 5G - Cài đặt MatLab, khảo sát kết thuật toán Fuzzy Q-Learning Hướng phát triển Luận văn phát triển theo hướng nghiên cứu áp dụng mơ hình thử nghiệm triển khai mơi trường thực Lấy kết kiểm thử, triển khai lắp đặt hạ tầng mạng 5G nhà mạng cụ thể Tổng Công ty viễn thông MobiFone để đánh giá xác lập luận lý thuyết nghiên cứu 55 DANH MỤC TÀI LIỆU THAM KHẢO [1] Alpaydin, E., 2014 Introduction to Machine learning s.l.:The MIT Press [2] Anon., 2015 E-UTRA and E-UTRAN Overall description; Stage (Release 13), s.l.: 3GPP TS 36.300 v13.2.0 [3] ennett, J., 2016 Machine Learning, part III: The Q-learning algorithm [Online] Available at: https://articles.wearepop.com/secret-formula-for-self-learning- computers [4] Bennis, M et al., 2013 Self-Organization in Small Cell Networks: A Reinforcement Learning Approach IEEE Transactions on Wireless Communications, Volume 12, pp 3202-3212 [5] Daeinabi, A., Sandrasegaran, K & Ghosal, P., 2014 An enhanced intercell interference coordination scheme using fuzzy logic controller in LTE-advanced heterogeneous networks s.l., s.n [6] Dohler, M., 2012 5G Ultra-High Capacity Network Design With Rates 10x LTE- A s.l.:IEEE ComSoc Distinguished Lectureship Tour Texas/Arizona USA [7] Fan, S., Tian, H & Sengul, C., 2014 Self-optimization of coverage and capacity based on a fuzzy neural network with cooperative reinforcement learning EURASIP Journal on Wireless Communications and Networking [8] Forum, S C., 2016 Market drivers for multi-operator small cells, s.l.: s.n [9] Hasan, N et al., 2016 Network Selection and Channel Allocation for Spectrum Sharing in 5G Heterogeneous Networks IEEE Access, Volume 4, pp 980-992 [10]Imran, A., Zoha, A & Abu-Dayya, A., 2014 Challenges in 5G: how to empower SON with big data for enabling 5G IEEE Network, 28(6), pp 27-33 [11]Jiang, C et al., 2016 Machine Learning Paradigms for Next-Generation Wireless Networks IEEE Wireless Communications, Volume 24, pp 98-105 [12]Li, Q., Xia, H., Zeng, Z & Zhang, T., 2013 Dynamic Enhanced Inter-Cell Interference Coordination using Reinforcement Learning Approach in Heterogeneous Network s.l., ICCT2013 [13]MathWorks, M & S -., 2016 Foudations of fuzzy logic, s.l.: s.n 56 [14]Munoz, P et al., 2011 Optimization of a Fuzzy Logic Controller for Handover- Based Load Balancing s.l., s.n [15]Pérez-Romero, J., Sallent, O., Ferrús, R & Agustí, R., 2016 Knowledge-based 5G Radio Access Network planning and optimization International Symposium on Wireless Communication Systems [16]Pérez-Romero, J., Sallent, O., Ferrús, R & Agustí, R., 2017 Admission control for multi-tenant Radio Access Networks s.l., s.n [17]Reddy, J & Kumar, N., 2012 Computational algorithms inspired by biological processes and evolution Current science, Volume 103, pp 370-380 [18]Song, Y., Liu, L., Ma, H & Vasilakos, A., 2014 A Biology-Based Algorithm to Minimal Exposure Problem of Wireless Sensor Networks IEEE Transactions on Network and Service Management, Volume 11, pp 417-430 [19]Vasudeva, K et al., 2017 Fuzzy-Based Game Theoretic Mobility Management for Energy Efficient Operation in HetNets IEEE Access, Volume 5, pp 75427552 [20]Wang, X., Li, X & Lueng, V., 2015 Artificial Intelligence-Based Techniques for Emerging Heterogeneous Network: State of the Arts, Opportunities, and Challenges IEEE Access, Volume 3, pp 1379-1391 [21]Watkins, C & Dayan, P., 1992 Q-Learning Machine Learning, Volume 8, pp 279-292 [22]Yang, X., Chien, S & Ting, T., 2015 Bio-Inspired Computation in Telecommunication s.l.:s.n [23]Zhenzhen, Z., Jie, C & Crespi, N., 2008 A Policy-based Framework for Autonomic Reconfiguration Management in Heterogeneous Networks s.l., s.n., pp 71-78 [24]3GPP TS 23.251 v13.1.0, “Network Sharing; Architecture amd functional description (Release 13),” 2015 ... điều khiển dịch vụ cho mạng vô tuyến, từ đề xuất kỹ thuật AI, thuật tốn việc điều khiển tự chấp nhận dịch vụ mạng 5G 22 CHƯƠNG 2: PHƯƠNG PHÁP CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 2.1 Điều khiển dịch. .. kể chi phí dịch vụ thấp Đề tài ? ?Khảo sát điều khiển chấp nhận dịch vụ mạng 5G? ?? nhằm nghiên cứu thử nghiệm kỹ thuật, thuật toán tự tối ưu chấp nhận dịch vụ việc nâng cao hiệu mạng 5G Tổng quan vấn...HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ : 8.48.01.04 LUẬN VĂN THẠC SĨ