Khảo sát điều khiển chấp nhận dịch vụ trong mạng 5g

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) Hà Nội - 2019 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG PHAN HỒNG TIẾN KHẢO SÁT ĐIỀU KHIỂN CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ : 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHÓA HỌC: TS NGUYỄN VĂN THỦY Hà Nội - 2019 i LỜI CAM ĐOAN Tôi xin cam đoan, luận văn cơng trình nghiên cứu khoa học thực thụ cá nhân, thực hướng dẫn khoa học TS Nguyễn Văn Thủy Các số liệu, kết nghiên cứu kết luận trình bày luận văn trung thực chưa cơng bố hình thức Tơi xin chịu trách nhiệm cơng trình nghiên cứu Học viên Phan Hồng Tiến ii LỜI CẢM ƠN Lời đầu tiên, xin chân thành cảm ơn TS Nguyễn Văn Thủy – Học viện Công nghệ Bưu Viễn thơng, người trực tiếp hướng dẫn tơi thực luận văn Với hướng dẫn cung cấp tài liệu, động viên Thầy giúp vượt qua nhiều khó khăn chun mơn suốt q trình thực luận văn Tơi xin chân thành cảm ơn Ban Giám đốc, Ban Chủ nhiệm Khoa Sau Đại học Khoa Công nghệ Thông tin, Thầy, Cô giảng dạy quản lý đào tạo suốt hai năm theo học Học viện Công nghệ Bưu Viễn thơng Tơi xin chân thành cảm ơn Hội đồng chấm đề cương góp ý cho đề cương luận văn Cuối cùng, xin cảm ơn gia đình, đồng nghiệp, bạn bè Tổng cơng ty viễn thông MobiFone động viên, tạo điều kiện cho suốt hai năm học tập nghiên cứu Xin chân thành cảm ơn! iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT v DANH MỤC CÁC HÌNH VẼ ix DANH MỤC CÁC BẢNG xi MỞ ĐẦU CHƯƠNG 1: CƠ SỞ LÝ LUẬN 1.1 Hệ thống mạng tự tổ chức SON 1.1.1 Định nghĩa 1.1.2 Cấu trúc 1.1.3 Các chức tự làm việc 10 1.1.4 Đặc điểm 11 1.2 Kỹ thuật trí thơng minh nhân tạo cho mạng HetNet 13 1.2.1 Học máy 13 1.2.2 Thuật toán lấy cảm hứng từ sinh học 18 1.3 Kết luận chương 21 CHƯƠNG 2: PHƯƠNG PHÁP CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 22 2.1 Điều khiển dịch vụ cho mạng truy cập vơ tuyến .22 2.1.1 Kiểm sốt điều khiển nhập cell nhiều người dùng 23 2.1.2 Kết thuật toán 24 2.1.3 Đánh giá hiệu 26 2.2 Điều khiển chấp nhận dịch vụ mạng 5G 31 2.2.1 Học tập giám sát 31 2.2.2 Học tập không giám sát (Fuzzy Q-learning) 34 2.3 Kết luận chương 41 CHƯƠNG 3: ĐÁNH GIÁ, CÀI ĐẶT, THỬ NGHIỆM 42 3.1 Đánh giá 42 iv 3.2 Cài đặt MatLab 43 3.3 Thử nghiệm 44 3.3.1 Mô giả lập mạng 44 3.3.2 Thuật toán Fuzzy Q-Learning 44 3.4 Kết luận chương 53 KẾT LUẬN 54 DANH MỤC TÀI LIỆU THAM KHẢO 55 v DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT Từ viết tắt 2/3/4/5G 3GPP AC AI CAPEX DoF E-RAB FIS FQL GA GWCN HeNB HetNets HSPA KPI LOS LTE OMC OPEX MDP ML MNO MOCN vi Từ viết tắt NGMN NLOS QoS Q-Value RAB RAN RAT RB RF RL SAGBR SDN SLA SOCRATES SON UE UMTS WP 43 ứng dụng chức tự làm việc đánh giá chi tiết Một mục tiêu công việc nghiên cứu tối ưu hóa QoS cho HetNets tương lai Cụ thể hơn, việc kiểm soát yếu tố AC RAN cho nhiều người dùng chủ đề chọn để bắt đầu tìm hiểu phương pháp AI để tự tối ưu hóa thơng số AC thích hợp Do đó, nghiên cứu chiến lược AC tự tối ưu hóa để điều chỉnh phần tài nguyên sử dụng người dùng yêu cầu để giới thiệu thuật toán AI đề xuất Trong số tất giải pháp AI khả thi, thuật toán FQL lựa chọn cho q trình tự tối ưu hóa, cách tiếp cận khơng có mơ hình cho phép xây dựng sách lựa chọn hành động tối ưu mà không cần kiến thức môi trường mạng Các tùy chọn AI khác thuật toán lấy cảm hứng từ sinh học mạng thần kinh nhân tạo xem xét Một phân tích dựa mơ thuật tốn học tăng cường đề xuất trình bày để đánh giá cải tiến tiềm đạt đối tượng thuê ô sơ đồ Về kết quả, mức giảm đạt xác suất chặn thuật toán FQL, liên quan đến trường hợp tham chiếu ∆ ( , ) = 0, xem xét sách khai thác/thăm dị, 45,2% 51,5% cho T1 cell cell Tuy nhiên, T2 có lợi từ cách tiếp cận đề xuất (cải thiện 3,5% 7% tương ứng), tải trọng cung cấp thấp SAGBR nó, cho phép T1 xử lý hiệu phần tài nguyên hai cell giảm đáng kể khả chặn Cuối cùng, hiệu suất xem xét hệ thống khai thác hoàn toàn (tức = 0) đánh giá Mặc dù cải thiện hiệu suất (lên tới 39,4%) tương quan với sách khai thác/thăm dị, khơng xem xét hành động tiềm mang lại giá trị cao tương lai dài hạn 3.2 Cài đặt MatLab Cấu hình: Matlab 2019 - Hệ điều hành: Window 10 - RAM: 4GB - Dung lượng: 500 GB - CPU: Bất kỳ xử lý Intel 44 - Card đồ hoạ: Khơng có card đồ họa cụ thể yêu cầu Nên dùng card đồ họa tăng tốc phần cứng hỗ trợ OpenGL 3.3 với nhớ GPU 1GB - Tăng tốc GPU cách sử dụng Hộp cơng cụ tính tốn song song u cầu GPU CUDA 3.3 Thử nghiệm 3.3.1 Mô giả lập mạng 3.3.2 Thuật toán Fuzzy Q-Learning Trước hết, cần xác định khái niệm giá trị q Đối với quy tắc FIS, a[i, j] định nghĩa hành động thứ j quy tắc i q[i, j] chất lượng giá trị liên quan (giá trị q) Do đó, giá trị q[i, j] cao, độ tin cậy hành động điều chỉnh tương ứng chọn cao Để khởi tạo giá trị q thuật tốn, tiêu chí đơn giản sau sử dụng: [ , ]=0,1 ≤ ≤ (3.1) 1≤ ≤ q[i, j] giá trị q quy tắc i hành động j N tổng số quy tắc A số hành động có sẵn cho quy tắc Đối với quy tắc kích hoạt (những quy tắc có mức độ chân lý khác không), hành động chọn theo sách thăm dị/khai thác Chủ thể nên chọn hành động tạo giá trị cao khứ Tuy nhiên, chủ thể học từ kết hành động cách thử hành động chưa chọn trước Sau đó, ngồi giai đoạn khai thác, cần xem xét sách thăm dị để theo dõi hành động chưa khám phá mang lại giá trị dài hạn tối đa Cụ thể: { , = 1, 2, … , }, ℎ ={ hành động cụ thể cho quy tắc i tỷ lệ học tập sách thăm dị/khai thác Thơng thường, khơng cố định q trình tối ưu hóa Thay vào đó, giảm xuống giá trị gần khơng, có nghĩa việc khám phá hành động tiềm giảm Tiếp theo, hành động tổng thể xác định bởi: 45 ( ) = ∑ ( ( )) ( ) =1 chỉnh tham số ( ( )) đại diện cho mức a hành động điều quy độ chân tắc i Nói cách khác, ( ( )) đầu vào s(t) lần lặp thứ t: hàm kích hoạt cho lý trạng thái ( ( )) = ∏ ( ( )) =1 M số đầu vào FIS ( ( )) giá trị hàm cho đầu vào thứ j quy tắc thứ i Ví dụ, xem xét quy tắc bốn đầu vào dán nhãn thấp (L), hàm kích hoạt cho bởi: 1( ( )) = 11( 1( )) 12( 2( )) 13( 3( )) 14( 4( )) Các hình dạng hàm minh họa hình 3.2 Đối với tải lưu lượng truy cập cung cấp cho hai đối tượng thuê, ba hàm thành viên gaussian chọn, gắn nhãn Thấp (L), Trung bình (M) Cao (H), tương ứng Đối với ∆ ( , 1), sử dụng hai hàm thành viên hình thang hàm hình tam giác Tuy nhiên có nhiều tùy chọn chọn hình dạng thành viên phù hợp Hình 3.2: Chức thành phần mờ 46 Q (s (t), a (t)) giá trị hàm Q cho trạng thái hành động a Hàm Q tính tốn từ hàm kích hoạt giá trị q quy tắc khác nhau: ( ( ), ( )) = ∑ ( ( )) [ , ] =1 Q(s(t), a(t)) giá trị hàm Q trạng thái s hành động a Bước để hệ thống tự phát triển sang trạng thái s(t + 1) Tại thời điểm này, tín hiệu tăng cường r(t + 1) quan sát Trong nghiên cứu này, tín hiệu tăng cường sau xem xét, tương tự đề xuất [14]: ( )= 1( )+ 2( )+ 1; (3.7) r (t) tín hiệu tăng cường tổng thể, góp tín hiệu hai đối tượng thuê dọc theo hai tín hiệu ( )được tính sau: 1( ) = log( 1( ( ( )+ 3).100 ) 2( )là yếu tố đóng ô, k1 số Cụ thể, + 1) (3.8) tham số không đổi ( ) xác suất chặn đối tượng thuê Ti toàn trường hợp Các thơng số sử dụng để tính tốn tín hiệu tăng cường tìm thấy bảng 3.1 Bên cạnh đó, minh họa tín hiệu tăng cường thể hình 3.3 Có thể quan sát thấy xác suất chặn hai người dùng khơng, cốt lõi giá trị thu tối đa (tức 1) Bảng 3.1: Thơng số tín hiệu cốt thép Tham số Giá trị k1 0.1357 k2 100 k3 0.1 47 Hình 3.3: Tín hiệu tăng cường Khi tín hiệu tăng cường trạng thái r(t + 1) quan sát, giá trị trạng thái biểu thị Vt(s(t + 1)) tính sau: ( ( + 1)) = ∑ ∝ ( ( + 1)) [ , ] =1 Tín hiệu lỗi hàm Q liên tiếp hữu ích để cập nhật giá trị q Nó tính bởi: ∆ = ( + 1) + ( ( + 1)) − ( ( ), ( )) ∆ tín hiệu lỗi, r(t + 1) tín hiệu tăng cường, hệ số chiết khấu Q(s(t), a(t)) hàm Q trạng thái trước đặt mức 0,7, trọng giá trị dài hạn Cuối cùng, giá trị q cập nhật phương thức gốc gradient thông thường: [ , ] = [ , ] + ∆ ( ( )) tỷ lệ học tập, có giá trị đặt mức 0,5, có nghĩa thông tin cũ coi trọng ngang với thông tin Q trình nói lặp lại từ việc lựa chọn hành động đạt hội tụ 48 Bản tóm tắt thuật tốn FQL [14] mơ tả trình bày đây: Khởi tạo giá trị q: [ , ]=0,1 ≤ ≤ 1≤ ≤ Chọn hành động cho quy tắc kích hoạt: { , = 1, 2, … , }, = Tính hành động tổng thể: ()=∑ ( ( )) =1 ( ) Hàm Q tính từ giá trị q mức độ chuẩn quy tắc: ( ( ), ( )) = ∑ ( ( )) [ , ] =1 Chờ hệ thống giải đến bước trạng thái tiếp theo, s(t+1) Quan sát tín hiệu tăng cường, r(t+1), tính tốn giá trị trạng thái biểu thị ( ( + 1)): ( ( + 1)) = ∑ ∝ ( ( =1 + 1)) Tính giá trị tín hiệu lỗi: ∆ = ( + 1) + [ , ] ( ( + 1)) − ( ( ), ( )) Cập nhật giá trị q phương thức gốc gradient thông thường: [ , ]= [ , ]+ ∆ ( ( )) Lặp lại q trình mơ tả bước cho trạng thái đạt hội tụ Bảng 3.2 tóm tắt thơng số cấu hình tối ưu hóa sử dụng kịch mơ đề xuất Số trạng thái tương ứng với tổng số quy tắc hành động ∆ ( , ) = + ∆ ( , )) có sẵn cho quy tắc chọn sau: tăng (+0.05), giảm tương đồng (-0.05), không thay đổi (0) { 49 Bảng 3.2: Tối ưu hóa tham số Tham số Tham số mạng Số lượng trạm Không gian hoạt động Tác nhân tham lam ban đầu Tỷ lệ giảm Tác nhân giảm γ Tỷ lệ học tập η Hình 3.4 cho thấy hành động thăm dị nhận thấy số tín hiệu tăng cường khơng mang lại gần giá trị tối đa Do đó, đảm bảo tồn khơng gian trạng thái hồn tồn (hoặc gần như) kiểm tra Hình 3.4: Tín hiệu gia cố mô sau 500 epichs Hệ tốt cho quy tắc xác định giá trị q cao Bảng 3.3 cho thấy ba quy tắc cụ thể với ba hành động khác 50 Hình 3.5 minh họa cách lựa chọn kết tốt cho quy tắc thứ 14 Có thể thấy giá trị q cao tồn q trình tối ưu hóa tương ứng với hành động khơng thay đổi (tức 0), có nghĩa là, trung dài hạn, hành động đề cập mang lại giá trị cao Về quy tắc 32 hình 3.6 41 hình 3.7, hành động tốt để thực tăng ∆ (1,1) thêm 0,05 ngược lại Hình 3.5: Tiến hóa giá trị q cho quy tắc 14 Hình 3.6: Tiến hóa giá trị q cho quy tắc 32 51 Hình 3.7: Tiến hóa giá trị q cho quy tắc 41 Bảng 3.3: Cơ sở quy tắc suy luận mờ có Q-Learning Quy tắc 14 L 32 M 41 M Khi sở quy tắc suy luận mờ thu thuật toán đề xuất xây dựng, hiệu suất mạng đánh giá Trong trường hợp cụ thể này, xác suất chặn đối tượng thuê cell chọn làm phép đo hiệu suất mạng Ngoài ra, kết đưa thuật toán Q-learning mờ đề xuất so sánh với trường hợp tham chiếu ∆( , ) cố định (được biểu thị trường hợp 'NoDelta') Xác suất chặn ô đối tượng thuê giai đoạn khai thác/thăm dòđược quan sát thấy cải thiện đáng kể đạt cách tiếp cận FQL liên quan đến cấu hình cố định ('NoDelta'), đặc biệt miền T1 Hơn nữa, hình 52 3.8 minh họa khác biệt việc khai thác hoàn toàn hệ thống (cố định = 0) đánh đổi khai thác/thăm dò ( ban đầu = 0.9, với tốc độ giảm 1/650 thời kỳ) Theo dự kiến, hiệu suất mạng tốt chút khơng tính đến thăm dị Tuy nhiên, cơng việc xem xét hành động tiềm mang lại giá trị cao tương lai, phương pháp thứ hai áp dụng Hình 3.8: Xác suất chặn ô đối tượng thuê giai đoạn khai thác thăm dò (hệ số tham lam ban đầu = 0.9) Hình 3.9: Xác suất chặn ô khai thác (hệ số tham lam cố định = 0) giai đoạn khai thác thăm dò (hệ số tham lam ban đầu = 0.9) 53 Cuối cùng, giá trị xác mơ cho ô ô hiển thị tương ứng bảng 3.4 3.5 Bảng 3.4: Xác suất chặn (ô 1) trường hợp tham chiếu, khai thác thăm dò (hệ số tham lam = 0,9) giai đoạn khai thác (hệ số tham lam cố định = 0) Cell T1 T2 Bảng 3.5: Xác suất chặn (ô 2) trường hợp tham chiếu, khai thác thăm dò (hệ số tham lam = 0,9) giai đoạn khai thác (hệ số tham lam cố định = 0) Cell T1 T2 3.4 Kết luận chương Chương luận văn đánh giá tổng quan rút việc sử dụng thuật toán FQL thuật toán AI phù hợp cho đề tài nghiên cứu Cài đặt môi trường kiểm thử Matlab khảo sát kết thuật tốn FQL từ nghiên cứu tính khả thi AI triển khai SON giả thuyết 54 KẾT LUẬN Các kết đạt Luận văn tập trung nghiên cứu hệ thống mạng tự tổ chức SON, mạng không đồng HetNets Cụ thể luận văn đạt kết sau: - Nghiên cứu tổng quan hệ thống mạng tự tổ chức SON, định nghĩa, cấu trúc, chức tự làm việc - Các kỹ thuật dựa trí tuệ nhân tạo AI để tự tối ưu hóa mạng khơng đồng HetNets: kỹ thuật học máy, thuật toán lấy cảm hứng từ sinh học, hệ thống mờ - Phân tích lý thuyết kiểm sốt nhập cell cho hệ thống truy cập vô tuyến nhiều người thuê - Từ lý thuyết kỹ thuật xử lý thuật toán nghiên cứu đưa đề xuất việc sử dụng kỹ thuật học máy hai thuật tốn học tập giám sát học tập không giám sát (Fuzzy Q-Learning) triển khai giả thuyết điều khiển tự chấp nhận dịch vụ mạng 5G - Cài đặt MatLab, khảo sát kết thuật toán Fuzzy Q-Learning Hướng phát triển Luận văn phát triển theo hướng nghiên cứu áp dụng mô hình thử nghiệm triển khai mơi trường thực Lấy kết kiểm thử, triển khai lắp đặt hạ tầng mạng 5G nhà mạng cụ thể Tổng Cơng ty viễn thơng MobiFone để đánh giá xác lập luận lý thuyết nghiên cứu 55 DANH MỤC TÀI LIỆU THAM KHẢO [1] Alpaydin, E., 2014 Introduction to Machine learning s.l.:The MIT Press [2] Anon., 2015 E-UTRA and E-UTRAN Overall description; Stage (Release 13), s.l.: 3GPP TS 36.300 v13.2.0 [3] ennett, J., 2016 Machine Learning, part III: The Q-learning algorithm [Online] Available at: https://articles.wearepop.com/secret-formula-for-self-learningcomputers [4] Bennis, M et al., 2013 Self-Organization in Small Cell Networks: A Reinforcement Learning Approach IEEE Transactions on Wireless Communications, Volume 12, pp 3202-3212 [5] Daeinabi, A., Sandrasegaran, K & Ghosal, P., 2014 An enhanced intercell interference coordination scheme using fuzzy logic controller in LTE-advanced heterogeneous networks s.l., s.n [6] Dohler, M., 2012 5G Ultra-High Capacity Network Design With Rates 10x LTE-A s.l.:IEEE ComSoc Distinguished Lectureship Tour Texas/Arizona USA [7] Fan, S., Tian, H & Sengul, C., 2014 Self-optimization of coverage and capacity based on a fuzzy neural network with cooperative reinforcement learning EURASIP Journal on Wireless Communications and Networking [8] Forum, S C., 2016 Market drivers for multi-operator small cells, s.l.: s.n [9] Hasan, N et al., 2016 Network Selection and Channel Allocation for Spectrum Sharing in 5G Heterogeneous Networks IEEE Access, Volume 4, pp 980-992 [10]Imran, A., Zoha, A & Abu-Dayya, A., 2014 Challenges in 5G: how to empower SON with big data for enabling 5G IEEE Network, 28(6), pp 27-33 [11]Jiang, C et al., 2016 Machine Learning Paradigms for Next-Generation Wireless Networks IEEE Wireless Communications, Volume 24, pp 98-105 [12]Li, Q., Xia, H., Zeng, Z & Zhang, T., 2013 Dynamic Enhanced Inter-Cell Interference Coordination using Reinforcement Learning Heterogeneous Network s.l., ICCT2013 [13]MathWorks, M & S -., 2016 Foudations of fuzzy logic, s.l.: s.n Approach in 56 [14]Munoz, P et al., 2011 Optimization of a Fuzzy Logic Controller for Handover- Based Load Balancing s.l., s.n [15]Pérez-Romero, J., Sallent, O., Ferrús, R & Agustí, R., 2016 Knowledge-based 5G Radio Access Network planning and optimization International Symposium on Wireless Communication Systems [16]Pérez-Romero, J., Sallent, O., Ferrús, R & Agustí, R., 2017 Admission control for multi-tenant Radio Access Networks s.l., s.n [17]Reddy, J & Kumar, N., 2012 Computational algorithms inspired by biological processes and evolution Current science, Volume 103, pp 370-380 [18]Song, Y., Liu, L., Ma, H & Vasilakos, A., 2014 A Biology-Based Algorithm to Minimal Exposure Problem of Wireless Sensor Networks IEEE Transactions on Network and Service Management, Volume 11, pp 417-430 [19]Vasudeva, K et al., 2017 Fuzzy-Based Game Theoretic Mobility Management for Energy Efficient Operation in HetNets IEEE Access, Volume 5, pp 7542-7552 [20]Wang, X., Li, X & Lueng, V., 2015 Artificial Intelligence-Based Techniques for Emerging Heterogeneous Network: State of the Arts, Opportunities, and Challenges IEEE Access, Volume 3, pp 1379-1391 [21]Watkins, C & Dayan, P., 1992 Q-Learning Machine Learning, Volume 8, pp 279-292 [22]Yang, X., Chien, S & Ting, T., 2015 Bio-Inspired Computation in Telecommunication s.l.:s.n [23]Zhenzhen, Z., Jie, C & Crespi, N., 2008 A Policy-based Framework for Autonomic Reconfiguration Management in Heterogeneous Networks s.l., s.n., pp 71-78 [24]3GPP TS 23.251 v13.1.0, “Network Sharing; Architecture amd functional description (Release 13),” 2015 ... cứu điều khiển dịch vụ cho mạng vơ tuyến, từ đề xuất kỹ thuật AI, thuật toán việc điều khiển tự chấp nhận dịch vụ mạng 5G 22 CHƯƠNG 2: PHƯƠNG PHÁP CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 2.1 Điều khiển. .. kể chi phí dịch vụ thấp Đề tài ? ?Khảo sát điều khiển chấp nhận dịch vụ mạng 5G? ?? nhằm nghiên cứu thử nghiệm kỹ thuật, thuật toán tự tối ưu chấp nhận dịch vụ việc nâng cao hiệu mạng 5G Tổng quan vấn... 21 CHƯƠNG 2: PHƯƠNG PHÁP CHẤP NHẬN DỊCH VỤ TRONG MẠNG 5G 22 2.1 Điều khiển dịch vụ cho mạng truy cập vô tuyến .22 2.1.1 Kiểm soát điều khiển nhập cell nhiều người dùng