Nghiên cứu mạng tự tổ chức dựa vào thuật toán điều khiển fuzzy q learning

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẶNG PHƢỚC LÂM NGHIÊN CỨU MẠNG TỰ TỔ CHỨC DỰA VÀO THUẬT TOÁN ĐIỀU KHIỂN FUZZY Q-LEARNING LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG Hà Nội - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẶNG PHƢỚC LÂM NGHIÊN CỨU MẠNG TỰ TỔ CHỨC DỰA VÀO THUẬT TOÁN ĐIỀU KHIỂN FUZZY Q-LEARNING Ngành: Công nghệ Điện tử - Viễn thông Chuyên ngành: Kỹ thuật Điện tử Mã số: 60.52.02.03 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ ĐIỆN TỬ - VIỄN THÔNG CÁN BỘ HƢỚNG DẪN: PGS.TS Trịnh Anh Vũ Hà Nội - 2015 LỜI CẢM ƠN Trong trình học tập lớp Cao học Điện tử Viễn thông, Khóa 3, thuộc trường Đại học Công nghệ - Đại học Quốc gia Hà Nội liên kết đào tạo với Đại học Khoa học Đại học Huế hoàn thành luận văn Trước hết cho xin gửi lới cảm ơn chân thành tới PGS.TS.Trịnh Anh Vũ, người thầy tận tình hướng dẫn, giúp đỡ, tạo điều kiện tốt cho suốt thời gian làm luận văn Và xin cảm ơn thầy, cô Khoa Điện tử Viễn thông - trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Khoa Điện tử Viễn thông - trường Đại học Khoa học, Đại học Huế tạo điều kiện giúp đỡ, bảo cho lời khuyên vô quý báu Học viên Nguyễn Đặng Phƣớc Lâm LỜI CAM ĐOAN Tôi xin cam đoan kết trình bày luận văn nghiên cứu hướng dẫn PGS.TS.Trịnh Anh Vũ Các số liệu kết nêu luận văn trung thực chưa công bố công trình khác Hà Nội, ngày 10 tháng năm 2015 Người viết Nguyễn Đặng Phƣớc Lâm MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC .3 DANH MỤC CÁC TỪ VIẾT TẮT DANH MỤC BẢNG .8 DANH MỤC HÌNH VẼ MỞ ĐẦU .10 Đặt vấn đề: 10 Mục đích nghiên cứu: 11 Bố cục đề tài 11 CHƢƠNG TỔNG QUAN HỆ THỐNG THÔNG TIN DI ĐỘNG LTE .13 1.1 Giới thiệu công nghệ LTE 13 1.2 Yêu cầu thúc đẩy 14 1.3 Các giai đoạn phát triển LTE 14 1.4 Mục tiêu LTE 14 1.5 Các đặc tính LTE 14 1.6 Các thông số lớp vật lý LTE 15 1.7 Dịch vụ LTE 16 CHƢƠNG CÁC ĐẶC ĐIỂM CỦA LTE-SON .17 2.1 Cấu trúc mạng LTE-SON .17 2.2 Đặc điểm LTE-SON 17 2.3 Quản lý điều phối SON 18 CHƢƠNG GIẢI PHÁP XỬ LÝ XUNG ĐỘT CỦA CÁC CHỨC NĂNG SON 20 3.1 Phân loại thông số chức SON .20 3.1.1 Thông số giám sát 21 3.1.2 Các thông số kích hoạt 28 3.2 Điều phối xung đột 29 3.3 Các nhóm tham số 30 3.4 Sự thiết lập có trọng số 31 3.5 Tổng quan hệ thống 32 CHƢƠNG PHỐI HỢP QUÁ TRÌNH TỐI ƢU HÓA CHUYỂN GIAO, CÂN BẰNG TẢI VÀ ĐIỀU KHIỂN NHẬP CELL 35 4.1 Mô tả trình HPO, LB, AC 35 4.1.1 Quá trình chuyển giao 35 4.1.2 Tối ưu hóa chuyển giao .37 4.1.3 Cân tải 38 4.1.4 Điều khiển nhập cell 38 4.2 Mối quan hệ lẫn tối ưu hóa chuyển giao, cân tải điều khiển nhập cell 39 4.3 Các thông số giám sát thông số hoạt động HPO, LB AC 41 4.3.1 Các thông số giám sát 41 4.3.2 Các thông số hoạt động .44 4.4 Thuật toán điều khiển Fuzzy Q-Learning để điều chỉnh tham số Hys TTT45 4.4.1 Reinforcement Learning 46 4.4.2 Q-Learning 46 4.4.3 Fuzzy Q-Learning 47 4.4.4 Áp dụng thuật toán điều khiển Fuzzy Q-Learning trình nghiên cứu 48 4.4.4.1 Biến trạng thái biến hoạt động .48 4.4.4.2 Các hàm thành phần 48 4.4.4.3 Hàm trả 51 4.4.4.4 Hệ thống Fuzzy Inference (FIS) .52 4.4.4.5 Cấu trúc hệ thống Fuzzy Inference 54 4.4.4.6 Thuật toán FQLC 55 4.5 Kết hợp thuật toán FQLC Diff_Load 57 4.5.1 Thuật toán Diff_Load 57 4.5.2 Kết hợp thuật toán FQLC Diff_Load .57 CHƢƠNG MÔ PHỎNG VÀ ĐÁNH GIÁ KẾT QUẢ 59 5.1 Tổng quan chương trình mô LTE-Sim 59 5.2 Thông số mô 59 5.3 Kịch mô 61 5.4 Kết mô 61 TÀI LIỆU THAM KHẢO .63 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt 3GPP Tiếng Anh Tiếng Việt 3rd Generation Partnership Project AC Admission Control Điều khiển kiểm soát AC Autonomic Computing Tự tính COD Cell Outage Detection Phát Cell COM Cell Outage Management Quản lý Cell COP Cell Outage Compensation Bù Cell ENB Evolved NodeB Phát triển NodeB EPS Evolved Packet System Hệ thống gói phát triển ES Energy Saving Tiết kiệm lương FDD Frequency Division Duplex Ghép kênh phân chia theo tần số FIS Fuzzy Inference System Hệ thống dự đoán thông minh FL Fuzzy Logic Logic mờ Fuzzy Q-learning Học máy thông minh FQLC Fuzzy Q-learning Control Điều khiển học máy thông minh HeNB Home eNB Trạm gốc HOF Handover Failure Lỗi chuyển giao HOP Handover Optimization Tối ưu hóa chuyển HPP Handover Ping-Pong Chuyển giao Ping-Pong HYS Hysteresis Độ trễ Internet Protocol Giao thức Internet KPI Key performance Indicator Chỉ số hiệu suất LB Load Balancing Cân tải FQL IP LTE Long Term Evolution Công nghệ mạng di động hệ thứ MLB Mobility Load Balancing Cân bàng tải di dộng NCLO Neighbor Cell List Optimization Tối ưu hóa danh sách Cell lân cận NE Network Element Phần tử mạng OAM Operation and Management Hoạt động quản lý OPEX Operating Expenditures Chi phí điều hành Quality of Service Chất lượng dịch vụ RACH Random Access Channel Kênh truy cập ngẫu nhiên RL Reinforcement Learning Học máy RLF Radio Link Failure Lỗi tần số RSRI Reference Signal Received Indicator Chỉ số tín hiệu nhận RSRP Reference Signal Received Power Công suất tín hiệu nhận RSRQ Reference Signal Received Quality Chất lượng tín hiệu nhận SAE Service Architecture Evolution Phát triển cấu trúc dịch vụ SINR Signal to Interference plus Noise Ratio Tỉ số tín hiệu nhiễu SON Self-Organizing Networks Mạng tự tổ chức TDD Time Division Duplex Ghép kênh phân chia theo thời QoS gian TTT Time to Trigger Thời gian Trigger UE User Equipment Thiết bị sử dụng Voice Over IP Truyền giọng nói IP VoIP DANH MỤC BẢNG Bảng 1.1: Các thông số lớp vật lý LTE 15 Bảng 1.2: Tốc độ đạt đỉnh LTE theo lớp 16 Bảng 3.1: Các thông số giám sát thông số kích hoạt chức SON 20 Bảng 3.2: Phân tích thông số giám sát 23 Bảng 3.3: Phân loại tham số quan sát theo nguồn 26 Bảng 3.4: Phân loại thông số giám sát dựa chu kỳ thời gian 27 Bảng 3.5: Các thông số cấu hình 27 Bảng 3.6: Tổng quan thông số kích hoạt cho chức SON khác 28 Bảng 4.1: Các thông số HOP, LB AC 41 Bảng 5.1: Các thông số mô 58 49 dạng tam giác sử dụng để tổng hợp giá trị thành phần tất hàm tương đương với điểm tên miền biến cụ thể Đối với kết đầu ra, trường hợp thông tin cộng thêm kinh nghiệm Gọi ymax ymin giới hạn kết quả, kết đầu phân bố khoảng [ymax, ymin] • Từ phần trên, biết giá trị trễ hợp lệ (Hys) biến thiên [0 dB - 10 dB] với bước nhảy 0,5 dB, kết có 21 giá trị trễ khác Tham số Hys điều chỉnh dựa RLF cell đặc trưng Nếu RLF tăng Hys giảm ngược lại • Thời gian để kích hoạt (TTT) đưa tiêu chuẩn 3GPP (0, 40, 64, 80, 100, 128,160, 256, 320, 480, 512, 640, 1024, 1280, 2560, 5120 ms) Có 16 khả cho giá trị TTT Phụ thuộc vào trường hợp cụ thể riêng mà giá trị Hys TTT giới hạn thiết lập nêu Hình 4.4: Hàm thành phần RLF HPP Hình 4.5: Hàm thành phần HOF 50 51 Phương trình hàm thành phần tính sau: 𝜇(𝑥)𝑙𝑜𝑤 = x≤a b-x a≤x≤b b-a x≥b x-a b-a 𝜇(𝑥)𝑚𝑒𝑑𝑖𝑢𝑚 = c-x c-b 0 𝜇(𝑥)ℎ𝑖𝑔ℎ = (4.5) x-b c-b x≤a a≤x≤b b≤x≤c (4.6) x≥c x≤b b≤x≤c (4.7) x≥b 4.4.4.3 Hàm trả về: Việc trả tức thời cung cấp cho nhân tố thông tin phản hồi hoạt động trước tốt hay xấu Thuật ngữ chất lượng trạng thái (SQ) xác định tổng số thông số giám sát (HOF, RLF, HPP) SQ cao có nghĩa hệ thống hoạt động hiệu Theo biết rằng, lỗi kết nối vô tuyến vấn đề nghiêm trọng mà tất nhà khai thác muốn tránh Đối với HOF & HPP người dùng cuối không nhận phản hồi Nhưng RLF xảy ra, kết nối bị hỏng SQ = w1 * HOF + w2 * RLF + w3 * HPP (4.8) Để có phản hồi tổng quát cho toàn cell thay phản hồi cell, tham số giám sát từ phương trình (4.8) tính giá trị trung bình tất cell Sự khác giá trị SQ trạng thái trạng thái trước xác định giá trị phản hồi: rt+1 = -(SQt+1 – SQt) Như đề cập trên, mục tiêu hệ thống để giảm giá trị KPI nhiều tốt Vì vậy, dấu trừ phương trình để phần phản hồi dương SQ giá trị giảm.Cuối cùng, tất nguồn sử dụng phần phản hồi để cập nhật bảng q cho cặp giá trị trạng thái- hoạt động Nếu hoat động trạng thái trước dẫn đến chất lượng trạng thái tốt (tức giá trị SQ nhỏ hơn), chúng nhận giá trị phản hồi dương, ngược lại chúng nhận giá trị phản hồi âm 52 4.4.4.4 Hệ thống Fuzzy Inference (FIS): Nói chung, quy tắc hệ thống Fuzzy Inference gồm số tùy ý dạng khác quy tắc xây dựng người vận hành AND OR Giả sử hệ thống Fuzzy Inference có quy tắc bao gồm N quy tắc, vector đầu vào X có n phần tử đại diện cho không gian đầu vào, sau quy tắc viết sau: Vectơ đầu vào thời gian t: X = (x1 xn)t Đối với quy tắc i thì: Nếu x1 𝐿𝑖1 x2 𝐿𝑖2 xn 𝐿𝑖𝑛 Thì y 𝑜1𝑖 với q(Li, 𝑜1𝑖 ) = y 𝑜2𝑖 với q(Li, 𝑜2𝑖 ) = y 𝑜𝑘𝑖 với q(Li, 𝑜𝑘𝑖 ) = Trong 𝐿𝑗𝑖 (j=1 n; i=1 N) kí hiệu biến đầu vào xj tham gia vào quy tắc thứ i (thấp, trung bình cao); 𝑜𝑘𝑖 hoạt động đầu thứ k quy luật thứ i, O tập hợp hoạt động K N số lượng quy tắc Li = [𝐿𝑖1 𝐿𝑖𝑁 ] gọi mô hình vector quy tắc i đại diện cho trạng thái điều khiển (ví dụ [L, L, L], [L, H, M], ) q (Li, 𝑜𝑘𝑖 ) giá trị q trạng thái mờ Li hoạt động 𝑜𝑘𝑖 thiết lập lúc bắt đầu thuật toán Tổng số quy tắc phụ thuộc vào số lượng biến vectơ trạng thái đầu vào số lượng hàm thành phần định nghĩa cho biến Như mô tả trên, ta có ba hàm thành phần cho biến, tổng số quy tắc * * = 27 quy tắc hệ thống Fuzzy Inference (N = 27 quy tắc) Kí hiệu biến: - Input 1: HOF: thấp (L), trung bình (M), cao (H) - Input 2: RLF: thấp (L), trung bình (M), cao (H) - Input 3: HPP: thấp (L), trung bình (M), cao (H) - Output 1: Hys - Output 2: TTT Mục tiêu FQLC để tìm kết tốt (đầu ra) cho quy tắc nhằm mở rộng tổng thể phản hồi Vì vậy, việc để xử lý vấn đê biến liên tục, FQLC khắc phục tình trạng thiếu nhân lực chuyên môn giai đoạn thiết kế FIS 53 Việc thực FQLC nhằm đưa số kết luận đối lập với quy tắc Kết luận không sửa đổi, chúng phân tích giai đoạn thăm dò giá trị q cập nhật Trong giai đoạn thai thác, ta chọn có kết tốt số những trường hợp đề xuất Nếu quy tắc xác định xác không hoạt động đầu ra, đủ để xác định quy tắc Trong trường hợp, có phần thông tin thông tin không xác, tập hợp hoạt động có tác dụng tích cực tích hợp FIS.Trong trường hợp xấu nhất, tiên nghiệm thông tin có giá trị tốt tất hoạt động có bao gồm phần tất yếu quy luật Trong luận văn này, giả sử tiên nghiệm thông tin có sẵn cho FQLC, gọi ymin& ymax giới hạn cho kết quả, kết phân bố khoảng [ymin, ymax] Áp dụng lý thuyết với kịch mà đưa ra, có số tiên nghiệm thông tin từ kinh nghiệm chuyên gia, giới hạn số lượng đầu tích cực Giá trị trễ biến thiên đoạn [0dB - 10dB], TTT (0, 40, 64, 80, 100, 128, 160, 256, 320, 480, 512, 640, 1024, 1280,2560, 5120 ms) Các biến đầu vào đầu mô tả vector sau: 𝑥 𝐻𝑂𝐹 𝑎 𝐻𝑦𝑠 = 𝑅𝐿𝐹 = 𝑦 𝑏 𝑇𝑇𝑇 𝑧 𝐻𝑃𝑃 Một số quy tắc FIS trình bày để minh họa cho thuật toán FQLC: 𝐿 𝐻𝑂𝐹 𝑎 𝐻𝑦𝑠 Quy tắc 1: Nếu 𝑅𝐿𝐹 = 𝐿 = với qi = 𝑏 𝑖 𝑇𝑇𝑇 𝐿 𝐻𝑃𝑃 Với a  [1,2,3,4,5] b  [100,160,256,320,480] 𝐿 𝐻𝑂𝐹 𝑎 𝐻𝑦𝑠 Quy tắc 2: Nếu 𝑅𝐿𝐹 = 𝐿 = với qi = 𝑏 𝑖 𝑇𝑇𝑇 𝑀 𝐻𝑃𝑃 Với a  [1,2,3,4,5] b  [0,100,160,320,480] 𝐿 𝐻𝑂𝐹 𝑎 𝐻𝑦𝑠 Quy tắc 3: Nếu 𝑅𝐿𝐹 = 𝐿 = với qi = 𝑏 𝑖 𝑇𝑇𝑇 𝐻 𝐻𝑃𝑃 Với a  [0,1,2,3,4,] b  [0,100,160,320,480] 𝐿 𝐻𝑂𝐹 𝑎 𝐻𝑦𝑠 Quy tắc 4: Nếu 𝑅𝐿𝐹 = 𝑀 = với qi = 𝑏 𝑖 𝑇𝑇𝑇 𝐿 𝐻𝑃𝑃 Với a  [2,3,4,5,6] b  [100,160,320,480,520] 54 Đây số ví dụ quy tắc FIS mà muốn để mô tả cách dễ hiểu cách thức thuật toán FQLC làm việc.Tổng quy tắc 27.Như thấy, giá trị Hys TTT sẵn có giới hạn tập hợp gồm giá trị Kết là, tập hợp hoạt động có giá trị tích cực * = 25 Do bảng giá trị q vector với 25 giá trị (i = 25 cho quy tắc) 4.4.4.5 Cấu trúc hệ thống Fuzzy Inference: Hình 4.6: Cấu trúc hệ thống Fuzzy Infernce Cấu trúc giống mạng lưới điều khiến gồm bốn lớp: lớp đầu vào, hai lớp ẩn (tên mờ hóa Rule evaluation) lớp đầu (được đặt tên lớp giải mờ hóa) Toàn cấu trúc thể hình 4.6 Ba biến đầu vào HOF, RLF, HPP đưa vào lớp đầu vào Sau đó, lớp mờ hóa, mức độ thật tính toán từ hàm thành viên Giả sử đầu vào có tối đa hai giá trị hàm thành viên (L1 & L2) Trong số trường hợp, giá trị (khi ta lấy giá trị low high), đầu lớp mờ hóa cho đầu vào có Trong lớp Rule evaluation, quy tắc xác định Quy tắc kết hợp ba giá trị thật ba biến đầu vào Kết là, tổng số quy tắc cho vector đầu vào cụ thể Nhưng toàn không gian quy tắc 27 cho tất vector đầu vào trạng thái Sau lớp Rule evaluation, bảng đầu Oi xác định Nó bảng gồm 25 giá trị Cuối cùng, lớp giải mờ hóa, đầu tham số HYS TTT tính toán 55 4.4.4.6 Thuật toán FQLC: Thuật toán FQLC bắt đầu cách xác định trạng thái tác nhân nghiên cứu Các vector đầu vào cung cấp mức độ thật hệ thống suy luận mờ với quy luật i sản phẩm giá trị thành phần nhãn trạng thái đầu vào cho quy tắc i: 𝑥 𝐻𝑂𝐹 Input 𝑅𝐿𝐹 = 𝑦 ; 𝑧 𝐻𝑃𝑃 Đối với biến, giá trị thật tính cho nhãn mờ từ phương trình (4.5),(4.6),(4.7): 𝜇𝑙𝑜𝑤 (𝑥); 𝜇𝑚𝑒𝑑𝑖𝑢𝑚 (𝑥); 𝜇ℎ𝑖𝑔ℎ (𝑥); 𝜇𝑙𝑜𝑤 (𝑦); 𝜇𝑚𝑒𝑑𝑖𝑢𝑚 (𝑦); 𝜇ℎ𝑖𝑔ℎ (𝑦); 𝜇𝑙𝑜𝑤 (𝑧); 𝜇𝑚𝑒𝑑𝑖𝑢𝑚 (𝑧); 𝜇ℎ𝑖𝑔ℎ (𝑧); Mức độ thật quy tắc i hệ thống suy luận mờ FIS tính toán sau: 𝛼𝑖 = 𝑛=1 𝜇𝐿𝑖𝑛 (𝑆𝑖 ) (4.9) Ví dụ, trường hợp quy tắc với [HOF, RLF, HPP] = [L, L, L], giá trị thật là: 𝛼1 = 𝜇𝑙𝑜𝑤 (𝐻𝑂𝐹) * 𝜇𝑙𝑜𝑤 (𝑅𝐿𝐹) * 𝜇low (𝐻𝑃𝑃) Cho P tập hợp quy tắc kích hoạt với độ thật không, sau chuỗi đầu (Op)được lựa chọn dựa sách thăm dò, khai thác cho quy tắc kích hoạt: 𝑂𝑝 = argmax𝑘 ∈𝐾 𝑞(𝐿𝑝 , 𝑂𝑝𝑘 ) 𝑟𝑎𝑚𝑑𝑜𝑚𝑘 𝑂𝑝𝑘 với xác suất ε với xác suất - ε (4.10) Với ε cân việc thăm dò khai thác Giá trị có nghĩa không thăm dò, hành động với giá trị q lớn chọn Hoạt động cuối (a (s)) áp dụng FQLC sau tính từ tất hoạt động lựa chọn quy tắc kích hoạt phương trình (4.11).Nó sản phẩm lớp giải mờ hóa a(s) = 𝑝∈𝑃 𝛼𝑝 (s) * 𝑂𝑝 (4.11) Hoạt động cuối kết hợp chuỗi hoạt động quy tắc khác Do đó, mức độ thật ap(st) quy tắc kích hoạt tính vào phương trình (4.11) 56 Giá trị Q (Q(s,a(s))) cho vector trạng thái đầu vào tính toán phép nội suy giá trị Q quy tắc kích hoạt mức độ thật: Q (s, a(s)) = 𝑝∈𝑃𝑠 𝛼𝑝 (s) * q(𝐿𝑝 , 𝑂𝑝 ) (4.12) Áp dụng chuỗi hoạt động a(s), FQLC di chuyển qua chuỗi cho trạng thái St + nhận phản hổi rt + Giá trị trạng thái là: V(st+1)= 𝑝∈𝑃𝑆 𝑡+1 𝛼𝑝 (𝑆𝑡+1 ) * 𝑎𝑟𝑔𝑚𝑎𝑥𝑘∈𝐾 q(𝐿𝑝 , 𝑂𝑝𝑘 ) (4.13) Trong argmaxkK q(Lp, Okp) giá trị q lớn cho quy tắc p Để cập nhật giá trị q, lượng Δ𝑄 định nghĩa khác biệt giá trị cũ giá trị Q(x,a(x)) ∆𝑄 = rt+1 + 𝛾Vt(St+1) – Q(St, a(St)) (4.14) Cập nhật giá trị q sau: qt(Lp, Op) ← qt(Lp, Op) + 𝛽𝛼 p(St)∆𝑄 (4.15) Trong β tỷ lệ học tập nằm khoảng [0,1], xác định ảnh hưởng thông tin kiến thức trước Giá trị có nghĩa học tập nghĩa cácthông tin trọng.là nhân tố khấu hao, nằm khoảng [0,1] Các  nhỏ có tầm quan trọng Toàn thuật toán Fuzzy Q-Learning: Vào thời điểm t, quan sát trạng thái St, cung cấp vector đầu vào [HOF, RLF, HPP] Khởi tạo q(Li, Oik) = với i = 0:26 (số quy tắc); kK (K=25) Đối với quy tắc i, tính toán mức độ thật với trạng thái ban đầu ai(st) Lặp lại từ bước đến bước 11 cho giá trị thời gian t Đối với quy tắc Li, lựa chọn hoạt động Oik với quy tắc EPP Tính toán hoạt động cuối a(st) cho trạng thái st chất lượng tương ứng Q(st, a(st)) Thực hoạt động a(st) quan sát trạng thái a(st+1) phản hồi rt+1 Tính toán mức độ thật trạng thái ai(st+1) Tính toán hàm giá trị trạng thái V(st+1) Tính toán khác giá trị trạng thái trạng thái cũ ΔQ 10 Câp nhật chất lượng qt+1(Lp, Op) 57 11 t ← t+1 Nếu giá trị hội tụ dừng cập nhật 4.5 Kết hợp thuật toán FQLC Diff_Load: Như đề cập trên, việc bổ sung Oc vào thuật toán FQLC thách thức nhiều thời gian hạn chế phần mềm mô LTE-Sim Vì vậy, để điều chỉnh thông số Oc, thuật toán đơn giản cung cấp dựa vào việc đo lường khác biệt tải Hai thuật toán kết hợp lại dựa kiện kích hoạt chuyển giao A3 4.5.1 Thuật toán Diff_Load: Tham số chênh lệch chuyển giao Oc có vai trò quan trọng trường hợp sử dụng cân tải Bằng cách điều chỉnh tham số này, phân phối tải trọng mạng Thuật toán Diff_load cung cấp để thực thay đổi thông số Oc, dựa tải trọng khác biệt cặp tế bào 𝑚𝑖𝑛(𝑂𝐶 (i, j) + ∆𝑂𝐶 , 𝑂𝐶𝑚𝑎𝑥 ) Oc(i, j) = 𝑚𝑎𝑥(𝑂𝐶 (i, j) - ∆𝑂𝐶 , −𝑂𝐶𝑚𝑎𝑥 ) 𝜌𝑗 - 𝜌𝑖 ≥ 𝜌𝑡ℎ𝑟 𝜌𝑖 - 𝜌𝑗 ≥ 𝜌𝑡ℎ𝑟 (4.16) |𝜌𝑖 - 𝜌𝑗 | | < 𝜌𝑡ℎ𝑟 Với Oc (i, j) chuyển giao chênh lệch tế bào i tế bào j, Δ𝑂𝑐 kích thước bước chênh lệch [0.2 dB], 𝑂𝑐𝑚𝑎𝑥 giá trị chênh lệch chuyển giao lớn [10 db], 𝜌i 𝜌j tải trọng tế bào i tế bào j tương ứng, ρthr> mức ngưỡng xác định trước để kích hoạt cân tải (nó thiết lập mức 20% tải trọng khác tế bào) Tế bào i tế bào j gọi SeNB TeNB tương ứng Tất Oc(i, j) khởi tạo Các phương trình (4.16) áp dụng định kỳ (khoảng 20s, khoảng thời gian thay đổi trình mô phỏng) để đo lường tải trọng tế bào Điều quan trọng cần lưu ý giá trị chênh lệch chuyển giao đối xứng Ví dụ Oc(i, j) = - Oc(j, i) điều cần thiết để ngăn chặn trình chuyển giao Ping-Pong 4.5.2 Kết hợp thuật toán FQLC Diff_Load: Các trường hợp tối ưu hóa chuyển giao, cân tải điều khiển nhập cell kết hợp dựa kiện kích hoạt chuyển giao A3 trình bày phương trình (4.17): RSRPTeNB - Oc> RSRPSeNB + Hys| TTT (4.17) Các định mức tải trọng tế bào thiết lập để giá trị cố định (0,9 mô phỏng, thay đổi) Chức điều khiển nhập cell đảm bảo 58 gọi hay gọi chuyển giao cho tế bào bị từ chối tải vượt ngưỡng Thông số Hys TTT điều chỉnh thuật toán FQLC, Oc kích hoạt thuật toán Diff_load Ở FQLC thuật toán chính, Diff_Load thuật toán bổ sung cách thức mà kích hoạt tham số Oc xác 59 CHƢƠNG MÔ PHỎNG VÀ ĐÁNH GIÁ KẾT QUẢ 5.1 Tổng quan chƣơng trình mô LTE-Sim: LTE-Sim simulator chương trình không trả phí theo giấy phép GPLv3 Nó hỗ trợ nhiều chức (ví dụ ứng dụng thời gian thực, xếp giao thức hoàn chỉnh, ), cung cấp kiểm tra hiệu suất hoàn chỉnh hệ thống điện thoại di động LTE LTE-Sim viết C++ tảng Linux Hơn nữa, thử nghiệm sử dụng nhiều báo xuất Chương trình mô LTE-Sim có đầy đủ khía cạnh mạng LTE, bao gồm mạng truy cập vô tuyến mặt đất UMTS phát triển (E-UTRAN) hệ thống gói tin tiên tiến (EPS) Đặc biệt, hỗ trợ môi trường tế bào nhiều tế bào, quản lý chất lượng dịch vụ, môi trường nhiều người dùng, người sử dụng di chuyển, thủ tục chuyển giao, kỹ thuật tái sử dụng tần số Có bốn loại nút mạng mô hình hóa: UE, eNB, HeNB đơn vị quản lý di động (MME/GW) Các tính chương trình mô LTE-Sim cho phép nhà nghiên cứu học viên thử nghiệm kỹ thuật để nâng cao, cải thiện 4G mạng di động, chẳng hạn chức vật lý mới, kiến trúc giao thức mạng cải tiến, chiến lược lập lịch hiệu suất cao, Bản chất mở chương trình cho phép người quan tâm nghiên cứu lĩnh vực để góp phần vào phát triển chương trình, cung cấp tảng tham khảo để thử nghiệm so sánh giải pháp cho hệ thống LTE Trong phần này, trình bày kịch mô tạo cho thuật toán điều phối SON kết mô 5.2 Thông số mô phỏng: Để kiểm tra đánh giá thuật toán đề cập phần trên, kịch mô tạo cách sử dụng phần mền mô LTE-Sim Các thông số mô liệt kê bảng 5.1 Thông tin thêm giả lập tìm thấy viết [1] Bảng 5.1: Các thông số mô Cấu trúc mạng Lưới lục giác với 19 tế bào Khoảng cách cell 1732 m Số lượng UE cell 10 Số lượng cell nhóm 60 Kiểu lưu lượng VoIP + Video cho UE Kiểu lập lịch Proportional Fair Công suất truyền trạm phát (BS) 43 dBm Công suất thiết bị sử dụng (UE) 23 dBm Băng thông hệ thống 10 MHz Suy hao đường truyền L= 128.1 + 37.6log10d (d khoảng cách từ UE đến eNB) Mức nhiễu -148.95 dBm Kiểu ăn ten Ăn ten đa hướng Kiểu di động Đi ngẫu nhiêu Thời gian mô 600 s Cấu trúc khung FDD Thời gian trễ lớn 100 ms Tốc độ thiết bị sử dụng 120 Km/h Ngưỡng tải 0.9 Cấu trúc mạng bao gồm tập hợp tế bào nút mạng (bao gồm eNB, nhiều MME/GW UE), phân bố tế bào Ở thiết lập cấu trúc 19 tế bào 10 thiết bị sử dụng cho tế bào phân bố mạng với thay đổi ngẫu nhiên Có số mô hình lưu lượng xác định mô LTE-Sim, chọn VoIP ứng dụng Video để mô luận văn Nó có nghĩa người dùng nhận lưu lượng VoIP lưu lượng Video Các ứng dụng VoIP tạo lưu lượng tiếng nói G.729 Số lượng tế bào nhóm thiết lập Cơ chế tái sử dụng tần số sử dụng tham số để phân phối băng thông toàn tế bào có sẵn nhóm nhằm cho tất tế bào thuộc nhóm không chồng chéo kênh 61 Cấu trúc khung thiết lập chế độ FDD nơi băng thông chia thành hai phần, cho phép truyền liệu đường xuống đường lên đồng thời Người sử dụng di động thiết lập mẫu ngẫu nhiên Khi ngẫu nhiên sử dụng, UE chọn ngẫu nhiên theo hướng, tốc độ di chuyển cho phù hợp với khoảng cách cho trước Theo mặc định, khoảng cách lại thiết lập đến 1000 m cho tốc độ 120 km/h Thuật toán lập lịch trình thiết lập Proportional Fair Nó gán tài nguyên vô tuyến đến tài khoản thông qua chất lượng kênh trước người sử dụng trước Mục đích để tối đa hóa tổng thông lượng mạng để đảm bảo công dòng lưu lượng 5.3 Kịch mô phỏng: Để đánh giá hiệu hệ thống, thực hai kịch nhằm đánh giá hiệu tác động thuật toán FQLC thuật toán Diff_Load Hai kịch thực sau: - Kịch Reference đề cập đến tình mà thuật toán FQLC thuật toán Diff_Load không kích hoạt - Kịch FQLC + Diff_Load đề cập đến tình mà hai thuật toán FQLC thuật toán Diff_Load kích hoạt 5.4 Kết mô phỏng: Các đồ thị sau đưa tỷ lệ thống kê thông số HOF, RLF, HPP hai kịch Hình 5.1: So sánh hệ số HOF hai kịch 62 Hình 5.2: So sánh hệ số RLF hai kịch Hình 5.3: So sánh hệ số HPP hai kịch Qua ba đồ thị thu được, ta thấy hệ số đánh giá hiệu suất mạng (HOF, RLF, HPP) có kết tốt trường hợp ta áp dụng thuật toán FQLC thuật toán Diff_Load Tỷ lệ lỗi trình chuyển giao tần số, lỗi trình chuyển giao thấp so với kịch không áp dụng thuật toán FQLC thuật toán Diff_Load Đặc biệt tỷ lệ chuyển giao Ping-pong gần không trình hoạt động mạng 63 TÀI LIỆU THAM KHẢO Giuseppe Piro, Luigi Alfredo Grieco, Gennaro Boggia, Francesco Capozzi and Pietro Camarda, ”Simulating LTE Cellular Systems: an Open Source Framework", IEEE Trans Veh Technol., 2010 Muhammad Naseer ul Islam, Andreas Mitschele-Thiel, “Cooperative Fuzzy Q-Learning for Self-Organized Coverage and Capacity Optimization” , 2012 Rouzbeh Razavi, Siegfried Klein, Holger Claussen, “A Fuzzy Reinforcement Learning Approach for Self-Optimization of Coverage in LTE Networks”, Bell Labs Technical Journal, 2010 White Paper “Charting the Course for Mobile Broadband: Heading towards High Performance All-IP with LTE/SAE” Sujuan Feng, Eiko Seidel, “Self-Organizing Networks (SON) in 3GPP Long Term Evolution”, Nomor Research GmbH, Munich, Germany, 2008 http://www.fp7-socrates.eu/ 3GPP TS 36.331 “E-UTRA Radio Resource Control (RRC); Protocol specification (Release 11)” v11.0.0, 06.2012 3GPP TS 36.304 “Evolved Universal Terrestrial Radio Access (E-UTRA); User Equipment (UE) procedures in idle mode” Muhammad Islam, Andreas Mitschele-Thiel, “Reinforcement Learning Strategies for Self Organized Coverage and Capacity Optimization”, Ilmenau University of Technology, Germany 10 SOCRATES, "Final report on Self-Organization and its implications in wireless Access Networks", European Research Project 11 Trịnh Anh Vũ, “Thông tin di động”, NXB Đại học Quốc gia Hà Nội, 2006 12 http://telematics.poliba.it/index.php/en/lte-sim 13 https://groups.google.com/forum/#!forum/lte-sim [...]... việc tự tối ưu hóa mạng là cần thiết Công nghệ mạng tự tổ chức và khả năng tự động hóa các quy trình vận hành của nó là một lựa chọn tối ưu cho các nhà mạng Mạng tự tổ chức cho phép tự động hóa các nhiệm vụ quy hoạch, cấu hình và tối ưu mạng một cách nhanh chóng, giúp tiết kiệm thời gian hơn so với các tiếp cận trước Kết quả là giúp cắt giảm chi phí và đảm bảo khắc phục sự cố nhanh hơn Các nghiên cứu. .. áp dụng cho ba chức năng của SON: tối ưu hóa chuyển giao (HPO), cân bằng tải (LB) và điều khiển nhập cell (AC) được tích hợp Thuật toán Fuzzy Q- Learing Control (FQLC) và thuật toán Diff_Load được đề xuất cho hoạt động tương ứng Thuật toán FQLC trách nhiệm điều chỉnh yêu cầu trễ và thời gian để kích hoạt, trong khi thuật toán Diff_Load sẽ điều chỉnh các tham số chuyển giao bù đắp dựa vào việc đo lường... dùng nhờ chức năng tự phát hiện và sửa lỗi khiến thời gian tạm ngừng dịch vụ giảm đáng kể 2.2 Đặc điểm của LTE-SON: Tự tổ chức là một cơ chế tiên tiến cho phép tự động hóa các hoạt động trong mạng nhằm mục đích: • Giảm chi phí tổ chức và điều hành mạng • Bảo vệ mạng lưới hoạt động bằng cách giảm các lỗi do sự can thiệp của con người trong quá trình xử lý • Tăng tốc quá trình hoạt động Mạng tự tổ chức (SON)... tổ chức dựa vào thuật toán điều khiển Fuzzy Q- Learning 2 Mục đích nghiên cứu: Nhận thức được những thách thức nêu trên, luận văn nêu mục tiêu tham gia việc tìm giải pháp cho vấn đề này Các nhà quản lý hệ thống nhìn nhận rằng hệ thống mạng di động sẽ cần phải tự điều chỉnh và giải quyết vấn đề trong cấu hình của nó cũng như tình trạng hoạt động một cách tự động hóa IBM đã giới thiệu một qui trình để... phân loại chúng Thêm vào đó, khả năng xử lý xung đột của các chức năng SON cũng được trình bày Chương 4: Phối hợp quá trình tối ưu hóa chuyển giao, cân bằng tải và điều khiển nhập cell Nghiên cứu sự phối hợp của quá trình tối ưu hóa chuyển giao, cân bằng tải và điều khiển nhập cell Các thuật toán FQLC và Diff_load cũng được trình bày trong chương này Chương 5: Mô phỏng và đánh giá kết quả Chương này trình... ra quyết định Vì vậy, việc xác định một thuật toán tìm kiếm trực tuyến hoàn toàn tự động rất quan trọng để giải quyết vấn đề 11 Hiện nay, các khái niệm và giải pháp tích hợp SON trong lĩnh vực mạng di động không dây không được mô tả nhiều trong các tài liệu tham khảo Các hệ thống 3GPP đã chỉ mới bắt đầu làm việc trên tiêu chuẩn này Từ những vấn đề trên, tôi chọn đề tài Nghiên cứu mạng tự tổ chức dựa. .. bởi mỗi thuật toán SON Các thông số kỹ thuật SON được xây dựng trên cấu trúc quản trị mạng 3GPP có sẵn Các giao diện quản lý đang được xác định một cách tổng quát thay vào đó là sự đổi mới về việc triển khai nhà cung cấp khác nhau Phiên bản mới nhất của SON cung cấp nhiều thông số kỹ thuật cho mạng và hoạt động đồng thời với các mạng di động hiện có Nó bao gồm các tính năng: • Tự động kiểm kê • Tự động... giá mức độ của tự hành trong hệ thống máy tính Mô hình của nó chia thành bốn loại: tự đặt cấu hình, tự bảo dưỡng, tự tối ưu hóa và tự bảo vệ Kết quả là, hệ thống có thể có khả năng tự động thích ứng với sự thay đổi liên tục của môi trường Dựa trên mô hình IBM tự quản lý mạng (ANM), cấu trúc cho hệ thống điều phối LTE-SON gồm hai khối chính: khối giám sát và khối chạy bộ nhớ kết nối điều phối Cấu trúc... hợp trong cùng một nhóm Các nhóm tham số chức năng có tính chất quan trọng là không có liên quan đến các thông số của các nhóm khác Ví dụ trong hình 3.2, thuật toán A có thể điều chỉnh một hoặc nhiều tham số trong một nhóm mà không cần phải phối hợp hoạt động của mình với một thuật toán C vì thuật toán C được điều chỉnh các thông số của một nhóm khác Do đó, thuật toán A và C có thể được phát triển và... thường • Chức năng tự bảo dưỡng • Giảm thiểu các thử nghiệm ổ đĩa • Tiết kiệm năng lượng Các tiêu chuẩn SON đang được xây dựng và SON sẽ tiếp tục mở rộng trong thời gian tới để tổng quát tất cả các khía cạnh quan trọng liên quan đến quản lý mạng lưới, bảo dưỡng và tối ưu hóa trong nhiều lớp, các mạng không đồng nhất 2.3 Quản lý điều phối SON: Các công việc dựa trên sự chuẩn hoá các chức năng SON được ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐẶNG PHƢỚC LÂM NGHIÊN CỨU MẠNG TỰ TỔ CHỨC DỰA VÀO THUẬT TOÁN ĐIỀU KHIỂN FUZZY Q- LEARNING Ngành: Công nghệ Điện tử - Viễn thông Chuyên... .44 4.4 Thuật toán điều khiển Fuzzy Q- Learning để điều chỉnh tham số Hys TTT45 4.4.1 Reinforcement Learning 46 4.4.2 Q- Learning 46 4.4.3 Fuzzy Q- Learning ... thương mại, việc tự tối ưu hóa mạng cần thiết Công nghệ mạng tự tổ chức khả tự động hóa quy trình vận hành lựa chọn tối ưu cho nhà mạng Mạng tự tổ chức cho phép tự động hóa nhiệm vụ quy hoạch, cấu