Dữ liệu lịch sử, là các bản dữ liệu trước thời điểm hiện tại, được thu thập lại để đánh giá hoạt động của hệ thống theo thời gian, khai thác cho các mục đích tối ưu, tự động hoá.
Dữ liệu vận hành, là các dữ liệu thiết bị được cập nhật mới nhất cho các nghiệp vụ vận hành đã khảo sát ở Chương 1.
Dữ liệu bên ngoài, các nguồn dữ liệu ngồi hệ thống tự động hố, có thể trong cùng hoặc bên ngồi doanh nghiệp, chứa nhiều thơng tin có giá trị có thể sử dụng, được kết nối đến cơ sở dữ liệu chung để khai thác. Hoặc có thể là các dữ liệu theo quy hoạch do người dùng nhập vào.
Dữ liệu lớn, là kho dữ liệu doanh nghiệp, ở đây là kho dữ liệu của hệ thống thơng minh, có thể chia thành nhiều loại cơ sở dữ liệu để tối ưu về truy vấn và quản lý và luồng xử lý.
Các dữ liệu từ 1 đến n, là các luồng dữ liệu theo chức năng được khai thác cho các nghiệp vụ vận hành do người dùng sử dụng hoặc cho các tiến trình tự động khác.
Với mục tiêu điều khiển thông minh, về lược đồ quan hệ cơ sở dữ liệu ngoài quản lý việc thu thập tổ chức dữ liệu, cần bảng chứa thơng tin kích hoạt (trigger) các luồng điều khiển tự động thay cho hành động của người dùng, như Hình 2.19.
28 Nodename NodeID IP Port Protocol Type Vender TaskID Node RegexID Regexname RegexContent TaskID Regex TaskID Taskname TaskMML Tasktype TaskVender Task TaskID RegexID Infoname InfoValue NodeID Result InfoID Infoname TaskID FixValue Info Nodename NodeID Type Vendor Status Content Trigger Hình 2.19. Lược đồ CSDL quan hệ
Bảng Task: Định nghĩa 1 tiến trình tự động vào phần tử mạng lấy các thơng tin, trong đó TaskMML là cấu trúc lệnh cần đẩy vào để lấy thông tin.
Bảng Regex: Định nghĩa biểu thức chính quy lấy thông tin, tổ chức regex sẽ theo cách như hành vi của người dùng, trong log thơng tin cần lấy gì sẽ đánh dấu ký tự đặc biệt vào, ví dụ {}, với phương thức này sẽ là cơng cụ mở để cho người dùng tuỳ chỉnh cấu hình.
Bảng Node: Danh mục phần tử mạng, đi kèm với Protocol là các giao thức telnet/ssh ftp/sftp đã khảo sát và các thuộc tính khác đảm bảo tiến trình phần mềm có thể tự động truy vấn vào phần tử mạng.
Bảng Info: Bảng tham số chuẩn hoá làm tiêu chuẩn kiểm tra, việc so sánh kiểm tra sẽ thực hiện qua các hàm toán học, kết quả so sánh sẽ kích hoạt điều khiển nếu có phát hiện bất thường.
Bảng Result: Bảng kết quả của biểu thức chính quy.
Bảng Trigger: Định nghĩa form thơng tin điều khiển q trình tác động khơi phục dữ liệu bất thường.
2.2.11. Giải pháp tổng hợp báo cáo
Khi đã có dữ liệu phần tử mạng trên CSDL, việc tạo ra các báo cáo trở lên linh hoạt do không phụ thuộc vào phần tử mạng nữa, có thể tuỳ ý tổng hợp dữ liệu
29
của một hay nhiều phần tử mạng, một hay nhiều lớp mạng lại và cho tự động hố hồn tồn để nhưng lần sau hay các nhân sự khác cần thơng tin có thể sử dụng ln mà không cần liên hệ lại kĩ sư thiết bị, giải quyết được khối lượng lớn thời gian vào thiết bị, bằng cách nhúng ngôn ngữ truy vấn SQL như Hình 2.20.
Tiếp nhận Tổng hợp báo cáo và đánh giá Dữ liệu từng loại
thiết bị
Tiếp nhận yêu cầu báo cáo Xử lý thành công? Dữ liệu lịch sử Tổng hợp dữ liệu bằng truy vấn SQL Có Khơng Hồn thành Các nguồn dữ liệu ngồi
Hình 2.20. Khai thác dữ liệu từ cơ sở dữ liệu
Việc sử dụng ngôn ngữ truy vấn cấu trúc trên cơ sở dữ liệu giúp việc tạo các báo cáo linh hoạt, không bị giới hạn do loại thông tin khác nhau do thiết bị như các cách làm cũ. Đồng thời việc tạo cú pháp truy vấn cũng dễ dàng do cơ sở dữ liệu đọc ra từ các regex có chung một cấu trúc. Ví dụ khi cần lấy một báo cáo cell theo phần từ MSC hay RNC, thực hiện query thông tin cell và NodeID ở bảng Result, sau đó map với NodeID và NodeName ở bảng Node để có thơng tin đầy đủ về thiết bị chứa cell, tham khảo đoạn code Hình 2.21.
Các báo cáo thông thường chỉ tạo ra trực tiếp từ dữ liệu node mạng, nhưng với ngơn ngữ truy vấn, có thể tổng hợp nhiều báo cáo thứ cấp của nhiều thiết bị, trên mảng khác nhau, giúp rút ngắn thời gian cho việc phối hợp công việc liên mảng, khi sử dụng cho công tác trả lời tự động sẽ càng hiệu quả.
30
Select Nodename, Cell From (
(Select NodeID,Infoname, Infovalue from( select * from RESULT where TaskID=1111)))
pivot
(max(Infovalue)
for Infoname in (Cell))) Trigger, NODE where NODE.NodeID= Trigger.NodeID
Hình 2.21. Lập trình lấy thơng tin trên dữ liệu
2.3. CẤU HÌNH CÁC LUẬT ĐIỀU KHIỂN
Cơ chế của việc điều khiển thông minh dựa vào mô phỏng hành vi, thao tác của người dùng khi xử lý các bất thường của hệ thống, tương ứng theo mô tả trong phần nghiệp vụ (mục 1.2.2), ánh xạ từ các bước thực hiện thủ cơng sang tự động hố như sau:
Tiếp nhận bất thường và kiểm tra thiết bi: Quá trình này bình thường sẽ do con người đảm nhiệm, nhưng sẽ thay thế bởi máy móc trong mơ hình thơng minh, cụ thể là các tiến trình quét dữ liệu tự động trên cơ sở dữ liệu theo định kì thay thế cho cơng việc rà soát bất thường của kĩ sư, đầu ra của q trình này là dữ liệu có bất thường hay khơng và thuộc đối tượng nào, chi tiết theo mục 2.3.1 và 2.3.2.
Tạo form mẫu theo chuẩn thiết bị: Mỗi thiết bị thực thi các thay đổi theo lệnh dạng ngôn ngữ người-máy theo mẫu nhất định, do đó có thể thay thế bằng hai phần là cú pháp lệnh và đối tượng lệnh kết hợp đẩy vào thiết bị. Hai phần này có thể tổng hợp được tự động từ dữ liệu, chi tiết theo mục 2.3.1 và 2.3.2.
Đẩy thông tin thay đổi vào thiết bị: Kết hợp các yếu tố bất thường, đối tượng, lệnh thực thi đã đủ một kịch bản điều khiển. Khi đó, tiến trình điều khiển
31
thơng minh sẽ quyết định “có” – là thực thi kịch bản khi bất thường, hoặc “không” – là không thực thi khi khơng phát hiện gì.
2.3.1. Giải pháp điều khiển rà sốt cấu hình tự động
So sánh cấu hình cell giữa 2 loại phần tử mạng RNC – các phần tử quản lý truy nhập mạng và MSC – các phần tử quản lý dữ liệu thuê bao thuộc lớp mạng lõi, với dữ liệu huấn luyện là dữ liệu phía RNC, theo Hình 2.22.
PSTN ISDN Internet USIM ME TE Nút B Nút B RNC Nút B Nút B RNC MSC/VLR GMSC EIR HLR/AuC SGSN GGSN UE Uu UTRAN Iu CN
Thực hiện rà soát tự động tham số trên các loại node mạng với nhau
Hình 2.22. Bài tốn so sánh cấu hình
Dữ liệu cần kiểm tra là dữ liệu phía MSC, nếu thiếu so với RNC là mẫu sai sót cần phải có hành động sửa. Đây là dạng nghiệp vụ phổ biến, do giữa các thiết bị có ràng buộc với nhau về mặt khai báo để đảm bảo dịch vụ, quá trình này khi thực thi thủ công sẽ tốn nhiều công sức và dễ sai sót, và khơng thường xun. Nhưng khi chuyển sang tiến trình làm việc trên dữ liệu sẽ rà quét liên tục dựa trên năng lực của máy móc nên tốc độ xử lý tăng lên, việc sai sót cũng theo đó được cải thiện.
Việc khai thác CSDL theo nghiệp vụ từ các dữ liệu (data1, data2, data3) ở Pha 1 chính là chìa khố cho việc trigger các điều khiển thông minh vào phần tử mạng để thực hiện các thay đổi mong muốn một cách tự động hố hồn tồn theo các các luật do người vận hành “dạy” cho hệ thống thơng minh, các dịng dữ liệu ở bài tốn như mơ tả trong Hình 2.23. Các dịng dữ liệu từ các RNC và MSC thành phần được
32
gom lại thành hai nhóm, sau đó dùng phép ghép bảng để chỉ ra phần sai lệch cần kích hoạt cơ chế xử lý, khơi phục.
RNC1 RNC2 RNCn Dữ liệu chuẩn RNC1, Cell1, LAC, CI RNC2, Cell2, LAC, CI RNCn, Celln, LAC, CI MSC1 MSC2 MSCm Dữ liệu ví dụ MSC1, Cell1, LAC, CI MSC2, Cell2, LAC, CI MSCm, Cellm, LAC, CI
Kiểm tra dữ liệu, kích hoạt khơi phục
Hình 2.23. Luồng so sánh dữ liệu phần tử mạng
Dựa trên lược đồ cơ sở dữ liệu quan hệ và cấu trúc sử dụng ngôn ngữ truy vấn để tổng hợp bảng cấu hình cell của RNC và MSC, các lệnh cấu hình theo mẫu truy vấn sau, ngoài việc chọn các giá trị chính cần so sánh, cần sử dụng các điều kiện trong ngôn ngữ để lọc được tập đầu vào chính xác cho việc so sánh, theo Hình 2.24. Sự xuất hiện kết quả của đoạn truy vấn dữ liệu này tương đương với việc có một dữ liệu đang chưa đúng kèm theo giá trị đúng cần có là gì, từ đó kích hoạt một kết nối vào thiết bị để thực thi việc bổ sung dữ liệu đúng.
33
Select Nodename, Cell, LAC , CI
From ((Select NodeID,Infoname, Infovalue from( select * from RESULT where TaskID=1111)))
pivot(max(Infovalue)
for Infoname in (Cell1, LAC, CI))) Trigger, NODE where NODE.NodeID= Trigger.NodeID
and Type = RNC
--Tổng hợp bảng cấu hình MSC
Select Nodename, Cell, LAC , CI
From ((Select NodeID,Infoname, Infovalue from( select * from RESULT where TaskID=2222)))
pivot(max(Infovalue)
for Infoname in (Cell1, LAC, CI))) Trigger, NODE where NODE.NodeID= Trigger.NodeID
and Type = MSC
Hình 2.24. Tổng hợp nhiều dữ liệu
So sánh hai cấu hình với nhau để tìm ra sai lệch, trong việc so sánh này cần lưu ý tổ hợp so sánh phải là duy nhất (ở đây là cụm Cell||LAC||CI). Kết quả so sánh khi hiển thị chính xác thêm điều kiện “not null” để đảm bảo lọc ra được kết quả mong muốn, theo Hình 2.25.
Đây là bài tốn cần rà sốt hàng ngày trong mạng di động, tập khai báo trên node MSC phải bao trùm tập khai báo trên các node RNC, nếu không sẽ ảnh hưởng dịch vụ. Ở đây sẽ xây dựng giải pháp thông minh kết hợp so sánh với phương pháp cũ để thấy ưu điểm của phương pháp mới.
34
Select MSC, RNC, Cell, LAC, CI
from(Select a2.MSC, a1.RNC, a1.Cell, a1.LAC, a1.CI, a2.Cell||a2.LAC||a2.CI CheckInfo
from(Select Nodename RNC, Cell, LAC , CI
From ((Select NodeID,Infoname, Infovalue from( select * from RESULT where TaskID=1111))
pivot(max(Infovalue)
for Infoname in (Cell1, LAC, CI))) Trigger, NODE where NODE.NodeID= Trigger.NodeID
and Type = RNC )a1,
(Select Nodename MSC, Cell, LAC , CI
From ((Select NodeID,Infoname, Infovalue from( select * from RESULT where TaskID=2222))
pivot(max(Infovalue)
for Infoname in (Cell1, LAC, CI))) Trigger, NODE where NODE.NodeID= Trigger.NodeID
and Type = MSC )a2
where a1.Cell||a1.LAC||a1.CI=a2.Cell||a2.LAC||a2.CI (+) )where CheckInfo is null
Hình 2.25. Ghép các bảng dữ liệu
Với bài toán này, theo cách làm cũ, kĩ sư cần thực hiện lặp lại nhiều bước thủ công qua việc đăng nhập từng thiết bị để trích xuất dữ liệu, sau đó ghép các dữ liệu theo cấu trúc chuẩn rồi mới so sánh để tìm ra sai khác, chưa kể cả việc vận dụng các cơng cụ local cũng sẽ khó lưu trữ và lan toả cho các người khác dùng, chưa kể thời gian đáp ứng chậm.
35
Tiếp nhận Xử lý dữ liệu Kiểm tra vấn đề Vào từng thiết bị
lấy thơng tin cấu hình
Tiếp nhận yêu cầu kiểm tra
Phát hiện bất thường? Xử lý dữ liệu từng cấu hình và gom thành mẫu chuẩn
Kiểm tra các mẫu dữ liệu để phát hiện bất thường
Có Khơng
Hình 2.26. Các bước xử lý dữ liệu thủ cơng
Với mơ hình tự động hoá đã xây dựng, việc thực thi sẽ thể hiện sự tự động hố tồn trình, Hình 2.26 và 2.27 thể hiện sự thay đổi.
Tiếp nhận Tổng hợp báo cáo và điều khiển Dữ liệu node
RNC trên CSDL
Tiếp nhận yêu cầu
báo cáo Có dữ liệu bất thường? SQL tổng hợp so sánh cấu hình tự động trên CSDL Y N
Giao diện cho người dùng có thể crosscheck manual
Kích hoạt cảnh báo tự động lên màn hình giám sát
Kích hoạt tiến trình khơi phục tự động
Dữ liệu MSC trên CSDL
36
2.3.2. Giải pháp điều khiển rà soát tham số tự động
Đối với việc thu thập và kiểm sốt tham số, khối lượng cịn lớn hơn nhiều dữ liệu rà sốt, đồng thời trong mơ hình cũ một số thiết bị lớp cell/NodeB khơng những mất thời gian lấy thơng tin cịn cần khoảng thời gian để ra các yêu cầu thay đổi theo quy trình, việc tìm hiểu và so sánh các bước thực hiện để thấy hiệu quả vượt trội của hệ thống mới, Hình 2.28, 2.29 và 2.30 thể hiện sơ đồ so sánh tham số theo chuẩn.
PSTN ISDN Internet USIM ME TE Nút B Nút B RNC Nút B Nút B RNC MSC/VLR GMSC EIR HLR/AuC SGSN GGSN UE Uu UTRAN Iu CN Nguồn dữ liệu tham số chuẩn do người dùng định nghĩa Các tham số thiết bị lấy từ hệ thống
Hình 2.28. Bài tốn so sánh tham số chuẩn Select NodeB, InfoName, Infovalue
From ((Select Infoname, Infovalue from( select * from RESULT where TaskID=3333)))
pivot(max(Infovalue)
for Infoname in (NodeB, InfoName, Infovalue))) FLIP_ID, INFO
where INFO.TASKID= FLIP_ID.TASKID and INFO.Infoname= FLIP_ID.Infoname and INFO.Fixvalue != FLIP_ID.Infovalue
37
Giao diện định nghĩa tập dữ liệu chuẩn
NodeB, Tham số 1, Giá trị1 NodeB, Tham số 2, Giá trị2 NodeB, Tham số n, Giá trịn
NodeB1
NodeB2
NodeBm
Dữ liệu ví dụ
NodeBx, Tham số 1, Giá trị1 NodeBx, Tham số 2, Giá trị2 NodeBx, Tham số n, Giá trịn
Kiểm tra dữ liệu ví dụ
Hình 2.30. Luồng dữ liệu so sánh tham số chuẩn
Việc xử lý các file dữ liệu lớn (file dữ liệu hàng Gigabyte và số lượng đến vài chục triệu bản ghi mỗi ngày) địi hỏi các cơng cụ và máy tính local mạnh hơn, nhưng kết quả rất khó kiểm tra lại, trong khi tần suất làm việc thấp.
Tiếp nhận Xử lý dữ liệu Kiểm tra vấn đề Vào từng OSS
lấy thông tin cấu hình NodeB
Tiếp nhận yêu cầu kiểm tra
Phát hiện bất thường? Xử lý dữ liệu lớn để ra tham số cell/NodeB Kiểm tra, so sánh dữ liệu để phát hiện bất thường Có Khơng
38
Bằng việc sử dụng tiến trình đọc file tự động hàng ngày có thể lấy ra các thơng tin tham số trên CSDL, từ đó chỉ cần bổ sung thêm giao diện với kĩ sư để định nghĩa các giá trị chuẩn và trỏ sang phần mềm giám sát và phần mềm tác động có thể tự động hố tồn trình, giúp cho việc tối ưu chất lượng mạng ở lớp cell/trạm nhanh hơn, mang lại trải nghiệm tốt hơn cho khách hàng, theo Hình 2.31 và 2.32.
Tiếp nhận Tổng hợp báo cáo và điều khiển
Tiếp nhận yêu cầu báo cáo Có dữ liệu bất thường? SQL tổng hợp so sánh cấu hình tự động trên CSDL Có Khơng
Giao diện cho người dùng có thể crosscheck manual
Kích hoạt cảnh báo tự động lên màn hình giám sát
Kích hoạt tiến trình khơi phục tự động Thu thập và lưu
trữ dữ liệu lớn tự động từ các OSS
Hình 2.32. Tự động kiểm sốt tham số tồn trình
2.3.3. Giải pháp tối ưu tham số trong mạng lưới
Đối với việc quản lý một mạng lưới ngày càng phức tạp trọng mạng viễn thông, với tài nguyên hệ thống là hữu hạn nhưng phục vụ một số lượng khách hàng và dịch vụ ngày càng lớn trên phạm vi địa lý trải dài. Do đó, ln đặt ra bài tốn tối ưu tài nguyên hệ thống bằng việc lựa chọn các tham số, cấu hình phù hợp ở các lớp mạng, lớp dịch vụ, giao diện, môi trường mạng… để hiệu suất sử dụng là tối ưu nhất. Với kho dữ liệu đã thu thập được bằng nền tảng hệ thống thơng minh là cơ sở sử dụng các thuật tốn tối ưu phần mềm nhằm đưa ra nhưng lời giải tốt nhất.
Ở đây chúng ta xem xét cách xây dựng mơ hình tối ưu qua một bài tốn tối ưu tài nguyên cụ thể, đó là việc sử dụng tối ưu tài nguyên vô tuyến qua các tham số của môi trường vô tuyến [7]. Trong bối cảnh số thiết bị ngày càng gia tăng của việc phát