Nghiên cứu xây dựng hệ thống phân tích, điều khiển thông minh cho nghiệp vụ vận hành thiết bị di động

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN CÔNG CHIẾN NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH, ĐIỀU KHIỂN THƠNG MINH CHO NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN Hà Nội – 2022 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN CÔNG CHIẾN NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH, ĐIỀU KHIỂN THÔNG MINH CHO NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01 LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐỖ ĐỨC ĐÔNG Hà Nội – 2022 LỜI CAM ĐOAN Tơi xin cam đoan mơ hình giải pháp “Nghiên cứu xây dựng hệ thống phân tích, điều khiển thơng minh cho nghiệp vụ vận hành thiết bị di động” trình bày luận văn tơi thực hướng dẫn TS Đỗ Đức Đông Tất tham khảo từ nghiên cứu liên quan nêu nguồn gốc cách rõ ràng từ danh mục tài liệu tham khảo luận văn Trong luận văn, khơng có việc chép tài liệu, cơng trình nghiên cứu người khác mà khơng rõ tài liệu tham khảo Học viên Nguyễn Công Chiến i LỜI CẢM ƠN Trước tiên, em xin bày tỏ lòng biết ơn chân thành sâu sắc tới thầy giáo, TS Đỗ Đức Đơng tận tình bảo, hướng dẫn em suốt trình thực đề tài Em xin gửi lời cảm ơn sâu sắc tới quý Thầy Cô Khoa CNTT, trường Đại học Công nghệ, Đại học Quốc gia Hà nội truyền đạt kiến thức quý báu cho em năm học vừa qua Cuối cùng, xin gửi lời cảm ơn chân thành đến tác giả tài liệu mà tơi sử dụng để tham khảo q trình thực đề tài Xin chân thành cảm ơn! ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC HÌNH VẼ v DANH MỤC BẢNG vii DANH MỤC TỪ VIẾT TẮT viii CHƯƠNG 1: TÌM HIỂU VỀ NGHIỆP VỤ VẬN HÀNH THIẾT BỊ 1.1 GIỚI THIỆU VỀ VẬN HÀNH MẠNG DI ĐỘNG 1.1.1 Thiết bị người sử dụng 1.1.2 Mạng truy nhập vô tuyến 1.1.3 Mạng lõi 1.1.4 Các giao diện 1.2 CÁC NGHIỆP VỤ VẬN HÀNH DI ĐỘNG 1.2.1 Giám sát phát bất thường từ hệ thống 1.2.2 Xử lý bất thường hệ thống 1.2.3 Kiểm tra sau xử lý 1.2.4 Kiểm tra định kì 1.2.5 Rà soát tổng hợp báo cáo thiết bị 1.2.6 Rà sốt định kì thơng tin tham số cấu hình theo chuẩn 1.3 BÀI TOÁN TỐI ƯU NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG 1.3.1 Mơ hình thơng minh nhà cung cấp thiết bị 1.3.2 Trường hợp áp dụng thành công 11 CHƯƠNG 2: 13 XÂY DỰNG GIẢI PHÁP THU THẬP, ĐIỀU KHIỂN THÔNG MINH 13 2.1 ĐỀ XUẤT MƠ HÌNH HỆ THỐNG 13 2.2 TỰ ĐỘNG HOÁ VIỆC THU THẬP THÔNG TIN 16 2.2.1 Giải pháp đăng nhập phần tử mạng tự động 16 2.2.2 Giao thức telnet/ssh 16 2.2.3 Giao thức ftp/sftp 18 iii 2.2.4 Quản lý phần tử mạng đăng nhập tự động 19 2.2.5 Cấu trúc thông tin hiển thị thiết bị 20 2.2.6 Cấu trúc file thông tin 22 2.2.7 Biểu thức quy 23 2.2.8 Giải pháp lưu trữ thông tin 25 2.2.9 Lưu trữ log thô 25 2.2.10 Lưu trữ thông tin sở liệu 26 2.2.11 Giải pháp tổng hợp báo cáo 28 2.3 CẤU HÌNH CÁC LUẬT ĐIỀU KHIỂN 30 2.3.1 Giải pháp điều khiển rà sốt cấu hình tự động 31 2.3.2 Giải pháp điều khiển rà soát tham số tự động 36 2.3.3 Giải pháp tối ưu tham số mạng lưới 38 CHƯƠNG 3: 45 ĐÁNH GIÁ HIỆU QUẢ CỦA MƠ HÌNH 45 3.1 PHẠM VI ĐÁNH GIÁ 45 3.2 ĐÁNH GIÁ 46 3.3 SO SÁNH VỚI MƠ HÌNH THƠNG MINH KHÁC 48 3.4 GIẢI PHÁP ĐẢM BẢO ĐỘ TIN CẬY 49 KẾT LUẬN 54 iv DANH MỤC HÌNH VẼ Hình 1.1 Kiến trúc mạng di động vận hành Hình 1.2 Nghiệp vụ giám sát Hình 1.3 Nghiệp vụ xử lý Hình 1.4 Nghiệp vụ kiểm tra sau xử lý Hình 1.5 Nghiệp vụ kiểm tra Hình 1.6 Nghiệp vụ rà soát báo cáo Hình 1.7 Nghiệp vụ rà sốt định kì Hình 1.8 Các mục tiêu vận hành khai thác thông minh Ericsson Hình 1.9 Các giai đoạn chuyển đổi mối quan hệ người máy 10 Hình 1.10 Mơ hình vận hành di động hệ 11 ………………………………………………………………………………………………… Hình 2.1 Các bước giải toán 13 Hình 2.2 Mơ hình khai phá liệu Web 14 Hình 2.3 Mơ hình phần mềm thu thập điều khiển 15 Hình 2.4 Hướng phát triển vận hành khai thác thông minh Ericsson 16 Hình 2.5 Mẫu log ssh 17 Hình 2.6 Thư viện ssh 18 Hình 2.7 Mẫu log sftp 18 Hình 2.8 Thư viện sftp 19 Hình 2.9 Dạng log Nokia 21 Hình 10 Lấy thơng tin Ericsson 21 Hình 2.11 Mẫu log Huawei 22 Hình 12 Mẫu log Huawei 22 Hình 2.13 Mẫu thơng tin file cấu hình 23 Hình 2.14 Sử dụng regex lấy liệu 24 Hình 2.15 Kiểm tra trang regex 25 Hình 2.16 Lưu trữ logfile phần tử mạng để tra cứu kiểm tra 25 Hình 2.17 Trích xuất liệu lưu vào sở liệu 26 Hình 2.18 Mơ hình thu thập thơng tin 27 v Hình 2.19 Lược đồ CSDL quan hệ 28 Hình 2.20 Khai thác liệu từ sở liệu 29 Hình 2.21 Lập trình lấy thơng tin liệu 30 Hình 2.22 Bài tốn so sánh cấu hình 31 Hình 2.23 Luồng so sánh liệu phần tử mạng 32 Hình 2.24 Tổng hợp nhiều liệu 33 Hình 2.25 Ghép bảng liệu 34 Hình 2.26 Các bước xử lý liệu thủ công 35 Hình 2.27 Các bước tổng hợp liệu cấu hình tự động 35 Hình 2.28 Bài tốn so sánh tham số chuẩn 36 Hình 2.29 Code lấy thơng tin tham số 36 Hình 2.30 Luồng liệu so sánh tham số chuẩn 37 Hình 2.31 Các bước xử lý tham số thủ công 37 Hình 2.32 Tự động kiểm sốt tham số tồn trình 38 Hình 2.33 Tối ưu tài ngun vơ tuyến 39 Hình 2.34 Cấu trúc nhiễm sắc thể 40 Hình 2.35 Tối ưu tài nguyên vô tuyến 42 Hình 2.36 Các vịng chọn ứng viên phù hợp 43 ……………………………………………………………………………………………………… Hình 3.1 So sánh với vận hành khai thác thông minh Ericsson 48 Hình 3.2 So sánh với vận hành khai thác thông minh Huawei 49 Hình 3.3 Thay đổi dựa liệu giám sát 50 Hình 3.4 Thay đổi dựa liệu giám sát 51 Hình 3.5 Quản lý tiến trình vào phần tử mạng 52 Hình 3.6 Giao diện kiểm soát liệu 52 ……………………………………………………………………………………………………… vi DANH MỤC BẢNG Bảng 2.1 Bảng thông tin phần tử mạng telnet/ssh 19 Bảng 2.2 Các thơng tin tiến trình tự động lấy file 19 Bảng 2.3 Các cú pháp biểu thức quy 23 Bảng 2.4 Các thông tin lưu trữ sở liệu 26 Bảng 3.1 Đánh giá khả tự động hóa hệ thống 45 Bảng 3.2 Đánh giá hoạt động hệ thống 46 Bảng 3.3 Đánh giá việc giám sát liệu 53 vii DANH MỤC TỪ VIẾT TẮT Từ viết tắt Từ đầy đủ Ý nghĩa CAPEX Capital Expenditure Chi phí vốn OPEX Operating Expenditure Chi phí hoạt động HD High Definition Độ phân giải cao VoLTE Voice over LTE Dịch vụ gọi 4G VHKT Vận hành khai thác Vận hành thiết bị NOC Network Operating Center Trung tâm vận hành mạng IoT Internet of things Mạng liên kết vạn vật AI Artificial Intelligence Trí tuệ nhân tạo UE User Equipment Thiết bị đầu cuối 3G CN Core Network Mạng lõi USIM UMTS Module RNS Radio Network System Hệ thống mạng vô tuyến HE Home Environment Môi trường nhà AuC Authentication Center Trung tâm nhận thực HLR Home Location Register Bộ ghi định vị thường trú EIR Equipment Identity Register Bộ ghi nhận dạng thiết bị SGSN Serving GPRS Support Node Nút hỗ trợ GPRS phục vụ IMSI International Mobile Subsscriber Số nhận dạng thuê bao di động Identity quốc tế Packet - Temporary Mobile Số nhận dạng thuê bao di động Subscriber Identity tạm thời gói Packet Data Protocol Giao thức số liệu P-TMSI PDP Subscriber Identity Mô đun định danh thuê bao viii “Tournament selection” định nghĩa giúp lựa chọn cá thể tốt thể qua việc cạnh tranh FM chúng, thủ tục theo Hình 2.36 Chức lai ghép (Crossover) áp dụng hai cá thể tournament tương ứng Nếu giá trị tạo ngẫu nhiên nhỏ tỷ lệ crossover gen cá thể lấy từ cá thể “Tournament selection” Nếu không lấy gen cá thể thứ hai Khi đó, thu quần thể giả sau crossover cá thể chọn quần thể ban đầu, sơ đồ thể theo Hình 2.35 Khởi tạo quần thể ban đầu Đánh giá FM Đạt giá trị mong muốn Cá thể tốt Thiết lập hàm mục tiêu Lựa chọn Lai ghép Crossover Đánh giá FM Đột biến Mutation Kết Hình 2.35 Tối ưu tài ngun vơ tuyến Hàm đột biến (Mutation) áp dụng quản thể giả tạo từ lai ghép (tách biệt với nhóm tạo từ trình “Elitism”) Nếu giá trị tạo ngẫu nhiên nhỏ tỷ lệ đột biến, việc tạo gen ngẫu nhiên coi hồn thành, việc thu cách làm trịn giá trị tạo trình tạo ngẫu nhiên (dưới dạng tập bit gen nêu trên) Đánh giá FM thu thập cấp hệ qua đó, thu cá thể tốt để chọn lời giải, chi tiết theo Hình 2.36 42 Ind1 Ind2 Ind3 Ind4 Ind5 Nhóm tối ưu ban đầu IndN IndN Khởi tạo quần thể N Ind1 Ind2 Ind3 Ind4 Ind5 Chọn X cá thể ngẫu nhiên Cá thể tốt Chọn X cá thể ngẫu nhiên Cá thể tốt Lai ghép Nhóm tối ưu Quần thể giả pseudo cInd cInd cInd cInd cInd cIndN nIndN Đột biến Nhóm tối ưu nInd nInd nInd nInd nInd Quần thể sinh Hình 2.36 Các vịng chọn ứng viên phù hợp Phương thức lai ghép hai nhóm chọn giải pháp tốt so với kỹ thuật khác Thoát khỏi tối ưu địa phương phát sinh xác suất nhận giải pháp, tỷ lệ đột biến giữ mức thấp cho nhiễm sắc thể con, (1 - 5%) “Elitism” “Tournament selection” sử dụng để lấy hệ quần thể phụ thuộc vào FM Người ta quan sát thấy GA thường đưa giá trị giải pháp tối ưu tối đa 100 hệ 43 Mỗi cấu trúc nhiễm sắc thể riêng biệt (cá thể tạo ra), bit kiểm tra với bit chuỗi tương ứng người dùng thứ cấp ứng viên giải pháp (secondary user), hệ quần thể tiếp tục triển khai hội tụ Nếu cá thể đáp ứng điều kiện trên, cá thể phù hợp nhất, cung cấp giải pháp cho toán Các FM xác định cơng thức (2.1), giá trị w1, w2, w3, w4, w5, w6, w7 trọng số tương ứng với tham số, tham số có chuỗi bit dài có trọng số lớn FM = w1*FB+w2*MOD+w3*BER+w4*DR+w5*PWR+w6*ITPU+w7*TOI (2.1) Theo mơ tìm tham số tối ưu [7], hàm mục tiêu FM cần đạt đến giá trị 30, tập tham số đảm bảo điều kiện tập lời giải toán Về mặt sử dụng tài nguyên, với giá trị FMi (i=1-m) tập user lớn mà tài nguyên chia sẻ phục vụ, tương ứng FMi cho user cần tài nguyên tương ứng f(FMi) có dạng 2𝑇𝑖 , tài nguyên vô tuyến quản lý dạng luỹ thừa 2, với FMi lớn cần tài nguyên lớn, cần cân đối để xếp số user lớn 44 CHƯƠNG 3: ĐÁNH GIÁ HIỆU QUẢ CỦA MƠ HÌNH 3.1 PHẠM VI ĐÁNH GIÁ Dựa quy mô mạng lưới mạng di động Viettel, với 65 triệu thuê bao di động (số liệu năm 2020, google), với quy mô thuê bao vậy, theo tính tốn định cỡ thơng tin di động [5], số thuê bao phục vụ trạm khoảng 1000, số trạm phát song cần thiết 65000 trạm (kèm theo số tương ứng thiết bị truyền tải), tương ứng số phần từ truy nhập 100 RNC, 65 MSC, 30 SGSN Các nhà cung cấp thiết bị lớp dịch vụ gồm Huawei, Ericsson, Nokia, ZTE Các giao thức lệnh/file telnet/ssh ftp/sftp Để tính hiệu hệ thống tự động theo mảng thiết bị tự động hóa Khả tự động hóa đo lường theo nhà cung cấp loại thiết bị, đạt khoảng 83%, chi tiết theo Bảng 3.1 Bảng 3.1 Đánh giá khả tự động hóa hệ thống STT Loại node mạng NodeB RNC MSC/SGSN Nhà cung cấp Khả tự động hóa Huawei OK Ericsson OK Nokia OK ZTE OK (50%, dùng đồ họa GUI) Huawei OK Ericsson OK Nokia OK ZTE NOK (Do dùng đồ họa GUI) Huawei OK Ericsson OK 45 Nokia OK ZTE OK (50%, dùng đồ hòa GUI) 3.2 ĐÁNH GIÁ Đánh giá kết áp dụng thực tế, chi tiết theo Bảng 3.2:  Đăng nhập thiết bị: Dựa kết phân tích Chương 2, thống kê nhà cung cấp thiết bị thực tế giao thức đăng nhập Bảng 3.1, tỷ lệ tự động hóa đăng nhập đạt 80% tổng số loại phần tử  Thu thập thông tin: Tương ứng với việc đăng nhập tự động thành công, việc thủ thập thông tin dạng logfile, dạng file cấu hình đạt tỷ lệ tương ứng 80%  Xử lý thông tin: Việc sử dụng biểu thức quy phân tích đảm bảo phân tích cho liệu có cấu trúc, nhiên lượng nhỏ liệu cấu trúc khó phân tích giá trị có khoảng trắng, có cách dòng  Báo cáo, tổng hợp báo cáo, rà sốt tham số cấu hình: Từ liệu xử lý được, hệ thống hỗ trợ thực báo cáo tự động, cần nhân báo cáo thực thao tác so với nhiều người làm cho nhiều loại phần tử  Kích hoạt xử lý: Việc thực liệu liên kết với hệ thống tác động tự động để tự động hóa việc kích hoạt xử lý, hay điều khiển thơng minh mức đơn giản Bảng 3.2 Đánh giá hoạt động hệ thống STT Các thao tác nghiệp vụ Trước xây Thực tế sau xây dựng dựng thiết bị Đăng nhập thiết bị Thủ công, bán tự động (script) Thu thập thông tin Thủ công, bán tự Tự động 90% (trừ động (macro), cần số log phi cấu trúc, khó xử nhiều người lý), cần người Xử lý thông tin Thủ công, bán tự động, cần nhiều người 46 Tự động 80% (trừ GUI) Tự động 90% (trừ số log phi cấu trúc, khó xử lý), cần người Báo cáo, tổng hợp báo cáo Thủ công, bán tự động, cần nhiều người Tự động, cần người Rà sốt tham số cấu hình Thủ cơng, bán tự động, cần nhiều người Tự động theo nghiệp vụ, cần người Kích hoạt thay đổi cấu hình (tính điều khiển) Thủ cơng Tự động chủ yếu theo nghiệp vụ mức cell, trạm, hạn chế mức tổng đài Kiểm tra thiết bị Thủ cơng Chưa áp dụng nhiều Lưu trữ cấu hình, log Offline, rời rạc, thủ công Tự động Ưu điểm hệ thống xây dựng:  Tính kế thừa tái sử dụng: Dữ liệu thu thập trình bày, đóng gói, làm đầu vào hệ thống thay đổi, khép kín tái sử dụng liệu  Nền tảng đóng gói cơng việc: Trên sở tạo nhiều giao diện cho người dùng thao tác, đơn giản hố việc xây dựng tiến trình thơng minh (thay code trực tiếp, setup lớp ứng dụng), giúp tận dụng kinh nghiệm người dùng Tính cho phép chép thao tác đóng gói giúp chép kinh nghiệm tối ưu  Lan toả phạm vi lớn: Tri thức người lưu trữ lan toả tảng chung thay cơng cụ nhỏ lẻ khó lan toả  Chuẩn hố liệu: Các tri thức tốt chuẩn hoá, làm sở cho việc quản lý liệu chung, thay phân tán biến đổi theo hoạt động cá thể vận hành  Đảm bảo an ninh an tồn, kiểm sốt hành vi mạng lưới: Phần mềm chủ động chặn policy vào phần tử mạng, hạn chế vào phần tử mạng trực tiếp khó kiểm sốt  Khai thác tốt liệu có CSDL chung thay phải trực tiếp vào thiết bị vào Nhược điểm:  Dữ liệu tập trung lớn, nghẽn có nhiều tiến trình xử lý đồng thời 47  Bao quát số lượng phần tử mạng lớn, công việc nhỏ phần tử mạng khó linh hoạt (VD cần update phần tử mạng phải chờ update mạng)  Truy xuất liệu lớn chậm, việc tập trung liệu nhiều thiết bị thuận tiện cho việc khai thác, việc tập trung làm khơng gian tìm kiếm rộng ảnh hưởng tốc độ tổng hợp Bên cạnh việc tối ưu nhân lực việc quản lý liệu, số chức chưa hoàn thiện Việc điều khiển thông minh làm tốt mức cell/NodeB hạn chế mức phần tử mạng lõi mức ảnh hưởng dịch vụ lớn nên cần kết hợp bước đánh giá kĩ sư khơng tự động tồn trình 3.3 SO SÁNH VỚI MƠ HÌNH THƠNG MINH KHÁC So sánh với Ericsson, Hình 3.1: Training Vận hành User Vận hành QL luồng công việc Xử lý PAKH Yearly checklist Hiện Dashboard Thông minh Yêu cầu Công việc HT tương thích Quả lý SLA Auto QL Thiết bị Tối ưu luồng công việc QL Không chạm NOC tự tổ chức Tương lai Hỗ trợ định Tự động tồn trình Vận hành tự động Hình 3.1 So sánh với vận hành khai thác thông minh Ericsson  Việc xây dựng mơ hình thu thập điều khiển thơng minh hướng theo tiêu chí vận hành khai thác thông minh Ericsson với tiêu chí chủ đạo tác động tự động, hỗ trợ định…  Hệ thống Ericsson hoàn thiện phạm vi lớn hơn, với khả xử lý mạnh mẽ việc ứng dụng AI vào việc phân tích CSDL vận hành từ 48 việc khoanh vùng lỗi, tìm nguyên nhân gốc, hỗ trợ định hồn chỉnh [10] So sánh với Huawei, Hình 3.2:  Đối với mơ hình thơng minh nhà cung cấp Huawei, hệ thống thông minh xây dựng dừng mức giảm bớt thời gian lãng phí cho nghiệp vụ vận hành hỗ trợ phần việc định xử lý bất thường Hệ thống chưa xây dựng giao tiếp API để mở rộng khai thác liệu Vai trò Con người Data khai Thác thành tri thức Sắp xếp Thiết kế API query trạng thái Mẫu hình topo Mẫu hình tham số kĩ thuật Mẫu hình lỗi Cây lỗi Logic chẩn dốn Mẫu hình phân tích ngun nhân gốc Mẫu hình dự đốn ngăn ngừa Hình mẫu điều chỉnh API cấu hình mạng lưới API vận hành mạng lưới Phân tích ngăn ngừa Nhận biết xác Ra định nhanh Định vị xác Thực thi xác Vịng tự khơi phục kín Phân tích Tạo định Mẫu hình chuẩn nhiều nguồn data Vai trị Máy móc Nhận thức Đào tạo Phản hồi Thực thi Hình 3.2 So sánh với vận hành khai thác thông minh Huawei  Hệ thống thông minh Huawei hướng đến việc tối ưu thiết bị OSS tập trung hỗ trợ tốt cho thiết bị riêng, tương thích so với thiết bị nhà cung cấp khác 3.4 GIẢI PHÁP ĐẢM BẢO ĐỘ TIN CẬY Đối với hệ thống thông minh hỗ trợ định CSDL lớn, thiếu việc giám sát tiến trình liệu, nhằm đảm bảo tính đầy đủ xác, tránh việc ảnh hưởng tự động hố tồn trình, tiến trình giám sát thể theo Hình 3.3 Tại lớp chuyển liệu theo mơ hình từ trái qua phải, đặt điểm giám sát để đánh giá tỷ lệ chuyển đổi, phát việc chuyển đổi lỗi ngưỡng kích hoạt cảnh báo 49 Tiến trình giám sát Protocol MML vào node mạng Tiến trình giám sát Tiến trình xử lý MML, log DB Tiến trình xử lý File Định nghĩa kiểu liệu File cấu hình, đường dẫn Tiến trình giám sát Các tiêu chuẩn quy hoạch thiết kế nhập vào Tiến trình giám sát Khai thác báo cáo trực tiếp, giảm thời gian tổng hợp lặp lại CSDL hệ thống thông min: lưu trữ thơng tin cấu hình node mạng, bất thường từ node mạng Các nguồn liệu từ phần mềm khác Đưa rule liên kết bất thường hệ thống Tổng hợp báo cáo tuỳ chỉnh DB, giảm thời gian tổng hợp lặp lại Đưa thông tin trigger hệ thống tác động vào node mạng, để điều khiển tiến trình thay đổi thông tin node mạng, nhằm đạt chất lượng dịch vụ tốt Hình 3.3 Thay đổi dựa liệu giám sát Xây dựng luồng liên kết nguyên nhân gốc cảnh báo từ liệu để phân biệt với luồng cảnh báo thiết bị: Các báo cáo chặng giám sát liên kết với nhau, độ ưu tiên cao xảy cảnh báo, để tránh việc cảnh báo sai dẫn đến điều khiển sai phần mềm, cảnh báo không xuất Đặt tiến trình giám sát lớp liệu đảm bảo kích thước chất lượng [18]  Tính đầy đủ / Tính toàn diện: Hỏi trường cần thiết phải điền vào để tập liệu coi hồn chỉnh Ví dụ: Tên địa quan trọng tính đầy đủ liệu, giới tính khách hàng quan trọng  Tính quán: Tất lần lặp lại phần liệu phải giống Lấy ví dụ lưu lượng truy cập web tháng định – báo cáo, tảng bảng tính, số lượt truy cập trang web tháng có giống khơng? Hoặc, có mâu thuẫn liệu không?  Độ xác: Mặc dù tính qn việc có giá trị tất kênh, độ xác đảm bảo giá trị qn xác phản ánh chặt chẽ thực tế kết  Định dạng: Để tránh khơng xác nhầm lẫn, đảm bảo định 50 dạng nhập liệu quán Ví dụ: bạn không muốn nhập năm 2019 số vị trí ’19 vị trí khác 2019  Khung thời gian: Tính kịp thời liệu đề cập đến việc nhà tiếp thị đưa định có thơng tin chi tiết liệu vào thời điểm tối ưu hay không liệu Bạn có liệu cần bạn có tham khảo phiên cập nhật tập liệu không?  Tính hợp lệ / tồn vẹn: Tiêu chí xem liệu tập liệu có tuân theo quy tắc tiêu chuẩn đặt hay không Có giá trị bị thiếu làm tổn hại đến hiệu liệu khiến nhà phân tích khơng nhận mối quan hệ mẫu quan trọng không? Cảnh báo từ CSDL phần mềm Cảnh báo từ tiến trình giám sát Quyết định thay đổi Thực node mạng Cảnh báo từ node mạng Các cảnh báo khác Hình 3.4 Thay đổi dựa liệu giám sát Kiểm sốt tiến trình phân tích liệu thiết bị, đảm bảo không gây nghẽn hay ảnh hưởng đến hiệu thiết bị: Do cấu hình người dùng vào phần tử mạng mở, nên số lượng lớn, định vào tuỳ ý nghẽn dẫn đến ảnh hưởng hiệu phần tử mạng, cần có pool chung phần mềm để đẩy vào phần tử mạng với tần suất vừa đủ, đảm bảo an tồn phần tử mạng, theo sơ đồ Hình 3.5 51 Các tiến trình telnet Process n time/ minutes Các tiến trình ssh Các tiến trình ftp/ sftp Tổng hợp tiến trình (kiểm sốt session xử lý) Process m node/ time Các tiến trình DB Hình 3.5 Quản lý tiến trình vào phần tử mạng Kiểm sốt việc đăng nhập phần tử mạng, đặc thù thiết bị có policy an tồn thơng tin, việc kiểm sốt tài khoản/mật đăng nhập vào thiết bị vừa phải đảm bảo an tồn, vừa khơng bị gián đoạn (hết hạn, mật sai, quyền tài khoản bị giới hạn khơng lấy thơng tin cần thiết) Ngồi với số lượng thiết bị lớn, có nhiều nguy lộ tài khoản vào thiết bị, Hình 3.6 mơ tả bảng thơng tin giá sát tự động Hình 3.6 Giao diện kiểm soát liệu 52 Việc giám sát luồng liệu giúp phát hoạt động bất thường hệ thống thu thập điều khiển, để xử lý kịp thời, đảm bảo cho liệu ln đầy đủ, kịp thời cho tiến trình điều khiển xác, chi tiết theo Bảng 3.3 Bảng 3.3 Đánh giá việc giám sát liệu STT Chỉ số giám sát Hiệu Tồn Số lần đăng nhập lỗi số tiến trình lấy log lỗi Đảm bảo 100% thiết bị đăng nhập truyền nhận log thành công Số lượng kết regex đẩy vào sở liệu thời gian Đảm bảo có liệu đẩy vào thời gian Kiểm tra phần nội dung liệu Số báo cáo tổng hợp liệu từ sở liệu lỗi Đảm bảo 100% tiến trình tổng hợp liệu thành cơng Chưa đảm bảo hồn toàn việc liệu sai 53 KẾT LUẬN Kết đạt luận văn: Luận văn tiến hành nghiên cứu khảo sát giải pháp đề xuất mơ hình khai phá liệu logfile/cấu hình phần tử mạng hệ thống mạng di động nhằm phát liệu tham số cấu hình chưa chuẩn giải pháp điều khiển thay đổi cấu hình tự động đồng sai lệch Luận văn gồm: Pha xây dựng giải pháp thu thập liệu tự động từ bước vào thiết bị, thu thập phân tích log kết tham số cấu hình lưu vào CSDL; Trong Pha giải pháp tạo luồng điều khiển tự động phát bất thường sở tương tác với CSDL Pha nghiên cứu thuật toán tối ưu di truyền để tối ưu tài nguyên hệ thống qua tham số Hai trình kết hợp tạo tảng giúp tự động hố tồn trình cho nghiệp vụ vận hành di động, góp phần tiết kiệm chi phí tăng khả vận hành mạng lưới mở rộng Với mơ hình giúp đánh giá kiểm soát tham số cấu hình hệ thống độ tin cậy Mơ hình tối ưu/mở rộng áp dụng để đạt khả dự đoán vấn đề trước xảy ra,…v.v Định hướng phát triển: Mặc dù trình sử dụng cho kết khả quan, mơ hình cần tiếp tục nghiên cứu phát triển, hoàn thiện để đạt hiệu cao áp dụng vào hệ thống có quy mơ lớn Một số định hướng phát triển cần thực sau:  Tăng cường tính thơng minh để điều khiển hệ thống tự recover, tự phán đoán lỗi  Kiểm sốt độ xác, tin cậy tối ưu tốc độ phân tích liệu  Khả kiểm soát thiết bị tài nguyên tự động, truy vấn trả lời tự động 54 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Hà Quang Thụy, Phan Xuân Hiếu, Đoàn Sơn, Nguyễn Trí Thành, Nguyễn Thu Trang, Nguyễn Cẩm Tú, Giáo trình khai phá liệu web, Nhà xuất giáo dục, Hà Nội, 2009 [2] Nguyễn Hoàng Tú Anh, Giáo trình khai thác liệu ứng dụng, Đại học KHTN TP.HCM, 2009 [3] Nguyễn Chí Thanh Khai phá liệu logfile Phần tử mạng mạng IP nhằm phát công DoS Luận văn Thạc sĩ Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2007 [4] TS Nguyễn Phạm Anh Dũng Công nghệ 3G WCDMA UMTS, 2009 [5] Phạm Cơng Hùng, Nguyễn Hồng Hải, Tạ Vũ Hằng, Vũ Thị Minh Tú, Đỗ Trọng Tuấn, Vũ Đức Thọ, Nguyễn Văn Đức, Giao trình thơng tin di động, Nhà xuất khoa học kỹ thuật, Hà Nội, 2009 Tiếng Anh [6] M Tamer Ưzsu • Patrick Valduriez Principles of distributed database systems Springer New York Dordrecht Heidelberg London, 2011 [7] Durgeshwar Singh, Aishvar Keshari Cognitive Radio Parameter Optimization and Adaptation using Genetic Algorithm Jaypee Institue of Information Technology Noida, 2013 [8] Nokia Siemens Networks Commissioning BSC3i, 2008 [9] Huawei Technologies Co., Ltd., Northbound MML Command Interface Developer Guide, 2009 [10] Ericsson, https://www.ericsson.com/en/blog/2018/6/machine-intelligence-atthe-noc [11] Totn, https://www.techonthenet.com/ [12] Burleson, http://www.dba-oracle.com/ [13] Oracle sở liệu, https://docs.oracle.com/en/cơ sở liệu/ 55 [14] https://khcncongthuong.vn/tin-tuc/t10979/nghien-cuu-ung-dung-mo-hinhmaturity-de-chuyen-doi-sang-cong-nghiep-4-0-cho-cac-dnvvn-tai-vietnam.html [15] Huawei Technologies Co., Ltd., Huawei-Intelligent-Operations, 2020 [16] Bing Liu Web Data Exploring Hyperlinks, Contents, and Usage Data Second Edition Mining Springer-Verlag Berlin Heidelberg 2007, 2011 [17] Các kích thước chất lượng liệu, https://m2tech.buyit.vn/chat-luong-du-lieudata-quality-la-gi/ [18] https://www.gsma.com/futurenetworks/wiki/case-study-china-telecom-2/ [19] https://www.ibm.com/case-studies/t-mobile/ [20] https://aita.gov.vn/to%CC%89ng-quan-ve%CC%80-tieu-chuan-ky-hieu-vamo-hinh-hoa-quy-trinh-nghiep-vu-business-process-modelling-and-notationbpmn-phien-ban-2.0 [21] https://www.sciencedirect.com/topics/computer-science/web-mining [22] https://www.sciencedirect.com/topics/earth-and-planetary-sciences/datamining#:~:text=Data%20mining%20is%20the%20process,as%20well%20as %20nonspatial%20attributes [23] https://www.sciencedirect.com/science/article/abs/pii/S1389128615001346 [24] https://www.sciencedirect.com/science/article/pii/S2352864821000298 56 ... HỌC CÔNG NGHỆ NGUYỄN CÔNG CHIẾN NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH, ĐIỀU KHIỂN THƠNG MINH CHO NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin... SỸ HỆ THỐNG THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐỖ ĐỨC ĐÔNG Hà Nội – 2022 LỜI CAM ĐOAN Tơi xin cam đoan mơ hình giải pháp ? ?Nghiên cứu xây dựng hệ thống phân tích, điều khiển thông minh cho nghiệp. .. khảo mơ hình đó, xây dựng giải pháp cụ thể cho hệ thống thu thập điều khiển thông minh dựa việc tự động hoá tương tác với thiết bị, tự động lấy thơng tin cần thiết, tự động phân tích phát bất