nghiên cứu xây dựng hệ thống phân tích điều khiển thông minh cho nghiệp vụ vận hành thiết bị di động

Với những thách thức đó, việc sử dụng các mô hình vận hành truyền thống dựa trên kinh nghiệm và quy trình và các công cụ rời rạc đang đã đến giới hạn của năng lực khi chủ yếu dựa trên co

Trang 1

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN CÔNG CHIẾN

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH, ĐIỀU KHIỂN THÔNG MINH CHO NGHIỆP VỤ VẬN HÀNH THIẾT BỊ

70Thursday, June 13, 20249:59:23 PM9:59:23 PM70Thursday, June 13, 20249:59:23 PM9:59:23 PM70Thursday, June 13, 20249:59:23 PM9:59:23 PM

thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

70thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehThursday, June 13, 2024

Trang 2

ĐẠI HỌC QUỐC GIA HÀ NỘI

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

NGUYỄN CÔNG CHIẾN

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH, ĐIỀU KHIỂN THÔNG MINH CHO NGHIỆP VỤ VẬN HÀNH THIẾT

BỊ DI ĐỘNG

Ngành: Hệ thống thông tin

Chuyên ngành: Hệ thống thông tin Mã số: 8480104.01

LUẬN VĂN THẠC SỸ HỆ THỐNG THÔNG TIN

NGƯỜI HƯỚNG DẪN KHOA HỌC: TS ĐỖ ĐỨC ĐÔNG

Hà Nội – 2022

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

Trang 3

LỜI CAM ĐOAN

Tôi xin cam đoan mô hình giải pháp “Nghiên cứu xây dựng hệ thống phân tích, điều khiển thông minh cho nghiệp vụ vận hành thiết bị di động” được trình bày trong luận văn này do tôi thực hiện dưới sự hướng dẫn của TS Đỗ Đức Đông

Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu nguồn gốc một cách rõ ràng từ danh mục tài liệu tham khảo trong luận văn Trong luận văn, không có việc sao chép tài liệu, công trình nghiên cứu của người khác mà không chỉ rõ về tài liệu tham khảo

Trang 4

LỜI CẢM ƠN

Trước tiên, em xin bày tỏ lòng biết ơn chân thành và sâu sắc tới thầy giáo, TS Đỗ Đức Đông đã tận tình chỉ bảo, hướng dẫn em trong suốt quá trình thực hiện đề tài

Em xin gửi lời cảm ơn sâu sắc tới quý Thầy Cô trong Khoa CNTT, trường Đại học Công nghệ, Đại học Quốc gia Hà nội đã truyền đạt kiến thức quý báu cho em trong những năm học vừa qua

Cuối cùng, xin gửi lời cảm ơn chân thành đến những tác giả của các tài liệu mà tôi đã sử dụng để tham khảo trong quá trình thực hiện đề tài

Xin chân thành cảm ơn!

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 5

1.2.5 Rà soát tổng hợp các báo cáo về thiết bị 6

1.2.6 Rà soát định kì thông tin tham số cấu hình theo chuẩn 7

1.3 BÀI TOÁN TỐI ƯU NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG 7

1.3.1 Mô hình thông minh của các nhà cung cấp thiết bị 8

Trang 6

2.2.4 Quản lý phần tử mạng đăng nhập tự động 19

2.2.5 Cấu trúc thông tin hiển thị của thiết bị 20

2.2.6 Cấu trúc file thông tin 22

2.2.7 Biểu thức chính quy 23

2.2.8 Giải pháp lưu trữ thông tin 25

2.2.9 Lưu trữ log thô 25

2.2.10 Lưu trữ thông tin trên cơ sở dữ liệu 26

2.2.11 Giải pháp tổng hợp báo cáo 28

2.3 CẤU HÌNH CÁC LUẬT ĐIỀU KHIỂN 30

2.3.1 Giải pháp điều khiển rà soát cấu hình tự động 31

2.3.2 Giải pháp điều khiển rà soát tham số tự động 36

2.3.3 Giải pháp tối ưu tham số trong mạng lưới 38

CHƯƠNG 3: 45

ĐÁNH GIÁ HIỆU QUẢ CỦA MÔ HÌNH 45

3.1 PHẠM VI ĐÁNH GIÁ 45

3.2 ĐÁNH GIÁ 46

3.3 SO SÁNH VỚI MÔ HÌNH THÔNG MINH KHÁC 48

3.4 GIẢI PHÁP ĐẢM BẢO ĐỘ TIN CẬY 49

Trang 7

DANH MỤC HÌNH VẼ

Hình 1.1 Kiến trúc mạng di động và vận hành 1

Hình 1.2 Nghiệp vụ giám sát 3

Hình 1.3 Nghiệp vụ xử lý 4

Hình 1.4 Nghiệp vụ kiểm tra sau xử lý 5

Hình 1.5 Nghiệp vụ kiểm tra 6

Hình 1.6 Nghiệp vụ rà soát báo cáo 6

Hình 1.7 Nghiệp vụ rà soát định kì 7

Hình 1.8 Các mục tiêu vận hành khai thác thông minh Ericsson 9

Hình 1.9 Các giai đoạn chuyển đổi mối quan hệ người máy 10

Hình 1.10 Mô hình vận hành di động thế hệ mới 11

Hình 2.1 Các bước giải quyết bài toán 13

Hình 2.2 Mô hình khai phá dữ liệu Web 14

Hình 2.3 Mô hình phần mềm thu thập điều khiển 15

Hình 2.4 Hướng phát triển vận hành khai thác thông minh của Ericsson 16

Hình 2 10 Lấy thông tin Ericsson 21

Hình 2.11 Mẫu log Huawei 1 22

Hình 2 12 Mẫu log Huawei 2 22

Hình 2.13 Mẫu thông tin trong file cấu hình 23

Hình 2.14 Sử dụng regex lấy dữ liệu 24

Hình 2.15 Kiểm tra trên trang regex 25

Hình 2.16 Lưu trữ logfile phần tử mạng để tra cứu và kiểm tra 25

Hình 2.17 Trích xuất dữ liệu lưu vào cơ sở dữ liệu 26

Hình 2.18 Mô hình thu thập thông tin 27702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 8

Hình 2.19 Lược đồ CSDL quan hệ 28

Hình 2.20 Khai thác dữ liệu từ cơ sở dữ liệu 29

Hình 2.21 Lập trình lấy thông tin trên dữ liệu 30

Hình 2.22 Bài toán so sánh cấu hình 31

Hình 2.23 Luồng so sánh dữ liệu phần tử mạng 32

Hình 2.24 Tổng hợp nhiều dữ liệu 33

Hình 2.25 Ghép các bảng dữ liệu 34

Hình 2.26 Các bước xử lý dữ liệu thủ công 35

Hình 2.27 Các bước tổng hợp dữ liệu cấu hình tự động 35

Hình 2.28 Bài toán so sánh tham số chuẩn 36

Hình 2.29 Code lấy thông tin tham số 36

Hình 2.30 Luồng dữ liệu so sánh tham số chuẩn 37

Hình 2.31 Các bước xử lý tham số thủ công 37

Hình 2.32 Tự động kiểm soát tham số toàn trình 38

Hình 2.33 Tối ưu tài nguyên vô tuyến 39

Hình 2.34 Cấu trúc nhiễm sắc thể 40

Hình 2.35 Tối ưu tài nguyên vô tuyến 42

Hình 2.36 Các vòng chọn ứng viên phù hợp 43

………

Hình 3.1 So sánh với vận hành khai thác thông minh của Ericsson 48

Hình 3.2 So sánh với vận hành khai thác thông minh của Huawei 49

Hình 3.3 Thay đổi dựa trên dữ liệu giám sát 50

Hình 3.4 Thay đổi dựa trên dữ liệu giám sát 51

Hình 3.5 Quản lý tiến trình vào phần tử mạng 52

Hình 3.6 Giao diện kiểm soát dữ liệu 52

………702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 9

DANH MỤC BẢNG

Bảng 2.1 Bảng thông tin phần tử mạng telnet/ssh 19

Bảng 2.2 Các thông tin của tiến trình tự động lấy file 19

Bảng 2.3 Các cú pháp cơ bản của biểu thức chính quy 23

Bảng 2.4 Các thông tin cơ bản lưu trữ trên cơ sở dữ liệu 26

Bảng 3.1 Đánh giá khả năng tự động hóa hệ thống 45

Bảng 3.2 Đánh giá hoạt động của hệ thống 46

Bảng 3.3 Đánh giá việc giám sát dữ liệu 53702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 10

DANH MỤC TỪ VIẾT TẮT

CAPEX Capital Expenditure Chi phí vốn

OPEX Operating Expenditure Chi phí hoạt động

VoLTE Voice over LTE Dịch vụ gọi trên 4G VHKT Vận hành khai thác Vận hành thiết bị

NOC Network Operating Center Trung tâm vận hành mạng IoT Internet of things Mạng liên kết vạn vật AI Artificial Intelligence Trí tuệ nhân tạo

USIM UMTS Subscriber Identity Module

Mô đun định danh thuê bao

RNS Radio Network System Hệ thống mạng vô tuyến

AuC Authentication Center Trung tâm nhận thực HLR Home Location Register Bộ ghi định vị thường trú EIR Equipment Identity Register Bộ ghi nhận dạng thiết bị SGSN Serving GPRS Support Node Nút hỗ trợ GPRS phục vụ IMSI International Mobile Subsscriber

Identity

Số nhận dạng thuê bao di động quốc tế

P-TMSI Packet - Temporary Mobile Subscriber Identity

Số nhận dạng thuê bao di động tạm thời gói

PDP Packet Data Protocol Giao thức số liệu

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 11

RA Routing Area Vùng định tuyến

VLR Visitor Location Register Bộ ghi định vị tạm thời GGSN Gateway GPRS Support Node Nút hỗ trợ cổng GPRS IMEI International Mobile Equipment

KPI Key Performance Indicator Chỉ số hoạt động quan trọng BPMN Business Process Modelling and

Trang 12

LỜI MỞ ĐẦU Lý do chọn đề tài

Trong kỷ nguyên 5G, các nhà mạng đang đầu tư rất nhiều vào việc xây dựng cơ sở hạ tầng Đồng hành với sự tăng trưởng của CAPEX (chi phí vốn), OPEX (chi phí hoạt động) tăng mạnh (hơn 20% trong 5 năm) [15], trong khi các nhà khai thác hiện tại tốc độ tăng trưởng doanh thu dưới 1% trên toàn thế giới Theo thống kê, OPEX chiếm 74% trong số doanh thu của các nhà khai thác, tăng trưởng doanh thu hiện tại đã không thể chống đỡ áp lực chi phí ngày càng tăng Trong tương lai, giảm chi phí hoạt động sẽ trở thành một trong những động lực quan trọng cho sự chuyển đổi công nghệ

Bên cạnh đó, các sản phẩm và dịch vụ kinh doanh dựa trên công nghệ mới liên tục được tung ra (Internet vạn vật, video phân giải cao, thoại trên 4G, dịch vụ đám mây… v.v.), yêu cầu các hoạt động mới về hệ thống và quy trình Thời gian triển khai các sản phẩm và dịch vụ mới này cần phải nhanh và đáp ứng nhu cầu kịp thời Là một trong những yếu tố thúc đẩy kinh doanh chính, các hoạt động mạng phải có tính linh hoạt và hiệu quả tốt để thích ứng với các yêu cầu của hoạt động kinh doanh thay đổi trong tương lai, đồng thời mạnh mẽ trong việc đảm bảo chất lượng và hiệu suất mạng

Một môi trường mạng với khả năng tùy chỉnh linh hoạt, khác biệt và chất lượng cao của các dịch vụ hoạt động sẽ là yếu tố chính để cải thiện trải nghiệm khách hàng và lòng trung thành của khách hàng Kèm theo đó là sự phức tạp dẫn đến tần suất lỗi cao và làm tăng đáng kể độ khó giải quyết của chúng Công tác vận hành, bảo trì mạng không chỉ đòi hỏi hiệu quả và chi phí hoạt động được tối ưu hóa mà còn phải bao gồm các mô hình hoạt động thông minh để hỗ trợ dịch vụ viễn thông đa dạng và không đồng nhất của tương lai

Với những thách thức đó, việc sử dụng các mô hình vận hành truyền thống dựa trên kinh nghiệm và quy trình và các công cụ rời rạc đang đã đến giới hạn của năng lực khi chủ yếu dựa trên con người, cần một giải pháp xây dựng một hệ thống tự động hoá như được đề xuất trong luận văn hướng đến các nền tảng tập trung và các tính chất thông minh, bằng việc chuyển từ tương tác thiết bị sang tương tác với

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 13

dữ liệu, vận dụng các ưu điểm của công nghệ phần mềm tạo ra các tiến trình có thể mô phòng hành vi, lưu trữ tri thức người dùng khi vận hành mạng di động

Cơ sở khoa học và thực tiễn của đề tài

Trong kỷ nguyên số, cùng với sự phát triển của hệ thống viễn thông, công nghệ phần mềm cũng có nhiều bước tiến lớn, cung cấp các nền tảng vững chắc cho việc thu thập, quản lý, tương tác dữ liệu bằng các tiến trình thông minh thay cho việc khai thác thiết bị truyền thống một cách trực tiếp

Kho dữ liệu là một loại quản lý dữ liệu hệ thống được thiết kế để cho phép và

hỗ trợ kinh doanh thông minh, đặc biệt là phân tích Kho dữ liệu chỉ nhằm mục đích thực hiện các truy vấn, phân tích và thường chứa một lượng lớn dữ liệu Dữ liệu trong đó được lấy từ nhiều nguồn từ các phần mềm, ứng dụng như: phần mềm bán hàng, phần mềm kế toán, phần mềm nhân sự, phần mềm chấm công, phần mềm chăm sóc khách hàng, hệ thống lõi ngân hàng,… v.v

Khả năng phân tích kho dữ liệu cho phép các tổ chức thu được những hiểu biết kinh doanh có giá trị để cải thiện việc ra quyết định Theo thời gian, nó xây dựng một hồ sơ lịch sử có thể là vô giá đối với các nhà khoa học dữ liệu và nhà phân tích kinh doanh

Khai phá dữ liệu là một quá trình được các công ty sử dụng để biến dữ liệu

thô thành thông tin hữu ích Bằng cách sử dụng phần mềm để tìm kiếm các mẫu hình trong một lượng dữ liệu lớn, các doanh nghiệp có thể hiểu rõ hơn về khách hàng của mình, nhờ đó phát triển các chiến lược tiếp thị hiệu quả hơn, giảm chi phí và tăng doanh số bán hàng

Khai phá dữ liệu phụ thuộc vào khả năng thu thập dữ liệu, lưu trữ và xử lý máy tính hiệu quả Các quy trình khai phá dữ liệu được dùng để xây dựng các mô hình học máy đằng sau những ứng dụng như công nghệ, công cụ tìm kiếm và các chương trình đề xuất

Mục tiêu của luận văn

Khảo sát các nghiệp vụ vận hành mạng di động, nghiên cứu các mô hình thông minh của Huawei và Ericsson, đưa ra đề xuất xây dựng hệ thống thông minh, dựa trên việc thu thập, quản lý và khai thác một cách hợp lý các nguồn dữ liệu lớn từ thiết bị di động có hỗ trợ các giao thức telnet/ssh và ftp/sftp, giúp đáp ứng tốt hơn

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 14

các nghiệp vụ vận hành mạng di động, nâng cao hiệu suất công việc Hệ thống sẽ được xây dựng ở dạng nền tảng mở cho người dùng tự định nghĩa dữ liệu cần thu thập, xử lý, qua đó sẽ lưu trữ được tri thức, kinh nghiệm quý của người dùng dưới dạng dữ liệu để phát triển trong tương lai

Phần còn lại của luận văn được cấu trúc như sau: Chương 1 thực hiện việc khảo sát các nghiệp vụ vận hành mạng di động, các bất cập hiện tại và tìm hiểu các mô hình thông minh Trong Chương 2 đưa ra giải pháp xây dựng hệ thống tự động hoá, thông minh hoá để giải quyết vấn đề đã nêu ra ở Chương 1 Sau đó, Chương 3 sẽ thực hiện đánh giá lại mô hình đã xây dựng, ưu điểm và nhược điểm Cuối cùng là phần kết luận tóm tắt kết quả đã đạt được và nêu ra những tồn tại, dựa vào đó để đưa ra những mục tiêu và phương hướng phát triển cho hệ thống sau này

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 15

Từ các máy tính người dùng được kết nối qua mạng nội bộ đến các thiết bị thuộc các lớp vô tuyến, truy nhập, mạng lõi, các yêu cầu vận hành sẽ được thể hiện qua các cấu trúc lệnh gửi vào thiết bị qua các giao thức đăng nhập Mô hình và các phần tử mạng như Hình 1.1 [1]

Trang 16

1.1.1 Thiết bị người sử dụng

Thiết bị người sử dụng (User Equipment – UE) là đầu cuối mạng di động của người sử dụng Có thể nói đây là phần hệ thống có nhiều thiết bị nhất và sự phát triển của nó sẽ ảnh hưởng lớn lên các ứng dụng và các dịch vụ khả dụng Giá thành giảm nhanh chóng sẽ tạo điều kiện cho người sử dụng mua thiết bị đầu cuối Điều này đạt được nhờ tiêu chuẩn hóa giao diện vô tuyến và cài đặt mọi thông tin tại các thẻ thông minh

1.1.2 Mạng truy nhập vô tuyến

Mạng truy nhập vô tuyến mặt đất UMTS (UMTS Terrestrial Radio Access Network – UTRAN) là liên kết giữa người sử dụng và mạng lõi Nó gồm các phần tử đảm bảo truyền thông mạng di động trên vô tuyến và điều khiển chúng

UTRAN được định nghĩa giữa hai giao diện Giao diện giữa UTRAN và mạng lõi, gồm hai phần: Giao diện cho miền chuyển mạch gói IuPS và cho miền chuyển mạch kênh IuCS; giao diện giữa UTRAN và thiết bị người sử dụng là Uu Giữa hai giao diện này là hai nút, nút truy nhập vô tuyến RNC và nút B

1.1.3 Mạng lõi

Mạng lõi được chia thành ba phần gồm: miền chuyển mạch gói PS, miền chuyển mạch kênh CS và môi trường nhà HE Miền chuyển mạch gói đảm bảo các dịch vụ số liệu cho người sử dụng bằng các kết nối đến Internet và các mạng số liệu khác và miền chuyển mạch kênh đảm bảo các dịch vụ điện thoại đến các mạng khác bằng các kết nối kênh phân chia theo thời gian Các nút B trong mạng lõi được kết nối với nhau bằng đường trục của nhà khai thác, thường sử dụng các công nghệ mạng tốc độ cao trên nền giao thức IP Mạng đường trục trong miền chuyển mạch kênh sử dụng truy nhập phân chia thời gian còn trong miền chuyển mạch gói sử dụng IP

1.1.4 Các giao diện

Vai trò các các nút khác nhau của mạng chỉ được định nghĩa thông qua các giao diện khác nhau Các giao diện này được định nghĩa chặt chẽ để các nhà sản xuất có thể kết nối các phần cứng khác nhau của họ

 Giao diện Cu: Giao diện Cu là giao diện chuẩn cho các thẻ thông minh Trong

UE đây là nơi kết nối giữa USIM và UE

thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 17

 Giao diện Uu: Giao diện Uu là giao diện vô tuyến của WCDMA trong UMTS

Đây là giao diện mà qua đó UE truy nhập vào phần cố định của mạng Giao diện này nằm giữa nút B và đầu cuối

 Giao diện Iu: Giao diện Iu kết nối UTRAN và CN Nó gồm hai phần, IuPS

cho miền chuyển mạch gói, IuCS cho miền chuyển mạch kênh CN có thể kết nối đến nhiều UTRAN cho cả giao diện IuCS và IuPS Nhưng một UTRAN chỉ có thể kết nối đến một điểm truy nhập CN

 Giao diện Iur: Đây là giao diện RNC-RNC Ban đầu được thiết kế để đảm

bảo chuyển giao mềm giữa các RNC, nhưng trong quá trình phát triển nhiều

tính năng mới được bổ sung

 Giao diện Iub: Giao diện Iub nối nút B và RNC Khác với mạng di động thế

hệ thứ hai GSM đây là giao diện mở

1.2 CÁC NGHIỆP VỤ VẬN HÀNH DI ĐỘNG 1.2.1 Giám sát và phát hiện bất thường từ hệ thống

Tiếp nhận Kiểm tra Tạo vấn đề xử lý

Vào thiết bị kiểm tra thông

tin phản ánh Theo dõi màn hình giám sát

 Phản ánh khách hàng Phản ánh KPI

 Phát hiện vấn đề liên quan?

Tạo một mã vấn đề để lưu lịch sử

xử lý

Bộ phận tiếp nhận để xử lýCó

 Ra giải pháp xử lý hoàn thiện

Trang 18

Đầu tiên là công tác giám sát như Hình 1.2, công tác này do bộ phận giám sát thực hiện, tổ chức trực 24/7, khi tiếp nhận các thông tin bất thường ảnh hưởng đến hoạt động phần tử mạng và dịch vụ sẽ thực hiện kiểm tra hoạt động phần tử mạng để tạo vấn đề xử lý, các mô tả theo sơ đồ tiêu chuẩn mô hình hoá doanh nghiệp BPMN (Business Process Modelling and Notation) [20]

Các nguồn phản ánh bất thường có thể qua theo dõi chủ động trên các màn hình giám sát, các phản ánh từ khách hàng, phản ánh chỉ số chất lượng dịch vụ (Key Performance Indicatior – KPI) Các bất thường này đều dẫn đến thiết bị cần kiểm tra sơ bộ, nhằm xác định vấn đề vào tạo luồng công việc để xử lý

1.2.2 Xử lý các bất thường của hệ thống

Sau bộ phận giám sát là các kĩ sư chuyên môn sẽ đánh giá phương pháp xử lý, lấy thông tin cấu hình hiện trạng và tạo các mẫu chuẩn tương ứng để ra các quyết định tác động vào thiết bị nhằm xử lý bất thường, theo Hình 1.3

Tiếp nhận Kiểm tra Xử lý vấn đềVào thiết bị

kiểm tra cấu hình Tiếp nhận thông tin bất

thường của hệ thống

 Xử lý thành công?Tạo mẫu đầu

vào theo chuẩn của thiết bị

Đẩy mẫu tác động vào thiết bị để xử

lý vấn đề

Trang 19

Các quá trình kiểm tra ở đây sâu hơn ở bước giám sát, không chỉ xác nhận lại vấn đề mà còn cần tìm ra cách giải quyết và cách thực hiện giải pháp đó trên mạng lưới, quá trình này đều dựa trên các tập lệnh/hành động có tính lặp lại và có cấu trúc, có thể tự động hóa được

1.2.3 Kiểm tra sau xử lý

Các tác động khôi phục lỗi thiết bị sẽ được kiểm tra lại để đảm bảo các thay đổi/điều chỉnh đã hoạt động tốt Theo Hình 1.4, mục đích kiểm tra là bước để xác nhận lại hệ thống đã trở lại bình thường sau khi thực thi giải pháp khắc phục lỗi Đây là bước quan trọng vì các hành động tác động vào mạng lưới luôn có thể có các ảnh hưởng dây chuyền không mong muốn đến khách hàng

Tiếp nhận Kiểm tra Đánh giáVào thiết bị

kiểm tra hoạt động, cấu hình Đã xử lý xong bất thường,

thường?Theo dõi thiết bị

Trang 20

Tiếp nhận Kiểm tra Đánh giáVào thiết bị

kiểm tra hoạt động, tham số,

Hình 1.5 Nghiệp vụ kiểm tra

Việc kiểm tra theo định kì có thể thực hiện theo ngày, tuần, tháng, sáu tháng và hàng năm, hoặc kiểm tra khi có yêu cầu phát sinh Các kịch bản kiểm tra tương ứng được xây dựng trên các tập lệnh/hành động xác định

1.2.5 Rà soát tổng hợp các báo cáo về thiết bị

Ngoài bộ máy vận hành, có rất nhiều các đơn vị chức năng khác trong bộ máy nhà mạng viễn thông không làm việc trực tiếp với thiết bị nhưng lại cần các thông tin trên đó, khi đó người kĩ sư cũng phải lặp lại hành động vào phần tử mạng (node mạng) và xử lý thông tin rồi trả cho các đơn vị chức năng, như Hình 1.6

Tiếp nhận Tổng hợp báo cáo Đánh giá

Vào thiết bị lấy dữ liệu thô và xử

lý thành báo cáo

bảo sử dụng

 Hoàn thành

Hình 1.6 Nghiệp vụ rà soát báo cáo

Trang 21

Việc kiểm tra dữ liệu là một hành động lặp lại tần suất cao gây lãng phí thời gian cho người vận hành, đặt ra yêu cầu tổng hợp dữ liệu bằng hệ thống tự động thu thập, sắp xếp và có thể nâng cấp lên mức trả lời tự động

1.2.6 Rà soát định kì thông tin tham số cấu hình theo chuẩn

Bên cạnh việc kiểm tra hoạt động phần cứng định kì, việc rà soát tham số cấu hình phần tử mạng cũng thường xuyên diễn ra và thực hiện trên phạm vi dữ liệu lớn, đòi hỏi nhiều thời gian công sức, mô tả theo Hình 1.7

Tiếp nhận Tổng hợp báo cáo Đánh giáVào thiết bị lấy dữ

liệu thô và xử lý thành báo cáo, ghép

các báo cáo thành báo cáo lớn Yêu cầu số liệu

từ các đơn vị khác

 Báo cáo đảm bảo sử dụng

 Hoàn thành

Hình 1.7 Nghiệp vụ rà soát định kì

Hạng mục rà soát tham số với số đối tượng nhiều nhất và cần nhiều thời gian nhất, bản chất việc sử dụng các công cụ thủ công và bán tự động không bao quát được nghiệp vụ này một cách liên tục mà chỉ theo các dịp lễ, Tết do cần nhiều nguồn lực, các khoảng thời gian khác thường đang mất kiểm soát

1.3 BÀI TOÁN TỐI ƯU NGHIỆP VỤ VẬN HÀNH THIẾT BỊ DI ĐỘNG

Với hiện trạng đang có, theo thống kê các công tác vận hành cần một chi phí rất lớn, chiếm 75% doanh thu của nhà mạng [15] Trong kỷ nguyên 5G và cách mạng 4.0, khi số lượng thiết bị, kết nối dịch vụ gia tăng đến mức nhất định sẽ dẫn đến tình trạng mất kiểm soát do chi phí quá cao, đồng thời cũng đang kéo theo những vấn đề lãng phí, cụ thể là các yếu tố sau:

 Về nhân lực: Sử dụng nhiều thiết bị của các nhà cung cấp khác nhau, mỗi nhà cung cấp có giao diện và tập lệnh vận hành khác nhau (cùng vận hành các đối tượng giống nhau về chức năng) nên cần nhiều người vận hành hơn

Trang 22

 Về tri thức: Quá trình vận hành cần đào tạo nhiều nhân viên kĩ năng tốt, khi nhân viên đó di chuyển vị trí công tác lại đào tạo từ đầu các nhân viên mới, và các tri thức kinh nghiệm không được kế thừa triệt để

 Về hiệu năng: Quá trình vận hành thiết bị, tương tác qua máy tính có rất nhiều hành động cơ bản lặp lại, không có giá trị công việc (VD: Khai báo thông tin, cần lấy dữ liệu để tổng hợp thành dạng nhất định, đưa vào công cụ để đẩy ra các lệnh khai báo, hành động lấy và tổng hợp dữ liệu lặp lại và lãng phí thời gian, chỉ có hành động khai báo là có giá trị)

 Về mô hình: Khi xây dựng mở rộng mạng lưới hoặc một mạng mới ở nước ngoài, sẽ gặp các vấn đề tương tự, làm gia tăng chi phí vận hành

Để giải quyết các vấn đề trên, các mô hình thông minh đã được các nhà cung cấp thiết bị lớn như Ericsson và Huawei đã xây dựng Trong bài luận ở đây, sẽ tham khảo các mô hình đó, xây dựng giải pháp cụ thể cho một hệ thống thu thập điều khiển thông minh dựa trên việc tự động hoá tương tác với thiết bị, tự động lấy các thông tin cần thiết, tự động phân tích phát hiện các bất thường và kích hoạt các hành động khôi phục bất thường

Việc xây dựng hệ thống cũng cần đảm bảo các yêu cầu sau để tối ưu nguồn lực và giải quyết các vấn đề đã đặt ra:

 Thực hiện trên nền tảng mở, để khi có các phần tử mạng mới trong mạng lưới sẽ tích hợp được ngay vào các luồng tự động này mà không tốn thêm nhiều nỗ lực phát triển

 Cho phép kĩ sư thiết bị trực tiếp định nghĩa/cấu hình các nghiệp vụ thu thập/xử lý thông tin trên thiết bị, qua đó đóng gói/lưu trữ/chuẩn hoá/lan toả các tri thức vận hành

1.3.1 Mô hình thông minh của các nhà cung cấp thiết bị

Nhà cung cấp Ericsson đã thực hiện nghiên cứu và chia sẻ mô hình phát triển của hệ thống thông minh, trên cơ sở phát triển khả năng của hệ thống tự tổ chức, tự tương thích và ra quyết định toàn trình [10], với các đặc trưng như Hình 1.8 Trong hình này chỉ rõ mô hình vận hành tương lai sẽ không còn các yếu tố về quy trình, luồng công việc, thể hiện mối quan hệ với con người, thay vào đó sẽ là các yếu tố máy móc toàn trình, có khả năng tự đánh giá, điều chỉnh, ra quyết định

Trang 23

Hiện tại

Thông minh

NOC tự tổ chứcHT tương

Auto QLThiết bị

Quản lýkhông chạm

Vận hành tự động

Hỗ trợ quyết định

Tự động toàn trìnhTraining

Vận hành

Yearly checklist

UserVận hành

QL luồng công việc

Yêu cầuCông việc

Quả lý SLAXử lý

Tối ưu luồng công việc

Hình 1.8 Các mục tiêu vận hành khai thác thông minh Ericsson

 Bảng hiển thị thông minh (Dashboard): Tự kiểm soát các chỉ số hiệu năng, sức khoẻ của hệ thống

 Trung tâm điều hành (Network Operating Center - NOC) tự tổ chức: Các quá trình phát hiện, phân công xử lý lỗi tự động

 Hệ thống (HT) tương thích: Kiểm soát, phân bổ tài nguyên chủ động theo yêu cầu dịch vụ

 Tự động quản lý (Auto QL) thiết bị: Tự động dò các liên kết thiết bị

 Tự động toàn trình, vận hành tự động và quản lý không chạm: Các vấn đề được xử lý mà không cần con người tham gia

Bên cạnh đó, nhà cung cấp Huawei chia sẻ cách làm và cách chuyển đổi bộ máy từ mô hình hiện tại sang mô hình thông minh, với sự chuyển đổi của việc kết hợp “con người + quy trình” sang mô hình “con người + máy móc” và tiến đến việc máy móc tự động hoàn toàn [15], sự kết hợp giữa “con người + máy móc” thể hiện trong Hình 1.9

 Khi trí tuệ nhân tạo (AI) tiếp tục phát triển và ngày càng đóng vai trò quan trọng trong hoạt động, việc quản lý hoạt động mạng sẽ đang chuyển từ mô hình "con người + quy trình" truyền thống sang mô hình hợp tác mới "con người + máy móc" Trong mô hình hợp tác "người + máy", máy móc hỗ trợ các hoạt động bằng cách áp dụng các thuật toán AI và học máy cho các tập thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 24

dữ liệu lớn được thu thập bởi các công cụ hỗ trợ vận hành, đồng thời mô phỏng hoạt động của con người, như nhận dạng mẫu, phân tích và giải thích dữ liệu

 Mô hình hợp tác "người + máy" cung cấp các hoạt động quản lý giúp giải phóng nhân viên vận hành khỏi các nhiệm vụ lặp đi lặp lại và thường xuyên [15] Con người với kinh nghiệm độc đáo và kỹ năng phán đoán sẽ được chuyển đổi thành dữ liệu và sau đó được đưa vào cơ sở kiến thức Các khả năng học máy sẽ tạo thành vòng khép kín của khả năng tự quyết định và tự thực hiện Kết quả là, sự hội tụ kinh nghiệm sâu sắc của con người và máy học sẽ tạo ra khả năng không giới hạn cho các hoạt động vận hành mạng lưới

Thu thập thông tin Tự động lấy thông tin

Tự quyết định, tự thực thi, Tự động hoá

automationKhai thác tri thức

nội bộ, giám sát ra quyết định

Khai thác tri thức nội bộ, ra quyết định

Khai thác và sử dụng dữ liệu

Con người

Dữ liệu

Máy móc

Tri thức

Phân tích dữ liệu

Hình 1.9 Các giai đoạn chuyển đổi mối quan hệ người máy

Các lợi ích của mô hình kết hợp người và máy:

 Nâng cao chất lượng dịch vụ: Theo độ phức tạp của dữ liệu và công việc tăng lên, mô hình người + máy giúp nâng cao chất lượng các công việc về quy hoạch thiết bị, trải nghiệm dịch vụ và hiệu suất mạng lưới Thời gian mở dịch vụ được cải thiện, linh hoạt trong việc đáp ứng yêu cầu của khách hàng Về mặt trải nghiệm người dùng, các vấn đề hiệu suất mạng được phát hiện kịp thời, giám sát và phát hiện sớm các phản ánh khách hàng, quản lý sơ đồ mạng lưới tự động Các lỗi liên quan đến thiết bị, các bất thường về cấu hình cũng được chủ động theo dõi bằng máy móc, theo Hình 1.10

 Giảm chi phí vận hành: Mô hình giúp quản lý tốt quy mô và hiệu quả của thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 25

việc vận hành khai thác Các truy nhập phần tử mạng tràn lan được giảm bớt, nhưng vẫn đảm bảo các số lượng và chất lượng các báo cáo về mạng lưới các dịch vụ, nội dung các thông tin cũng được quản lý qua các bộ lọc, giảm dữ liệu và thao tác thừa Thời gian cho việc tổng hợp các báo cáo giảm xuống, việc sử dụng hệ thống tập trung giúp chia sẻ các báo cáo được dễ dàng, nội dung thống nhất

API query trạng thái

Mẫu hình topoMẫu hình tham sốkĩ thuật

Mẫu hình lỗiCây lỗi

Logic chẩn doánMẫu hình phân tích nguyên nhân gốc

Mẫu hình dự đoán ngăn ngừaHình mẫu điều

API cấu hình mạng lưới

API vận hành mạng lưới

Nhận thứcPhân tíchTạo quyết địnhThực thiSắp xếpThiết kếĐào tạoPhản hồiVai trò

Con người

Vai tròMáy móc

Mẫu hình chuẩn nhiều nguồn data

Phân tích ngăn ngừaNhận biết chính xác

Ra quyết định nhanhĐịnh vị chính xác

Thực thi chính xácVòng tự khôi phục kín

Hình 1.10 Mô hình vận hành di động thế hệ mới

Các nhà cung cấp thiết bị xây dựng hệ thống với đầy đủ các tiêu chí nhưng có xu hướng tương thích tốt nhất với thiết bị của họ và không cung cấp giải pháp cụ thể, do liên quan đến việc thương mại hoá Trong phạm vi nghiên cứu của đề tài ở đây sẽ giải quyết bài toán bằng các giải pháp cụ thể và có thể tương thích tốt nhất với phần lớn các loại thiết bị

1.3.2 Trường hợp áp dụng thành công

Việc triển khai áp dụng kết hợp trí tuệ nhân tạo, các mô hình thông minh trong mạng viễn thông cũng đã được áp dụng ở nhiều nhà mạng, mang lại hiệu quả cao Đó là các tình huống thực tế hỗ trợ định hướng nghiên cứu giải pháp phù hợp trong bài luận

Trường hợp 1: Nhà mạng T-mobile của Mỹ [19], đã ứng dụng trí tuệ nhân tạo vào quản lý mạng lưới, xử lý 90% tổng khối lượng cảnh báo thông qua một phần mười quy mô của hệ thống dự kiến Tất cả các cảnh báo đều đến thông qua một đầu thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 26

dò duy nhất mà không có sự chậm trễ hoặc lỗi, trong khi hệ thống quản lý khác tồn tại trong mạng yêu cầu mười cổng dò cho cùng một khối lượng và gặp phải nhiều lỗi do sự chậm trễ xử lý Chất lượng mạng cũng được nâng cao cho dù độ phức tạp tăng lên gấp đôi

Trường hợp 2: Theo nhà cung cấp Huawei [15], đã cung cấp giải pháp mạng thông minh cho một nhà khai thác viễn thông lớn ở Đông Nam Á bao gồm mạng cố định và di động, với 2 triệu người dùng mạng cố định và 65 triệu người dùng mạng di động, khi họ gặp vấn đề về chất lượng mạng khi mở rộng mạng, sau khi áp dụng giải pháp đã mang lại các hiệu quả rõ rệt: Thời gian khắc phục lỗi (mean time to repair – MTTR) giảm 30% – 35% Người dùng phàn nàn giảm 10% Các yêu cầu công việc phối hợp giảm 5% – 20%

Trường hợp 3: Theo nhà mạng China Telecom [18], đã ứng dụng giải pháp sử dụng hiệu quả tài nguyên truy nhập vô tuyến Khi môi trường vô tuyến, cấu trúc mạng, hành vi của người dùng và sự phân bổ của người dùng liên tục thay đổi, mạng cần phải tối ưu hóa và giám sát liên tục Trí tuệ nhân tạo được áp dụng để phân tích hoạt động mạng đa dạng để xác định nhanh chóng và chính xác các trường hợp ngoại lệ, dự đoán xu hướng mạng và đưa ra các đề xuất sửa chữa kịp thời

Trang 27

Cuối cùng, toàn bộ kịch bản trở thành một tiến trình thông minh với tích hợp cao, đạt được các hoạt động thông minh khép kín Các nhân viên vận hành có thể dần dần chuyển trọng tâm của họ từ các hoạt động vận hành tẻ nhạt sang khám phá nhu cầu, xác định và thực hiện các nhiệm vụ chính khác

2.1 ĐỀ XUẤT MÔ HÌNH HỆ THỐNG

Các bước xây dựng sẽ gồm 2 pha: Pha 1 là quá trình tự động hoá việc tương tác với phần tử mạng (đăng nhập, lấy thông tin) và lưu trữ vào cơ sở dữ liệu (CSDL), đây chính là quá trình thu thập trong bài luận Pha 2 là định nghĩa các luật để hệ thống tự động kiểm soát dữ liệu mới định kì, phát hiện bất thường và kích hoạt kịch bản khôi phục bất thường đó, đây là quá trình điều khiển thông minh, theo cơ chế lưu trữ và thực hiện đúng hành vi của người vận hành

Giải pháp đăng nhập tự động

thiết bị

Giải pháp thu thập thông tin tự

Giải pháp lưu trữ thông tin

Giải pháp tổng hợp

báo cáo, điều khiển

Hình 2.1 Các bước giải quyết bài toán

Về cấu trúc, các chức năng cần có của hệ thống, có tính chất tương tự như

Bing Liu đã đề cập trong khai phá dữ liệu web [16], cơ chế thực hiện thu thập thông

tin từ các phần tử mạng tương tự như cơ chế khai thác web được đề cập, với việc xây dựng các thư viện giao thức để tương tác với các website, lấy ra thông tin thô, thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 28

xử lý thành thông tin cần thiết, chuẩn hoá và đưa ra hành vi khách hàng và có các giải pháp khai thác hợp lý, theo Hình 2.2

Mô đun tiền xử lý

Báo cáo

OK ?

Hình 2.2.Mô hình khai phá dữ liệu Web

Ánh xạ từ các mô đun của khai phá dữ liệu web [16, 311], các chức năng thu thập thông tin web tương ứng các bộ xử lý giao thức vào thiết bị, việc tách dữ liệu thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 29

web tương ứng với biểu thức chính quy, tiến trình lưu trữ khai thác dữ liệu khách hàng tương ứng việc tính năng điều khiển Trên cơ sở các nghiên cứu trên, mô hình đề xuất để giải quyết bài toán thu thập và điều khiển thông minh như Hình 2.3

Protocol MML vào node mạng

Định nghĩa kiểu dữ liệu

File cấu hình, đường dẫn

Tiến trình xử lý MML, log DB

Tiến trình xử lý File

Các tiêu chuẩn quy hoạch thiết kế

nhập vàoCác nguồn dữ liệu từ phần mềm khác

CSDL của hệ thống thông minh

lưu trữ thông tin cấu hình node mạng, các bất thường từ node

tổng hợp lặp lại

Đưa ra các thông tin trigger các hệ thống tác động vào

node mạng, để điều khiển các tiến

trình thay đổi thông tin node mạng, nhằm đạt được chất lượng

dịch vụ tốtKhai thác báo cáo

trực tiếp, giảm thời gian tổng hợp lặp lại

Hình 2.3 Mô hình phần mềm thu thập điều khiển

Thiết kế CSDL tập trung cũng là nền móng cho việc phát triển của các kĩ sư dữ liệu, khi chỉ cần một người có thể thao tác trên dữ liệu của nhiều thiết bị mà không cần phải hiểu biết nhiều về cách thức hoạt động của chúng Đồng thời việc vận hành thiết bị cũng an toàn hơn do hạn chế người dùng vào thiết bị khi không cần thiết

Từ mô hình trên và các yêu cầu thực tế, có thể hình dung các mô đun cần có để người dùng tương tác, sắp xếp theo Hình 2.4, các chức năng ở góc bên trái, các chức năng thành phần được trình bày ở màn hình chính giữa

 Mô đun quản lý: Giao diện định nghĩa kiểu dữ liệu, quản lý danh mục phần tử mạng, các dạng biểu thức chính quy

 Mô đun giao diện: Giao diện tương tác với các nguồn dữ liệu ngoài như các nguồn API, các dữ liệu chuẩn hoá, quy hoạch

 Mô đun báo cáo: Hiển thị các dữ liệu cho người dùng, tất cả các báo cáo công việc sẽ được trình bày tập trung và chuẩn hóa

 Mô đun cấu hình: Giao diện cho phép người dùng định nghĩa, các cấu hình phân tích dữ liệu, lập lịch định kì phân tích dữ liệu, cấu hình regex lấy dữ liệu thue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh biehthue trahg xu duhg ruou euc hguoi dah toe thai tai doi 12 xa thchh ehah huyeh dieh bieh tihh dieh bieh

702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM702413069:59:22 PM9:59:22 PM

Trang 30

 Mô đun giao tiếp: Kết nối phần mềm trigger cảnh báo rà soát, kết nối phần mềm tác động vào thiết bị

Thiết kế thử nghiệm theo giao diện chuẩn hoá Ericsson, theo Hình 2.4:

Hình 2.4 Hướng phát triển vận hành khai thác thông minh của Ericsson

Ngoài các mô đun cho hoạt động thu thập thông tin, hệ thống cũng các chức năng khác như đảm bảo an ninh an toàn qua phân quyền hệ thống, quản lý các tương tác, giao thức, danh mục, cấu trúc biểu thức chính quy Đồng thời, ngoài việc thiết kế theo chiều sâu với các mô đun riêng, cần đảm bảo các tính năng theo chiều rộng, do việc chia nhỏ các công việc luôn kéo theo các yêu cầu về cập nhật, chỉnh sửa trên nhiều đối tượng, ví dụ cập nhật cấu hình vào nhiều tác vụ

2.2 TỰ ĐỘNG HOÁ VIỆC THU THẬP THÔNG TIN 2.2.1 Giải pháp đăng nhập phần tử mạng tự động

Hiện tại, các thiết bị viễn thông do một số nhà cung cấp sản xuất, qua các tài liệu từ nhà cung cấp [8,9] và thực tế trên mạng lưới, việc đăng nhập vào phần tử mạng để thu thập thông tin qua tương tác lệnh tập trung phần lớn (hơn 80%) ở các giao thức telnet/ssh, ftp/sftp và một phần nhỏ ở giao thức đồ hoạ (GUI), ở đây chúng ta tập trung vào các giao thức telnet/ssh, ftp/sftp; còn các thông tin thu được từ phần tử mạng qua các giao thức này là dạng thông tin hiển thị (log) và dạng file Việc giải quyết vấn đề tự động hóa cho các giao thức này là đảm bảo vấn đề đăng nhập và thu thập thông tin của hệ thống thông minh

Trang 31

Đặc điểm của hai giao thức này khi đăng nhập vào phần tử mạng là để tương tác lệnh, sau khi đã đăng nhập hệ thống phần mềm có thể gửi các lệnh lấy thông tin (như thao tác của kĩ sư) để phần tử mạng trả về log mong muốn, Hình 2.5 mô tả về giao thức ssh khi người dùng thao tác khi làm việc với thiết bị

user@localmachine:~$ ssh root@192.168.1.1

The authenticity of host '192.168.1.1 (192.168.1.1)' can't be established.ECDSA key fingerprint is ed:d2:9d:e6:60:42:16:80:c0:fd:64:e6:a5:f6:c3:cf.Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added '192.168.1.1' (ECDSA) to the list of known hosts.root@192.168.1.1's password:

BusyBox v1.19.4 (2013-12-06 11:42:37 CET) built-in shell (ash)Enter 'help' for a list of built-in commands.

_ _ _ _ _ _ _ | || | | || \ | \ |_ _| / |

| | | | | || | ) || | ) | | | | ( _ | | | | | || _ / | _ / | | \ _ \ | | | | | || | \ \ | | \ \ _| |_ ) |

|_| \ / |_| \_\|_| \_\| _|| _/

BARRIER BREAKER (Bleeding Edge, r38891)root@turris:~#

Hình 2.5 Mẫu log ssh

Đối với mẫu tương tác ở trên, khi chuyển đổi sang phần mềm sẽ qua một thư viện, khi phần mềm cần vào hệ điều hành nào sẽ gọi thư viện (Hình 2.6) tương ứng, qua đó tự động hóa phương thức đăng nhập Việc thiết kế các thư viện cũng cần linh hoạt, do giao thức ssh có thể phát triển tùy biến từ hệ điều hành linux, tùy theo nhà sản xuất, do đó tính linh hoạt trong thiết kế giúp cho việc đáp ứng các thay đổi của hệ thống thông minh tốt hơn, nhanh hơn

Dựa trên việc tổng hợp các mẫu telnet/ssh trên mạng lưới, từ đó tìm được các lib tương ứng để bổ sung vào nền tảng hệ thống, đảm bảo cho việc đăng nhập cho tất cả phần tử mạng và việc gửi lệnh lấy log hoàn toàn tự động

Trang 32

SSHClient ssh = new SSHClient(); //ssh.useCompression();

ssh.loadKnownHosts(); ssh.connect("localhost"); try {

ssh.authPublickey(System.getProperty("user.name")); new SCPDownloadClient(ssh).copy("ten", "/tmp"); } finally {

ssh.disconnect(); }

Hình 2.6 Thư viện ssh

2.2.3 Giao thức ftp/sftp

Đặc điểm của hai giao thức này khi đăng nhập vào phần tử mạng là để tương tác file, sau khi đã đăng nhập hệ thống phần mềm có thể đọc các file cấu hình của phần tử mạng để lấy ra các thông tin cần thiết, theo Hình 2.7

sftp user@IP_Address

user@IP_Address' password:Connected to IP_Address.

Trang 33

private SSHClient setupSshj() throws IOException { SSHClient client = new SSHClient();

Bảng 2.1 Bảng thông tin phần tử mạng telnet/ssh

5 Lệnh gửi lấy thông tin IAG

Bảng 2.2 Các thông tin của tiến trình tự động lấy file

Trang 34

2 IP 1.1.1.1

Sau khi đăng nhập và gửi lệnh vào phần tử mạng, cần xử lý các đoạn dữ liệu trả về để lấy thông tin cần thiết Nếu quá trình lấy thông tin thiết bị cố định trong lập trình của hệ thống phần mềm, thì khi cần mở rộng sẽ tốn nhiều nỗ lực, khiến cho hệ thống kém linh hoạt

Do đặc tính log từ thiết bị là có cấu trúc nên để giải quyết vấn đề này, ứng dụng công nghệ lấy thông tin theo biểu thức chính quy (Regex Expresssion)

2.2.5 Cấu trúc thông tin hiển thị của thiết bị

Việc phân tích các mẫu thông tin hiển thị (log) của các nhà cung cấp cho ta biết cấu trúc log của thiết bị và đưa ra phương án xử lý trên phần mềm để trích xuất được thông tin cần thiết

Các thông tin này cũng được tạo ra qua quá trình lập trình của nhà cung cấp nên nó có cấu trúc ở dạng hàng cột nhất định, do đó sẽ xây dựng được giải pháp chung cho việc phân tích tự động ở dạng nền tảng mở cho người dùng cấu hình

 Nhà cung cấp Nokia, khi gửi lệnh “ZWAE:1A;” sẽ có kết quả như hình 2.9 [8], với cấu trúc kiểu hàng cột ở lớp nhãn (phía trên dấu -, và nội dung hiển thị (dưới dấu -), một số ký tự đặc biệt dạng khoảng trắng, từ đó thấy được nếu áp dụng biểu thức chính quy dạng chuyển đổi một cột thành nhiều cột sẽ xử lý được loại dữ liệu này

 Các Hình 2.10 và 2.12 mô tả dạng log theo kiểu dòng thông tin, với kiến trúc này có thể dùng mẫu regex theo dòng để tách ra các thông tin cần thiết, hạn chế của việc xử lý theo dòng so với theo cột là ở ký tự khoảng trắng và các cụm ký tự

Trang 35

ZWAE:1A;

LOADING PROGRAM VERSION 5.7-0BSC3i KARHU 2006-11-14 08:43:24CONNECTION PLUG-IN UNIT: HWATMASTER UNIT: OMU 1A002-06

ALARM CARTRIDGE CARTRIDGE INPUTS OF ALARM GROUP INFOGROUP TYPE COORDINATES 0 1 2 3

1 PSAD & PSFP 1A 2759 2758 2 CC4C_A 1A002-00 2757 2755 - -

3 CC4C_A 1A00203 2757 2755 4 NOT CONFIG - - - -

5 CC3C_A 1A00300 2757 2755 6 CC3C_A 1A003-04 2757 2755 - -7 CC3C_A 1A003-08 2757 2755 - -8 CC3C_A 1A004-00 2757 2755 - -

15 NOT CONFIG

-Hình 2.9 Dạng log Nokia

 Hiển thị của nhà cung cấp Ericsson theo mẫu Hình 2.10

Hình 2.10.Lấy thông tin Ericsson

 Với nhà cung cấp Huawei, mẫu hiển thị theo Hình 2.11 và 2.12 [9]