Đối với một hệ thống thông minh và hỗ trợ ra quyết định trên một CSDL lớn, không thể thiếu việc giám sát các tiến trình dữ liệu, nhằm đảm bảo tính đầy đủ chính xác, tránh việc ảnh hưởng khi tự động hố tồn trình, các tiến trình giám sát thể hiện theo Hình 3.3. Tại mỗi lớp chuyển dữ liệu theo mơ hình từ trái qua phải, đặt các điểm giám sát để đánh giá tỷ lệ chuyển đổi, khi phát hiện ra việc chuyển đổi lỗi hơn ngưỡng sẽ kích hoạt các cảnh báo.
50 Protocol MML vào node mạng Định nghĩa kiểu dữ liệu File cấu hình, đường dẫn Tiến trình xử lý MML, log DB Tiến trình xử lý File
Các tiêu chuẩn quy hoạch thiết kế nhập vào Các nguồn dữ liệu từ phần mềm khác CSDL của hệ thống thông min:
lưu trữ thơng tin cấu hình node mạng, các bất thường từ node
mạng
Đưa ra các rule liên kết các bất thường
của hệ thống
Tổng hợp các báo cáo tuỳ chỉnh trên DB, giảm thời gian
tổng hợp lặp lại
Đưa ra các thông tin trigger các hệ thống tác động vào
node mạng, để điều khiển các tiến
trình thay đổi thông tin node mạng, nhằm đạt được chất lượng
dịch vụ tốt Khai thác báo cáo
trực tiếp, giảm thời gian tổng hợp lặp lại Tiến trình giám sát 1 Tiến trình giám sát 2 Tiến trình giám sát 3 Tiến trình giám sát 4
Hình 3.3. Thay đổi dựa trên dữ liệu giám sát
Xây dựng luồng liên kết nguyên nhân gốc cảnh báo từ dữ liệu để phân biệt với luồng cảnh báo thiết bị: Các báo cáo ở các chặng giám sát sẽ liên kết với nhau, và độ ưu tiên cao hơn nếu xảy ra cảnh báo, để tránh việc cảnh báo sai dẫn đến các điều khiển sai của phần mềm, hoặc các cảnh báo không xuất hiện cùng nhau. Đặt các tiến trình giám sát ở mỗi lớp dữ liệu đảm bảo các kích thước về chất lượng [18].
Tính đầy đủ / Tính tồn diện: Hỏi những trường cần thiết nào phải được điền vào để một tập dữ liệu được coi là hồn chỉnh. Ví dụ: Tên và địa chỉ có thể quan trọng đối với tính đầy đủ của dữ liệu, trong khi giới tính của khách hàng ít quan trọng hơn.
Tính nhất quán: Tất cả các lần lặp lại của một phần dữ liệu phải giống nhau. Lấy ví dụ về lưu lượng truy cập web của một tháng nhất định – trong mọi báo cáo, nền tảng hoặc bảng tính, số lượt truy cập trang web trong tháng đó có giống nhau khơng? Hoặc, có sự mâu thuẫn nào giữa các dữ liệu này khơng?
Độ chính xác: Mặc dù tính nhất quán là việc có cùng một giá trị trên tất cả các kênh, nhưng độ chính xác là đảm bảo các giá trị nhất qn đó là chính xác và phản ánh chặt chẽ thực tế của kết quả.
51
dạng nhập dữ liệu nhất qn. Ví dụ: bạn khơng muốn nhập năm 2019 ở một số vị trí là ’19 và ở các vị trí khác là 2019.
Khung thời gian: Tính kịp thời của dữ liệu đề cập đến việc các nhà tiếp thị đưa ra quyết định có thơng tin chi tiết về dữ liệu vào thời điểm tối ưu hay không và hiện tại của dữ liệu là bao nhiêu. Bạn có dữ liệu khi cần và bạn có đang tham khảo phiên bản cập nhật nhất của tập dữ liệu khơng?
Tính hợp lệ / tồn vẹn: Tiêu chí này xem như liệu một tập dữ liệu có tuân theo các quy tắc và tiêu chuẩn đã đặt ra hay khơng. Có bất kỳ giá trị nào bị thiếu có thể làm tổn hại đến hiệu quả của dữ liệu hoặc khiến các nhà phân tích khơng nhận ra các mối quan hệ hoặc mẫu quan trọng không?
Cảnh báo từ CSDL phần mềm Cảnh báo từ các tiến trình giám sát Cảnh báo từ node mạng Các cảnh báo khác Quyết định thay đổi Thực hiện trên node mạng
Hình 3.4. Thay đổi dựa trên dữ liệu giám sát
Kiểm sốt các tiến trình phân tích dữ liệu trên thiết bị, đảm bảo không gây nghẽn hay ảnh hưởng đến hiệu năng thiết bị: Do các cấu hình người dùng vào phần tử mạng là mở, nên số lượng sẽ lớn, nếu định vào tuỳ ý có thể nghẽn dẫn đến ảnh hưởng hiệu năng phần tử mạng, cần có một pool chung của phần mềm để đẩy vào phần tử mạng với tần suất vừa đủ, đảm bảo an toàn phần tử mạng, theo sơ đồ Hình 3.5.
52 Các tiến trình telnet Các tiến trình ssh Các tiến trình ftp/ sftp Các tiến trình DB Tổng hợp các tiến trình (kiểm sốt các session xử lý) Process n time/ minutes Process m node/ time
Hình 3.5. Quản lý tiến trình vào phần tử mạng
Kiểm soát việc đăng nhập phần tử mạng, do đặc thù thiết bị có policy về an tồn thơng tin, việc kiểm sốt tài khoản/mật khẩu đăng nhập vào thiết bị vừa phải đảm bảo an tồn, vừa khơng bị gián đoạn (hết hạn, mật khẩu sai, quyền của tài khoản bị giới hạn không lấy được thơng tin cần thiết). Ngồi ra với số lượng thiết bị lớn, có nhiều nguy cơ về lộ tài khoản vào thiết bị, Hình 3.6 mơ tả một bảng thông tin giá sát tự động.
53
Việc giám sát luồng dữ liệu giúp phát hiện ra các hoạt động bất thường của hệ thống thu thập điều khiển, để có thể xử lý kịp thời, đảm bảo cho dữ liệu luôn đầy đủ, kịp thời cho các tiến trình điều khiển chính xác, chi tiết theo Bảng 3.3.
Bảng 3.3. Đánh giá việc giám sát dữ liệu
STT Chỉ số giám sát Hiệu quả Tồn tại
1
Số lần đăng nhập lỗi và số tiến trình lấy log lỗi
Đảm bảo 100% thiết bị được đăng nhập và truyền nhận log thành công
2
Số lượng kết quả của regex đẩy vào cơ sở dữ liệu đúng thời gian
Đảm bảo có dữ liệu được đẩy vào đúng thời gian
Kiểm tra được một phần nội dung dữ liệu 3 Số báo cáo tổng hợp dữ liệu từ cơ sở dữ liệu lỗi Đảm bảo 100% tiến trình tổng hợp dữ liệu thành cơng
Chưa đảm bảo được hoàn toàn việc dữ liệu đúng sai
54
KẾT LUẬN Kết quả đạt được của luận văn:
Luận văn này tiến hành nghiên cứu khảo sát các giải pháp và đề xuất một mơ hình khai phá dữ liệu logfile/cấu hình của phần tử mạng trong hệ thống mạng di động nhằm phát hiện dữ liệu tham số cấu hình chưa chuẩn và giải pháp điều khiển thay đổi cấu hình tự động đồng bộ các sai lệch đó.
Luận văn gồm: Pha 1 xây dựng giải pháp thu thập dữ liệu tự động từ bước vào thiết bị, thu thập phân tích log ra các kết quả về tham số cấu hình và lưu vào CSDL; Trong Pha 2 là giải pháp về tạo ra luồng điều khiển tự động khi phát hiện bất thường trên cơ sở tương tác với CSDL của Pha 1 và nghiên cứu thuật toán tối ưu di truyền để tối ưu tài nguyên hệ thống qua các bộ tham số. Hai quá trình này kết hợp tạo nền tảng giúp tự động hố tồn trình cho các nghiệp vụ vận hành di động, góp phần tiết kiệm chi phí và tăng khả năng vận hành khi mạng lưới mở rộng.
Với mơ hình này giúp đánh giá và kiểm sốt được tham số cấu hình hệ thống và độ tin cậy. Mơ hình cũng có thể được tối ưu/mở rộng và áp dụng để đạt được khả năng dự đoán các vấn đề trước khi xảy ra,…v.v.
Định hướng phát triển:
Mặc dù quá trình sử dụng cho kết quả khả quan, mơ hình cần được tiếp tục nghiên cứu phát triển, hồn thiện để có thể đạt được hiệu quả cao hơn khi áp dụng vào những hệ thống có quy mơ lớn.
Một số định hướng phát triển cần thực hiện như sau:
Tăng cường các tính năng thơng minh để điều khiển hệ thống tự recover, tự phán đoán lỗi.
Kiểm sốt độ chính xác, tin cậy và tối ưu tốc độ phân tích dữ liệu.
55
TÀI LIỆU THAM KHẢO
Tiếng Việt
[1] Hà Quang Thụy, Phan Xuân Hiếu, Đồn Sơn, Nguyễn Trí Thành, Nguyễn Thu Trang, Nguyễn Cẩm Tú, Giáo trình khai phá dữ liệu web, Nhà xuất bản giáo dục, Hà Nội, 2009.
[2] Nguyễn Hồng Tú Anh, Giáo trình khai thác dữ liệu và ứng dụng, Đại học KHTN TP.HCM, 2009.
[3] Nguyễn Chí Thanh. Khai phá dữ liệu logfile Phần tử mạng trong mạng IP nhằm phát hiện tấn công DoS. Luận văn Thạc sĩ Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, 2007.
[4] TS. Nguyễn Phạm Anh Dũng. Công nghệ 3G WCDMA UMTS, 2009.
[5] Phạm Cơng Hùng, Nguyễn Hồng Hải, Tạ Vũ Hằng, Vũ Thị Minh Tú, Đỗ Trọng Tuấn, Vũ Đức Thọ, Nguyễn Văn Đức, Giao trình thơng tin di động, Nhà xuất bản khoa học kỹ thuật, Hà Nội, 2009.
Tiếng Anh
[6] M. Tamer Ưzsu • Patrick Valduriez. Principles of distributed database systems. Springer New York Dordrecht Heidelberg London, 2011.
[7] Durgeshwar Singh, Aishvar Keshari. Cognitive Radio Parameter Optimization and Adaptation using Genetic Algorithm Jaypee Institue of Information Technology Noida, 2013.
[8] Nokia Siemens Networks. Commissioning BSC3i, 2008.
[9] Huawei Technologies Co., Ltd., Northbound MML Command Interface Developer Guide, 2009.
[10] Ericsson, https://www.ericsson.com/en/blog/2018/6/machine-intelligence-at- the-noc
[11] Totn, https://www.techonthenet.com/ [12] Burleson, http://www.dba-oracle.com/
56
[14] https://khcncongthuong.vn/tin-tuc/t10979/nghien-cuu-ung-dung-mo-hinh- maturity-de-chuyen-doi-sang-cong-nghiep-4-0-cho-cac-dnvvn-tai-viet- nam.html
[15] Huawei Technologies Co., Ltd., Huawei-Intelligent-Operations, 2020
[16] Bing Liu. Web Data Exploring Hyperlinks, Contents, and Usage Data Second Edition Mining. Springer-Verlag Berlin Heidelberg 2007, 2011
[17] Các kích thước chất lượng dữ liệu, https://m2tech.buyit.vn/chat-luong-du-lieu- data-quality-la-gi/ [18] https://www.gsma.com/futurenetworks/wiki/case-study-china-telecom-2/ [19] https://www.ibm.com/case-studies/t-mobile/ [20] https://aita.gov.vn/to%CC%89ng-quan-ve%CC%80-tieu-chuan-ky-hieu-va- mo-hinh-hoa-quy-trinh-nghiep-vu-business-process-modelling-and-notation- bpmn-phien-ban-2.0 [21] https://www.sciencedirect.com/topics/computer-science/web-mining [22] https://www.sciencedirect.com/topics/earth-and-planetary-sciences/data- mining#:~:text=Data%20mining%20is%20the%20process,as%20well%20as %20nonspatial%20attributes. [23] https://www.sciencedirect.com/science/article/abs/pii/S1389128615001346 [24] https://www.sciencedirect.com/science/article/pii/S2352864821000298