Giải pháp và công cụ hỗ trợ phát hiện bất thường trong hoạt động vận hành khai thác các hệ thống thông tin tại viettel

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -oo0oo - NGUYỄN ĐĂNG TIỆP GIẢI PHÁP VÀ CÔNG CỤ HỖ TRỢ PHÁT HIỆN BẤT THƯỜNG TRONG HOẠT ĐỘNG VẬN HÀNH KHAI THÁC CÁC HỆ THỐNG THÔNG TIN TẠI VIETTEL LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN Hà Nội – 09/2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ -oo0oo - NGUYỄN ĐĂNG TIỆP GIẢI PHÁP VÀ CÔNG CỤ HỖ TRỢ PHÁT HIỆN BẤT THƯỜNG TRONG HOẠT ĐỘNG VẬN HÀNH KHAI THÁC CÁC HỆ THỐNG THÔNG TIN TẠI VIETTEL Ngành: Hệ thống thông tin Chuyên ngành: Hệ thống thông tin Mã Số: 8480104.01 LUẬN VĂN THẠC SĨ HỆ THỐNG THÔNG TIN HƯỚNG DẪN KHOA HỌC: PGS TS PHẠM NGỌC HÙNG Hà Nội – 09/2020 i Mục lục LỜI CẢM ƠN ii LỜI CAM ĐOAN iv DANH MỤC HÌNH VẼ v Giới thiệu Chương Kiến thức 1.1 Bất thường phương pháp phát bất thường phổ biến 1.1.1 Bất thường 1.1.2 Các phương pháp phát bất thường phổ biến 1.1.3 Các thách thức phát bất thường 11 1.2 Các phương pháp đánh giá hệ thống phân lớp liệu 12 1.2.1 True/False Positive/Negative 12 1.2.2 Độ xác độ hồi tưởng 13 1.2.3 Tóm tắt 15 Chương 2: Mơ hình phát hành vi đăng nhập hệ thống bất thường 16 2.1 2.2 2.3 2.3.1 2.3.2 Giới thiệu đề tài phát bất thường hệ thống 16 Mơ tả tốn bất thường đăng nhập 16 Giới thiệu mô hình hệ thống phát bất thường 17 Cách thức phân tích liệu 21 Xây dựng mơ hình phân tích liệu 26 Chương 3: Thực nghiệm 28 3.1 3.2 3.2.1 3.2.2 3.2.3 3.3 3.3.1 3.3.2 3.4 Kiến trúc công cụ 28 Cài đặt công cụ 28 Phân hệ lưu trữ liệu lớn 29 Phân hệ xử lý 30 Phân hệ phân tích ca sử dụng phát bất thường đăng nhập 31 Thực nghiệm 33 Thu thập liệu kịch 33 Chọn ngưỡng cảnh báo bất thường 37 Áp dụng thực nghiệm 39 Kết luận 41 TÀI LIỆU THAM KHẢO 43 ii LỜI CẢM ƠN Trước tiên xin dành lời cảm ơn chân thành sâu sắc đến thầy giáo, PGS TS Phạm Ngọc Hùng, người hướng dẫn, khuyến khích, bảo tạo cho điều kiện tốt từ bắt đầu thực luận văn hoàn thành cơng việc Tơi xin dành lời cảm ơn chân thành tới thầy cô giáo Khoa Công nghệ thông tin, Trường Đại học Công nghệ, ĐHQGHN tận tình đào tạo, cung cấp cho tơi kiến thức vô quý giá tạo điều kiện tốt cho tơi suốt q trình học tập, nghiên cứu Trường Đồng thời xin cảm ơn tất người thân u gia đình tơi tồn thể bạn bè người ln giúp đỡ, động viên tơi q trình học tập nghiên cứu Cuối cùng, xin chân thành cảm ơn đồng nghiệp giúp đỡ, tạo điều kiện thuận lợi cho tơi học tập nghiên cứu chương trình Thạc sĩ Trường Đại học Công nghệ, ĐHQGHN iii DANH MỤC TỪ VIẾT TẮT/THUẬT NGỮ Từ viết tắt Từ đầy đủ AD Active Directory ASN Autonomous System Number ATTT AV CNTT DNS GSM An tồn thơng tin Antivirus Cơng nghệ thông tin Domain Name System Gateway Security Managerment Hadoop Distributed File System Internet Protocol Internet Service Provider JavaScript Object Notation HDFS IP ISP JSON NIST NSM Ý nghĩa Một sản phẩm Microsoft gồm số dịch vụ chạy Windows Server nhằm mục đích quản lý quyền truy cập vào tài nguyên mạng Số hiệu mạng thường dùng thủ tục định tuyến động mạng Internet Phần mềm diệt virus máy tính Hệ thống quản lý tên miền Hệ thống quản lý an tồn thơng tin lớp Gateway Hệ thống lưu trữ file dùng Hadoop Giao thức Internet Nhà cung cấp dich vụ Internet Một dạng liệu tuân theo quy luật định mà hầu hết ngôn ngữ lập trình đọc Có thể sử dụng lưu vào tệp, ghi có sở liệu dễ dàng National Institute of Standards Viện tiêu chuẩn Công nghệ Quốc and Technology gia Mỹ Hệ thống quản lý bảo mật lớp mạng PCA Network Security Management Principal component analysis SDM Security Data Mining SIEM VPN Security Information and Event Management Single Sign-on User & Entity Behavior Analytics Virtual Private Network Phương pháp phân tích thành phần Hệ thống khai phá liệu an tồn thơng tin Hệ thống quản lý phân tích kiện an tồn thơng tin Hệ thống quản lý đăng nhập lần Phân tích bất thường hành vi người dùng thực thể Mạng riêng ảo VTNet Viettel Networks Tổng Công ty Mạng lưới Viettel SSO UEBA iv LỜI CAM ĐOAN Tôi xin cam đoan luận văn thạc sĩ chuyên ngành hệ thống thông tin “Giải pháp công cụ hỗ trợ phát bất thường hoạt động vận hành khai thác hệ thống thơng tin Viettel” cơng trình nghiên cứu riêng hướng dẫn PGS TS Phạm Ngọc Hùng, không chép lại người khác Trong toàn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất nguồn tài liệu tham khảo có xuất xứ rõ ràng, hợp pháp trích dẫn trung thực Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, ngày 01 tháng năm 2020 Học viên Nguyễn Đăng Tiệp v DANH MỤC HÌNH VẼ Hình 1.1 Một ví dụ bất thường điểm tập liệu không gian hai chiều Hình 1.2 Ví dụ bất thường bối cảnh Hình 1.3 Ví dụ bất thường tập hợp lưu lượng hệ thống Hình 1.4 Ví dụ tốn phân lớp phát thư rác Bảng 1.1 Ma trận nhầm lẫn 12 Bảng 1.2 Ma trận nhầm lẫn chuẩn hóa 13 Hình 1.4 Cách tính độ xác độ hồi tưởng 14 Hình 2.1 Mơ hình tổng thể hệ thống giám sát an tồn thơng tin 19 Hình 2.2: Mơ hình luồng liệu cho hệ thống phát bất thường 20 Hình 2.3 Mơ hình hệ thống phát bất thường 21 Hình 2.4 Các thuộc tính liên quan đến địa IP 22 Hình 2.5 Cấu trúc liệu hành vi phát bất thường 23 Bảng 2.1 Các thuộc tính sử dụng để phát bất thường đăng nhập 24 Hình 2.6: Mơ hình phân bố thuộc tính 26 Hình 3.1: Mơ hình luồng liệu cho hệ thống phát bất thường 28 Hình 3.2: Hệ thống lưu trữ liệu 29 Hình 3.3: Hệ thống lưu trữ liệu (tiếp) 29 Hình 3.5: Hệ thống quản lý việc xử lý song song 31 Hình 3.6 Lập lịch cấu hình chạy định kì phân tích liệu 32 Hình 3.7 Các job chạy định kì phân tích liệu 32 Hình 3.8 Job chạy định kì phân tích liệu hành vi bất thường 33 Bảng 3.1 Kết chạy với tập liệu 34 Bảng 3.2 Kết chạy với tập liệu 38 Hình 3.8 Biểu đồ ngưỡng 63 38 Hình 3.9: Kết đầu việc xác định ngưỡng cảnh bảo 39 Hình 3.10 Cảnh báo hệ thống 40 Giới thiệu Trong năm gần đây, phát triển mạnh hệ thống ứng dụng công nghệ thông tin (CNTT) đem lại lợi ích khơng nhỏ cho người bao gồm đời sống, công nghệ, kinh tế, xã hội, v.v Bên cạnh đó, vấn đề an ninh bảo mật đảm bảo an tồn thơng tin cho hệ thống công nghệ thông tin thách thức không nhỏ Các hành vi xâm nhập trái phép, công vào hệ thống máy tính cá nhân hay tổ chức ngày gia tăng gây thiệt hại nghiêm trọng Theo trang thông tin VTV (Đài truyền hình Việt Nam), báo cáo năm 2020 công ty bảo mật Bkav công bố cho thấy, Việt Nam, vào năm 2018, tổng thiệt hại công mạng gần 15.000 tỷ đồng đến hết năm 2019, số gần 21.000 tỷ đồng Mức thiệt hại tăng thêm 6.000 tỷ đồng, tương đương với khoảng 40% Theo thống kê Bkav, số lượng máy tính bị liệu năm 2019 lên tới 1.8 triệu lượt, tăng 12% so với năm 20181 Và theo báo cáo từ hãng bảo mật Kaspersky, so với năm 2018, số lượng mối đe dọa phát phần mềm diệt vi-rút web tăng gấp năm lần (523%), tổng cộng 2.660.000 vào năm 20192 Tháng 4/2019, liệu cá nhân 100 triệu người dùng dịch vụ tìm kiếm Ấn Độ có tên JustDial bị lộ sở liệu trực tuyến không bảo vệ Dữ liệu bị rò rỉ thu thập thời gian thực từ khách hàng truy cập dịch vụ qua trang Web, ứng dụng di động chí gọi bao gồm tên người dùng, địa email, số điện thoại di động, địa chỉ, nghề nghiệp chí ảnh cá nhân, v.v.3 Tháng 6/2019, quan thu thập y tế Mỹ (AMCA) bị khai thác liệu làm lộ thông tin cá nhân thơng tin tốn gần 20 triệu bệnh nhân sau bị công xâm nhập vào cổng tốn họ Thơng tin bị truy cập trái phép bao gồm tên, ngày sinh, địa chỉ, điện thoại, ngày dịch vụ, nhà cung cấp, thông tin số dư thẻ tín dụng tài khoản ngân hàng, v.v Chỉ vài tuần sau vi phạm công bố, AMCA nộp đơn xin phá sản với lý tài pháp lý4 Tháng 8/2019, Capital One, ngân hàng thương mại lớn Mỹ, bị đánh cắp liệu, làm lộ thông tin cá nhân 106 triệu thẻ tín dụng từ năm 2005 đến năm https://vtv.vn/cong-nghe/18-trieu-luot-may-tinh-viet-nam-bi-mat-du-lieu-trong-nam-201920200115170552486.htm https://www.kaspersky.com/about/press-releases/2019_malware-variety-grows-by-137-in-2019due-to-web-skimmers “Over100MillionJustDialUsers’PersonalDataFoundExposedOntheInternet,”byMohitKumar,TheHa ckerNews,April17,2019 “Data Breach Forces Medical Debt Collector AMCA to File for Bankruptcy Protection,” by Charlie Osborne, ZDNet, June 19, 2019 2019 Tin tặc khai thác cấu hình sai thiết bị tường lửa máy chủ cung cấp dịch vụ ảo hoá (Cloud) Capital One lấy cắp 700 thư mục liệu5 Tháng 10/2019, liệu y tế cá nhân gần triệu người New Zealand bị lộ công xâm nhập vào hệ thống tổ chức Tu Ora Compass Health Một tin tặc với tên “Vanda The God” đe dọa bán thông tin Các điều tra cho thấy hệ thống bị công vào bốn lần khác nhau5 Tháng 11/2019, UniCredit, ngân hàng Italia, bị xâm phạm liệu dẫn đến rò rỉ thông tin cá nhân ba triệu khách hàng, sau kẻ công không xác định xâm phạm tệp cũ từ năm 2015 chứa hồ sơ khách hàng, bao gồm tên, số điện thoại địa email5 Trong số hành động biện pháp để đảm bảo an tồn thơng tin theo tiêu chuẩn Viện tiêu chuẩn Công nghệ Quốc gia Mỹ (National Institute of Standards and Technology - NIST), nay, đơn vị tập trung làm tốt việc định nghĩa, nhận dạng tài sản, nguy an tồn thơng tin từ thực biện pháp bảo vệ khắc phục nâng cấp hệ thống Tuy nhiên, hai biện pháp quan trọng khác chưa thực tốt phát triển thực hoạt động thích hợp để xác định xuất kiện an ninh mạng tổ chức triển khai hoạt động xử lý liên quan đến việc phát cảnh báo liên quan đến an tồn thơng tin Cụ thể, kế hoạch ứng phó, truyền thơng, phân tích, giảm nhẹ thiệt hại cải tiến Để thực hai nhiệm vụ này, việc phân tích bất thường kiện hệ thống biện pháp quan trọng để hỗ trợ phát kịp thời kiện an ninh mạng để từ đơn vị có biện pháp ứng phó kịp thời để đảm bảo an tồn thơng tin Việc phân tích bất thường hành vi người dùng thực thể (User & Entity Behavior Analytics – UEBA) chủ đề quan tâm nhiều đơn vị giới có nhiều hãng cơng nghệ bảo mật quan tâm đến vấn đề LogRhythm hay Exabeam, Securonix xây dựng công cụ cho việc để phát cảnh báo nguy an tồn thơng tin hệ thống Hiện tại, Tổng Công ty Mạng lưới Viettel (VTNet) vận hành hệ thống công nghệ thông tin lớn với hàng nghìn máy chủ thiết bị mạng, thiết bị bảo mật hệ thống sở liệu lớn lưu trữ nhiều thông tin quan trọng liên quan đến hạ tầng mạng lưới cung cấp dịch, thông tin cá nhân, tài khoản, giao dịch khách hàng, v.v Hệ thống cung cấp dịch vụ cho hàng triệu khách hàng với 60 triệu thuê bao di động triệu thuê bao cố định băng rộng tính đến đầu năm 2020 Và để đảm bảo việc cung cấp dịch vụ hệ thống, hoạt động vận hành khai thác hệ thống công https://www.ntsc.org/assets/pdfs/cyber-security-report-2020.pdf nghệ thông tin với việc truy cập vào máy chủ, sở liệu, thiết bị mạng để kiểm tra tình trạng hoạt động, khai thác, cập nhật liệu, xử lý lỗi dịch vụ phát sinh, v.v diễn thường xun liên tục Chính vậy, hệ thống CNTT lớn quan trọng có nguy rủi ro cao việc an tồn thơng tin (ATTT) Một số nguy ATTT hệ thống việc xâm nhập, tác động trái phép vào hệ thống nhằm lấy cắp, sửa đổi thông tin, đặc biệt thông tin thông tin liệu khách hàng, phá hoạt gây thiệt hại kinh tế (như thay đổi thông tin, giá trị tài khoản khách hàng) ảnh hưởng lớn đến uy tín đến cơng ty Các hoạt động kiểm sốt triển khai công cụ, giải pháp bảo mật nhằm tăng cường giám sát, bảo vệ cho hệ thống CNTT triển khai áp dụng chặt chẽ Tuy nhiên, hoạt động kiểm tra, đánh giá bất thường hoạt động vận hành khai thác hệ thống CNTT chưa có cơng cụ để quản lý tồn diện để phân tích đưa cảnh báo hệ thống giám sát ATTT VTNet Một số nội dung phải thực thủ công cách thực định kỳ kiểm tra lại log tác động hệ thống để phát xử lý trường hợp sai phạm truy cập, tác động hệ thống sai quy định Do đó, yêu cầu thực tế đặt cần xây dựng cơng cụ phân tích nhằm phân tích kiện, dấu hiệu bất thường việc truy cập, tác động vào hệ thống quan trọng nhằm hỗ trợ cho việc phát hiện, cảnh báo để tổ chức hành động xử lý kịp thời để đảm bảo an tồn thơng tin đơn vị Mục đích nghiên cứu luận văn hướng đến giải toán phát bất thường hoạt động vận hành khai thác hệ thống CNTT VTNet Các bất thường cần phát đăng nhập trái phép vào hệ thống, tiến trình lạ thực dò quét hệ thống mạng nội bộ, thực kết nối bất thường, tiến trình mở cổng bất thường hệ thống từ việc phân tích log kết nối, đăng nhập (thời điểm đăng nhập vào hệ thống, thời gian tác động, địa IP client sử dụng, địa IP hệ thống bị tác động, thông tin yêu cầu liệu truy xuất, nội dung thay đổi, v.v.) Vì hệ thống VTNet lớn nên đề tài tập trung thực hệ thống CNTT quan trọng nhằm xây dựng mơ hình cơng cụ thu thập, phân tích log phát bất thường đăng nhập hệ thống Và kết từ đề tài giúp đơn vị giám sát vấn đề bất thường việc kết nối đăng nhập vào hệ thống Từ đó, đề tài góp phần vào việc đảm bảo an tồn thơng tin đơn vị, giúp giảm thiểu rủi ro việc lấy cắp, sửa đổi phá hoại thông tin quan trọng VTNet, khách hàng hạn chế việc gây thiệt hại kinh tế, uy tín đơn vị Ngồi ra, cơng cụ phát bất thường tiếp tục mở rộng với nhiều tốn phân tích phát bất thường khác hoạt động vận hành khai thác hệ thống thông tin đơn vị bất thường lưu lượng kết nối, bất thường giao dịch tài chính, bất thường vệc tác động lệnh vào hệ thống, v.v tình phân tích phức tạp với nhiều kiện kết hợp lại với ... ĐẠI HỌC CÔNG NGHỆ -oo0oo - NGUYỄN ĐĂNG TIỆP GIẢI PHÁP VÀ CÔNG CỤ HỖ TRỢ PHÁT HIỆN BẤT THƯỜNG TRONG HOẠT ĐỘNG VẬN HÀNH KHAI THÁC CÁC HỆ THỐNG THƠNG TIN TẠI VIETTEL Ngành: Hệ thống thơng tin Chun... phát bất thường hoạt động vận hành khai thác hệ thống CNTT VTNet Các bất thường cần phát đăng nhập trái phép vào hệ thống, tiến trình lạ thực dị qt hệ thống mạng nội bộ, thực kết nối bất thường, ... Ngồi ra, cơng cụ phát bất thường tiếp tục mở rộng với nhiều toán phân tích phát bất thường khác hoạt động vận hành khai thác hệ thống thông tin đơn vị bất thường lưu lượng kết nối, bất thường giao