Nghiên cứu xây dựng hệ thống phân tích log truy nhập cho phát hiện bất thường và các nguy cơ an toàn thông tin (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - VƯƠNG MINH VIỆT NGHIÊN CỨU XÂY DỰNG HỆ THỐNG PHÂN TÍCH LOG TRUY NHẬP CHO PHÁT HIỆN BẤT THƯỜNG VÀ CÁC NGUY CƠ AN TỒN THƠNG TIN CHUN NGÀNH: HỆ THỐNG THƠNG TIN MÃ SỐ: 8.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2019 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS HOÀNG XUÂN DẬU Phản biện 1: ……………………………………………… Phản biện 2: ……………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: … … ngày … tháng … năm …… Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng MỞ ĐẦU Log (còn gọi nhật ký, hay vết) mục thông tin hệ điều hành, ứng dụng sinh trình hoạt động Mỗi ghi log thường sinh theo hoạt động, kiện, nên gọi nhật ký kiện (event log) Các nguồn sinh log phổ biến bao gồm thiết bị mạng (như router, firewall,…), hệ điều hành, máy chủ dịch vụ (máy chủ web, máy chủ sở liệu, máy chủ DNS, email,…) chương trình ứng dụng Mục đích việc thu thập, xử lý phân tích log bao gồm: - Kiểm tra tuân thủ sách an ninh; - Kiểm tra tuân thủ vấn đề kiểm toán luật pháp; - Phục vụ điều tra số; - Phục vụ phản ứng cố an tồn thơng tin ; - Hiểu hành vi người dùng trực tuyến, sở tối ưu hóa hệ thống Việc xử lý phân tích log có nhiều ứng dụng, đặc biệt đảm bảo an tồn thơng tin cải thiện chất lượng hệ thống dịch vụ kèm theo, quảng cáo trực tuyến Hiện nay, giới có số tảng công cụ cho thu thập, xử lý phân tích dạng log phiên thương mại mã mở, IBM Qradar SIEM, Splunk, Graylog Logstash, Tuy nhiên, việc nghiên cứu sâu phương pháp xử lý phân tích log ứng dụng Việt Nam cần tiếp tục thực nhằm xây dựng mơ hình, hệ thống xử lý phân tích log hiệu với chi phí hợp lý Đây mục đích đề tài luận văn“Nghiên cứu xây dựng hệ thống phân tích log truy nhập cho phát bất thường nguy an tồn thơng tin” Luận văn bao gồm ba chương với nội dung sau: - Chương 1: Tổng quan phân tích log truy nhập: khái niệm log truy nhập, dạng log truy nhập, phương pháp thu thập, xử lý phân tích log, ứng dụng phân tích log giới thiệu số tảng, cơng cụ phân tích log - Chương 2: Các kỹ thuật mơ hình xử lý, phân tích log truy nhập: Mơ hình xử lý log; Thu thập tiền xử lý; Các kỹ thuật phân tích log: Các kỹ thuật nhận dạng mẫu (Pattern Discovery), phân tích mẫu (Pattern Analysis), phân tích tương quan (Correlation Analysis) - Chương 3: Cài đặt, thử nghiệm đánh giá: Giới thiệu môi trường công cụ thử nghiệm; Cài đặt hệ thống: Cài đặt OSSEC, cài đặt ELK, kết hợp OSSEC ELK; Nội dung thử nghiệm, kết nhận xét CHƯƠNG TỔNG QUAN VỀ PHÂN TÍCH LOG TRUY NHẬP 1.1 Khái quát log truy nhập 1.1.1 Khái niệm log truy nhập Log truy nhập hay nhật ký, vết truy nhập (gọi tắt log) danh sách ghi mà hệ thống ghi lại xuất yêu cầu truy nhập tài nguyên hệ thống Error! Reference source not found Chẳng hạn, log truy nhập web (gọi tắt web log) chứa tất yêu cầu truy nhập tài nguyên website Các tài nguyên website, file ảnh, mẫu định dạng file mã JavaScript Khi người dùng thăm trang web để tìm sản phẩm, máy chủ web tải xuống thông tin ảnh sản phẩm log truy nhập ghi lại yêu cầu người dùng đến tài nguyên thông tin ảnh sản phẩm Xem Windows log sử dụng công cụ Event Viewer Các ghi log tạo máy chủ e-mail 1.1.2 Các dạng log truy nhập Như đề cập, có nhiều nguồn sinh log hệ thống, log sinh hệ điều hành, log sinh máy chủ dịch vụ mạng log sinh thiết bị mạng thiết bị đảm bảo an tồn thơng tin Mục trình bày khái quát dạng log 1.1.2.1 Log sinh hệ điều hành a Windows logs Các thành phần Windows Logs Error! Reference source not found Một ghi Windows log mô tả lỗi dịch vụ Error! Reference source not found b Linux/Unix logs Một phần tập tin cấu hình syslog - syslog.conf Một số ghi kern log hệ điều hành Linux 1.1.2.2 Log sinh dịch vụ mạng a Web log Một phần file log theo định dạng W3C Extended log file format b DNS log Trích xuất số ghi DNS log c Mail log Một phần log truy nhập máy chủ email SMTP d Database log Mơ hình quản lý liệu log Microsoft SQL Server 1.1.2.3 Log sinh thiết bị mạng thiết bị đảm bảo ATTT Một phần log Cisco RV Series Router 1.2 Thu thập, xử lý phân tích log truy nhập Thu thập, xử lý phân tích log khâu hệ thống phân tích log Hình 1.12 biểu diễn khâu cụ thể trình thu thập, xử lý phân tích log thường áp dụng thực tế Theo đó, khâu xử lý cụ thể gồm: Các khâu trình thu thập, xử lý phân tích log Kiến trúc điển hình hệ thống thu thập, xử lý phân tích log 1.3 Ứng dụng phân tích log truy nhập Việc phân tích log truy cập thường thực cho mục đích Error! Reference source not found.: - Đảm bảo an tồn thơng tin cho hệ thống; - Hỗ trợ khắc phục cố hệ thống; - Hỗ trợ điều tra số; - Hỗ trợ hiểu hành vi người dùng trực tuyến 1.4 Một số tảng cơng cụ xử lý, phân tích log Có nhiều tảng cơng cụ xử lý, phân tích log truy cập thương mại mã nguồn mở cung cấp Splunk Error! Reference source not found., Sumo Logic, VNCS Web Monitoring, ELK Stack Error! Reference source not found., Graylog, Webzlizer, IBM QRadar SIEM OSSEC Mục giới thiệu khái quát tính ưu nhược điểm số công cụ phân tích log điển hình, bao gồm Graylog, Webzlizer, ELK Stack, số công cụ thu thập xử lý log cho đảm bảo ATTT, bao gồm IBM QRadar SIEM OSSEC 1.4.1 Các cơng cụ phân tích log điển hình 1.4.1.1 Graylog Màn hình quản lý nguồn thu thập log Graylog Error! Reference source not found Màn hình báo cáo tổng hợp Graylog Error! Reference source not found 1.4.1.2 Webalizer 12 CHƯƠNG CÁC KỸ THUẬT VÀ MƠ HÌNH XỬ LÝ, PHÂN TÍCH LOG TRUY NHẬP 2.1 Mơ hình xử lý log Hình 2.1 mơ tả mơ hình xử lý log truy nhập khái qt, mơ hình gồm pha chính: Pha tiền xử lý chuẩn hóa - Preprocess; Pha nhận dạng mẫu - Pattern Discovery; Pha phân tích mẫu - Pattern Analysis; Pha dự đoán hành vi người dùng Predict User Behavior Mơ hình xử lý log truy nhập khái qt - Tiền xử lý chuẩn hóa - Preprocess: 2.2 Thu thập tiền xử lý 2.2.1 Thu thập log Log truy nhập sinh nhiều vị trí khác mạng, có nhiều cách để thu thập log Log nhận từ nhiều nguồn khác như: từ file, từ mạng internet hay từ đầu ứng dụng khác Một số nguồn thu thập log cụ thể kể như: - Lấy kiện từ file log - Nhận đầu cơng cụ dịng lệnh kiện 13 - Tạo kiện dựa tin SNMP - Đọc tin syslog - Đọc kiện từ TCP socket - Đọc kiện thông qua giao thức UDP - Nhận kiện từ framework Elastic Beats - Đọc kết truy vấn từ cụm Elasticsearch 2.2.2 Tiền xử lý chuẩn hóa log Quá trình tiền xử lý chuẩn hóa thực việc làm sạch, hợp liệu từ nhiều nguồn khác chuẩn hóa liệu theo định dạng thống Quá trình cung cấp liệu tối ưu thống cho q trình phân tích log 2.2.2.1 Làm hợp liệu 2.2.2.2 Chuẩn hóa log 2.3 Các kỹ thuật phân tích log 2.3.1 Các kỹ thuật nhận dạng phân tích mẫu 2.3.1.1 Phân tích thống kê 2.3.1.2 Luật kết hợp Phương pháp nhằm phát luật kết hợp thành phần liệu CSDL Mẫu đầu giải thuật khai phá liệu tập luật kết hợp tìm Quá trình sử dụng luật kết hợp 2.3.1.3 Phân lớp 2.3.1.4 Phân cụm 2.3.1.5 Phân tích mẫu Phân tích mẫu sử dụng data visualization 14 2.3.2 Phân tích tương quan 2.4 Xây dựng mơ hình phân tích log dựa OSSEC kết hợp ELK Stack cho phát bất thường nguy ATTT 2.4.1 Hệ thống phát xâm nhập OSSEC 2.4.1.1 Giới thiệu OSSEC hệ thống phát xâm nhập dựa host (HIDS - Host-based Intrusion Detection) dựa log mã nguồn mở, miễn phí, đa tảng mở rộng có nhiều chế bảo mật khác OSSEC phát xâm nhập chữ ký dấu hiệu bất thường OSSEC cung cấp kiến trúc đa tảng tập trung, cho phép quản lý bảo mật máy tính từ vị trí trung tâm Giao diện người dùng OSSEC 2.4.1.2 Các tính bật OSSEC Các tính bật OSSEC bao gồm: - Theo dõi phân tích log: - Kiểm tra tính tồn vẹn file: - Giám sát Registry: - Phát Rootkit: - Phản ứng chủ động: - Giám sát toàn vẹn tập tin: 2.4.1.3 Kiến trúc hoạt động OSSEC 15 Luồng hoạt động hệ thống phát xâm nhập OSSEC Error! Reference source not found.Error! Reference source not found 2.4.2 Bộ cơng cụ xử lý phân tích log ELK Stack 2.4.2.1 Giới thiệu Hình 2.6 biểu diễn thành phần ELK Stack tương tác chúng Theo đó, thành phần ELK Stack gồm: Các thành phần cơng cụ xử lý phân tích log ELK Error! Reference source not found 2.4.2.2 Các ưu điểm sử dụng ELK Stack 2.4.3 Mơ hình triển khai tích hợp OSSEC ELK Stack Đầu tiêu chuẩn hệ thống phát xâm nhập OSSEC cảnh báo dạng dòng log lưu vào file, biểu diễn Hình 2.5 Gói phần mềm OSSEC có thành phần hỗ trợ giao diện web, có tính hạn chế khơng hỗ trợ phân tích chuyên sâu log kết Error! Reference source not found.Error! 16 Reference source not found Trong đó, ELK Stack cơng cụ cho phép thu thập, xử lý phân tích log chuyên sâu với nhiều tính mạnh khả hiển thị, trình bày phong phú Do vậy, việc tích hợp ELK Stack với hệ thống phát xâm nhập OSSEC cho phép khai thác hiệu điểm mạnh ELK Stack, bổ trợ hiệu cho OSSEC Điều giúp tạo thành hệ thống xử lý phân tích log cho phát bất thường nguy an toàn thông tin với khả quản lý log với khối lượng lớn tính phân tích log chuyên sâu khả hiển thị log kết xử lý đa dạng nhiều hình thức khác Mơ hình tích hợp OSSEC ELK Error! Reference source not found Hình 2.7 biểu diễn mơ hình tích hợp OSSEC ELK Error! Reference source not found Theo đó, liệu log cảnh báo (alert) xuất từ OSSEC xử lý tiếp sau: - Dữ liệu log cảnh báo (gọi chung log) thu thập xử lý thành phần Logstash Tại đây, log làm sạch, chuẩn hóa chuyển sang khâu - Dữ liệu log sau chuẩn hóa chuyển đến ElasticSearch quản lý lập số phục vụ phân tích, tìm kiếm - Kibana thành phần cuối hệ thống cho phép phân tích log chuyên sâu biểu diễn log kết xử lý nhiều dạng khác (báo cáo, đồ thị, biểu đồ,…) 2.5 Kết luận chương Chương trình bày kỹ thuật xử lý phân tích log, bao gồm mơ hình khái qt cho xử lý phân tích log, vấn đề tiền xử lý, chuẩn hóa log, kỹ thuật phân tích log Phần cuối chương mơ tả việc xây dựng mơ hình phân tích log dựa 17 OSSEC kết hợp ELK Stack cho phát bất thường nguy ATTT làm sở cho thử nghiệm chương 18 CHƯƠNG CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ 3.1 Môi trường thử nghiệm mơ hình triển khai cài đặt 3.1.1 Mơi trường công cụ thử nghiệm Môi trường thử nghiệm sử dụng luận văn hệ thống mạng mô dựa phần mềm ảo hóa VMWare Professional 15 Các phần mềm công cụ thử nghiệm bao gồm: 3.1.2 Mô hình cài đặt hệ thống thử nghiệm Hình 3.1 biểu diễn mơ hình cài đặt hệ thống thử nghiệm Theo đó, hệ thống thử nghiệm triển khai cài đặt gồm máy sau: Mơ hình cài đặt hệ thống thử nghiệm 3.2 Triển khai cài đặt hệ thống thử nghiệm Do cơng cụ Wazuh tích hợp OSSEC server cơng cụ quản lý vào gói phần mềm Wazuh Manager, nên thành phần thực tế cần cài đặt máy chủ OSSEC/ELK Server bao gồm: Wazuh Manager, Wazuh API, Filebeat ELK Stack Filebeat công cụ cho phép thu thập log thân máy chủ OSSEC/ELK Server Thành phần phải cài đặt máy trạm/máy giám sát Wazuh agent Bản chất Wazuh agent OSSEC agent đóng gói gói phần mềm Wazuh 3.2.1 Cài đặt Wazuh Manager, Wazuh API Filebeat 3.2.1.1 Thêm thơng tin gói phần mềm Wazuh vào thư viện quản lý Ubuntu 3.2.1.2 Cài đặt Wazuh Manager 19 3.2.1.3 Cài đặt Wazuh API 3.2.1.4 Nạp thơng tin gói ELK khóa GPG vào thư viện 3.2.1.5 Cài đặt ElasticSearch 3.2.2 Cài đặt Wazuh agent máy giám sát + Thêm agent (tên, địa IP) + Tạo chuỗi xác thực cho agent + Nạp địa IP Wazuh Manager (192.168.186.130) chuỗi xác thực vào ô Manager IP Authentication key, bấm Save menu Manage / Restart để khởi động lại agent giao diện quản lý agent, biểu diễn Hình 3.2 Giao diện quản lý, đăng ký Wazuh agent với Wazuh Manager 3.3 Thử nghiệm kết 3.3.1 Nội dung thử nghiệm Sau hồn thành cài đặt cấu hình xong thành phần hệ thống mô tả Mục 3.2, mục thử nghiệm số tính thu thập, xử lý phát bất thường hệ thống thử nghiệm Cụ thể, tính thử nghiệm bao gồm: - Hiển thị hình tổng hợp kiện an ninh giám sát toàn vẹn file - Quản lý hệ thống - Quản lý hiển thị thông tin từ agent - Công cụ cho nhà phát triển 3.3.2 Kết 20 Mục trình bày số giao diện hệ thống kết thử nghiệm nội dung trình bày Mục 3.3.1 Giao diện tổng hợp Wazuh OSSEC-ELK Tổng hợp kiện an ninh Các kiện an ninh thu thập từ top agent top nhóm luật kích hoạt 21 Tổng hợp cảnh báo an ninh Tổng hợp giám sát tính tồn vẹn file Giám sát tính tồn vẹn file chia theo agent 22 Tổng hợp cảnh báo giám sát tồn vẹn file Màn hình quản lý hệ thống Management Trạng thái hệ thống Tập luật dựng sẵn OSSEC 23 Hiển thị log thu thập hỗ trợ hiển thị theo thời gian thực Giao diện hiển thị quản lý agent Hỗ trợ thêm agent 24 Các kiện an ninh từ agent số 001 Giám sát tính tồn vẹn file từ agent 001 Giám sát sử dụng tài nguyên máy chạy agent 001 25 Giám sát tổng hợp từ máy chạy agent 002 Giao diện hỗ trợ phát triển – trực tiếp chạy lệnh giám sát 3.3.3 Nhận xét 3.4 Kết luận chương Chương trình bày trình thử nghiệm triển khai cài đặt thử nghiệm hệ thống xử lý phân tích log truy nhập cho phát bất thường nguy an tồn thơng tin dựa việc tích hợp hệ thống phát xâm nhập OSSEC cơng cụ xử lý phân tích log ELK Các kết ban đầu cho thấy hệ thống tích hợp vận hành ổn định, có khả giám sát phát bất thường nguy ATTT, hỗ trợ tính quản trị đơn giản hiển thị liệu, kết đa dạng, có tính biểu diễn cao 26 KẾT LUẬN Các kết đạt được: Luận văn tập trung nghiên cứu thu thập, xử lý, phân tích log truy cập, phục vụ phát hành vi bất thường nguy an tồn thơng tin hệ thống mạng Các nội dung thực luận văn bao gồm: - Trình bày khái quát log truy nhập, dạng log truy nhập, vấn đề thu thập, xử lý phân tích log truy nhập, ứng dụng - Mơ tả số tảng công cụ xử lý phân tích log truy nhập, từ rút so sánh, đánh giá để tìm mơ hình triển khai phù hợp - Trình bày mơ hình xử lý phân tích log khái quát, vấn đề tiền xử lý chuẩn hóa log kỹ thuật phân tích log - Xây dựng, cài đặt thử nghiệm thành cơng mơ hình phân tích log dựa OSSEC kết hợp ELK Stack cho phát bất thường nguy ATTT hệ thống mạng mô Hướng phát triển: Luận văn phát triển theo hướng sau: - Triển khai thử nghiệm mô hình phân tích log dựa OSSEC kết hợp ELK Stack cho phát bất thường nguy ATTT hệ thống mạng thực - Xây dựng bổ sung thêm luật giám sát, phát bất thường nguy ATTT, đảm bảo khả phát kịp thời bất thường nguy ATTT ... nghiệm hệ thống xử lý phân tích log truy nhập cho phát bất thường nguy an tồn thơng tin dựa việc tích hợp hệ thống phát xâm nhập OSSEC cơng cụ xử lý phân tích log ELK Các kết ban đầu cho thấy hệ thống. .. nhằm xây dựng mơ hình, hệ thống xử lý phân tích log hiệu với chi phí hợp lý Đây mục đích đề tài luận văn? ?Nghiên cứu xây dựng hệ thống phân tích log truy nhập cho phát bất thường nguy an toàn. .. QUAN VỀ PHÂN TÍCH LOG TRUY NHẬP 1.1 Khái quát log truy nhập 1.1.1 Khái niệm log truy nhập Log truy nhập hay nhật ký, vết truy nhập (gọi tắt log) danh sách ghi mà hệ thống ghi lại xuất yêu cầu truy