Mục đích của Luận văn này nhằm tìm hiểu về file log trong server và ứng dụng vào trong việc bảo mật của server, nghiên cứu công nghệ mã nguồn mở ELK (ElasticSearch, LogStash và Kibana) và đưa vào áp dụng trên server dịch vụ lưu trữ công ty iNET. Mời các bạn cùng tham khảo chi tiết của Luận văn này!
HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG VĂN TÙNG NGHIÊN CÚU FILE LOG VÀ ỨNG DỤNG TRONG BẢO MẬT SERVER Chuyên ngành : Hệ thống thông tin MÃ SỐ : 8.48.01.04 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – 2020 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS PHAN THỊ HÀ Phản biện 1: Phùng Văn Ổn Phản biện 2: Hoàng Xuân Dậu Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thông Vào lúc: 35 ngày 20 tháng 06 năm 2020 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Hiện nay, Internet phát triển cách mạnh mẽ có nhiều bước chuyển vượt bậc đóng góp tích cực việc phát triển kinh tế, xã hội đặc biệt người Sự phát triển internet kéo theo website trực tuyến tạo ngày nhiều Và tất nhiên server lưu trữ web (như hosting, vps) tăng nhanh chóng nhằm đáp ứng nhu cầu tạo website, đồng thời tạo thêm môi trường thu lợi tin tặc Với nhiều thủ đoạn lẫn cách thức tinh vi, việc đảm bảo an toàn cho server lưu trữ web ln tốn vơ nan giải Tháng 2/2019, Tập đoàn Bkav phát cảnh báo việc có chiến dịch cơng có chủ đích hacker nước ngồi nhằm vào server public Việt Nam Hàng trăm quan, tổ chức Việt Nam bị hacker công, xâm nhập máy chủ, sau thực mã hóa tồn liệu server [1] Hay công DDoS vào Wikipedia – website bách khoa hàng đầu giới – khiến cho website bị ngừng hoạt động gần ngày [2] Theo Báo cáo an ninh mạng hàng năm năm 2019 từ Bulletproof, cơng DoS DDoS gây thiệt hại cho công ty doanh nghiệp triệu đô la lên tới 120.000 đô la cho công ty nhỏ [4] Khi bị tin tặc công, server bị ảnh hưởng nhiều dẫn đến việc hoạt động hệ thống bị ngưng trệ hay mát liệu Điều không làm tốn thời gian khắc phục cho người quản trị hệ thống mà kéo theo hệ lụy kinh tế an ninh Do mà cần phát sớm công vào server Để ngăn chặn nhanh công vào server từ tin tặc, người quản trị cần sớm biết mối nguy hại tiềm ẩn tác động đến hệ thống Phân tích log server giúp người quản trị biết có tác động vào server đưa cách xử lý nhanh chóng [6] Đề tài xây dựng nhằm mục đích nghiên cứu xây dựng hệ thống phân tích dấu hiệu bất thường sever thơng qua file log để có phương án phòng bị ngăn chặn việc công server Việc xây dựng hệ thống phân tích log giúp cho quản trị viên nắm bắt tình hình server nhanh chóng xác Điều khơng giúp ngăn chặn hay hiểu rõ cách thức công nhanh bình thường, mà cịn giúp giảm chi phí nhân lực để quản trị server 2 Xuất phát từ yêu cầu thực tế, học viên nghiên cứu áp dụng hệ thống phân tích log vào việc tăng cường bảo mật cho server, luận văn có tựa đề: “Nghiên cứu file log server ứng dụng bảo mật server” Luận văn tập trung vào vấn đề liên quan đến file log server cách mà file log server giúp người quản trị việc bảo mật Đề tài nghiên cứu liệu file log web server từ tìm vấn đề gây ảnh hưởng đến server Cụ thể dựa liệu thu từ lưu lượng truy cập, thay đổi tạo server,… để phát bất thường gây tổn hại đến server Log file ghi lại liên tục thông báo hoạt động hệ thống server dịch vụ triển khai hệ thống hay file tương ứng Log file thường file văn thông thường biểu diễn dạng “clear text” tức người quản trị dễ dàng đọc nó, mà sử dụng trình soạn thảo văn (vi, vim, nano ) trình xem văn thông thường (cat, tailf, head ) để kiểm tra file log server File log server cung cấp cho quản trị viên tồn thơng tin hoạt động server, hỗ trợ giải rắc rối mà server gặp phải miễn họ biết phân tích ứng dụng thơng tin nhận vào khắc phục Tác dụng log vô to lớn, giúp quản trị viên theo dõi hệ thống tơt hơn, giải vấn đề gặp phải với hệ thống service Điều đặc biệt quan trọng với hệ thống cần phải online 24/24 để phục vụ nhu cầu người dùng Việc áp dụng phân tích liệu log vào bảo mật server lĩnh vực rộng lớn khó để làm chi tiết khuôn khổ luận đề tài này, học viên tập trung vào tìm hiểu file log server thơng qua xây dựng hệ thống phát bất thường cảnh báo tới người quản trị Đề tài sử dụng ELK Stack làm hệ thống quản lý log nhiều điểm mạnh mã nguồn mở, thu thập log từ nhiều nguồn khác, có tảng tìm kiếm mạnh mẽ (ElasticSearch), hỗ trợ phân tích số liệu thu thập (Analytic), quản lý logs tập trung, tìm kiếm thơng báo lỗi cách tự động Mục đích, đối tượng, phạm vi phương pháp nghiên cứu Mục đích nghiên cứu Mục đích luận văn tìm hiểu file log server ứng dụng vào việc bảo mật server Đối tượng nghiên cứu Học viên xác định đối tượng nghiên cứu đề tài lý thuyết file log server ứng dụng Bên cạnh đề tài cịn tập trung vào nghiên cứu cơng nghệ mã nguồn mở ELK (ElasticSearch, LogStash Kibana) đưa vào áp dụng server dịch vụ lưu trữ công ty iNET Phạm vi phương pháp nghiên cứu Phạm vi nghiên cứu Nghiên cứu file log server Phân tích file log server server lưu trữ web công ty iNET o Phương pháp nghiên cứu Tìm hiểu file log server, kỹ thuật phân tích file log Sau nghiên cứu cơng nghệ mã nguồn mở ELK (ElasticSearch, LogStash Kibana) để đưa vào áp dụng server lưu trữ nhằm cảnh báo sớm tới quản trị viên có bất thường xảy Cấu trúc luận văn Với mục tiêu đặt vậy, nội dung kết luận văn chia thành chương sau: Chương 1: Tổng quan file log server Trong chương này, luận văn vào tìm hiểu file log server toán ứng dụng file log vào việc bảo mật server Chương 2: Nghiên cứu thiết kế hệ thống phân tích log server Những vấn đề việc xử lý file log server thông qua cơng cụ tảng trình bày chương Trong chương này, học viên đề cập đến mơ kỹ thuật phân tích file log server Chương 3: Áp dụng thử nghiệm hệ thống phân file log server thực tiễn Tại chương học viên áp dụng triển khai thử nghiệm hệ thống phân tích log server cung cấp dịch vụ lưu trữ nội dung cho website Từ việc áp dụng triển khai thu thập thông tin từ file log server nhận đề xuất phương pháp bảo mật cho server 4 Chương 1.TỔNG QUAN VỀ FILE LOG SERVER Chương trình bày tổng quan ý nghĩa toán ứng dụng phân tích file log server việc bảo mật server Đồng thời chương giới thiệu chi tiết file log server, ứng dụng file log server quản trị viên trình hoạt động lẫn bảo mật hệ thống Những hiểu biết hệ thống phân tích file log server trình bày chương 1.1 Giới thiệu toán 1.1.1 Tổng quan bảo mật server 1.1.2 Bài toán ứng dụng phân tích log bảo mật server Bài tốn ứng dụng phân tích log bảo mật server hiểu sau: Input: Dữ liệu log server cơng ty iNET Outtput: Một hệ thống có khả thu thập toàn liệu log với khả hiển thị trực quan tự động thông báo có lỗi Ý nghĩa tốn Bài tốn ứng dụng phân tích log server vào bảo mật server mang tính ứng dụng cao thời đại cơng nghệ số Bài tốn có ý nghĩa nghiên cứu bảo mật hệ thống server giúp cho việc vận hành hệ thống trở nên thông suốt nhất, giúp cho doanh nghiệp giảm thiểu chi phí khơng đáng có khắc phục vấn đề bị công Không vậy, cịn giúp cho quản trị viên nắm rõ hệ thống thay phân tích thủ cơng dựa vào số liệu phân tích sẵn để có thay đổi kịp thời cho server 1.2 Giới thiệu file log server 1.2.1 File log server 1.2.2 Ứng dụng file log server 1.3 Ứng dụng file log bảo mật server 1.3.1 Tổng quan phân tích log 1.3.2 Một số cơng nhận biết thơng qua file log 1.3.3 Hệ thống phân tích log server 1.4 Kết luận Trong chương này, học viên tóm lược ngắn gọn file log server ứng dụng Đồng thời qua giới thiệu tốn ứng dụng phân tích file log server việc bảo mật server Tiếp theo chương học viên nghiên cứu công nghệ, kỹ thuật dùng cho việc thiết kế hệ thống phân tích log server 6 Chương NGHIÊN CỨU VÀ THIẾT KẾ HỆ THỐNG PHÂN TÍCH LOG SERVER Chương giới thiệu công nghệ sử dụng để xây dựng hệ thống phân tích log server, bước kỹ thuật phân tích log server áp dụng Cuối chương học viên phác họa tổng qt mơ hình hệ thống phân tích log server để áp dụng vào thực tiễn 2.1 Giới thiệu tảng cơng cụ phân tích log Để giải toán quản lý liệu log server tự động cảnh báo có bất thường xảy ra, quản trị viên lựa chọn nhiều giải pháp công nghệ Một số giải pháp bao gồm trả phí lẫn mã nguồn mở kể đến Splunk, Graylog hay ELK stack Các tính trội giải pháp giám sát phân tích liệu log hệ thống ngày phải kể đến khả tìm kiếm mạnh mẽ, xây dựng hình giám sát thời gian thực, báo cáo, cảnh bảo ngưỡng, phân tích liệu lịch sử, truy tìm vết, … Tuy nhiên sau cân học viên định lựa chọn tảng công nghệ ELK làm giải pháp cơng nghệ cho tốn quản lý phân tích liệu log ELK hội tụ số ưu điểm như: Mã nguồn mở, tiết kiệm chi phí xây dựng hệ thống Cộng đồng hỗ trợ phát triển mạnh mẽ Hỗ trợ đa tảng, đa định dạng log ElasticSearch cơng cụ hỗ trợ nhiều tính năng, đáp ứng khối liệu khổng lồ hệ thống server phát triển ElasticSearch cịn có khả tương tích với nhiều cơng cụ, ngơn ngữ phân tích liệu lớn R, Python, Machine learning Quản trị viên xây dựng báo cáo, phân tích liệu thơng qua đồ họa trực quan Kibana để đáp ứng toán cần khối lượng liệu lớn, hay phân tích hành vi người dùng, Business Intelligence Khả tổng hợp phân loại log tùy biến cao, đáp ứng trường hợp liệu log phức tạp Có nhiều phần mềm hỗ trợ tùy biến cao 7 2.1.1 Giới thiệu Elasticsearch 2.1.2 Giới thiệu Logstash 2.1.3 Giới thiệu Kibana 2.2 Các mơ hình xử lý file log 2.3 Các kỹ thuật phân tích log server 2.4 Xây dựng hệ thống phân tích log Trong luận văn học viên lựa chọn xây dựng hệ thống phân tích log đơn giản với ELK stack, cài đặt thư mục file log nằm chung Server có nhằm áp dụng vào mơ hình thử nghiệm chương Hình 2.4: Mơ hình phân tích log server Theo mơ hình trên, luồng liệu xuất phát từ tệp liệu log theo luồng sau: Tệp liệu log Filebeat lấy liệu gửi sang Logstash theo tần xuất cấu hình từ trước Tại Filebeat đóng vai trị service lấy log server từ thư mục đặt sẵn đưa sang Logstash xử lý Dữ liệu sau Filebeat chuyển sang Logstash chuyển tiếp đến “Filter Plugin” Ở liệu chuẩn hoá lọc theo yêu cầu người quản trị để đưa liệu cần thiết Đầu bước Filter tài liệu dạng JSON chứa nội dung thông điệp log Log server sau lọc chuyển đến Elasticsearch Dữ liệu JSON đưa tới ElasticSearch đánh mục nhằm phục vụ tốn tìm kiếm, trực quan hóa liệu, xây dựng báo cáo phân tích liệu log Dữ liệu sau đánh mục ElasticSearch trực quan hóa, xây dựng báo cáo, xây dựng hình giám sát, điều khiển Kibana 2.5 Kết luận Trong chương này, luận văn đề cập đến tảng phân tích file log server áp dụng, ví dụ cho mơ hình phân tích log server kỹ thuật phân tích Luận văn thiết kế mơ hình hệ thống phân tích log server áp dụng vào thực tiễn nhằm nâng cao khả phân tích log Trong chương sau học viên tiến hành cài đặt triển khai thực tế mơ hình hệ thống phân tích log server tự động báo lỗi đến quản trị viên 9 Chương ÁP DỤNG THỬ NGHIỆM HỆ THỐNG PHÂN TÍCH FILE LOG SERVER VÀO THỰC TIỄN Trong chương học viên xây dựng thử nghiệm hệ thống phân tích log ELK server chạy dịch vụ lưu trữ cơng ty iNET dựa mơ hình xử lý liệu log hệ thống lẫn Logstash tự thiết kế, sau tiến hành phân tích liệu nhận để đề xuất bảo mật cho server 3.1 Cài đặt hệ thống phân tích log server 3.1.1 Giới thiệu hệ thống máy chủ công ty iNET Hiện iNET không trọng nhiều vào việc phân tích liệu log server Dữ liệu log người quản trị hệ thống phân tích có lỗi xảy ra, khơng liệu log lưu lại xóa theo định kỳ để giải phóng dung lượng ổ đĩa Do học viên ứng dụng cài đặt hệ thống phân tích log server trên server cơng ty iNET dựa ELK stack nhằm nâng cao khả phân tích liệu log, ứng dụng vào bảo mật hệ thống 3.1.2 Mơ hình thử nghiệm Mơ hình cài đặt thử nghiệm hệ thống phân tích log cần xây dựng theo hướng tối ưu cho việc lấy liệu log lẫn thông báo cho quản trị viên hạn chế tốt việc chồng chéo gây tải nặng lên hệ thống Dựa theo mục 2.4 thiết kế hệ thống phân tích log, học viên ứng dụng vào để xây dựng hệ thống phân tích log thử nghiệm Hình 3.2: Mơ hình xây dựng hệ thống phân tích log Dữ liệu log server Filebeat trích xuất gửi vào Logstash, sau Logstash lọc nội dung log đưa vào đánh mục ElasticSearch đưa vào 10 email server gặp lỗi Các liệu đánh mục ElasticSearch hiển thị Kibana để quản trị viên tiện theo dõi 3.1.3 Cài đặt hệ thống phân tích log ELK stack - Cấu hình file beat Filebeat có nhiệm vụ truyền liệu log từ thư mục chứa sang Logstash #Cấu hình đầu vào filebeat - type: log paths: - \filebeat\logaccess\*.log fields: type: apache fields: access fields_under_root: true encoding: utf-8 - type: log paths: - \filebeat\logerror\* fields: type: error log fields: error fields_under_root: true 11 encoding: utf-8# Cấu hình đầu filebeat output.logstash: hosts: ["localhost:5044"] #đầu để cổng mặc định Logstash, liệu sau lấy chuyển đến port 5044 - Cấu hình Logstash Mơ hình xử lý liệu Logstash sử dụng để cấu hình file config Hình 3.3 Mơ hình xử lý liệu logstash 12 Cấu hình chi tiết cho file config Logstash #Cấu hình đầu vào Logstash #Lấy liệu từ filebeat chuyển qua port 5044 input { beats { port => "5044" } } #Cấu hình file filter filter { # cấu hình theo dạng mặc định file apache filter { if [fields] =="access" { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } overwrite => "message" } overwrite => "message" } } if [fields] =="error" { 13 grok { match => { "message" => "%{APACHE_ERROR_LOG}" } } } mutate { remove_field => "host" } date { match => [ "timestamp" , "dd/MMM/yyyy:HH:mm:ss Z" ] } geoip { source => "clientip" } } output { #đầu cho elasticsearch elasticsearch { hosts => ["localhost:9200"] index => "%{[@metadata][filebeat]}-%{+YYYY.MM.dd}" 14 } stdout { codec => rubydebug } #đầu cho email báo lỗi if "access denied" in [message] { email { port => 587 address => "smtp.gmail.com" username => "sin****gum16@gmail.com" password => "Tung*****" authentication => "plain" use_tls => true from => " sin****gum16@gmail.com " subject => " Cảnh Báo: Phát có truy cập bị chặn" to => "htv.sky.1994@gmail.com" via => "smtp" body => "%{message}" } - Cấu hình Elasticsearch Kibana Để hiển thị liệu lập mục ElasticSearch, học viên cấu hình port chạy Kibana lẫn port ElasticSearch: 15 # Kibana is served by a back end server This setting specifies the port to use server.port: 5601 # The URLs of the Elasticsearch instances to use for all your queries elasticsearch.hosts: ["http://localhost:9200"] 3.2 Vận hành thử nghiệm Dữ liệu log chia trường hình ảnh kèm theo filter bên trái cho phép lựa chọn trường liệu cần thiết cho việc phân tích Hình 3.4: Giao diện quản lý liệu log tổng quan Kibana Hệ thống tự động báo lỗi cho quản trị viên thông qua mail cài đặt sẵn 16 Hình 3.5 Hệ thống gửi mail báo lỗi cho quản trị viên 3.3 Phân tích liệu thu từ log Server 3.4 Đánh giá, đề xuất bảo mật cho server 3.5 Kết luận Chương luận văn trình bày chi tiết việc triển khai hệ thống phân tích log server công ty iNET dựa công nghệ ELK stack cho phép quản trị viên quản lý log tập trung, nhận thông báo lỗi từ sớm giúp sớm khắc phục lỗi hệ thống Bên cạnh mơ hình vận hành hệ thống phân tích luồng lấy liệu log học viên thiết kế hoạt động theo ý muốn giúp liệu log tập trung toàn hệ thống phục vụ cho việc phân tích dễ dàng Việc cài đặt thành cơng hệ thống phân tích log server cơng ty iNET tạo tiền đề cho việc triển khai cho server khác nâng cao khả phòng ngự bảo mật Một số thử nghiệm đánh giá liệu log thu server công ty iNET học viên thực Với việc chọn yếu tố quan trọng, loại bỏ yếu tố dư thừa phân tích liệu log; học viên xác định nguy xảy cơng nhằm vào server Bên cạnh chương tổng hợp số đề xuất cho server nhằm nâng cao khả chống công cho sever, hạn chế mức thấp tác động gây hại giảm tải việc phải giám sát hệ thống nhiều 17 KẾT LUẬN Những đóng góp luận văn: Với mục tiêu nghiên cứu tốn tìm hiểu file log ứng dụng file log vào bảo mật server Luận văn sâu vào nghiên cứu vấn đề xung quanh file log, ứng dụng file log server Những kết đạt luận văn: Tìm hiểu tổng quan file log server, ứng dụng file log server việc vận hành lẫn bảo mật hệ thống, cách thức phân tích cách nhận biết cơng thơng qua file log Tìm hiểu cơng nghệ ELK stack dựa vào công nghệ học viên xây dựng mơ hình tổng qt hệ thống phân tích log server Tìm hiểu hệ thống máy chủ cơng ty iNET, sau tiến hành xây dựng mơ hình hệ thống phân tích log cho máy chủ Thơng qua mơ hình hệ thống phân tích log, học viên cấu hình chạy thử nghiệm thành cơng hệ thống phân tích liệu log cảnh báo lỗi đến quản trị viên Hướng phát triển luận văn Tuy đạt số kết nêu trên, luận văn cịn có hạn chế điều kiện mặt thời gian lẫn trình độ học viên Vì vậy, hướng nghiên cứu học viên là: Áp dụng thêm cơng cụ khác vào hệ thống phân tích file log nhằm nâng cấp tính năng, nâng cao khả quản trị server lẫn liệu log Những hình thức công vào hệ thống server phát triển không ngừng theo thời gian Tin tặc áp dụng hình thức cơng đa dạng hơn, khó để phát ngăn chặn tốn khó bảo mật server quản trị viên Luận văn phát triển theo hướng tìm hiểu hình thức cơng nhất, thơng qua tìm hiểu cách thức để áp dụng vào việc phân tích log Khơng dùng liệ phân tích log vào bảo mật server, luận văn phát triển theo hướng ứng dụng vào vấn đề liên quan đến người dùng nhằm cải thiện chất lượng hệ thống 18 Ứng dụng file log server vào bảo mật server vô lớn Quản trị viên hồn tồn phát triển hệ thống SIEM (hệ thống giám sát an ninh mạng) liệu log server để quản lý server cách toàn diện ... KẾT LUẬN Những đóng góp luận văn: Với mục tiêu nghiên cứu tốn tìm hiểu file log ứng dụng file log vào bảo mật server Luận văn sâu vào nghiên cứu vấn đề xung quanh file log, ứng dụng file log server. .. cơng dựa vào số liệu phân tích sẵn để có thay đổi kịp thời cho server 1.2 Giới thiệu file log server 1.2.1 File log server 1.2.2 Ứng dụng file log server 1.3 Ứng dụng file log bảo mật server 1.3.1... trị server 2 Xuất phát từ yêu cầu thực tế, học viên nghiên cứu áp dụng hệ thống phân tích log vào việc tăng cường bảo mật cho server, luận văn có tựa đề: ? ?Nghiên cứu file log server ứng dụng bảo