(LUẬN văn THẠC sĩ) nghiên cứu file log server và ứng dụng trong bảo mật server

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG VĂN TÙNG NGHIÊN CÚU FILE LOG VÀ ỨNG DỤNG TRONG BẢO MẬT SERVER LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2020 download by : skknchat@gmail.com HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG VĂN TÙNG NGHIÊN CÚU FILE LOG VÀ ỨNG DỤNG TRONG BẢO MẬT SERVER Chuyên ngành : Hệ thống thông tin MÃ SỐ: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHAN THỊ HÀ HÀ NỘI – 2020 download by : skknchat@gmail.com download by : skknchat@gmail.com i LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Học viên luận văn ký ghi rõ họ tên Hoàng Văn Tùng download by : skknchat@gmail.com ii LỜI CẢM ƠN Để hoàn thành luận văn, nghiên cứu cố gắng thân, xin cảm ơn cô giáo TS Phan Thị Hà - người cô trực tiếp hướng dẫn, tận tình bảo định hướng cho tơi suốt trình thực luận văn Một lời cảm ơn chắn khơng thể diễn tả hết lịng biết ơn sâu sắc tới cô – người cô phương diện! Tôi xin gửi lời cảm ơn chân thành cảm ơn tất thầy cô giáo Học viện Công nghệ Bưu Viễn thơng giảng dạy, quan tâm nhiệt tình dìu dắt tơi trong suốt q trình học tập trường Cuối cùng, xin gửi lời cảm ơn tới gia đình, bạn bè người bên cổ vũ, động viên, tạo điều kiện thuận lợi cho học tập, tạo động lực tinh thần vơ giá để tơi hồn thiện luận văn ngày hồn thiện thân Trong trình nghiên cứu thực luận văn, hướng dẫn nhiệt tình giáo TS Phan Thị Hà nỗ lực thân tránh khỏi thiếu sót hạn chế Tơi mong nhận ý kiến đóng góp, sửa chữa từ q Thầy, Cơ bạn bè đồng nghiệp để luận văn hoàn thiện Trân trọng cảm ơn! Học viên Hoàng Văn Tùng download by : skknchat@gmail.com iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH VẼ vi MỞ ĐẦU Chương 1.TỔNG QUAN VỀ FILE LOG SERVER 1.1 Giới thiệu toán 1.1.1 Tổng quan bảo mật server 1.1.2 Bài tốn ứng dụng phân tích log server vào bảo mật 1.2 Giới thiệu file log server 1.2.1 File log server 1.2.2 Ứng dụng File log server 12 1.3 Ứng dụng file log bảo mật server 14 1.3.1 Tổng quan phân tích log 14 1.3.2 Một số cơng nhận biết qua file log .14 1.3.3 Hệ thống phân tích log server 19 1.4 Kết luận 21 Chương NGHIÊN CỨU VÀ THIẾT KẾ HỆ THỐNG PHÂN TÍCH LOG SERVER 22 2.1 Giới thiệu tảng cơng cụ phân tích log 22 2.1.1 Giới thiệu ElasticSearch .24 2.1.2 Giới thiệu LogStash .24 2.1.3 Giới thiệu Kibana 25 2.2 Mơ hình xử lý file log server .26 2.3 Các kỹ thuật phân tích log 32 download by : skknchat@gmail.com iv 2.4 Xây dựng hệ thống phân tích log 35 2.5 Kết luận 37 Chương ÁP DỤNG THỬ NGHIỆM HỆ THỐNG PHÂN TÍCH FILE LOG SERVER VÀO THỰC TIỄN 38 3.1 Cài đặt hệ thống phân tích log server 38 3.1.1 Giới thiệu hệ thống máy chủ công ty iNET 38 3.1.2 Mơ hình thử nghiệm 41 3.1.3 Cài đặt hệ thống phân tích log ELK stack .41 3.2 Vận hành thử nghiệm 49 3.3 Phân tích liệu thu từ log Server 51 3.4 Đánh giá, đề xuất bảo mật cho server 55 3.5 Kết luận 56 KẾT LUẬN 58 DANH MỤC CÁC TÀI LIỆU THAM KHẢO 60 download by : skknchat@gmail.com v DANH MỤC BẢNG BIỂU Bảng 1.1 Định nghĩa tiền tố mở rộng W3C .11 Bảng 1.2 Định nghĩa trường mở rộng W3C 12 Bảng 1.3 Mã trạng thái HTTP 17 Bảng 2.1 Các điều tra phân tích log 30 Bảng 3.1 Danh sách hệ thống máy chủ iNET 38 Bảng 3.2 Danh sách hệ điều hành cài serever iNET 39 download by : skknchat@gmail.com vi DANH MỤC HÌNH VẼ Hình 1.1 Dữ liệu log Server bị DDos 17 Hình 2.1 Bốn giai đoạn phân tích log .26 Hình 2.2 Phân tích đa biến Temporal Size 31 Hình 2.3 Phân tích đa biến Source Destination Linkage 31 Hình 2.4 Mơ hình phân tích log server 36 Hình 3.1 Mơ hình hoạt động server iNET 39 Hình 3.2: Mơ hình xây dựng hệ thống phân tích log 41 Hình 3.3 Mơ hình xử lý liệu file config logstash 44 Hình 3.4: Giao diện quản lý liệu log tổng quan Kibana 49 Hình 3.5 Hệ thống gửi mail báo lỗi cho quản trị viên .50 Hình 3.6 Giao diện hiển thị theo thời gian thực việc lấy liệu log 51 Hình 3.7 Biểu đồ phản hồi từ server client .51 Hình 3.8 Các phản hồi 404 từ Server 52 Hình 3.9 Chi tiết lượng phản hồi 404 ngày 30/3 53 Hình 3.10 Thống kê IP nhận phản hồi 404 cao ngày 30/3 53 Hình 3.11 Tìm kiếm script message 54 Hình 3.12 Nội dung message chi tiết có chứa mã script 55 download by : skknchat@gmail.com MỞ ĐẦU Hiện nay, Internet phát triển cách mạnh mẽ có nhiều bước chuyển vượt bậc đóng góp tích cực việc phát triển kinh tế, xã hội đặc biệt người Sự phát triển internet kéo theo website trực tuyến tạo ngày nhiều Và tất nhiên server lưu trữ web (như hosting, vps) tăng nhanh chóng nhằm đáp ứng nhu cầu tạo website, đồng thời tạo thêm môi trường thu lợi tin tặc Với nhiều thủ đoạn lẫn cách thức tinh vi, việc đảm bảo an toàn cho server lưu trữ web ln tốn vơ nan giải Tháng 2/2019, Tập đồn Bkav phát cảnh báo việc có chiến dịch cơng có chủ đích hacker nước ngồi nhằm vào server public Việt Nam Hàng trăm quan, tổ chức Việt Nam bị hacker cơng, xâm nhập máy chủ, sau thực mã hóa tồn liệu server [1] Hay công DDoS vào Wikipedia – website bách khoa hàng đầu giới – khiến cho website bị ngừng hoạt động gần ngày [2] Theo Báo cáo an ninh mạng hàng năm năm 2019 từ Bulletproof, cơng DoS DDoS gây thiệt hại cho công ty doanh nghiệp triệu đô la lên tới 120.000 đô la cho công ty nhỏ [4] Khi bị tin tặc công, server bị ảnh hưởng nhiều dẫn đến việc hoạt động hệ thống bị ngưng trệ hay mát liệu Điều không làm tốn thời gian khắc phục cho người quản trị hệ thống mà kéo theo hệ lụy kinh tế an ninh Do mà cần phát sớm công vào server Để ngăn chặn nhanh công vào server từ tin tặc, người quản trị cần sớm biết mối nguy hại tiềm ẩn tác động đến hệ thống Phân tích log server giúp người quản trị biết có tác động vào server đưa cách xử lý nhanh chóng [6] download by : skknchat@gmail.com 50 to => "htv.sky.1994@gmail.com" via => "smtp" body => "%{message}" } - Cấu hình Elasticsearch Kibana Sau thiết lập cài đặt Filebeat Logstash hoàn thành, liệu chuyển sang lập mục Elasticsearch hiển thị thơng qua Kibana Với mơ hình sử dụng luận văn này, cài đặt có sẵn Elasticsearch đủ để đáp ứng nhu cầu cho việc phân tích log server Để hiển thị liệu lập mục ElasticSearch, học viên cấu hình port chạy Kibana lẫn port ElasticSearch: # Kibana is served by a back end server This setting specifies the port to use server.port: 5601 # The URLs of the Elasticsearch instances to use for all your queries elasticsearch.hosts: ["http://localhost:9200"] download by : skknchat@gmail.com 51 3.2 Vận hành thử nghiệm Sau cài đặt toàn hệ thống phân tích ELK server, tồn liệu log thu thập hiển thị Kibana Kibana cung cấp giao diện trực quan dễ nhìn dễ dàng sử dụng tạo thuận lợi cho việc quản trị log server Dữ liệu log chia trường hình ảnh kèm theo filter bên trái cho phép lựa chọn trường liệu cần thiết cho việc phân tích Hình 3.4: Giao diện quản lý liệu log tổng quan Kibana Khi đưa giải pháp ELK vào xây dựng hệ thống quản lý log, liệu log thu thập theo thời gian thực (real-time) Ngay hệ thống nhận bất thường hệ thống, tự động gửi email cảnh báo cho quản trị viên biết để có thức xử lý Quản trị viên thông qua việc nhận mail báo lỗi thể biết vấn đề mà hệ thống gặp phải Điều so với việc giám sát liệu download by : skknchat@gmail.com 52 thủ công thường thấy bước đắn, giúp quản trị viên có phương án thích hợp cho server server bị công Trong phần cấu hình Logstash cài đặt phát truy cập bị chặn lại hệ thống tiến hành gửi mail cho quản trị viên Hình 3.5 Hệ thống gửi mail báo lỗi cho quản trị viên Dữ liệu log theo dõi thủ công gặp nhiều vấn đề hạn chế việc dõi tiến trình sinh log hay theo dõi nhiều file log lúc gây thời gian Để cải thiện vấn đề hệ thống phân tích log server ELK cung cấp biểu đồ thông qua Kibana cho phép quản trị viên theo dõi liệu log thu thập theo thời gian thực Từ biểu đồ, quản trị viên hồn tồn nắm thời điểm có bao nhiều dịng log sinh có cách thức xử lý hiệu log server thu nhiều download by : skknchat@gmail.com 53 Hình 3.6 Giao diện hiển thị theo thời gian thực việc lấy liệu log 3.3 Phân tích liệu thu từ log Server Từ liệu log thu sau cài đặt hệ thống phân tích log server ELK stack, học viên dựa vào liệu để kiểm tra xem hệ thống có gặp vấn đề hay khơng - Phân tích cơng DDoS dựa liệu log DDoS phương thức công không lạ khó để ngăn chặn hồn tồn Trong có cách thức cơng phổ biến dựa việc khiến server bị hết băng thông hay gửi nhiều yêu cầu liệu sai khiến phần cứng không đáp ứng đủ Cách thức công đa phần dựa công cụ dẫn đến đường dẫn, thư mục phổ biến dùng mục tiêu quét đầu tiên, nhiên việc cài đặt web server nên phản hồi 404 nhiều phản ánh vấn đề với hệ thống Do việc theo dõi phản hồi 404 nhiều bất thường giúp ích việc phân tích cơng DDoS Do học viên tiến hành lập biểu đồ kiểm tra phản hồi từ server client download by : skknchat@gmail.com 54 Hình 3.7 Biểu đồ phản hồi từ server client Biểu đồ dựa vào liệu log hình cho thấy số lượng phản hồi request đến từ server, phản hồi 404 có số lượng nhiều nhiều so với phản hồi khác Đây lỗ hổng có nhiều lượt truy cập vào server lại đến trang không nằm hệ thống Quản trị viên cần phải khai thác xem thời gian hệ thống gặp nhiều request 404 IP Dựa số liệu log thu được, quản trị viên hồn tồn biết thời điểm hệ thống có số lượng yêu cầu 404 gia tăng download by : skknchat@gmail.com 55 Hình 3.8 Các phản hồi 404 từ Server Qua biểu đồ lọc phản hồi 404 theo thời gian, nhận thấy vào ngày 30 tháng số lượng phản hồi 404 tăng cao bất thường, tiếp tục nhấp vào ngày 30 để có thêm thơng tin vào khoảng thời gian download by : skknchat@gmail.com 56 Hình 3.9 Chi tiết lượng phản hồi 404 ngày 30/3 Sau tiến hành lọc IP gửi nhiều request đến server thời điểm truy xét download by : skknchat@gmail.com 57 Hình 3.10 Thống kê IP nhận phản hồi 404 cao ngày 30/3 Thơng qua biểu đồ nhận thấy IP 192.99.15.199 có lượng phản hồi 404 cao cụ thể 10 phút tiến hành gửi 120 lần request đến server, IP đưa vào danh sách nghi vấn chặn lượt phản hồi cao tiếp diễn đặn Trong thời gian cài đặt thử nghiệm hệ thống không ghi nhận công, nên trường hợp hoạt động cách thức tìm IP công sever Tuy nhiên việc theo dõi lượng request lỗi cao hồn tồn giúp quản trị viên chủ động việc phòng tránh bị công DDoS - Phát công XSS với hệ thống phân tích log Như đề cập chương 1, cơng XSS phát thơng qua việc tìm thẻ script, frame,… Thơng qua liệu log tiến hành tìm kiếm thẻ có khả bị chèn mã độc download by : skknchat@gmail.com 58 Hình 3.11 Tìm kiếm script message Qua việc tìm kiếm, nhận có số lượng script bị chèn server nhiên bị chặn Firewall ModSecurity Nhấp chi tiết vào quản trị viên xem chi tiết liệu script Hình 3.12 Nội dung message chi tiết có chứa mã script Dựa thơng tin thu được, srcipt chèn vào nhằm crawl liệu server Với script crawl liệu dẫn đến tình trạng ăn tài nguyên hệ thống website hoạt động không cài đặt ban đầu Tuy nhiên script chặn lại tường lửa nên điều khơng ảnh hưởng đến hệ thống 3.4 Đánh giá, đề xuất bảo mật cho server Sau thực cấu hình thử nghiệm hệ thống phân tích log server trình bày trên, học viên đánh giá kết đạt giải số vấn đề đặt toán đề cập chương mục giới thiệu toán như: download by : skknchat@gmail.com 59 Xây dựng hệ thống phân tích log có khả cập nhật liệu theo thời gian thực, giúp cho việc phân tích log server dễ dàng trực quan với Kibana  Hệ thống phân tích log server giúp cho việc bảo mật server dễ dàng phát cảnh báo hệ thống gặp lỗi, dấu hiệu bất thường giúp quản trị viên nhận thơng báo lỗi cách sớm xác So với việc phân tích thủ cơng theo cố lựa chọn hoàn toàn hợp lý Việc giải hai vấn đề đồng nghĩa với việc giải phần hạn chế sử dụng quản lý giám sát liệu log server công ty iNET đề cập đầu chương - Các đề xuất bảo mật cho Server Qua việc triển khai hệ thống phân tích log server cơng ty iNET, học viên nhận thấy vấn đề cần thực để đảm bảo hệ thống an tồn nhất:  Phân tích liệu log có ý nghĩa vô quan trọng bảo mật server, sử dụng riêng hệ thống phân tích log dựa ELK stack chưa đủ để đảm bảo an toàn bảo mật cho server Việc kết hợp với công cụ giám sát khác giám sát mạng, giám sát hệ thống để nâng cao khả truy tìm, chặn lỗ hổng hay thông báo lỗi đến quản trị viên cần thiết  Tường lửa, công cụ antivirus phần mềm quan trọng việc bảo mật hệ thống server Các phần mềm giúp cho hệ thống ngăn chặn từ đầu tác nhân gây hại giúp giảm thiểu khối lượng công việc cần làm cho quản trị viên Điều đồng nghĩa với việc hệ thống server cần cập nhật phần mềm tường lửa, antivirus nhanh sớm  Là hệ thống server dịch vụ lưu trữ online nên liệu thứ thiết yếu nhất, nên hệ thống cần ổ để lưu lại toàn liệu đưa lên server dịch vụ Trong trường hợp xấu nhất, việc lưu liệu giúp giải download by : skknchat@gmail.com 60 vấn đề khách hàng trước có động thái tìm kiếm lỗ hổng server Kiểm tra liệu log để nắm thông tin hệ thống định kỳ  xây dựng tự động báo lỗi để tránh việc để sót thơng tin quan trọng 3.5 Kết luận Chương luận văn trình bày chi tiết việc triển khai hệ thống phân tích log server cơng ty iNET dựa công nghệ ELK stack cho phép quản trị viên quản lý log tập trung, nhận thơng báo lỗi từ sớm giúp sớm khắc phục lỗi hệ thống Bên cạnh mơ hình vận hành hệ thống phân tích luồng lấy liệu log học viên thiết kế hoạt động theo ý muốn giúp liệu log tập trung toàn hệ thống phục vụ cho việc phân tích dễ dàng Việc cài đặt thành cơng hệ thống phân tích log server công ty iNET tạo tiền đề cho việc triển khai cho server khác nâng cao khả phòng ngự bảo mật Một số thử nghiệm đánh giá liệu log thu server công ty iNET học viên thực Với việc chọn yếu tố quan trọng, loại bỏ yếu tố dư thừa phân tích liệu log; học viên xác định nguy xảy công nhằm vào server Bên cạnh chương tổng hợp số đề xuất cho server nhằm nâng cao khả chống công cho sever, hạn chế mức thấp tác động gây hại giảm tải việc phải giám sát hệ thống nhiều download by : skknchat@gmail.com 61 KẾT LUẬN Những đóng góp luận văn: Với mục tiêu nghiên cứu tốn tìm hiểu file log ứng dụng file log vào bảo mật server Luận văn sâu vào nghiên cứu vấn đề xung quanh file log, ứng dụng file log server Những kết đạt luận văn:  Tìm hiểu tổng quan file log server, ứng dụng file log server việc vận hành lẫn bảo mật hệ thống, cách thức phân tích cách nhận biết cơng thơng qua file log  Tìm hiểu cơng nghệ ELK stack dựa vào công nghệ học viên xây dựng mơ hình tổng qt hệ thống phân tích log server  Tìm hiểu hệ thống máy chủ cơng ty iNET, sau tiến hành xây dựng mơ hình hệ thống phân tích log cho máy chủ Thơng qua mơ hình hệ thống phân tích log, học viên cấu hình chạy thử nghiệm thành cơng hệ thống phân tích liệu log cảnh báo lỗi đến quản trị viên Hướng phát triển luận văn Tuy đạt số kết nêu trên, luận văn cịn có hạn chế điều kiện mặt thời gian lẫn trình độ học viên Vì vậy, hướng nghiên cứu học viên là:  Áp dụng thêm cơng cụ khác vào hệ thống phân tích file log nhằm nâng cấp tính năng, nâng cao khả quản trị server lẫn liệu log  Những hình thức công vào hệ thống server phát triển không ngừng theo thời gian Tin tặc áp dụng hình thức cơng đa dạng hơn, khó để phát ngăn chặn tốn khó bảo mật server quản trị viên Luận văn phát triển theo hướng tìm hiểu hình thức cơng nhất, thơng qua tìm hiểu cách thức để áp dụng vào việc phân tích log download by : skknchat@gmail.com 62  Khơng dùng liệ phân tích log vào bảo mật server, luận văn phát triển theo hướng ứng dụng vào vấn đề liên quan đến người dùng nhằm cải thiện chất lượng hệ thống  Ứng dụng file log server vào bảo mật server vơ lớn Quản trị viên hồn tồn phát triển hệ thống SIEM (hệ thống giám sát an ninh mạng) liệu log server để quản lý server cách toàn diện download by : skknchat@gmail.com 63 DANH MỤC CÁC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Kim Thanh (2019), Đang có chiến dịch cơng có chủ đích nhằm vào Server Public Việt Nam https://www.sggp.org.vn/dang-co-mot-chien-dich-tan-cong-co-chu-dichnham-vao-cac-server-public-cua-viet-nam-575735.html [2] Kiến Văn (2019), Wikipedia xác nhận cố ngừng hoạt động bị công DDoS https://thanhnien.vn/cong-nghe/wikipedia-xac-nhan-su-co-ngung-hoat-dongdo-bi-tan-cong-ddos-1123957.html Tiếng Anh [3] Arvind K Sharma1, P.C Gupta (2013), “Analysis of Web Server Log Files to Increase the Effectiveness of the Website Using Web Mining Tool”, International Journal of Advanced Computer and Mathematical Sciences, vol 4, issue 1, pp1-8 [4] BulletProof (2019), BulletProof Annual Cyber Security Report 2019 https://www.bulletproof.co.uk/industry-reports/2019.pdf [5] Krishnamoorthi R., K R Suneetha (2009), “Identifying User Behavior by Analyzing Web Server Access Log File” International Journal of Computer Science and Network Security, vol 9, no [6] Karen Kent, Murugiah Souppaya (2006), Guide to Computer Security Log Management, National Institute of Standards and Technology, Gaithersburg [7] Mohammed Hamed Ahmed Elhiber and Ajith Abraham (2013), “Access Patterns in Web Log Data: A Review” Journal of Network and Innovative Computing, ISSN 2160-2174, pp 348-355 [8] Merve Bas ß SeyyarFerhat, Ozgur Catak, Ensar Gul (2017), “Detection of attack-targeted scans from the Apache HTTP Server access logs” Applied Computing and Informatics, Volume 14, Issue 1, January 2018, Pages 28-36 download by : skknchat@gmail.com 64 [9] Neha Goel, C.K Jha (2013), “Analyzing Users Behavior from Web Access Logs using Automated Log Analyzer Tool” International Journal of Computer Applications, vol 62, no [10] Roger Meyer (2008), Detecting Attacks on Web Applications from Log Files https://www.sans.org/reading-room/whitepapers/logging/detecting-attacks-webapplications-log-files-2074 [11] Satoru Kobayashi, Kensuke Fukuda, Hiroshi Esaki (2014), Towards an NLP-based log template generation algorithm for system log analysis https://dl.acm.org/doi/pdf/10.1145/2619287.2619290 [12] https://www.elastic.co/what-is/elasticsearch, truy nhập ngày 10/02/2020 [13] https://www.elastic.co/logstash, truy nhập ngày 14/02/2020 [14] https://www.elastic.co/what-is/kibana, truy nhập ngày 20/02/2020 [15] https://hello.global.ntt/, truy nhập ngày 30/03/2020 [16] https://www.splunk.com/ truy nhập ngày 15/01/2020 [17] https://www.graylog.org/ truy nhập ngày 15/01/2020 [18] https://www.elastic.co/what-is/elk-stack truy nhập ngày 16/01/2020 [19] https://stanfordnlp.github.io/CoreNLP/ truy nhập ngày 10/02/2020 [20] https://en.wikipedia.org/wiki/SAP_HANA truy nhập ngày 10/02/2020 download by : skknchat@gmail.com ... trị server Xuất phát từ yêu cầu thực tế, học viên nghiên cứu áp dụng hệ thống phân tích log vào việc tăng cường bảo mật cho server, luận văn có tựa đề: ? ?Nghiên cứu file log server ứng dụng bảo mật. .. nghĩa tốn ứng dụng phân tích file log server việc bảo mật server Đồng thời chương giới thiệu chi tiết file log server, ứng dụng file log server quản trị viên trình hoạt động lẫn bảo mật hệ thống... (ElasticSearch, LogStash Kibana) đưa vào áp dụng server dịch vụ lưu trữ công ty iNET Phạm vi phương pháp nghiên cứu  Phạm vi nghiên cứu o Nghiên cứu file log server o Phân tích file log server server