Nghiên cứu file log server và ứng dụng trong bảo mật server

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG VĂN TÙNG NGHIÊN CÚU FILE LOG VÀ ỨNG DỤNG TRONG BẢO MẬT SERVER LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2020 HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG VĂN TÙNG NGHIÊN CÚU FILE LOG VÀ ỨNG DỤNG TRONG BẢO MẬT SERVER Chuyên ngành : Hệ thống thông tin MÃ SỐ: 8.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHAN THỊ HÀ HÀ NỘI – 2020 LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Học viên luận văn ký ghi rõ họ tên Hoàng Văn Tùng LỜI CẢM ƠN Để hoàn thành luận văn, nghiên cứu cố gắng thân, xin cảm ơn cô giáo TS Phan Thị Hà - người trực tiếp hướng dẫn, tận tình bảo định hướng cho tơi suốt q trình thực luận văn Một lời cảm ơn chắn diễn tả hết lịng biết ơn sâu sắc tơi tới cô – người cô phương diện! Tôi xin gửi lời cảm ơn chân thành cảm ơn tất thầy cô giáo Học viện Cơng nghệ Bưu Viễn thơng giảng dạy, quan tâm nhiệt tình dìu dắt tơi trong suốt q trình học tập trường Cuối cùng, tơi xin gửi lời cảm ơn tới gia đình, bạn bè người bên cổ vũ, động viên, tạo điều kiện thuận lợi cho học tập, tạo động lực tinh thần vô giá để hoàn thiện luận văn ngày hoàn thiện thân Trong q trình nghiên cứu thực luận văn, hướng dẫn nhiệt tình giáo TS Phan Thị Hà nỗ lực thân tránh khỏi thiếu sót hạn chế Tơi mong nhận ý kiến đóng góp, sửa chữa từ quý Thầy, Cô bạn bè đồng nghiệp để luận văn hoàn thiện Trân trọng cảm ơn! Học viên Hoàng Văn Tùng MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ MỞ ĐẦU Hiện nay, Internet phát triển cách mạnh mẽ có nhiều bước chuyển vượt bậc đóng góp tích cực việc phát triển kinh tế, xã hội đặc biệt người Sự phát triển internet kéo theo website trực tuyến tạo ngày nhiều Và tất nhiên server lưu trữ web (như hosting, vps) tăng nhanh chóng nhằm đáp ứng nhu cầu tạo website, đồng thời tạo thêm môi trường thu lợi tin tặc Với nhiều thủ đoạn lẫn cách thức tinh vi, việc đảm bảo an toàn cho server lưu trữ web ln tốn vơ nan giải Tháng 2/2019, Tập đoàn Bkav phát cảnh báo việc có chiến dịch cơng có chủ đích hacker nước ngồi nhằm vào server public Việt Nam Hàng trăm quan, tổ chức Việt Nam bị hacker cơng, xâm nhập máy chủ, sau thực mã hóa tồn liệu server [1] Hay công DDoS vào Wikipedia – website bách khoa hàng đầu giới – khiến cho website bị ngừng hoạt động gần ngày [2] Theo Báo cáo an ninh mạng hàng năm năm 2019 từ Bulletproof, cơng DoS DDoS gây thiệt hại cho công ty doanh nghiệp triệu đô la lên tới 120.000 đô la cho công ty nhỏ [4] Khi bị tin tặc cơng, server bị ảnh hưởng nhiều dẫn đến việc hoạt động hệ thống bị ngưng trệ hay mát liệu Điều không làm tốn thời gian khắc phục cho người quản trị hệ thống mà kéo theo hệ lụy kinh tế an ninh Do mà cần phát sớm công vào server Để ngăn chặn nhanh công vào server từ tin tặc, người quản trị cần sớm biết mối nguy hại tiềm ẩn tác động đến hệ thống Phân tích log server giúp người quản trị biết có tác động vào server đưa cách xử lý nhanh chóng [6] Đề tài xây dựng nhằm mục đích nghiên cứu xây dựng hệ thống phân tích dấu hiệu bất thường sever thông qua file log để có phương án phịng bị ngăn chặn việc công server Việc xây dựng hệ thống phân tích log giúp cho quản trị viên nắm bắt tình hình server nhanh chóng xác Điều không giúp ngăn chặn hay hiểu rõ cách thức cơng nhanh bình thường, mà cịn giúp giảm chi phí nhân lực để quản trị server Xuất phát từ yêu cầu thực tế, học viên nghiên cứu áp dụng hệ thống phân tích log vào việc tăng cường bảo mật cho server, luận văn có tựa đề: “Nghiên cứu file log server ứng dụng bảo mật server” Luận văn tập trung vào vấn đề liên quan đến file log server cách mà file log server giúp người quản trị việc bảo mật Đề tài nghiên cứu liệu file log web server từ tìm vấn đề gây ảnh hưởng đến server Cụ thể dựa liệu thu từ lưu lượng truy cập, thay đổi tạo server,… để phát bất thường gây tổn hại đến server Log file ghi lại liên tục thông báo hoạt động hệ thống server dịch vụ triển khai hệ thống hay file tương ứng Log file thường file văn thông thường biểu diễn dạng “clear text” tức người quản trị dễ dàng đọc nó, mà sử dụng trình soạn thảo văn (vi, vim, nano ) trình xem văn thơng thường (cat, tailf, head ) để kiểm tra file log server File log server cung cấp cho quản trị viên toàn thông tin hoạt động server, hỗ trợ giải rắc rối mà server gặp phải miễn họ biết phân tích ứng dụng thơng tin nhận vào khắc phục Tác dụng log vơ to lớn, giúp quản trị viên theo dõi hệ thống tơt hơn, giải vấn đề gặp phải với hệ thống service Điều đặc biệt quan trọng với hệ thống cần phải online 24/24 để phục vụ nhu cầu người dùng Việc áp dụng phân tích liệu log vào bảo mật server lĩnh vực rộng lớn khó để làm chi tiết khuôn khổ luận đề tài này, học viên tập trung vào tìm hiểu file log server thơng qua xây dựng hệ thống phát bất thường cảnh báo tới người quản trị 10 Đề tài sử dụng ELK Stack làm hệ thống quản lý log nhiều điểm mạnh mã nguồn mở, thu thập log từ nhiều nguồn khác, có tảng tìm kiếm mạnh mẽ (ElasticSearch), hỗ trợ phân tích số liệu thu thập (Analytic), quản lý logs tập trung, tìm kiếm thơng báo lỗi cách tự động Mục đích, đối tượng, phạm vi phương pháp nghiên cứu Mục đích nghiên cứu Mục đích luận văn tìm hiểu file log server ứng dụng vào việc bảo mật server Đối tượng nghiên cứu Học viên xác định đối tượng nghiên cứu đề tài lý thuyết file log server ứng dụng Bên cạnh đề tài cịn tập trung vào nghiên cứu công nghệ mã nguồn mở ELK (ElasticSearch, LogStash Kibana) đưa vào áp dụng server dịch vụ lưu trữ công ty iNET Phạm vi phương pháp nghiên cứu • Phạm vi nghiên cứu o Nghiên cứu file log server o Phân tích file log server server lưu trữ web cơng ty iNET • Phương pháp nghiên cứu Tìm hiểu file log server, kỹ thuật phân tích file log Sau nghiên cứu công nghệ mã nguồn mở ELK (ElasticSearch, LogStash Kibana) để đưa vào áp dụng server lưu trữ nhằm cảnh báo sớm tới quản trị viên có bất thường xảy Cấu trúc luận văn Với mục tiêu đặt vậy, nội dung kết luận văn chia thành chương sau: Chương I: Tổng quan file log server Trong chương này, luận văn vào tìm hiểu file log server toán ứng dụng file log vào việc bảo mật server Chương II: Nghiên cứu thiết kế hệ thống phân tích log server Những vấn đề việc xử lý file log server thông qua công cụ tảng trình bày chương Trong chương này, học viên đề cập đến mơ kỹ thuật phân tích file log server Chương III: Áp dụng thử nghiệm hệ thống phân file log server thực tiễn Tại chương học viên áp dụng triển khai thử nghiệm hệ thống phân tích log server cung cấp dịch vụ lưu trữ nội dung cho website Từ việc áp dụng 56 3.2 Vận hành thử nghiệm Sau cài đặt toàn hệ thống phân tích ELK server, tồn liệu log thu thập hiển thị Kibana Kibana cung cấp giao diện trực quan dễ nhìn dễ dàng sử dụng tạo thuận lợi cho việc quản trị log server Dữ liệu log chia trường hình ảnh kèm theo filter bên trái cho phép lựa chọn trường liệu cần thiết cho việc phân tích Hình 3.4: Giao diện quản lý liệu log tổng quan Kibana Khi đưa giải pháp ELK vào xây dựng hệ thống quản lý log, liệu log thu thập theo thời gian thực (real-time) Ngay hệ thống nhận bất thường hệ thống, tự động gửi email cảnh báo cho quản trị viên biết để có thức xử lý Quản trị viên thông qua việc nhận mail báo lỗi thể biết vấn đề mà hệ thống gặp phải Điều so với việc giám sát liệu 57 thủ công thường thấy bước đắn, giúp quản trị viên có phương án thích hợp cho server server bị cơng Trong phần cấu hình Logstash cài đặt phát truy cập bị chặn lại hệ thống tiến hành gửi mail cho quản trị viên Hình 3.5 Hệ thống gửi mail báo lỗi cho quản trị viên Dữ liệu log theo dõi thủ công gặp nhiều vấn đề hạn chế việc dõi tiến trình sinh log hay theo dõi nhiều file log lúc gây thời gian Để cải thiện vấn đề hệ thống phân tích log server ELK cung cấp biểu đồ thông qua Kibana cho phép quản trị viên theo dõi liệu log thu thập theo thời gian thực Từ biểu đồ, quản trị viên hoàn tồn nắm thời điểm có bao nhiều dịng log sinh có cách thức xử lý hiệu log server thu nhiều 58 Hình 3.6 Giao diện hiển thị theo thời gian thực việc lấy liệu log 3.3 Phân tích liệu thu từ log Server Từ liệu log thu sau cài đặt hệ thống phân tích log server ELK stack, học viên dựa vào liệu để kiểm tra xem hệ thống có gặp vấn đề hay khơng - Phân tích cơng DDoS dựa liệu log DDoS phương thức công khơng lạ khó để ngăn chặn hồn tồn Trong có cách thức cơng phổ biến dựa việc khiến server bị hết băng thông hay gửi nhiều yêu cầu liệu sai khiến phần cứng không đáp ứng đủ Cách thức công đa phần dựa công cụ dẫn đến đường dẫn, thư mục phổ biến dùng mục tiêu quét đầu tiên, nhiên việc cài đặt web server nên phản hồi 404 nhiều phản ánh vấn đề với hệ thống Do việc theo dõi phản hồi 404 nhiều bất thường giúp ích việc phân tích cơng DDoS Do học viên tiến hành lập biểu đồ kiểm tra phản hồi từ server client 59 Hình 3.7 Biểu đồ phản hồi từ server client Biểu đồ dựa vào liệu log hình cho thấy số lượng phản hồi request đến từ server, phản hồi 404 có số lượng nhiều nhiều so với phản hồi khác Đây lỗ hổng có nhiều lượt truy cập vào server lại đến trang không nằm hệ thống Quản trị viên cần phải khai thác xem thời gian hệ thống gặp nhiều request 404 IP Dựa số liệu log thu được, quản trị viên hồn tồn biết thời điểm hệ thống có số lượng yêu cầu 404 gia tăng 60 Hình 3.8 Các phản hồi 404 từ Server Qua biểu đồ lọc phản hồi 404 theo thời gian, nhận thấy vào ngày 30 tháng số lượng phản hồi 404 tăng cao bất thường, tiếp tục nhấp vào ngày 30 để có thêm thông tin vào khoảng thời gian 61 Hình 3.9 Chi tiết lượng phản hồi 404 ngày 30/3 Sau tiến hành lọc IP gửi nhiều request đến server thời điểm truy xét 62 Hình 3.10 Thống kê IP nhận phản hồi 404 cao ngày 30/3 Thông qua biểu đồ nhận thấy IP 192.99.15.199 có lượng phản hồi 404 cao cụ thể 10 phút tiến hành gửi 120 lần request đến server, IP đưa vào danh sách nghi vấn chặn lượt phản hồi cao tiếp diễn đặn Trong thời gian cài đặt thử nghiệm hệ thống không ghi nhận công, nên trường hợp hoạt động cách thức tìm IP công sever Tuy nhiên việc theo dõi lượng request lỗi cao hồn tồn giúp quản trị viên chủ động việc phòng tránh bị công DDoS - Phát công XSS với hệ thống phân tích log Như đề cập chương 1, cơng XSS phát thơng qua việc tìm thẻ script, frame,… Thơng qua liệu log tiến hành tìm kiếm thẻ có khả bị chèn mã độc 63 Hình 3.11 Tìm kiếm script message Qua việc tìm kiếm, nhận có số lượng script bị chèn server nhiên bị chặn Firewall ModSecurity Nhấp chi tiết vào quản trị viên xem chi tiết liệu script Hình 3.12 Nội dung message chi tiết có chứa mã script Dựa thơng tin thu được, srcipt chèn vào nhằm crawl liệu server Với script crawl liệu dẫn đến tình trạng ăn tài nguyên hệ thống website hoạt động không cài đặt ban đầu Tuy nhiên script chặn lại tường lửa nên điều khơng ảnh hưởng đến hệ thống 3.4 Đánh giá, đề xuất bảo mật cho server Sau thực cấu hình thử nghiệm hệ thống phân tích log server trình bày trên, học viên đánh giá kết đạt giải số vấn đề đặt toán đề cập chương mục giới thiệu toán như: 64 Xây dựng hệ thống phân tích log có khả cập nhật liệu theo thời gian thực, giúp cho việc phân tích log server dễ dàng trực quan với Kibana • Hệ thống phân tích log server giúp cho việc bảo mật server dễ dàng phát cảnh báo hệ thống gặp lỗi, dấu hiệu bất thường giúp quản trị viên nhận thơng báo lỗi cách sớm xác So với việc phân tích thủ cơng theo cố lựa chọn hồn toàn hợp lý Việc giải hai vấn đề đồng nghĩa với việc giải phần hạn chế sử dụng quản lý giám sát liệu log server công ty iNET đề cập đầu chương - Các đề xuất bảo mật cho Server Qua việc triển khai hệ thống phân tích log server cơng ty iNET, học viên nhận thấy vấn đề cần thực để đảm bảo hệ thống an tồn nhất: • Phân tích liệu log có ý nghĩa vơ quan trọng bảo mật server, sử dụng riêng hệ thống phân tích log dựa ELK stack chưa đủ để đảm bảo an tồn bảo mật cho server Việc kết hợp với công cụ giám sát khác giám sát mạng, giám sát hệ thống để nâng cao khả truy tìm, chặn lỗ hổng hay thông báo lỗi đến quản trị viên cần thiết • Tường lửa, công cụ antivirus phần mềm quan trọng việc bảo mật hệ thống server Các phần mềm giúp cho hệ thống ngăn chặn từ đầu tác nhân gây hại giúp giảm thiểu khối lượng công việc cần làm cho quản trị viên Điều đồng nghĩa với việc hệ thống server cần cập nhật phần mềm tường lửa, antivirus nhanh sớm 65 • Là hệ thống server dịch vụ lưu trữ online nên liệu thứ thiết yếu nhất, nên hệ thống cần ổ để lưu lại toàn liệu đưa lên server dịch vụ Trong trường hợp xấu nhất, việc lưu liệu giúp giải vấn đề khách hàng trước có động thái tìm kiếm lỗ hổng server • Kiểm tra liệu log để nắm thông tin hệ thống định kỳ xây dựng tự động báo lỗi để tránh việc để sót thơng tin quan trọng 3.5 Kết luận Chương luận văn trình bày chi tiết việc triển khai hệ thống phân tích log server cơng ty iNET dựa công nghệ ELK stack cho phép quản trị viên quản lý log tập trung, nhận thơng báo lỗi từ sớm giúp sớm khắc phục lỗi hệ thống Bên cạnh mơ hình vận hành hệ thống phân tích luồng lấy liệu log học viên thiết kế hoạt động theo ý muốn giúp liệu log tập trung toàn hệ thống phục vụ cho việc phân tích dễ dàng Việc cài đặt thành cơng hệ thống phân tích log server công ty iNET tạo tiền đề cho việc triển khai cho server khác nâng cao khả phòng ngự bảo mật Một số thử nghiệm đánh giá liệu log thu server công ty iNET học viên thực Với việc chọn yếu tố quan trọng, loại bỏ yếu tố dư thừa phân tích liệu log; học viên xác định nguy xảy công nhằm vào server Bên cạnh chương tổng hợp số đề xuất cho server nhằm nâng cao khả chống công cho sever, hạn chế mức thấp tác động gây hại giảm tải việc phải giám sát hệ thống nhiều 66 KẾT LUẬN Những đóng góp luận văn: Với mục tiêu nghiên cứu tốn tìm hiểu file log ứng dụng file log vào bảo mật server Luận văn sâu vào nghiên cứu vấn đề xung quanh file log, ứng dụng file log server Những kết đạt luận văn: • Tìm hiểu tổng quan file log server, ứng dụng file log server việc vận hành lẫn bảo mật hệ thống, cách thức phân tích cách nhận biết cơng thơng qua file log • Tìm hiểu cơng nghệ ELK stack dựa vào công nghệ học viên xây dựng mơ hình tổng qt hệ thống phân tích log server • Tìm hiểu hệ thống máy chủ cơng ty iNET, sau tiến hành xây dựng mơ hình hệ thống phân tích log cho máy chủ Thơng qua mơ hình hệ thống phân tích log, học viên cấu hình chạy thử nghiệm thành cơng hệ thống phân tích liệu log cảnh báo lỗi đến quản trị viên Hướng phát triển luận văn Tuy đạt số kết nêu trên, luận văn cịn có hạn chế điều kiện mặt thời gian lẫn trình độ học viên Vì vậy, hướng nghiên • cứu học viên là: Áp dụng thêm cơng cụ khác vào hệ thống phân tích file log nhằm nâng cấp tính năng, nâng cao khả quản trị server lẫn liệu log • Những hình thức công vào hệ thống server phát triển không ngừng theo thời gian Tin tặc áp dụng hình thức cơng đa dạng hơn, khó để phát ngăn chặn tốn khó bảo mật server quản trị viên Luận văn phát triển theo hướng tìm hiểu hình thức cơng nhất, thơng qua tìm hiểu cách thức để áp dụng vào việc phân tích log 67 • Khơng dùng liệ phân tích log vào bảo mật server, luận văn phát triển theo hướng ứng dụng vào vấn đề liên quan đến người dùng nhằm cải thiện chất lượng hệ thống • Ứng dụng file log server vào bảo mật server vô lớn Quản trị viên hồn tồn phát triển hệ thống SIEM (hệ thống giám sát an ninh mạng) liệu log server để quản lý server cách toàn diện 68 DANH MỤC CÁC TÀI LIỆU THAM KHẢO Tiếng Việt [1] Kim Thanh (2019), Đang có chiến dịch cơng có chủ đích nhằm vào Server Public Việt Nam https://www.sggp.org.vn/dang-co-mot-chien-dich-tan-cong-co-chu-dichnham-vao-cac-server-public-cua-viet-nam-575735.html [2] Kiến Văn (2019), Wikipedia xác nhận cố ngừng hoạt động bị công DDoS https://thanhnien.vn/cong-nghe/wikipedia-xac-nhan-su-co-ngung-hoat-dongdo-bi-tan-cong-ddos-1123957.html Tiếng Anh [3] Arvind K Sharma1, P.C Gupta (2013), “Analysis of Web Server Log Files to Increase the Effectiveness of the Website Using Web Mining Tool”, International Journal of Advanced Computer and Mathematical Sciences, vol 4, issue 1, pp1-8 [4] BulletProof (2019), BulletProof Annual Cyber Security Report 2019 https://www.bulletproof.co.uk/industry-reports/2019.pdf [5] Krishnamoorthi R., K R Suneetha (2009), “Identifying User Behavior by Analyzing Web Server Access Log File” International Journal of Computer Science and Network Security, vol 9, no [6] Karen Kent, Murugiah Souppaya (2006), Guide to Computer Security Log Management, National Institute of Standards and Technology, Gaithersburg [7] Mohammed Hamed Ahmed Elhiber and Ajith Abraham (2013), “Access Patterns in Web Log Data: A Review” Journal of Network and Innovative Computing, ISSN 2160-2174, pp 348-355 69 [8] Merve Bas ß SeyyarFerhat, Ozgur Catak, Ensar Gul (2017), “Detection of attack-targeted scans from the Apache HTTP Server access logs” Applied Computing and Informatics, Volume 14, Issue 1, January 2018, Pages 28-36 [9] Neha Goel, C.K Jha (2013), “Analyzing Users Behavior from Web Access Logs using Automated Log Analyzer Tool” International Journal of Computer Applications, vol 62, no [10] Roger Meyer (2008), Detecting Attacks on Web Applications from Log Files https://www.sans.org/reading-room/whitepapers/logging/detecting-attacks-webapplications-log-files-2074 [11] Satoru Kobayashi, Kensuke Fukuda, Hiroshi Esaki (2014), Towards an NLP-based log template generation algorithm for system log analysis https://dl.acm.org/doi/pdf/10.1145/2619287.2619290 [12] https://www.elastic.co/what-is/elasticsearch, truy nhập ngày 10/02/2020 [13] https://www.elastic.co/logstash, truy nhập ngày 14/02/2020 [14] https://www.elastic.co/what-is/kibana, truy nhập ngày 20/02/2020 [15] https://hello.global.ntt/, truy nhập ngày 30/03/2020 [16] https://www.splunk.com/ truy nhập ngày 15/01/2020 [17] https://www.graylog.org/ truy nhập ngày 15/01/2020 [18] https://www.elastic.co/what-is/elk-stack truy nhập ngày 16/01/2020 [19] https://stanfordnlp.github.io/CoreNLP/ truy nhập ngày 10/02/2020 70 [20] https://en.wikipedia.org/wiki/SAP_HANA truy nhập ngày 10/02/2020 ... Tổng quan file log server Trong chương này, luận văn vào tìm hiểu file log server toán ứng dụng file log vào việc bảo mật server Chương II: Nghiên cứu thiết kế hệ thống phân tích log server Những... trị server Xuất phát từ yêu cầu thực tế, học viên nghiên cứu áp dụng hệ thống phân tích log vào việc tăng cường bảo mật cho server, luận văn có tựa đề: ? ?Nghiên cứu file log server ứng dụng bảo mật. .. (ElasticSearch, LogStash Kibana) đưa vào áp dụng server dịch vụ lưu trữ công ty iNET Phạm vi phương pháp nghiên cứu • Phạm vi nghiên cứu o Nghiên cứu file log server o Phân tích file log server server