Phát hiện truy nhập bất thường vào máy chủ web

i HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Quốc Trung PHÁT HIỆN TRUY NHẬP BẤT THƯỜNG VÀO MÁY CHỦ WEB Chuyên ngành: Khoa học máy tính Mã số: 8.48.01.01 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TSKH HOÀNG ĐĂNG HẢI HÀ NỘI - 2018 ii LỜI CAM ĐOAN Tôi cam đoan cơng trình nghiên cứu tơi hướng dẫn PGS.TSKH Hoàng Đăng Hải Các số liệu, kết nêu luận văn trung thực chưa công bố cơng trình khác Học viên Nguyễn Quốc Trung iii LỜI CẢM ƠN Với tất lịng kính trọng biết ơn sâu sắc, em xin gửi lời cảm ơn tới Thầy giáo PGS.TSKH Hoàng Đăng Hải, người tận tình dạy dỗ hướng dẫn em trình hồn thành luận văn Em xin gửi lời cảm ơn chân thành tới Thầy giáo, Cô giáo cơng tác Học viện Cơng nghệ bưu viễn thơng, người tận tình giảng dạy, truyền thụ cho em kiến thức khoa học trình học tập trường Cuối cùng, em xin gửi lời cảm ơn chân thành đến gia đình, bạn bè, đồng nghiệp động viên, sát cánh em trình học tập thực đề tài Hà Nội, ngày 19 tháng 11 năm 2018 Học viên Nguyễn Quốc Trung iv MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN iii MỤC LỤC iv DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC BẢNG viii DANH MỤC HÌNH ix MỞ ĐẦU CHƯƠNG MÁY CHỦ WEB VÀ VẤN ĐỀ AN TOÀN WEB 1.1 Máy chủ Web giao thức HTTP 1.1.1 Giới thiệu máy chủ web 1.1.2 Các thành phần máy chủ web 1.1.3 Nguyên tắc hoạt động 1.1.4 Ghi nhật ký (Web Log) 1.1.5 Giao thức HTTP 1.1.6 Một số tảng Apache, IIS, Ngin 12 1.2 Các lỗ hổng bảo mật Web 14 1.2.1 Khái niệm lỗ hổng bảo mật 14 1.2.2 Các loại lỗ hổng phổ biến Web 15 1.2.3 Phương pháp kiểm thử lỗ hổng 17 1.3 Tấn công vào máy chủ Web 19 1.3.1 Giới thiệu công vào máy chủ Web 19 1.3.2 Một số loại cơng điển hình vào máy chủ Web 20 1.3.3 Thống kê cơng máy chủ Web điển hình 21 1.3.4 Một số biện pháp điển hình chống cơng vào máy chủ Web 23 1.4 Phát truy nhập bất thường vào máy chủ Web 24 1.5 Kết luận chương 25 CHƯƠNG PHÁT HIỆN TRUY NHẬP BẤT THƯỜNG VÀO MÁY CHỦ WEB 26 v 2.1 Phạm vi phân tích, phát truy nhập bất thường vào máy chủ Web 26 2.2 Kiến trúc hệ thống phát truy nhập bất thường 26 2.2.1 Tham khảo số mô hình kiến trúc hệ thống 26 2.2.2 Kiến trúc hệ thống phát truy nhập bất thường .30 2.3 Cấu trúc Weblog 30 2.4 Nguyên tắc hoạt động khối xử lý Parse 32 2.5 Thu thập thông tin Weblog cho phát bất thường 35 2.5.1 Thu thập thông tin từ logfile hệ thống 35 2.5.2.Thu thập thông tin từ công cụ 36 2.6 Phương pháp trích chọn đặc trưng liệu 38 2.7 Cách thức phân tích Weblog phát bất thường 45 2.8 Phương pháp phân tích, đánh giá kết 47 2.9 Kết luận chương 52 CHƯƠNG THỬ NGHIỆM 53 3.1 Mơ hình hệ thống máy chủ Web Công ty VCCorp 53 3.2 Đặc tả liệu máy chủ ghi nhận 55 3.3 Thử nghiệm phân tích, phát bất thường với công cụ Weblog Expert 60 3.4 Một số kết thử nghiệm với Weblog Expert 61 3.5 Kết luận chương 69 KẾT LUẬN 70 TÀI LIỆU THAM KHẢO vi DANH MỤC CÁC TỪ VIẾT TẮT TT Từ v C CS DD D D EC HD HT HT 10 HT 11 I 12 IM 13 IP 14 J 15 LV vii 16 MD 17 NT 18 OR 19 PO 20 RA 21 RA 22 SD 23 SM 24 S 25 26 VNC WW viii DANH MỤC BẢNG Bảng 1.1 Ưu nhược điểm phương pháp kiểm thử hộp đen 17 Bảng 1.2 Ưu nhược điểm phương pháp kiểm thử hộp trắng .18 Bảng 1.3 Ưu nhược điểm phương pháp kiểm thử hộp xám .19 Bảng 2.1 Giải thích trường Weblog 31 Bảng 2.2 Các trường bổ sung dòng định dạng log kết hợp 32 Bảng 3.1 Thống kê hoạt động chung việc sử dụng trang web 62 Bảng 3.2 Thống kê hoạt động hàng ngày việc sử dụng trang web 63 Bảng 3.3 Thống kê hoạt động theo ngày 64 Bảng 3.4 Các trang phổ biến 65 Bảng 3.5 Bảng thống kê lượng khách truy cập theo địa IP 66 ix DANH MỤC HÌNH Hình 1.1 Kiến trúc hệ thống máy chủ web Hình 1.2 Các bước tiến trình truyền tải web Hình 1.3 Phương thức GET HTTP 11 Hình 1.4 Phản hồi request từ Web Client 11 Hình 1.5 Các lỗ hổng mối đe dọa với máy chủ web 16 Hình 1.6 Các lỗ hổng bảo mật có nguy cơng cao .17 Hình 1.7 Mơ hình cơng mạng theo phương pháp truy cập trực tiếp 20 Hình 1.8 Các biện pháp bảo vệ theo chiều sâu 24 Hình 2.1 Mơ hình kiến trúc hệ thống IBM QRadar SIEM 27 Hình 2.2 Thống kê Splunk 28 Hình 2.3 Thống kê thu thập Web log từ máy chủ cần giám sát VNCS 29 Hình 2.4 Hệ thống phân tích, phát truy nhập bất thường 30 Hình 2.5 Cấu trúc Log Parser Microsoft cung cấp .33 Hình 2.6 Log Parser 2.2 Microsoft Windows 34 Hình 2.7 Định dạng File log dạng text 35 Hình 2.8 Định dạng File log dạng Excel 35 Hình 2.9 Access.log từ máy Metasploitable 37 Hình 2.10 Kết sau ứng dụng Regex 38 Hình 2.11 Các thành phần việc lựa chọn thuộc tính .40 Hình 2.12 Mơ Hình Wrappe 41 Hình 2.13 Mơ hình Filter 42 Hình 2.14 Tìm kiếm theo phương pháp Focus 43 Hình 2.15 Tìm kiếm theo phương pháp AAB 43 Hình 2.16 Tìm kiếm theo kinh nghiệm Wrap1 44 Hình 2.17 Tìm kiếm theo phương pháp LVF 45 Hình 2.18 Trình duyệt cảnh báo dấu hiệu bất thường 47 Hình 2.19 Các IP có lượng truy cập lớn có dấu hiệu quậy phá .48 Hình 3.1 Mơ hình Mastrer – Slave Database Replication 53 Bảng 3.2 cho thấy tổng số lượt truy cập 8,843,251; lượt xem trang 1,393,931; khách truy cập 74,215, thời lượng truy cập trung bình 04:39 băng thông 759,437,978 kilobyte 63 Bảng 3.2 Thống kê hoạt động hàng ngày việc sử dụng trang web Date Sun 11/4/2018 Mon 11/5/2018 Tue 11/6/2018 Wed 11/7/2018 Thu 11/8/2018 Fri 11/9/2018 Sat 11/10/2018 Sun 11/11/2018 Mon 11/12/2018 Tue 11/13/2018 Wed 11/14/2018 Total Hình 3.16 Các truy cập vào Web theo ngày tuần Hình 3.16 thể lưu lượng truy cập vào trang web không đồng đều, có đột biến cao ngày cuối tuần Từ ta khoanh vùng, đưa kiểm tra cụ thể ngày đột biến: Các trang web truy cập ngày, thời gian truy cập… Hình 3.17 Các hành vi truy nhập thống kê theo ngày Biểu đồ cho thấy thời gian truy cập tăng dần, buổi sáng thường 10h, buổi tối khoảng 20h thời điểm có lượng truy cập cao ngày 64 Bảng 3.3 hiển thị tổng số lượt truy cập 8,843,251; lượt xem trang 1,393,931; khách truy cập74,215 băng thông 759,437,978KB Bảng 3.3 Thống kê hoạt động theo ngày Hour 00:00 - 00:59 01:00 - 01:59 02:00 - 02:59 03:00 - 03:59 04:00 - 04:59 05:00 - 05:59 06:00 - 06:59 07:00 - 07:59 08:00 - 08:59 09:00 - 09:59 10:00 - 10:59 11:00 - 11:59 12:00 - 12:59 13:00 - 13:59 14:00 - 14:59 15:00 - 15:59 16:00 - 16:59 17:00 - 17:59 18:00 - 18:59 19:00 - 19:59 20:00 - 20:59 21:00 - 21:59 22:00 - 22:59 23:00 - 23:59 Total * Hoạt động truy cập (Access Activity) Hoạt động truy cập cung cấp thông tin phổ biến trang, tệp tải xuống nhiều hầu hết hình ảnh yêu cầu Hình 3.18 Các truy cập vào Web theo ngày 65 Hình 3.18 mơ tả truy cập vào Web theo ngày, đường minh họa màu xanh nước biển có lưu lượng truy nhập PhP có độ tăng đột biến thể cơng Web Hình 3.19 Các trang phổ biến Biểu đồ thể rõ truy nhập bất thường vào trang phpmyadmin/index Bảng 3.4 Các trang phổ biến Page https://vccorp.vn/phpmyadmin/ index.php https://vccorp.vn/ https://vccorp.vn/wp-cron.php https://vccorp.vn/mod_pagespeed_beacon/ 169 169 416 416 546 546 223 223 323 323 238 238 263 263 10 436 436 11 213 213 12 13 293 293 461 461 14 15 231 66 Khi thống kê theo trang web có lưu lượng truy cập nhiều Weblog Expert cho phép ta nhìn thấy số lượng truy cập bất thường, đường dẫn đầy đủ trang web truy cập * Khách truy cập (Visitors) Bảng 3.5 Bảng thống kê lượng khách truy cập theo địa IP Host 185.224.248.171 193.201.225.12 45.58.127.226 66.249.82.112 66.249.82.116 10 11 66.249.82.114 185.244.25.218 12 13 94.177.228.31 52.200.221.20 14 15 203.113.152.5 203.113.152.3 16 17 203.113.152.4 203.113.152.6 18 19 80.211.107.172 185.244.25.154 20 Subtotal Total Show items: Page of 812 Thống kê theo địa IP cho phép nhà quản trị khoanh vùng địa điểm truy cập Từ phát lãnh thổ truy cập: Truy cập bắt nguồn từ nước nào, nhà mạng nào… * Liên kết giới thiệu (Referrer) Hình 3.20 cho thấy cơng cụ tìm kiếm sử dụng để tìm trang web Ở google sử dụng nhiều số tìm kiếm khác 67 Hình 3.20 Cơng cụ tìm kiếm sử dụng * Trình duyệt (Browsers) Giai đoạn phân tích cung cấp thơng tin trình duyệt hệ điều hành khách truy cập trang web sử dụng Hình 3.21 cho thấy trình duyệt sử dụng để truy cập trang web Hình 3.21 Các trình duyệt sử dụng nhiều Đơi trang web, hình ảnh khơng xuất hiện, menu khơng phù hợp văn lộn xộn với Điều vấn đề tương thích trình duyệt trang web Thơng tin cung cấp cơng cụ phân tích hiển thị trình duyệt hệ điều hành hoạt động mà khách truy cập 68 sử dụng truy cập trang web Vì vậy, vấn đề tương thích giải trang web cập nhật * Thống kê lỗi (Errors) Hình 3.22 cho thấy loại xảy lỗi truy cập trang web Lỗi “404” xảy khơng tìm thấy liên kết lỗi thứ hai 400 Bad Request thường gây bạn nhập dán URL sai cửa sổ địa Hình 3.22 Các loại lỗi xảy Từ thông tin này, thay đổi bắt buộc thực mã trang web, để tỷ lệ lỗi tương lai giảm * Kiểm tra filelog Hình 3.23 File log phát truy nhập bất thường Sau thống kê bất thường dựa báo cáo biểu đồ, bảng biểu phần mềm Weblog Expert ta phát truy nhập bất thường 69 (ngày, giờ, địa IP…) Từ kiểm tra filelog thấy rõ địa IP, ngày giờ, lệnh truy cập… Hình 3.33 cho thấy truy cập lệnh: "GET /phpmyadmin/index.php?pma_username=root&pma_password=p@ssword1&serve r=1 HTTP/1.0" … Đây lệnh dự đoán tên đăng nhập mật để thực truy nhập bất thường Từ đưa phương án ngăn chặn kịp thời bất thường xảy Nhà quản trị cần kiểm tra filelog hàng ngày Đọc filelog lực cần có nhà quản trị webserver 3.5 Kết luận chương Trong chương 3, luận văn trình bày số kết thử nghiệm phân tích Weblog phát truy nhập bất thường vào máy chủ Web Cơng ty VCCorp Luận văn trình bày cụ thể số đặc tả liệu Weblog máy chủ ghi nhận được, trình bày tóm tắt cơng cụ Weblog Expert dùng để thu thập, phân tích dấu hiệu Weblog Tiếp đó, trình bày số kết thử nghiệm 70 KẾT LUẬN Phân tích logfile, phát truy nhập bất thường vào máy chủ Web nhu cầu thực tế đặt giúp phán đoán nguy xảy công vào máy chủ Web Phát truy cập bất thường bước quan trọng để phát cơng vào máy chủ Web Trên sở thực bước việc đảm bảo an toàn dịch vụ Web, phát hành động xâm nhập trái phép, công vào máy chủ Web Ngày có nhiều biện pháp phát truy cập bất thường dựa nguyên lý chung xây dựng tập dấu hiệu bình thường hệ thống, tiếp thu thập hành vi truy nhập vào máy chủ, so sánh với tập dấu hiệu bình thường lưu sẵn Nếu có khác biệt có nghĩa có hành vi truy nhập bất thường Một khả khác để thu thập thông tin hành vi sử dụng công cụ thu thập thông tin máy chủ Web thực phân tích, phát dấu hiệu truy nhập bất thường vào máy chủ Web Điển hình cơng cụ WLELite Mục đích nghiên cứu vấn đề truy nhập bất thường vào máy chủ Web, phương pháp thu thập liệu Weblog phân tích, phát dấu hiệu bất thường Các kết nghiên cứu đạt gồm: - Nghiên cứu tổng quan máy chủ web, logfile, truy cập bất thường - Nghiên cứu phương pháp phát truy cập bất thường vào máy chủ web thơng qua thu thập phân tích Weblog - Ứng dụng thử nghiệm phần mềm WLELite việc thu thập, phân tích thơng tin từ máy chủ web VCCorp Hướng phát triển tiếp: Luận văn toán sở để phát dấu hiệu bất thường truy cập máy chủ web bất kì, trung tâm liệu Kết thực đề tài có ý nghĩa thiết thực triển khai ứng dụng nhà cung cấp dịch vụ Hosting VCCorp TÀI LIỆU THAM KHẢO Tiếng việt [1] Hoàng Đăng Hải (2014), Tài liệu môn An ninh mạng, Học viện Công nghệ Bưu Viễn thơng, Hà Nội [2] Phạm Duy Lộc, Hồng Xuân Dậu, Khảo sát tảng kỹ thuật xử lý Log truy cập dịch vụ mạng cho phát nguy an tồn thơng tin, Tạp chí KH Đại học Đà Lạt, Tập 8, Số 2, 2018 [3] Trịnh Nhật Tiến (2008), An toàn an toàn thông tin, Nhà xuất quốc gia [4] Võ Đỗ Thắng (2013), Tấn cơng phịng thủ cho ứng dụng Web, Trung tâm An ninh mạng Athena [5] Nghị định Chính phủ, Quản lý, cung cấp, sử dụng dịch vụ internet thông tin mạng, số 72/2013/NĐ-CP [6] Trung tâm ứng cứu khẩn cấp máy tính Việt Nam (2009), TCVN ISO/IEC 27001:2009, Bộ Thông tin Truyền thông, Hà Nội Tiếng Anh [7] Christopher Kruegel, Giovanni Vigna Anomaly Detection of Webbased Attacks CCS '03 Proceedings of the 10th ACM conference on Computer and communications security Pp 251-261 [8] Hongxin Hu, Gail-Joon Ahn and Ketan Kulkarni Anomaly Discovery and Resolution in Web Access Control Policies SACMAT’11 Proceedings of the 16th ACM symposium on Access control models and technologies Pp 165-174 [9] Juan M Est_evez-Tapiador, Pedro Garc_ıa-Teodoro, Jes_us E D_ıaz-Verdejo Measuring normality in HTTP traffic for anomaly-based intrusion detection Computer Networks 45 (2004) 175–193 [10] Juan M Estévez-Tapiador Pedro García-Teodoro Jesús E Díaz-Verdejo Detection of Web-based Attacks through Markovian Protocol Parsing ISCC 2005 Proceedings Communications, 2005 10th IEEE Symposium on Computers and [11] Sipola, Tuomo; Juvonen, Antti; Lehtonen, Joel Anomaly detection from network logs using diffusion maps Engineering Applications of Neural Networks (pp 172-181) IFIP Advances in Information and Communication Technology (363) [12] Shilin He, Jieming Zhu, Pinjia He, and Michael R Lyu Experience Report: System Log Analysis for Anomaly Detection IEEE 27th International Symposium on Software Reliability Engineering (ISSRE), 2016 [13] Shaimaa Ezzat Salama Web Server Logs Preprocessing for Web Intrusion Detection Computer and Information Science, Vol 4, No 4; July 2011 Pp 123- 134 [14] Yi Xie and Shun-Zheng Yu Monitoring the Application-Layer DDoS Attacks for Popular Websites IEEE/ACM TRANSACTIONS ON NETWORKING, VOL 17, NO 1, FEBRUARY 2009 Pp 15-26 Website [15] https://www.weblogexpert.com/ [16] https://www.weblogexpert.com/lite.htm [17] https://www.weblogexpert.com/download.htm [18] https://www.owasp.org/index.php/Category:OWASP_Top_Ten_Project [19] https://research.ijcaonline.org/volume110/number4/pxc3900759.pdf [20] https://www.sans.org/reading-room/whitepapers/logging/detecting-attacks- web-applications-log-files2074 [21] https://vi.wikipedia.org/wiki/Hypertext_Transfer_Protocol [22] https://www.hostinger.vn/huong-dan/apache-la-gi-giai-thich-cho-nguoi-moi- bat-dau-hieu-ve-apache-web-server/#gref [23] https://securitydaily.net/tim-hieu-ve-internet-information-services-iis/ [24] https://blog-xtraffic.pep.vn/nginx-la-gi/ [25] https://vccorp.vn/ ... Phát truy nhập bất thường vào máy chủ Web Các truy nhập bất thường vào máy chủ Web tiềm ẩn nguy công, việc phát truy nhập bất thường vào máy chủ Web có vai trị quan trọng việc phát sớm công vào. .. nhập bất thường vào máy chủ Web Như trình bày chương 1, việc phân tích Weblog máy chủ Web giải pháp hiệu cho phát truy nhập bất thường vào máy chủ Web Để thực nhiệm vụ phát truy nhập bất thường vào. .. 25 CHƯƠNG PHÁT HIỆN TRUY NHẬP BẤT THƯỜNG VÀO MÁY CHỦ WEB 26 v 2.1 Phạm vi phân tích, phát truy nhập bất thường vào máy chủ Web 26 2.2 Kiến trúc hệ thống phát truy nhập bất thường 26