Bài viết đề xuất một mô hình phát hiện tấn công web dựa trên học máy sử dụng web log. Mô hình phát hiện đề xuất được xây dựng sử dụng thuật toán học máy cây quyết định - một trong các thuật toán học máy có chi phí tài nguyên tính toán tương đối thấp. Đồng thời, mô hình cũng không yêu cầu phải cập nhật thường xuyên.
Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII Nghiên cứu ứng dụng Công nghệ thông tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00202 PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB LOG Hoàng Xuân Dậu1, Nguyễn Trọng Hưng2 Khoa Công nghệ thông tin 1, Học viện Công nghệ Bưu Viễn thơng Khoa Cơng nghệ An ninh thông tin, Học viện An ninh nhân dân dauhx@ptit.edu.vn, tronghungt31@gmail.com TĨM TẮT: Tấn cơng chèn mã SQL (SQLi) công XSS từ lâu xem mối đe dọa chủ yếu ứng dụng web người dùng web Các dạng cơng dẫn đến nhiều rủi ro cho ứng dụng web người dùng web, bao gồm từ việc vượt qua hệ thống xác thực ứng dụng web, đánh cắp thông tin từ sở liệu web từ trình duyệt người dùng, đến chiếm quyền điều khiển hệ thống máy chủ Để đối phó với dạng cơng web, nhiều biện pháp công cụ nghiên cứu triển khai để bảo vệ ứng dụng web người dùng web Trong lớp biện pháp phòng chống công web, phát công web hướng nghiên cứu có nhiều triển vọng Tuy vậy, số biện pháp có khả phát dạng công web, số biện pháp khác đòi hỏi cập nhật tập luật phát thường xuyên, số biện pháp lại yêu cầu lớn tài ngun tính tốn chúng sử dụng kỹ thuật phát phức tạp Bài báo đề xuất mơ hình phát cơng web dựa học máy sử dụng web log Mơ hình phát đề xuất xây dựng sử dụng thuật toán học máy định - thuật tốn học máy có chi phí tài ngun tính tốn tương đối thấp Đồng thời, mơ hình khơng yêu cầu phải cập nhật thường xuyên Các thử nghiệm tập liệu có gán nhãn liệu web log thực cho thấy mơ hình có khả phát hiệu nhiều dạng công web với độ xác chung đạt 98 % Từ khóa: Phát công web, phát công SQLi, phát công XSS, phát công duyệt đường dẫn, phát công web dựa học máy I GIỚI THIỆU Các dạng công web, bao gồm SQLi, XSS, CMDi (chèn dòng lệnh hệ điều hành) duyệt đường dẫn cho mối đe dọa thường trực nguy hiểm website, ứng dụng web người dùng web [1], [2] Các dạng công thông dụng phổ biến website, ứng dụng web sẵn có cơng cụ cơng web mạng Internet [3] Chúng tơi đặt tên cho nhóm công web gồm SQLi, XSS, CMDi duyệt đường dẫn “tấn công web thường gặp” Tấn công web thường gặp gây hậu nghiêm trọng cho website, ứng dụng web người dùng web Chúng cho phép tin tặc (1) vượt qua hệ thống xác thực ứng dụng web, (2) thực sửa đổi trái phép nội dung trang web, sở liệu web, (3) trích xuất liệu từ sở liệu web, (4) đánh cắp thông tin nhạy cảm máy chủ web trình duyệt web người dùng chí (5) chiếm quyền điều khiển máy chủ web và/hoặc máy chủ sở liệu [1], [2] Hình minh họa ví dụ cơng SQLi vào website, tin tặc (Attacker) chèn mã độc SQL vào từ khóa tìm kiếm để xóa bảng sở liệu website Hình Một ví dụ cơng SQLi vào website Do tính chất nguy hiểm dạng công web thường gặp, nhiều biện pháp, công cụ nghiên cứu, phát triển ứng dụng thực tế nhằm phát ngăn chặn dạng công nhằm bảo vệ website, ứng dụng web người dùng web Tựu chung, có hướng tiếp cận cho phịng chống dạng công web, bao gồm (1) kiểm tra tất liệu đầu vào, (2) giảm số bề mặt bị công (3) ứng dụng chiến lược phòng vệ theo chiều sâu [1], [2] Cụ thể, hướng tiếp cận (1) yêu cầu kiểm tra kỹ lưỡng tất liệu đầu vào ứng dụng web có liệu hợp lệ chuyển đến khâu xử lý Theo cách khác, hướng tiếp cận (2) yêu cầu chia ứng dụng web thành thành phần áp dụng chế kiểm soát truy cập phù hợp để hạn chế truy cập người dùng đến thành phần Trong hướng tiếp cận (3), nhiều biện pháp phòng vệ áp dụng tạo thành lớp hỗ trợ để bảo vệ ứng dụng web người dùng web Bài báo đề xuất mơ hình phát cơng web thường gặp dựa học máy sử dụng web log thuộc hướng tiếp cận (3) Chúng sử dụng kỹ thuật học máy để xây dựng mơ hình phát hiện, nhờ loại bỏ việc xây dựng cập nhật thủ công lọc liệu, tập luật phát hiện, đồng thời tăng tỷ lệ phát giảm tỷ lệ cảnh báo sai Ngoài ra, liệu web log máy chủ web sinh theo cấu hình ngầm định cho website hoạt động sử dụng liệu đầu vào cho mơ hình phát Phần cịn lại báo cấu trúc sau: Mục II trình bày nghiên cứu có liên quan; mục III giới thiệu mơ hình phát cơng web đề xuất, thử nghiệm kết mục IV kết luận báo 470 PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB LOG II CÁC NGHIÊN CỨU LIÊN QUAN Như đề cập Mục I, số biện pháp công cụ thuộc hướng tiếp cận đề xuất ứng dụng để phịng chống dạng cơng web thường gặp Do giới hạn độ dài báo, thực khảo sát số đề xuất có liên quan gần với hướng nghiên cứu mình, bao gồm OWASP Core Rule Set (CRS) [4], SQL-ID [5], XSS-GUARD [6], Liang cộng [7] Pan cộng [8] CRS [4] tập luật dự án OWASP phát triển để phát nhiều loại công web liệt kê Top 10 OWASP với tỷ lệ cảnh báo sai thấp CRS sử dụng tường lửa ứng dụng web ModSecurity - môđun kèm với máy chủ web Mozilla Apache ModSecurity OWASP cộng đồng an ninh web toàn cầu hỗ trợ Tuy nhiên, CRS gồm số lượng lớn luật, nên tương đối cồng kềnh gặp vấn đề tương thích tích hợp vào tường lửa ứng dụng web khác, sử dụng với máy chủ web khác, máy chủ web Microsoft Internet Information Services SQL-ID [5] hệ thống phát công SQLi dựa đặc tả Đầu tiên, SQL-ID xây dựng tập luật đặc tả cấu trúc lệnh SQL hợp lệ sinh ứng dụng web gửi cho máy chủ sở liệu để thực Sau đó, SQL-ID thực giám sát, tiền xử lý phân loại câu truy vấn SQL gửi đến dựa tập luật đặc tả xây dựng Chỉ câu lệnh SQL phân loại “hợp lệ” gửi đến máy chủ sở liệu để thực hiện, cịn câu lệnh SQL khơng hợp lệ bị chặn ghi log Các thử nghiệm cho thấy, SQL-ID đạt % cảnh báo sai sử dụng để bảo vệ đồng thời nhiều website hệ thống triển khai máy chủ trung gian nằm máy chủ web máy chủ sở liệu Mặc dù vậy, việc xây dựng thủ công tập luật đặc tả cấu trúc câu lệnh SQL hợp lệ phải thực riêng rẽ cho website tiêu tốn nhiều thời gian, đặc biệt với website, ứng dụng web có quy mơ lớn XSS-GUARD [6] framework cho phép giám sát ngăn chặn công XSS cách tạo “trang bóng” so sánh trang bóng với trang thực trước gửi trang thực cho máy khách Trang bóng tự động tạo song hành với trang thực từ phản hồi máy chủ web, sử dụng liệu đầu vào (khơng có mã script) có độ dài với liệu thực Các thử nghiệm cho thấy XSS-GUARD có khả ngăn chặn nhiều dạng XSS OWASP liệt kê Hơn nữa, phương pháp khơng địi hỏi tập luật có kích thước lớn cập nhật thường xuyên Tuy nhiên, XSSGUARD làm tăng đáng kể tải lên máy chủ web phải liên tục sinh so sánh trang bóng với trang thực yêu cầu từ người dùng web Theo hướng khác, Liang cộng [7] đề xuất sử dụng phương pháp học sâu RNN (Recurrent Neural Network) để xây dựng mơ hình phát công web Các thử nghiệm liệu CSIC 2010 [9] cho thấy phương pháp đề xuất đạt độ xác chung 98 % Hơn nữa, phương pháp loại bỏ phần việc cần thực thủ công tiêu tốn nhiều thời gian bao gồm việc lựa chọn trích xuất đặc trưng cho huấn luyện phát Với cách tiếp cận tương tự, Pan cộng [8] đề xuất sử dụng công cụ Robust Software Modelling Tool (RSMT) để giám sát trích xuất thơng tin thực thi ứng dụng sau sử dụng thông tin thu thập để huấn luyện mạng học sâu stacked de-noising autoencoder để xây dựng mơ hình phát Các thử nghiệm cho thấy phương pháp đề xuất phát nhiều dạng cơng web với độ đo F1 trung bình 90 % Từ khảo sát trên, rút số nhận xét sau: OWASP Core Rule Set (CRS) [4] phát hiệu dạng cơng web, nhiên CRS có kích thước lớn địi hỏi cập nhật thường xun Ngồi ra, CRS gặp phải vấn đề tương thích triển khai tảng máy chủ web khác với Mozilla Apache SQL-ID [5] XSS-GUARD [6] phát dạng công web Hơn nữa, chúng gặp vấn đề với việc xây dựng cập nhật tập luật thủ công, gặp vấn đề giảm hiệu máy chủ web Liang cộng [7] Pan cộng [8] sử dụng mạng học sâu để xây dựng mơ hình phát cơng web Đây hướng có nhiều triển vọng, nhiên kỹ thuật học sâu nhìn chung địi hỏi tài ngun tính tốn lớn không phù hợp cho phát công web theo thời gian thực Hơn nữa, hiệu phát đề xuất cao chút (với Liang cộng [7]) chí cịn thấp (với Pan cộng [8]) so với hiệu phát dựa phương pháp học máy truyền thống Ngồi ra, việc sử dụng cơng cụ RSMT (Pan cộng [8]) để giám sát máy chủ làm suy giảm nghiêm trọng hiệu hoạt động máy chủ Trong báo này, chúng tơi đề xuất mơ hình phát dạng công web thường gặp dựa học máy sử dụng web log với ưu điểm sau so với nghiên cứu có: (1) Mơ hình đề xuất có khả phát dạng cơng web phổ biến, bao gồm SQLi, XSS, CMDi duyệt đường dẫn; (2) thuật toán học máy định sử dụng để xây dựng mơ hình phát có chi phí tính tốn tương đối thấp đạt hiệu phát cao; (3) trình lựa chọn, trích xuất đặc trưng huấn luyện mơ hình thực tự động; (4) mơ hình phát đề xuất khơng u cầu phải cập nhật thường xuyên (5) liệu web log cho website sử dụng đầu vào mô hình phát thường có sẵn theo cấu hình ngầm định máy chủ web Điều có nghĩa việc thu thập liệu tương đối đơn giản giúp cho trình triển khai thực tế thuận lợi Hoàng Xuân Dậu, Nguyễn Trọng Hưng 471 III MƠ HÌNH PHÁT HIỆN TẤN CƠNG WEB THƯỜNG GẶP A Mơ hình phát cơng web Mơ hình phát công web đề xuất triển khai giai đoạn: (1) Giai đoạn huấn luyện (2) giai đoạn phát Giai đoạn huấn luyện biểu diễn Hình gồm bước sau: Thu thập liệu huấn luyện, bao gồm URI (Uniform Resource Indicator) bình thường URI cơng; Dữ liệu huấn luyện tiền xử lý để chọn trích xuất đặc trưng Sau tiền xử lý, URI chuyển đổi thành véctơ tập liệu huấn luyện chuyển đổi thành ma trận huấn luyện gồm M×(N+1) phần tử, đó, M tổng số URI tập huấn luyện N số đặc trưng Cột cuối ma trận huấn luyện lưu nhãn URI Dữ liệu huấn luyện dạng ma trận huấn luyện đưa vào bước huấn luyện để xây dựng phân loại, mơ hình sử dụng cho giai đoạn phát Giai đoạn phát mơ tả Hình gồm bước sau: Các URI tách từ liệu web log sử dụng làm đầu vào cho trình phát hiện; Mỗi URI tiền xử lý theo thủ tục giống thực với URI huấn luyện Kết tiền xử lý véctơ URI sử dụng cho bước tiếp theo; Véctơ URI phân loại sử dụng Bộ phân loại xây dựng giai đoạn huấn luyện Kết bước trạng thái URI: Bình thường cơng Hình Mơ hình phát cơng web: Giai đoạn huấn luyện Hình Mơ hình phát cơng web: Giai đoạn phát B Thử nghiệm liệu HTTP Param Dataset Mục trình bày tập liệu HTTP Param Dataset [10] dùng cho thử nghiệm, vấn đề thử nghiệm, gồm tiền xử lý, huấn luyện, độ đo thử nghiệm, kết số nhận xét, đánh giá Bộ liệu HTTP Param Dataset [10] Bộ liệu gồm 31.067 chuỗi truy vấn URI yêu cầu web, bao gồm độ dài nhãn truy vấn Có loại nhãn truy vấn Norm (Bình thường) Amon (Tấn cơng) Nhãn Anom lại gồm loại công cụ thể: SQLi, XSS, CMDi duyệt đường dẫn Bộ liệu chia thành phần: Tập huấn luyện gồm 20.000 truy vấn sử dụng cho huấn luyện xây dựng mơ hình phát hiện; Tập kiểm thử gồm 11.067 truy vấn sử dụng để đánh giá hiệu mơ hình phát Tiền xử lý Tiền xử lý thực việc tách véctơ hóa đặc trưng truy vấn URI Khâu gồm nhiệm vụ: Tách đặc trưng truy vấn URI sử dụng kỹ thuật n-gram Kỹ thuật n-gram lựa chọn phương pháp đơn giản thực thi nhanh Chúng lựa chọn 3-gram để tách đặc trưng URI; PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB LOG 472 Véctơ hóa đặc trưng URI sử dụng phương pháp IF-IDF (Term Frequency-Inverse Document Frequency) Với 3-gram, giá trị tf-idf tính tốn sau: (1) (2) tf-idf(t, d, D) = tf(t, d) x idf(t, D) (3) đó, tf(t, d) tần suất 3-gram t URI d; f(t, d) số lần 3-gram t xuất URI d; max{f(w,d): w∈ d} số lần xuất lớn 3-gram URI d; D tập tất URI N tổng số lượng URI Do số lượng đặc trưng URI (số lượng 3-gram) lớn, nên phương pháp PCA (Principle Component Analysis) sử dụng để giảm số đặc trưng 256 – lựa chọn theo thực nghiệm Huấn luyện Bước huấn luyện sử dụng thuật toán học máy định CART hỗ trợ thư viện Python Sklearn để xây dựng mơ hình phát Lý thuật tốn học máy định lựa chọn là thuật tốn thực thi nhanh với chi phí tính tốn thấp, thích hợp cho hệ thống phát công theo thời gian thực Kết bước huấn luyện Bộ phân loại hay Mơ hình phát sử dụng cho giai đoạn phát Độ đo đánh giá Độ đo đánh giá sử dụng độ xác phát chung ACC tính theo công thức sau: ACC = Số truy vấn phát đúng/Tổng số truy vấn kiểm thử * 100 % (4) Độ đo ACC tính tốn cho dạng cơng web, cho truy vấn URI bình thường tính chung cho tất truy vấn kiểm thử Phát kết Trong giai đoạn phát hiện, tập liệu kiểm thử sử dụng để kiểm tra hiệu phát mơ hình xây dựng giai đoạn huấn luyện Mỗi truy vấn URI tập kiểm thử tiền xử lý sử dụng thủ tục giống trình huấn luyện Sau đó, véctơ truy vấn URI đưa vào phân loại kết bình thường, công, kèm theo dạng công cụ thể Bảng cung cấp độ xác phát sử dụng Tập kiểm thử Bảng Độ xác phát sử dụng Tập kiểm thử URI bình thường Độ xác ACC (%) 98,60 Tấn cơng SQLi 99,34 Tấn công XSS 85,88 Nhãn phát Tấn công CMDi 73,33 Tấn cơng duyệt đường dẫn 97,94 Độ xác chung 98,56 Độ xác Liang cộng [7] (%) Độ xác Pan cộng [8] (%) 98,42 91,40 Nhận xét Từ kết thử nghiệm cho Bảng 1, rút số nhận xét: Mơ hình phát cơng web đề xuất đạt độ xác phát chung cao, 98,56 % tập liệu kiểm thử Kết cao chút so với độ xác 98,42 % Liang cộng [7] cao đáng kể so với độ xác 91,40 % Pan cộng [8], đề xuất sử dụng kỹ thuật học sâu với u cầu tài ngun tính tốn lớn Độ xác phát cơng SQLi đạt cao (99,34 %), theo sau độ xác phát truy vấn URI bình thường cơng duyệt đường dẫn Độ xác phát cơng XSS CMDi chưa cao, đạt 85,88 % 73,33 % Điều liệu huấn luyện cho dạng công XSS CMDi chưa đầy đủ để xây dựng mơ hình phát hiệu C Thử nghiệm web log thực Trong mục này, cung cấp số kết thử nghiệm web log thực thu thập máy chủ web vận hành Nhìn chung, máy chủ web phổ biến Mozilla Apache, Microsoft IIS Ng ngix tạo log cho website mà chúng vận hành theo yêu cầu từ người dùng Hầu hết web log dạng văn dòng ghi log Mặc dù có nhiều định dạng log sử dụng, định dạng W3C Extended log file format Hoàng Xuân Dậu, Nguyễn Trọng Hưng 473 [11] sử dụng rộng rãi hầu hết máy chủ web hỗ trợ Hình minh họa phần file web log sử dụng định dạng W3C Extended log file format Từ file web log, tách URI truy cập kết hợp trường cs-uri-stem cs-uri-query ghi log Sau đó, truy vấn URI đưa vào trình phát biểu diễn Hình Các thử nghiệm web log thực xác nhận mơ hình đề xuất có khả phát xác hiệu dạng công web thường gặp Bảng cung cấp số truy vấn cơng bình thường phát mơ hình đề xuất sử dụng web log thực Hình Một phần file web log sử dụng định dạng W3C Extended log file format [11] Bảng Một số truy vấn công phát web log thực Nhãn phát Truy vấn URI thực tế Tấn công SQLi fpw=(select%20convert(int%2cCHAR(65))) Tấn công XSS type=vh01i'>alert(1)ooq5g Tấn công CMDi fpw=WEB-INF/web.xml%3f Tấn công duyệt đường dẫn type= / / / / / / / / / / /etc/passwd%00 Bình thường tabid=471&language=en-US Tấn công SQLi 1' where 2145=2145;select sleep(5)#d Tấn công XSS "" Tấn công CMDi "& ping -n 30 127.0.0.1 &" Tấn công duyệt đường dẫn txtSearchNews= /.\ /.\ /.\ /.\ /.\ /.\ /.\ /.\ /.\ /.\windows/win.ini IV KẾT LUẬN Bài báo đề xuất mơ hình phát cơng web dựa học máy có giám sát sử dụng web log Mơ hình đề xuất có khả phát dạng công web thường gặp nguy hiểm nhất, bao gồm công SQLi, XSS, CMDi duyệt đường dẫn Các thử nghiệm tập liệu có gán nhãn liệu web log thực khẳng định mơ hình đề xuất đạt độ xác phát chung 98,56 % mơ hình có khả phát hiệu dạng cơng web thường gặp Mơ hình đề xuất huấn luyện sử dụng thuật toán định có chi phí tính tốn thấp đạt hiệu phát cao Quá trình huấn luyện để xây dựng mơ hình thực tự động Trong tương lai, mở rộng mơ hình cho phép phát thêm nhiều dạng công web, nâng cao tỷ lệ phát cho số dạng công web đặc thù XSS CMDi TÀI LIỆU THAM KHẢO [1] OWASP Project, https://owasp.org, accessed June 2020 [2] Abhishek Kumar Baranwal, “Approaches to detect SQL injection and XSS in web applications”, EECE 571B, Term Survey Paper, University of British Columbia, Canada, April 2012 [3] Website Attack Tools, https://sourcedefense.com/glossary/website-attack-tools/, accessed June 2020 [4] OWASP ModSecurity Core Rule Set, https://www.owasp.org/index.php/Category: OWASP_ModSecurity_Core_Rule_Set_Project, accessed June 2020 474 PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB LOG [5] Kemalis, K and T Tzouramanis “SQL-IDS: A Specification-based Approach for SQL injection Detection” SAC’08 Fortaleza, Ceará, Brazil, ACM, 2008 [6] P Bisht, and V.N Venkatakrishnan, “XSS-GUARD: Precise dynamic prevention of Cross-Site Scripting Attacks,” In Proceeding of 5th Conference on Detection of Intrusions and Malware & Vulnerability Assessment, LNCS 5137, pp 23-43, 2008 [7] Jingxi Liang, Wen Zhao and Wei Ye “Anomaly-Based Web Attack Detection: A Deep Learning Approach” ICNCC 2017, Kunming, China, December 8-10, 2017 [8] Yao Pan, Fangzhou Sun, Zhongwei Teng, Jules White, Douglas C Schmidt, Jacob Staples and Lee Krause “Detecting web attacks with end-to-end deep learning” Journal of Internet Services and Applications (2019) 10:16, SpringerOpen, 2019 [9] HTTP DATASET CSIC 2010, https://www.isi.csic.es/dataset/, accessed June 2020 [10] HTTP Param Dataset, https://github.com/Morzeux/HttpParamsDataset, accessed June 2020 [11] Extended Log File Format, https://www.w3.org/TR/WD-logfile.html, accessed June 2020 DETECTING COMMON WEB ATTACKS BASED ON MACHINE LEARNING USING WEB LOG Hoang Xuan Dau, Nguyen Trong Hung ABSTRACT: SQL injection (SQLi) and Cross-site Scripting (XSS) attacks have long been considered major threats to webbased applications and their users These types of web attacks can cause serious damage to web applications and web users, ranging from bypassing the authentication system, stealing information from database and users, to even taking control of the server system To cope with web attacks, many measures have been researched and applied to protect web applications and users Among them, the detection of web attacks is a promising approach in the defensive layers for web applications However, some measures can only detect a single type of web attacks, while others require frequent updates to the detection rule sets, or require extensive computational power because of using complex detection methods This paper proposes a web attack detection model based on machine learning using web log The detection model is built using the inexpensive decision tree algorithm and it does not require frequent update Our experiments on a labelled dataset and real web logs show that the proposed model is capable of detecting several types of web attacks effectively with overall detection accuracy rate of over 98 % ...470 PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB LOG II CÁC NGHIÊN CỨU LIÊN QUAN Như đề cập Mục I, số biện pháp công cụ thuộc hướng tiếp cận đề xuất ứng dụng để phòng... URI sử dụng kỹ thuật n-gram Kỹ thuật n-gram lựa chọn phương pháp đơn giản thực thi nhanh Chúng lựa chọn 3-gram để tách đặc trưng URI; PHÁT HIỆN TẤN CÔNG WEB THƯỜNG GẶP DỰA TRÊN HỌC MÁY SỬ DỤNG WEB. .. công bình thường phát mơ hình đề xuất sử dụng web log thực Hình Một phần file web log sử dụng định dạng W3C Extended log file format [11] Bảng Một số truy vấn công phát web log thực Nhãn phát Truy