Luận văn thạc sĩ công nghệ thông tin Hệ thống tường lửa thông minh cho các ứng dụng web iwaf

i MỤC LỤC Trang LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC i DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT iv DANH MỤC BẢNG v DANH MỤC HÌNH VẼ vi DANH MỤC BIỂU ĐỒ vii MỞ ĐẦU 1 1. Lý do chọn đề tài 1 2. Mục tiêu nghiên cứu 3 3. Đối tượng và phạm vi nghiên cứu 3 4. Phương pháp nghiên cứu 3 5. Ý nghĩa khoa học và thực tiễn của đề tài 4 6. Bố cục của luận văn 4 CHƯƠNG 1: TỔNG QUAN VỀ BẢO MẬT WEBSITE/PORTAL VÀ CÁC GIẢI PHÁP NHẬN DẠNG, NGĂN CHẶN TẤN CÔNG ĐỐI VỚI ỨNG DỤNG WEB 5 1.1 Vấn đề bảo mật các ứng dụng Website/Portal 5 1.1.1 Khái niệm về ứng dụng Web 5 1.1.2 Vấn đề bảo mật các ứng dụng Web 7 1.1.3 Danh sách rủi ro bảo mật cho các ứng dụng web OWASP Top 10 11 1.2 Các giải pháp nhận dạng tấn công tấn công website 12 1.2.1 Sự phát triển của nhận dạng tấn công ứng dụng web 12 1.2.2 Các phương pháp nhận dạng tấn công ứng dụng web 13 1. 3 Tổng quan về WAF 16 1.3.1 Khái niệm WAF 16 1.3.2 Chức năng của WAF 18 CHƯƠNG 2: CÁC MÔ HÌNH NHẬN DẠNG TẤN CÔNG ỨNG DỤNG WEB DỰA TRÊN SỰ BẤT THƯỜNG 23 2.1 Nhận dạng sự bất thường theo phương pháp phân tích dữ liệu đầu vào 23 2.1.1 Nhận dạng bất thường trên một yêu cầu đầu vào 23 2.1.2 Nhận dạng bất thường trên dãy yêu cầu đầu vào 29 ii 2.2 Nhận dạng sự bất thường theo phương pháp phân tích dữ liệu đầu ra 31 2.2.1 Nhận dạng bất thường trong cấu trúc header 31 2.2.2 Nhận dạng bất thường khi kích thước trang web thay đổi 32 2.3 Nhận dạng sự bất thường theo hành vi duyệt web của người dùng 33 2.4 Nhận xét và hướng tiếp cận của luận văn 33 CHƯƠNG 3: GIỚI THIỆU MÔ HÌNH MARKOV ẨN 35 3.1 Giới thiệu mô hình Markov ẩn 35 3.2 Các bài toán cơ bản của mô hình Markov ẩn 39 3.3 Huấn luyện mô hình HMM thông qua nhiều chuỗi dữ liệu quan sát 45 3.4 Mô hình sử dụng các HMM để tìm giá trị xác suất tốt nhất đối với chuỗi dữ liệu quan sát đầu vào 48 3.4 Nhận xét và các nội dung tiếp cận của luận văn 49 CHƯƠNG 4: ỨNG DỤNG MÔ HÌNH MARKOV ẨN TRONG NHẬN DẠNG TRUY VẤN BẤT THƯỜNG 50 4.1 Đề xuất mô hình Markov ẩn ứng dụng vào nhận dạng nhận dạng bất thường đối với ứng dụng web 50 4.2 Xây dựng mô hình Markov ẩn 53 4.2.1 Huấn luyện HMM 53 4.2.2 Tính giá trị xác xuất của một truy vấn 55 CHƯƠNG 5: MÔ HÌNH VÀ CHỨC NĂNG CỦA IWAF 57 5.1 Đặc điểm của IWAF 57 5.2 Các chức năng chính của IWAF 57 5.2.1 Chức năng kiểm tra kết nối 57 5.2.2 Chức năng xử lý 58 5.2.3 Mô hình hoạt động IWAF 58 5.3. Xây dựng IWAF 60 CHƯƠNG 6: CÀI ĐẶT PHẦN MỀM, THỬ NGHIỆM, PHÂN TÍCH VÀ ĐÁNH GIÁ KẾT QUẢ 63 6.1 Cài đặt phần mềm IWAF 63 6.2 Thử nghiệm và phân tích mô hình tổ hợp HMM 63 6.2.1 Mẫu dữ liệu thử nghiệm và các phương án thử nghiệm 63 6.2.2 Phân tích kết quả thử nghiệm 65 6.2.3 Đánh giá kết quả thử nghiệm 71 iii 6.3 Thử nghiệm và phân tích sử dụng mô hình tổ hợp HMM, HMMs để nhận dạng bất thường đối với các thuộc tính đầu vào 73 6.3.1 Mẫu dữ liệu thử nghiệm, các phương án thử nghiệm và phân tích các tấn công 73 6.3.2 Đánh giá kết quả thử nghiệm khả năng phát hiện các truy vấn tấn công đối với tổ hợp HMM, HMMs 77 KẾT LUẬN 79 TÀI LIỆU THAM KHẢO PHỤ LỤC iv DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Tử viết tắt Tiếng Anh Tiếng Việt HMM Hidden Markov Model Mô hình Markov ẩn HMMs Hidden Markov Model Ensemble Tổ hợp mô hình Markov ẩn HTTP Hypertext Transfer Protocol Giao thức truyền tải siêu văn bản HIDS Host-based intrusion detection system Hệ thống phát hiện xâm nhập trên máy chủ IDS Intrusion detection system Hệ thống phát hiện xâm nhập IWAF Intelligent web application firewall Tường lửa ứn dụng web thông minh OWASP Open Web Application Security Project Dự án mở về bảo mật ứng dụng Web NIDS Network-based intrusion detection system Hệ thống phát hiện xâm nhập trên mạng WAF Web application firewall Tường lửa ứn dụng web v DANH MỤC BẢNG Bảng 4.1 Các giá trị dung sai để tìm ngưỡng hội tụ 55 Bảng 4.2 Danh sách giá trị ngưỡng của các ứng dụng 55 Bảng 6.1 Danh sách các phương án thử nghiệm huấn luyện HMM, HMMs 64 Bảng 6.2 Mẫu tấn công thử nghiệm 73 Bảng 6.3 Tỷ lệ nhận dạng sai và các loại tấn công tương ứng trường hợp 1, cách 1 74 Bảng 6.4 Tỷ lệ nhận dạng sai và các loại tấn công tương ứng trường hợp 1, cách 2 75 Bảng 6.5 Tỷ lệ nhận dạng sai và các loại tấn công tương ứng trường hợp 2, cách 1 76 Bảng 6.6 Tỷ lệ nhận dạng sai và các loại tấn công tương ứng trường hợp 2, cách 2 77 vi DANH MỤC HÌNH VẼ Hình 1.1 Mô hình hoạt động ứng dụng web 6 Hình 1.2 Mô hình chi tiết hoạt động ứng dụng web 7 Hình 1.3 Đánh giá của Gartner về tấn công từ chối dịch vụ đối với các ứng dụng trong năm 2013 8 Hình 1.4 Các bước tấn công vào ứng dụng web 9 Hình 1.5 Hình ảnh Vietnamnet.vn trên máy tính và thay đổi tiêu đề HTTP thành thiết bị di động IPAD 10 Hình 1.6 Giao diện trang web vietnamnet.vn sau khi thay đổi 10 Hình 1.7 Phương pháp phát hiện xâm nhập tấn công ứng dụng web 13 Hình 1.8 Mô hình network-based WAF 17 Hình 1.9 Mô hình host-based WAF 17 Hình 1.10 Mô hình quan hệ các sản phấm WAF 18 Hình 2.1 Cấu trúc truy vấn ứng dụng web 23 Hình 3.1 Mô hình Markov 5 trạng thái 35 Hình 3.2 Mô hình Markov ẩn 3 trạng thái 37 Hình 3.3 Hệ thống bình - cầu 38 Hình 3.4 Chuỗi Q tối ưu cục bộ 42 Hình 4.2 thông tin chi tiết lổ hỏng đối với ứng dụng Vtiger CRM ngày 07/8/2013 bằng cách điền giá trị mã lỗi vào giá trị onlyforuser 51 Hình 4.3 Báo cáo kỹ thuật nhận dạng bất thường dựa trên ICD 52 Hình 4.4 mô hình chức năng nhận dạng bất thường sử dụng HMM 53 Hình 5.1 Mô hình hoạt động IWAF 59 Hình 5.2 Sơ đồ xử lý của modsecurity 61 vii DANH MỤC BIỂU ĐỒ Biểu đồ 6.1 So sánh chiều dài dạng Effective và Standard 1 65 Biểu đồ 6.2 So sánh chiều dài dạng Effective và Standard 2 65 Biểu đồ 6.3 So sánh chiều dài dạng Effective và Standard 3 66 Biểu đồ 6.4 So sánh chiều dài dạng Effective và Standard 4 67 Biểu đồ 6.5 So sánh các tổ hợp HMM của ứng dụng post.php phương pháp huấn luyện 1 67 Biểu đồ 6.6 So sánh các tổ hợp HMM của ứng dụng edit-comments.php phương pháp huấn luyện 1 68 Biểu đồ 6.7 So sánh các tổ hợp HMM của ứng dụng wp-login.php phương pháp huấn luyện 1 68 Biểu đồ 6.8 So sánh các tổ hợp HMM của ứng dụng post.php phương pháp huấn luyện 2 69 Biểu đồ 6.9 So sánh các tổ hợp HMM của ứng dụng edit-comments.php phương pháp huấn luyện 2 69 Biểu đồ 6.10 So sánh các tổ hợp HMM của ứng dụng wp-login.php phương pháp huấn luyện 2 70 Biểu đồ 6.11 So sánh phương pháp huấn luyện 1 và 2 của ứng dụng post.php 70 Biểu đồ 6.12 So sánh phương pháp huấn luyện 1 và 2 của ứng dụng edit-comments.ph 71 Biểu đồ 6.13 So sánh phương pháp huấn luyện 1 và 2 của ứng dụng wp-login.php 71 Biểu đồ 6.14 tỷ lệ nhận dạng sai false negatives trường hợp 1, cách 1 74 Biểu đồ 6.15 tỷ lệ nhận dạng sai false negatives trường hợp 1, cách 2 75 Biểu đồ 6.16 tỷ lệ nhận dạng sai false negatives trường hợp 2, cách 1 76 Biểu đồ 6.17 tỷ lệ nhận dạng sai false negatives trường hợp 2, cách 2 76 1 MỞ ĐẦU 1. Lý do chọn đề tài Trong những năm qua, ngành Công nghệ thông tin và truyền thông (CNTT- TT) đã có những bước tiến quan trọng, góp phần vào sự phát triển chung của đất nước trên nhiều lĩnh vực văn hóa, kinh tế, xã hội. CNTT-TT Việt Nam đã được xác lập trên bản đồ CNTT-TT thế giới thông qua các kết quả đánh giá hàng năm của các tổ chức quốc tế như ITU (chỉ số về phát triển CNTT-TT), diễn đàn kinh tế thế giới (chỉ số NRI về mức độ hưởng lợi từ sự phát triển CNTT-TT) hay báo cáo xếp hạng Chính phủ điện tử của Liên hợp quốc. Sự phát triển đó là một tín hiệu đáng mừng trong việc sớm đưa Việt Nam trở thành nước mạnh về CNTT. Tuy nhiên, bên cạnh đó cũng có nhiều lo ngại khi các nguy cơ làm ảnh hưởng tới an toàn thông tin ngày một gia tăng. Theo báo cáo ngày 25/5/2012 tại hội thảo "Xây dựng chính sách đảm bảo ATTT trong việc phát triển Chính phủ điện tử tại Việt Nam" VNISA (Hiệp hội An toàn thông tin Việt Nam) đã công bố kết quả khảo sát “Một số điểm yếu điển hình và phổ biến trên các trang web và cổng thông tin điện tử”. Kết quả cho thấy đã phát hiện 3697 lỗi trong 100 website .gov.vn (lựa chọn ngẫu nhiên, không phân biệt lĩnh vực hoạt động). Trong đó, 489 lỗi thuộc diện rất nghiêm trọng và 396 lỗi ở mức cao (chiếm 23,9%), còn lại 2812 lỗi ở mức trung bình/yếu và “Đáng ngại hơn, 80% các website được khảo sát không có biện pháp bảo mật tối thiểu khiến chúng rất dễ bị tấn công” (theo ông Vũ Bảo Thạch - đại diện VNISA). Các cuộc tấn công này chủ yếu tập trung vào các ứng dụng web được phát triển trong các dịch vụ thương mại điện tử với nền tảng ứng dụng web 2.0. Vấn đề bảo mật cho các ứng dụng hiện nay nói chung và ứng dụng web nói riêng vẫn còn khá “mới mẻ” đối với các cơ quan Nhà nhà nước, doanh nghiệp ở Việt Nam. Để bảo vệ các ứng dụng web cần thiết phải có Một bức tường lửa chuyên dụng Web Application Firewall (WAF). Một WAF sẽ làm các nhiệm vụ như sau: - Thiết lập các chính sách cho các kết nối người dùng HTTP thông qua việc chọn lọc nội dung cho máy chủ dịch vụ web. 2 - Bảo vệ hệ thống trước các loại hình tấn công phổ biến trên mạng như: Cross-site Scripting (XSS) và SQL Injection. - Ngoài việc những động tác kiểm tra của một bức tường lửa thông thường, WAF sẽ kiểm tra sâu hơn, sẽ kiểm tra các nội dung HTTP ở lớp ứng dụng. Tuy nhiên, kinh phí để triển khai các giải pháp đảm bảo an toàn, an ninh thông tin khi sử dụng các giải pháp nước ngoài cung cấp là không hề nhỏ. Ví dụ: giá thiết bị Barracuda Web Application Firewall chưa tính đến chi phí duy trì hàng năm lên đến 9,500USD (nguồn http://www.ntsecurity.com/barracuda- products/barracuda-application-firewall.html). Hiện nay, đa số các doanh nghiệp, cơ quan thường đặt ứng dụng web tại các nhà cung cấp dịch vụ Internet, ngoại trừ các doanh nghiệp lớn như: công ty tài chính, ngân hàng, … có đầu tư hệ thống máy chủ riêng đặt tại công ty. Tuy nhiên, qua khảo sát thực tế tại Datacenter các nhà cung cấp dịch vụ gia tăng trên Internet như: VDC, FPT, Viettel, ODS, Netnam, … thì gần như không có đơn vị nào cung cấp, hỗ trợ chức năng bảo mật ứng dụng web cho các gói dịch vụ trực tuyến của mình. Thực tế tại Datacenter Sở KHCN Đồng Nai, các doanh nghiệp thuê các dịch vụ trực tuyến thường không quan tâm đến bảo mật ứng dụng web bằng các phần mềm tường lửa chuyên dùng, mà chủ yếu sử dụng tường lửa mặc định trên hệ điều hành máy chủ. Theo tìm hiểu trên thị trường thiết bị bảo mật mạng tại Việt nam, đến nay vẫn chưa có sản phẩm bảo mật ứng dụng web do trong nước phát triển và thương mại hóa. Ngoài ra, các luận văn ngành công nghệ thông tin qua khảo sát các website chuyên về cung cấp luận văn như: thuvienluanvan.com, tailieu.vn, … không thấy đề tài, luận văn đề cập xây dựng WAFs mà chỉ dừng lại chỉ nêu ra “các phương pháp tấn công và cách thức phòng chống cho ứng dụng Web”. Như vậy, việc đảm bảo an toàn, an ninh thông tin cho các hệ thống ứng dụng web/cổng thông tin điện tử, giảm giá thành đầu tư thiết bị bảo mật và không cần đội 3 ngũ nhân viên có trình độ chuyên sâu cao thì việc nghiên cứu hệ thống tường lửa thông minh cho các ứng dụng Web (IWAF) là một nhu cầu rất lớn và thiết thực. 2. Mục tiêu nghiên cứu - Nghiên cứu, xây dựng hệ thống tường lửa thông minh cho các ứng dụng Web nhằm đảm bảo an toàn, an ninh thông tin cho các hệ thống ứng dụng web/cổng thông tin điện tử của các máy chủ đặt tại Sở Khoa học và Công nghệ Đồng Nai. - Ứng dụng học máy (Machine Learning) để xây dựng hệ thống IWAF. 3. Đối tượng và phạm vi nghiên cứu - Tìm hiểu cơ bản về giao thức HTTP. - Nghiên cứu lý thuyết và mô hình triển khai hệ thống WAFs. - Tìm hiểu các mô hình nhận dạng tấn công ứng dụng web dựa trên sự bất thường. - Ứng dụng học máy (mô hình Markov ẩn – HMM) để xây dựng bộ nhận biết các tấn công từ bên ngoài và đưa ra chính sách ngăn chặn hoặc cách ly theo dõi tự động cho hệ thống IWAF nhằm đảm bảo an toàn, an ninh thông tin cho các hệ thống ứng dụng web/cổng thông tin điện tử của các máy chủ đặt tại Sở Khoa học và Công nghệ Đồng Nai. 4. Phương pháp nghiên cứu - Sử dụng các thông tin, tài liệu trên trang web OWASP (Open Web Application Security Project) để nghiên cứu lý thuyết và mô hình triển khai hệ thống WAFs. - Sử dụng giáo trình “Introduction to Machine Learning” của E. Alpaydin, 2010 để nghiên cứu nội dung máy học. - Sử dụng tài liệu “Prentice Hall The Apache Modules Book” của Jan.2007 Nick Kew để nghiên cứu về Apache Webserver. - Sử dụng tài liệu “ModSecurity 2.5 Securing your Apache installation and web applications” của Magnus Mischel; “Modsecurity Handbook complete guide to securing your Web applications” của Ivan Ristic để nghiên cứu về ModSecurity. - Xây dựng hệ thống IWAF và đưa vào thử nghiệm thực tế. [...]... thuật cho việc xây dựng hệ thống tường lửa thông minh cho các ứng dụng web Ý nghĩa thực tiễn của đề tài: sản phẩm của đề tài được triển khai thử nghiệm trên ứng dụng web/ cổng thông tin điện tử của các máy chủ đặt tại Sở Khoa học và Công nghệ Đồng Nai Sản phẩm đạt hiệu quả cao sẽ là cơ sở để xây dựng hệ thống đảm bảo an toàn an ninh thông tin cho Cổng thông tin điện tử, các cổng con và dịch vụ công của... mật các ứng dụng Web Khi các công nghệ mới được phát triển và ứng dụng mạnh mẽ như các ứng dụng web hiện nay, thì theo khách quan đi cùng với điều này sẽ là hàng loạt các lỗ hổng bảo mật mới ra đời Đa số các cuộc tấn công nghiêm trọng vào các ứng dụng web là làm lộ thông tin, dữ liệu nhạy cảm hoặc truy cập không hạn chế với các hệ thống mà các ứng dụng đang hoạt động Theo đánh giá của Gartner (Công. .. hoạt bởi người sử dụng thông qua trình duyệt trên Internet cho các máy chủ ứng dụng web, tiếp theo các ứng dụng web truy xuất đến máy chủ cơ sở dữ liệu để thực hiện các nhiệm vụ được yêu cầu như: thêm mới, cập nhật, lấy các thông tin trong cơ sở dữ liệu Các ứng dụng web sau đó chuyển thông tin về đến trình duyệt web để cung cấp cho người dùng Hình 1.2 Mô hình chi tiết hoạt động ứng dụng web (nguồn www.windowsecurity.com)... lại giữa người dùng và ứng dụng web) Các bức tường lửa chuyên sâu có thể kiểm tra ở mức độ cao hơn Cuối cùng, một loại IDS đã ra đời đó là tường lửa ứng dụng web - WAF WAF còn được gọi là các cổng ứng dụng web, được thiết kế đặc biệt để bảo vệ các ứng dụng web Các yêu cầu kết nối thay vì đi trực tiếp đến các ứng dụng web thì sẽ được đưa đến một WAF kiểm tra và kết nối nếu WAF cho rằng yêu cầu này an... và ra và thực hiện lệnh) và các thông báo lỗi hệ thống được tạo ra Nhiều loại NIDS được phát triển, trong đó có NIDS nhằm phát hiện xâm nhập cho các ứng dụng web Mặc dù, NIDS cho các ứng dụng web được thiết kế để giải quyết tốt vấn đề trợ giúp phát hiện xâm nhập ứng dụng web Tuy nhiên, các NIDS này không thể thực hiện đầy đủ phát hiện các xâm nhập tiềm năng với các ứng dụng web vì những lý do sau đây:... liệu thông qua một loạt các kỹ thuật tấn công với một ít may mắn do sơ suất trong sử dụng, cấu hình của người quản trị và lỗi lập trình dẫn đến lỗ hổng trong các ứng dụng web Hình 1.4 Các bước tấn công vào ứng dụng web (nguồn www.windowsecurity.com) Vấn đề cốt lõi trong bảo mật ứng dụng web liên quan đến việc người dùng có thể nhập, tùy biến dữ liệu đầu vào bất kỳ Các ứng dụng web cũng như các ứng dụng. .. dạng client-side script cho phép "thay đổi" trình duyệt Web thành một giao diện ứng dụng như: web mail và bản đồ trực tuyến, … Do đó, bảo mật là một vấn đề lớn Không ai muốn sử dụng một ứng dụng web, nếu biết rằng thông tin của mình sẽ được tiết lộ trái phép cho cá nhân, tổ chức khác 1.1.1 Khái niệm về ứng dụng Web Các ứng dụng web là các chương trình cho phép người truy cập website để chuyển lên và... toàn để đối phó với các cuộc tấn công vào ứng dụng web và phù hợp nhất cho mục đích phát hiện và ngăn chặn tấn công ứng dụng web 1.2.2 Các phương pháp nhận dạng tấn công ứng dụng web Căn cứ vào cách tiếp cận mà một số thông tin phân loại dễ nhầm lẫn, thiếu sót trong quá trình phân loại là việc nhằm lẫn giữa phương pháp phát hiện xâm nhập và các chức năng của hệ thống phát hiện xâm nhập Thông thường có... tương ứng với danh sách rủi ro bảo mật cho các ứng dụng web – OWASP Top 10 (phụ lục bảng liệt kê chức năng WAF tương ứng OWASP Top 10) 23 CHƯƠNG 2: CÁC MÔ HÌNH NHẬN DẠNG TẤN CÔNG ỨNG DỤNG WEB DỰA TRÊN SỰ BẤT THƯỜNG Chương này sẽ giới thiệu các nghiên cứu, mô hình nhận dạng tấn công ứng dụng web dựa trên sự bất thường đối với các yêu cầu đầu vào, phản hồi đầu ra, các hành vi duyệt web của người sử dụng. .. liệu thông qua Internet bằng cách sử dụng trình duyệt web Dữ liệu sau đó được hiển thị trên trình duyệt của người dùng, thông tin trên đó được tạo ra tự động (theo một định dạng cụ thể, ví dụ như trong HTML bằng cách sử dụng CSS) bởi các ứng dụng web thông qua một máy chủ web 6 Nếu tìm hiểu chi tiết về kỹ thuật hơn thì các ứng dụng Web truy vấn máy chủ dữ liệu và tự động tạo ra các dữ liệu trên website . cứu hệ thống tường lửa thông minh cho các ứng dụng Web (IWAF) là một nhu cầu rất lớn và thiết thực. 2. Mục tiêu nghiên cứu - Nghiên cứu, xây dựng hệ thống tường lửa thông minh cho các ứng dụng. là tường lửa ứng dụng web - WAF. WAF còn được gọi là các cổng ứng dụng web, được thiết kế đặc biệt để bảo vệ các ứng dụng web. Các yêu cầu kết nối thay vì đi trực tiếp đến các ứng dụng web. kỹ thuật cho việc xây dựng hệ thống tường lửa thông minh cho các ứng dụng web. Ý nghĩa thực tiễn của đề tài: sản phẩm của đề tài được triển khai thử nghiệm trên ứng dụng web/ cổng thông tin