Nghiên cứu xây dựng hệ thống giám sát sự thay đổi nội dung website

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VŨ MINH HUY NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI NỘI DUNG WEBSITE LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2017 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VŨ MINH HUY NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI NỘI DUNG WEBSITE LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2017 LỜI CẢM ƠN Trước hết xin gửi lời cảm ơn sâu sắc đến thầy hướng dẫn khoa học TS Lê Quang Minh dẫn khoa học, định hướng nghiên cứu tận tình hướng dẫn tơi suốt q trình làm luận văn Tơi xin cảm ơn Thầy Viện Công nghệ thông tin Thầy Cô trường Đại học Công nghệ thông tin Truyền thông – Đại học Thái Nguyên quan tâm bảo trực tiếp giảng dạy, giúp đỡ suốt trình học tập nghiên cứu Tôi xin chân thành cảm ơn lãnh đạo phịng ban, đồng nghiệp đơn vị cơng tác cũ Chi nhánh Viettel Thái Nguyên đơn vị công tác Công ty cổ phần VETC tạo điều kiện cho học tập nghiên cứu đề tài Cuối tơi xin cảm ơn gia đình bạn bè, người ủng hộ động viên tơi suốt q trình học tập nghiên cứu luận văn Thái Nguyên, tháng 05 năm 2017 Học viên Vũ Minh Huy LỜI CAM ĐOAN Tôi xin cam đoan: Những kết nghiên cứu trình bày luận văn hồn tồn trung thực tơi, khơng vi phạm điều luật sở hữu trí tuệ pháp luật Việt Nam Nếu sai, tơi xin chịu hồn tồn trách nhiệm trước pháp luật Thái Nguyên, tháng 05 năm 2017 Học viên Vũ Minh Huy MỤC LỤC LỜI CẢM ƠN LỜI CAM ĐOAN MỤC LỤC .3 DANH MỤC CÁC KÝ HIỆU .6 DANH MỤC HÌNH VẼ LỜI MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ WEBSITE VÀ MỘT SỐ VẤN ĐỀ AN NINH 12 1.1 Một số khái niệm Website 12 1.1.1 Khái niệm Web 12 1.1.2 Hoạt động Web 13 1.1.3 Trình duyệt Web 13 1.1.4 Địa URL 13 1.1.5 Tên miền 14 1.1.6 Giao thức HTTP HTTPS 15 1.1.7 Web Server 16 1.1.8 Database Server 17 1.1.9 Các dịch vụ ứng dụng Web 17 1.2 Thực trạng an ninh Web Việt Nam giới 18 1.3 Vai trò mục đích việc theo dõi thay đổi nội dung trang web .19 1.4 Một số lỗ hổng an ninh Website 20 1.5 Một số kỹ thuật công Website 21 1.5.1 Tấn công SQL Injection 21 1.5.2 Tấn công XSS (Cross Site Scripting) 30 1.5.3 Tấn công từ chối dịch vụ DOS (Denial of Service) 34 1.6 Kết luận chương 41 CHƯƠNG 2: CÁC THUẬT TOÁN GIÁM SÁT VÀ MỘT SỐ PHƯƠNG PHÁP ĐẢM BẢO AN NINH WEBSITE 42 2.1 Một số phương pháp đảm bảo an ninh Website 42 2.1.1 Đảm bảo an ninh hệ điều hành Webserver 42 2.1.2 Đảm bảo an ninh Webserver 43 2.1.3 Quản trị Webserver 47 2.1.3.1 Logging 47 2.1.3.2 Thủ tục lưu Webserver .47 2.1.3.3 Phục hồi từ làm hại an ninh 48 2.1.3.4 Kiểm tra bảo mật Webserver 48 2.1.4 Bảo đảm an ninh nội dung Web 49 2.1.5 Sử dụng kỹ thuật xác thực mã hóa 51 2.1.5.1 Xác định yêu cầu xác thực mã hóa 51 2.1.5.2 Xác thực dựa địa 52 2.1.5.3 Xác thực 52 2.1.5.4 Xác thực Digest 53 2.1.5.5 SSL/TLS 53 2.1.6 Triển khai sở hạ tầng mạng an ninh 55 2.1.6.1 Thành phần cấu trúc mạng 55 2.1.6.2 Cấu hình phần tử mạng 55 2.2 Các thuật toán giám sát 56 2.2.1 Hàm băm mật mã 56 2.2.1.1 Giới thiệu hàm băm mật mã 56 2.2.1.2 Tính chiều hàm băm 57 2.2.1.3 Cấu trúc hàm băm 58 2.2.2 Thuật toán đối sánh chuỗi 60 2.2.3.1 Khái niệm đối sánh chuỗi .60 2.2.2.2 Phân loại thuật toán đối sánh chuỗi 61 2.2.3 Dấu vân tay tài liệu 61 2.2.4 Thuật toán Rabin Fingerprint 62 2.2.5 Thuật toán Rabin Fingerprint cải tiến 64 2.3 Kết luận chương 66 CHƯƠNG 3: ỨNG DỤNG THUẬT TOÁN RABIN FINGERPRINT CẢI TIẾN XÂY DỰNG HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI NỘI DUNG WEBSITE 67 3.1 Giới thiệu 67 3.2 Hệ thống giám sát nội dung Website 68 3.2.1 Hệ thống Builder .70 3.2.2 Hoạt động Multi-checker 70 3.2.3 Hệ thống Recover 72 3.2.4 Hệ thống Self-watcher 73 3.2.5 Hệ thống Admin 74 3.3 Hoạt động hệ thống dựa phát thay đổi bất thường 74 3.3.1 Tổng quan hệ thống 74 3.3.2 Kiến trúc hệ thống .75 3.4 Phân tích hoạt động hệ thống 76 3.5 Cài đặt thử nghiệm chương trình 79 3.5.1 Cài đặt chương trình 79 3.5.2 Thử nghiệm chương trình 80 3.5.3 Nhận xét kết .82 3.6 Kết luận chương 83 KẾT LUẬN 84 TÀI LIỆU THAM KHẢO 85 DANH MỤC CÁC KÝ HIỆU STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 72 kiểm tra lại đưa xử lý kịp thời Nếu trang web tính giá trị băm thuộc tính lưu vào CSDL Nếu tập tin mã độc virus loại khỏi hệ thống tiếp tục kiểm tra trang web • Nếu giá trị băm (trong chế độ kiểm tra nâng cao) thuộc tính (trong chế độ kiểm tra bản) trang web khác so với gốc lưu trữ CSDL, điều có nghĩa trang web bị sửa đổi nội dung Hệ thống kiểm tra đưa cảnh báo “Trang web bị sửa đổi nội dung”, sau thơng báo cho hệ thống phục hồi thực khôi phục lại hệ thống trạng thái ban đầu, tiếp tục kiểm tra trang web • Nếu tên trang web tồn CSDL không tồn thư mục Intpub, có nghĩa trang web bị xóa khỏi thư mục Intpub công bố, hệ thống kiểm tra đưa cảnh báo “Trang web bị xoá”, sau thơng báo cho hệ thống khơi phục (Recover), tiếp tục kiểm tra trang web • Nếu thực kiểm tra khơng có vấn đề gì, hệ thống kiểm tra đưa cảnh báo “Khơng phát thay đổi”, tiếp tục kiểm tra trang web 3.2.3 Hệ thống Recover Hệ thống khơi phục kích hoạt hệ thống Multi-checker sau phát có cơng làm thay đổi nội dung trang web Hệ thống phục hồi lại trang web bị công làm thay đổi nội dung lại trạng thái ban đầu Hoạt động hệ thống Recover sau: - Xoá trang web khỏi thư mục Intpub tên trang web không tồn CSDL 73 - Phục hồi lại trang web trạng thái ban đầu, thuộc tính giá trị băm trang web khác so với thuộc tính giá trị băm trang web lưu trữ CSDL - Phục hồi lại trang web trạng thái ban đầu, tập tin liệt kê không xuất Và hệ thống Recover thông báo đến cho quản trị viên cách gửi thơng điệp cảnh báo phù hợp (ví dụ là: malicious-alarm, defaced-alarm, delete-alarm) 3.2.4 Hệ thống Self-watcher Một lỗ hổng nghiêm trọng hệ thống giám sát website (AWDS) hệ thống Multi-checker Hệ thống tự theo dõi (Self-watcher) theo dõi checker hệ thống đa kiểm tra (Multi-checker) để đảm bảo checker trạng thái hoạt động Hệ thống Self-watcher làm việc để thẩm tra trạng thái checker Hệ thống Multi-checker trái tim AWDS, checker khơng chức với lý (như bị cơng) hệ thống giám sát website có giá trị an ninh cục khơng cịn giá trị mặt an ninh Hệ thống Self-watcher làm việc để đảm bảo checker hoạt động chức thủ tục “Call-Back tự động” nhằm xác minh trạng thái checker Trong khoảng thời gian cho, hệ thống Selfwatcher quay số gọi tới checker cách gửi số ngẫu nhiên, checker ngắt liên lạc Và checker gọi lại cho Self-watcher Nếu hệ thống Self-watcher không nhận gọi khoảng thời gian timeout cho gọi lại theo cách cũ Nếu khơng có trả lời thời gian timeout lớn cho, (điều có nghĩa checker bị hỏng 74 kết nối hai server bị đứt liên kết), hệ thống Self-watcher se gửi cảnh báo “failed-alarm” tới hệ thống quản trị (Admin) 3.2.5 Hệ thống Admin Quản trị viên hệ thống giám sát website điều khiển thành phần khác hệ thống phụ Ví dụ, thêm trang web mới, chỉnh sửa trang web tồn tại, xóa bỏ trang web khỏi CSDL tập tin khôi phục Bằng cách sử dụng hệ thống Admin, người quản trị thiết lập khoảng thời gian kiểm tra cho trang web khởi tạo thông điệp cảnh báo thông báo 3.3 Hoạt động hệ thống dựa phát thay đổi bất thường 3.3.1 Tổng quan hệ thống Cho tài nguyên web liệu có ý nghĩa xác định URL, tài liệu HTML, tập tin hình ảnh [14] … Một giám sát M giám sát nhiều tài nguyên web khác lúc Bộ giám sát giám sát tập hợp URL xác định Thông thường, không thiết giám sát bao gồm nhiều tài nguyên từ nhiều nguồn khác Để dễ trình bày khơng tính tổng quát, giả định giám sát giám sát nguồn R Biểu thị ri đọc tài nguyên R Trong giai đoạn đầu tiên, mà gọi giai đoạn học (learning phase), xây dựng tập hồ sơ (profile) R Pr M={ ri } Giám sát M bắt đầu theo dõi, thực chu kỳ sau cách vô tận: Thiết lập khoảng thời gian giám sát m Đọc r thuộc R Phân tích r Nếu r bất thường đưa cảnh báo 75 Giai đoạn đầu giai đoạn học phân tích (bước trên), bước khác giai đoạn giám sát hiểu cách dễ dàng, đặc biệt việc thực thực tế bước (làm để gửi cảnh báo cho người theo dõi trang web, làm để xử lý cảnh báo) 3.3.2 Kiến trúc hệ thống Tài nguyên R phân tích thành lớp tham số P(ri) Mỗi tham số đặc trưng cho nhiều tính R, ví dụ kích thước (byte) hay số liên kết, số hình ảnh, số thẻ nội dung - Trong chế độ học (learning mode), hệ thống lưu trữ tất tham số Pi, ngưỡng cho phép ti - Trong chế độ phát (detection mode), Hệ thống đọc giá trị ri thuộc R phân tích trả giá trị luận lý (Boolean) S(ri) S(ri) trả giá trị X(ri) > ti, trường hợp hệ thống đánh dấu trường hợp bất thường Hình 3.6 Kiến trúc hệ thống phát thay đổi bất thường 76 Trong giai đoạn giám sát, cờ S(ri) có giá trị luận lý (Boolean) tổng hợp với tạo thành giá trị luận lý đại diện cho việc phân loại tổng giá trị đọc r, kí hiệu A(r) Nếu A(r) > t có giá trị luận lý trả (true) hệ thống giám sát đưa cảnh báo (alert), với t ngưỡng cho phép hệ thống (do quản trị hệ thống quy định) 3.4 Phân tích hoạt động hệ thống - Hoạt động hệ thống đa kiểm tra Hệ thống gồm hai chế độ kiểm tra: Một chế độ kiểm tra chế độ kiểm tra nhanh Thuật toán chế độ đơn giản phép tốn so sánh thuộc tính trang web cần kiểm tra tên tập tin (file name), kiểu tập tin (style), kích thước tập tin (size), ngày khởi tạo tập tin, ngày cập nhật (update) với thuộc tính trang gốc lưu trữ CSDL Hai chế độ kiểm tra chi tiết hệ thống phát thay đổi nội dung trang web dựa thuật toán kiểm tra định kỳ mã băm cho trang web [19] Tương ứng với trang web ta có giá trị mã băm Đầu tiên trang web được tính tốn mã băm Nếu trang trang lưu vào sở liệu Định kỳ kiểm tra trang web trang web kiểm tra tính mã băm Nó so sánh với mã băm lưu, kết kiểm tra trả giá trị (giá trị băm nhau) trang web chưa bị thay đổi nội dung, ngược lại kết kiểm tra trả giá trị sai trang web bị thay đổi nội dung Phương pháp đề xuất tóm tắt sơ đồ sau [19]: 77 Hình 3.7 Sơ đồ phương pháp phát thay đổi nội dung trang web Bước 1: Trên sở trang web thích hợp chọn trang web để kiểm tra thay đổi nội dung Bước 2: Tính mã băm cho trang web chọn bước 1, sử dụng giải thuật cải tiến Rabin Fingerprinting Bước 3: So sánh mã băm trang web với mã băm lưu trữ sở liệu Nếu kết việc so sánh đúng, trang web chưa có thay đổi nội dung trình dừng lại Nếu kết việc so sánh sai, trang web có thay đổi nội dung , đưa thông điệp cảnh báo 78 Hoạt động hệ thống theo dõi giám sát phát thay đổi bất thường nội dung trang web Hiệu hệ thống việc hệ thống đưa cảnh báo thay đổi bất thường có ý nghĩa (trang web bị công thay đổi nội dung) dựa so sánh tham số đầu vào P(ri) với ngưỡng cho phép ti Phân tích số trường hợp cụ thể sau: Trường hợp 1: Nếu hệ thống kiểm tra giám sát thuộc trường hợp hệ thống đưa cảnh báo có thay đổi bất thường: - Số kí tự trang web thay đổi bất thường (số kí tự nhỏ nhiều lớn nhiều so với số kí tự ban đầu trang web) - Nội dung chứa hình ảnh khơng có hình ảnh - Khơng có thẻ nội dung - Không thấy nội dung văn - Số liên kết trang thay đổi bất thường Trường hợp 2: Trong trường hợp hệ thống tổng kết tất kết so sánh tham số X(ri) với ngưỡng ti đưa cảnh báo phát có thay đổi bất thường A(r) > t - Đánh giá chung: Đối với hệ thống phát thay đổi nội dung web dựa hệ thống đa kiểm tra hệ thống hiệu với việc kiểm tra tính tồn vẹn cho trang web tĩnh có nội dung cố định thay đổi, hệ thống dựa thuật tốn cải tiến Rabin Fingerprint tìm số nguyên (giá trị băm) xác định vị trí nội dung bị sửa đổi Ngược lại, không phù hợp với việc kiểm tra trang web có nội dung thay đổi thường xuyên trang web động Hệ thống theo dõi giám sát 79 phát thay đổi bất thường hiệu việc kiểm tra giám sát trang web có nội dung động thay đổi thường xuyên Hệ thống đưa cảnh báo sớm có ý nghĩa phát có thay đổi bất thường nội dung 3.5 Cài đặt thử nghiệm chương trình 3.5.1 Cài đặt chương trình  Chương trình thử nghiệm phát triển ngôn ngữ C# hệ quản trị CSDL Microsoft SQL Server 2012 Với cấu hình máy sử dụng là: - Bộ xử lý: Intel(R) Core(TM)2 Duo CPU T6670 @ 2.20GHz - Bộ nhớ Ram: 4.00 GB - Loại hệ thống: hệ điều hành 64-bit - Hệ điều hành: Windows Professional SP1  Web-server cài đặt hệ thống máy ảo Xampp website công bố mạng Internet 24h.com.vn, viettel.com.vn,… Giao diện chương trình sau cài đặt: Hình 3.8 Giao diện chương trình giám sát website 80 Chức số nút lệnh: - Nút File: Mở tập tin lưu trữ - Nút Hash: Tính giá trị băm - Nút Add CSDL: Lưu thuộc tính giá trị băm vào sở liệu - Nút Del CSDL: Xố thuộc tính giá trị băm khỏi CSDL - Nút Multi Checker Basic mode: Kiểm tra trang web dựa thuộc tính - Nút Multi Checker Advance mode: Kiểm tra trang web dựa giá trị - ListWeb: Lưu danh sách trang web cần giám sát theo dõi - Trang web chọn: Cho biết trang web giám sát - Nút Multi Thread: Bắt đầu chế độ giám sát đa luồng (nhiều website băm lúc) - Nút Start: Bắt đầu giám sát website - Nút Stop: Dừng giám sát - Web 1, Web2, Web3, Web4: Cho biết thơng tin xử lý đa tiến trình 3.5.2 Thử nghiệm chương trình Chương trình thử nghiệm kiểm tra thời gian xử lý thuật toán Rabin Fingerprint thuật toán cải tiến Rabin Fingerprint với liệu vào website (sử dụng hàm stopwatch() C# để đo thời gian xử lý thuật tốn)  - Kết thử nghiệm chương trình với trang web thời gian tính tốn thuật toán Rabin Fingerprint cải tiến thuật toán Rabin Fingerprint bảng biểu sau: 81 Website 24h.com.vn bongda.com.vn viettel.com.vn tmasolutions.com  Chương trình thử nghiệm kiểm tra thời gian xử lý hệ thống kiểm tra kiểm tra chi tiết với liệu vào trang web - Kết thử nghiệm hệ thống kiểm tra kiểm tra nâng cao bảng sau: Website 24h.com.vn bongda.com.vn viettel.com.vn tmasolutions.com vnexpress.net Chương trình thử nghiệm theo dõi giám sát đa luồng, lúc theo dõi website Chức Multi-thread hoạt động tốt, đưa cảnh báo có thay đổi nội dung trang web  82 Hình 3.9 Chương trình giám sát website theo dõi website đồng thời  Chương trình thử nghiệm kiểm tra chế độ nâng cao, vị trí thay đổi nội dung trang web Hình 3.10 Hoạt động chức Advanced Mode 3.5.3 Nhận xét kết - Thời gian xử lý thuật toán cải tiến Rabin Fingerprint nhanh nhiều so với thuật toán Rabin Fingerprint (đặc biệt kích thước trang web lớn) 83 - Thời gian xử lý hệ thống Multi-checker hai chế độ kiểm tra (basic mode) kiểm tra nâng cao (advanced mode) tương đương độ phức tạp thuật tốn - Chương trình giám sát thay đổi bất thường website theo dõi đơn tiến trình (một website) đa tiến trình (nhiều website đồng thời), đưa cảnh báo hợp lý - Ở chế độ Advaced Mode vị trí thay đổi nội dung trang web 3.6 Kết luận chương Trong chương luận văn đề xuất xây dựng hệ thống phát thay đổi nội dung trang web dựa cải tiến thuật toán Rabin Fingerprint xây dựng hệ thống theo dõi giám sát dựa thay đổi bất thường nội dung trang web, đưa cảnh báo kịp thời có ý nghĩa Xây dựng chương trình phát thay đổi nội dung trang web, thử nghiệm phân tích đánh giá kết đạt 84 KẾT LUẬN Kết đạt Luận văn giới thiệu tổng quan Webserver Website, đồng thời phân tích lỗ hổng an ninh Web dẫn tới kiểu công Web phổ biến giới, trình bày kỹ thuật phịng chống kiểu cơng Luận văn phân tích sâu số phương pháp đảm bảo an ninh Web: Đảm bảo an ninh HĐH webserver, đảm bảo an ninh webserver, đảm bảo an ninh nội dung web, sử dụng kỹ thuật xác thực mã hóa, triển khai sở hạ tầng mạng an ninh, quản trị webserver Luận văn xây dựng hệ thống giám sát website theo dõi đa luồng (nhiều website đồng thời) giám sát trang web động, đưa cảnh báo kịp thời có ý nghĩa Hướng phát triển Do điều kiện nghiên cứu nhiều hạn chế nên kết nghiên cứu chưa thực mong muốn Tác giả tiếp tục nghiên cứu để tiếp tục phát triển hồn thiện chương trình tốt như: - Cải tiến thuật toán xử lý văn để tăng tốc độ xử lý nhanh - Xây dựng hệ thống tự theo dõi (Self-watcher) nhằm tăng lực giám sát cho hệ thống - Hoàn thiện hệ thống khôi phục Website 85 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Lê Đình Duy, 2003 “Tấn Cơng Kiểu SQL Injection – Tác Hại Và Cách Phòng Tránh” Đại học Khoa Học Tự Nhiên TPHCM [2] Nguyễn Thanh Nghị, HVA-2008 “Tấn công từ chối dịch vụ Dos, Ddos, DRDos” [3] Dương Anh Đức Trần Minh Triết, 2005 “Mã hóa Ứng dụng”, Đại học Khoa Học Tự Nhiên TPHCM Tiếng Anh [4] Charles P Pfleeger and Shari Lawrence, Prentice Hall, 2003 “Security in Computing”, 3rd Edition [5] William Stalling, Prentice Hall, 1999 “Cryptography and Network Security” [6] Amanda Andress and Mandy Andress, Sams,2004 “Surviving security: how to integrate people”, process, and technology, 2nd Edition [7] E.L.Cashin, 2000 “Integerit [8] file Verification System” Rocksoft, 2003 “Veracity- nothing can change without you knowing: Data integrity assurance” [9] R.Lehti, 2005 “Advanced Intrusion Detection Environment” [10] RSA Laboratories, 1992 “The MD2 Message Digest Algorithm” [11] Gene Kim, Tripwire,Inc, 2001 “Advanced Applications of Tripwire for Servers” [12] Dr.Mazin S Al-Hakeem “ANTI WEB SITE DEFACEMENT SYSTEM (AWDS)” 86 [13] Andrew S Tanenbaum, Maarten Van Steen “DISTRIBUTED SYSTEMS principles and paradigms” Second Edition [14] Selvitri F, 2004 “High Performance Issues in Web Search Engines”, [15] Giorgio Davanzo, 2010 “Machine Learning in Engineering Applications” ... FINGERPRINT CẢI TIẾN XÂY DỰNG HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI NỘI DUNG WEBSITE 67 3.1 Giới thiệu 67 3.2 Hệ thống giám sát nội dung Website 68 3.2.1 Hệ thống Builder ...ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG VŨ MINH HUY NGHIÊN CỨU XÂY DỰNG HỆ THỐNG GIÁM SÁT SỰ THAY ĐỔI NỘI DUNG WEBSITE LUẬN VĂN THẠC SĨ CHUYÊN NGÀNH KHOA HỌC... kiến trúc hệ thống giám sát website Hình 3.5 Các thuộc tính tập tin Hình 3.6 Kiến trúc hệ thống phát thay đổi bất thường Hình 3.7 Sơ đồ phương pháp phát thay đổi nội dung trang