Nghiên cứu giải pháp phát hiện tấn công ddos qua khai phá dữ liệu (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG NGUYỄN NGỌC HUYỀN NGHIÊN CỨU GIẢI PHÁP PHÁT HIỆN TẤN CÔNG DDOS QUA KHAI PHÁ DỮ LIỆU Chuyên ngành : Hệ thống thơng tin Mã số : 60.48.01.04 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2016 Luận văn hoàn thành HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS TS LÊ HỮU LẬP Phản biện : …………………….………………………… Phản biện : …………………….………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng PHẦN MỞ ĐẦU Lý chọn đề tài Ngày nay, với bùng nổ Internet, việc sử dụng Internet đa dạng phong phú, vậy, tầm quan trọng an ninh mạng ngày cần thiết cấp bách hết Động công DDoS suốt thập kỷ qua mục tiêu trị, tống tiền, cạnh tranh khơng lành mạnh… Nói chung, gồm có phối hợp, cố gắng ác ý người hay nhiều người để chống lại hoạt động Web Service (dịch vụ Web) cách cục kéo dài Việc tìm thủ phạm cơng DDoS thường khó khăn, phức tạp nhiều thời gian hình thức cơng DDoS ngày tinh vi phức tạp Trên giới nói chung Việt Nam nói riêng, nhiều năm qua, nhiều trang mạng Chính phủ, trang mạng báo điện tử trang mạng doanh nghiệp thương mại điện tử phải hứng chịu hậu nghiêm trọng tài sản, lẫn uy tín từ đợt công từ chối dịch vụ gây tin tặc ngồi nước Ví dụ, vào tháng Hai năm 2000, hệ thống mạng công ty Internet Yahoo phải hứng chịu đợt công DDoS làm dịch vụ công ty phải ngừng hoạt động giờ, gây thiệt hại lớn doanh thu quảng cáo Vào tháng Mười Hai năm 2010, nhóm tin tặc có tên “Anonymous” đạo diễn loạt công DDoS gây ngừng hoạt động trang web tổ chức tài chính, Mastercard, Visa International, Paypal Theo thống kê Bkav Việt Nam, trung bình tuần có - công từ chối dịch vụ (DDoS) thường nhắm đến website thương mại điện tử, website cơng ty cơng nghệ, diễn đàn… có nhiều người truy cập Tuy nhiên, cơng tác đấu tranh phịng, chống loại hành vi cịn có nhiều vấn đề bất cập Do tính cấp thiết vấn đề nêu em chọn đề tài luận văn là: “Nghiên cứu giải pháp phát công DDOS qua khai phá liệu” Tổng quan vấn đề nghiên cứu Tấn công từ chối dịch vụ phân tán (Distributed Denial of Service - DDoS) dạng phát triển mức độ cao công DoS phát lần vào năm 1999 [6] Tấn công từ chối dịch vụ (Denial of Service - DoS) dạng công nhằm ngăn chặn người dùng hợp pháp truy nhập tài nguyên mạng Vì vậy, để phịng chống cơng DDoS cách hiệu nhằm hạn chế giảm thiểu thiệt hại công DDoS gây ra, việc nghiên cứu dạng cơng DDOS biện pháp phịng chống cần thiết Từ xây dựng thử nghiệm chương trình phát công DDOS dựa bất thường để đảm bảo an ninh an toàn cho ứng dụng, server Mục đích nghiên cứu Mục đích luận văn tìm hiểu tổng quan cơng DDOS phương pháp nhận diện qua khai phá liệu dựa mẫu bất thường Từ xây dựng thử nghiệm chương trình phát cơng DDOS dựa khai phá liệu Đối tƣợng phạm vi nghiên cứu Đối tượng nghiên cứu là: tìm hiểu tổng quan cơng DDOS, phân loại, mục đích phương pháp cơng biện pháp phịng chống, phương pháp nhận diện công qua khai phá liệu Phạm vi nghiên cứu là: xây dựng thử nghiệm chương trình phát cơng DDOS qua khai phá liệu Phƣơng pháp nghiên cứu - Nghiên cứu lý thuyết - Xây dựng chương trình - Thu thập liệu giả lập - Làm thực nghiệm so sánh, đánh giá kết Kết cấu luận văn Ngoài phần mở đầu, kết thúc danh mục tài liệu tham khảo, luận văn có kết cấu gồm chương Chƣơng 1: Tổng quan công DDOS Chƣơng 2: Phương pháp phát công DDOS dựa khai phá liệu Chƣơng 3: Xây dựng chương trình thử nghiệm phát cơng DDOS CHƢƠNG 1: TỔNG QUAN VỀ TẤN CÔNG DDOS 1.1 Khái niệm mục tiêu công DDOS Tấn công từ chối dịch vụ phân tán (Distributed Denial of Service - DDoS) dạng phát triển mức độ cao công DoS phát lần vào năm 1999[11] Tấn công DDOS với quy mô lớn, mục đích cơng tính đáp ứng sẵn sàng dịch vụ hệ thống tài nguyên mạng Thông qua việc gửi khối lượng lớn gói tin độc hại bất hợp pháp gây lỗi giao thức truyền lỗi ứng dụng chạy máy chủ, cố gắng vắt cạn tài nguyên máy chủ dịch vụ khiến phục vụ người dùng[6] 1.2 Mục tiêu công DDOS Mục tiêu công DDoS đa dạng Tuy nhiên, chia dạng cơng DDoS dựa động tin tặc thành loại chính[11]: - Nhằm giành lợi ích tài chính, kinh tế - Để trả thù - Gây chiến tranh không gian mạng - Do niềm tin ý thức hệ - Để thử thách trí tuệ 1.3 Mơ hình cơng DDOS - Mơ hình cơng trực tiếp - Mơ hình cơng gián tiếp – phản chiếu 1.4 Phân loại kỹ thuật công DDOS 1.5 Phƣơng pháp phát phịng chống cơng DDOS Phát xâm nhập trình giám sát phân tích kiện xảy mạng hệ thống để tìm dấu hiệu cơng, đột nhập Có phương pháp phân loại biện pháp phát đột nhập[2]: Phương pháp dựa nguồn liệu Dựa phương pháp phân tích 1.6 Hệ thống phát xâm nhập Kết luận chƣơng Chương giới thiệu tổng quan kiến thức công DDOS, phân loại kỹ thuật công DDOS, đồng thời giới thiệu phương pháp phát phòng chống cơng DDOS Trong tập trung trình bày chi tiết kỹ thuật phát dựa bất thường Tuy tỷ lệ phát sai kỹ thuật phát dựa bất thường cao so với dựa dấu hiệu Nhưng kỹ thuật để áp dụng phụ thuộc vào yếu tố khác kiểu liệu đầu vào chế hoạt động, loại liệu dị biệt, môi trường, hiệu năng, chi phí xử lý mức độ bảo mật cần thiết… Hiện với tốc độ phát triển lớn hệ thống mạng, đòi hỏi phải xử lý liệu lớn, có khả mở rộng tính chất công DDOS xảy thời gian ngắn khó phát nên luận văn chọn kỹ thuật phát bất thường – dựa khai phá liệu Nhằm đảm bảo tiêu chí: ● Khả xử lý khối lượng liệu lớn, sử dụng hệ thống thời gian thực ● Khả mở rộng Chương tập trung tìm hiểu tiếp kĩ thuật khai phá liệu áp dụng vào tốn phát cơng DDOS + Phương pháp phân cụm dựa mơ hình 2.2 Phát công DDOS dựa khai phá liệu 2.2.1 Phương pháp Có nhiều phương pháp phân cụm ứng dụng thực tế Kỹ thuật phân hoạch tập hợp liệu có n phần tử thành k nhóm xác định số cụm thiết lập Số cụm thiết lập đặc trưng lựa chọn trước Phương pháp tốt cho việc tìm cụm hình cầu khơng gian Euclidean 2.2.2 Kỹ thuật Hệ thống phát bất thường dựa KPDL áp dụng kỹ thuật phát phần tử dị biệt để xác định cơng, bao gồm module chính: Module Lọc, Module trích xuất thơng tin, Module phát phần tử dị biệt, Module phản ứng 2.3 Một số thuật toán phân cụm phát dị biệt khai phá liệu 2.3.1 Thuật toán K-Means K-means Clustering thuật tốn dùng tốn phân loại/nhóm n đối tượng thành k nhóm dựa đặc tính/thuộc tính đối tượng (k n nguyên, dương) Việc lựa chọn K ảnh hưởng đến chất lượng đầu cụm[9] 2.3.2 Thuật toán K-Medios Thuật toán K – Medios thuật toán mở rộng KMeans, nhằm giải vấn đề xử lý liệu ngoại lai nhiễu, khơng thích hợp để áp dụng để xử lý tập liệu lớn 2.3.3 Đánh giá thuật toán K-Means KMedios Cả thuật này có mục đích phân nhóm đối tượng vào K cụm khác nhau, K người dùng xác định ban đầu Mỗi cụm đại diện đối tượng cụm Dưới bảng so sánh thuật toán: Bảng 2.1: So sánh thuật toán K-Means K-Medios Đánh giá Phạm vi áp dụng Ưu điểm K-Means - Phù hợp mơ hình liệu lớn - Đơn giản, hiệu Tự tổ chức Nhược điểm - Hiệu thuật K-Medios - Phù hợp mô hình liệu nhỏ - Khắc phục độ nhiễu so với thuật toán K-Means, phân biệt phân tử vào nhóm rõ ràng - Độ phức tạp lớn toán phụ thuộc vào so với thuật việc chọn số nhóm K tốn K-means - Chi phí cho thực vịng lặp tính tốn khoảng cách lớn số cụm K liệu phân cụm lớn Kết luận chƣơng Chương tập trung vào phân tích kỹ thuật khai phá phân tích liệu để áp dụng vào việc phát công DDOS dựa liệu đầu vào bất thường Bao gồm: - Định nghĩa nhiệm vụ khai phá liệu - Quy trình khai phá liệu - Phát bất thường dựa khai phá liệu - Bài toán thuật toán áp dụng pháp bất thường Tìm hiểu thuật tốn K-Means K-Medios, dựa so sánh tính tối ưu áp dụng vào việc phát bất thường đòi hỏi việc xử lý liệu nhanh với khối lượng liệu lớn để đáp ứng tính sẵn sàng hệ thống, nên chương luận văn chọn thuật toán K-Means để áp dụng xây dựng chương trình thử nghiệm CHƢƠNG 3: XÂY DỰNG CHƢƠNG TRÌNH THỬ NGHIỆM PHÁT HIỆN TẤN CƠNG DDOS 3.1 Đặt vấn đề toán Xây dựng chương trình phát cơng DDOS qua phương pháp khai phá liệu sử dụng thuật toán KMeans sử dụng phân tích file log Iptables hệ thống Vấn đề toán tại: thực tế hệ thống, vào khung cao điểm có nhiều request gửi đến hệ thống xử lý, khung bình thường số lượng request nhiều Do gặp trường hợp xẩy dự đoán khơng xác, có chênh lệch tỉ lệ request khung cao điểm khung bình thường Yêu cầu đầu vào: Thực quét file log firewall hệ thống mạng server liên tục theo tần xuất cấu hình Xử lý: Phân chia xử lý thành khung cao điểm bình thường với liệu huấn luyện khác để đưa kết xác cao Yêu cầu đầu ra: Dựa việc phân tích liệu file log firewall đưa cảnh báo xác định công DDOS vào máy đích Phân biệt chênh lệch công hay không khung Xác định tiêu chí cảnh báo cơng DDOS: - Xây dựng liệu huấn luyện ban đầu với liệu lịch sử Xác định hai cụm: cụm bình thường – liệu khứ bình thường , cụm công – liệu khứ xác định công hệ thống - Xử lý liệu file log: không xẩy công liệu phân tích xác định thuộc cụm bình thường, xẩy cơng liệu xác định cụm cịn lại Nguyên tắc cảnh báo: đưa cảnh báo ứng dụng xẩy công dựa tổng số kết nối thông lượng mạng khoảng thời gian t rơi vào cụm bất thường cho quản trị hệ thống 3.3 Phân tích thiết kế tốn Phân tích liệu file log: định dạng ghi log, kết nối ghi theo dòng, dòng gồm nhiều trường liệu Tuy nhiên, ta quan tâm liệu trường: [Date][SRC][DST][LEN][Protocol] Bƣớc 1:Hệ thống thực lấy liệu đầu vào file log từ File /var/log/messages: Chứa thông tin log hệ thống daemon syslogd ghi nhận, thực đánh dấu đổi tên file log Ở chương trình sử dụng file log chứa liệu giả lập, định dạng log giả lập theo định dạng thực tế nhằm mục đích tạo trường hợp khác bất thường – không bất thường Bƣớc 2: Hệ thống sau lấy file log, thực quét file đọc dòng file log, lọc theo từ khóa cấu hình file để lấy liệu trường [Date][SRC][DST][LEN][Protocol] dòng, lưu liệu lọc vào bảng tbl_info Tương ứng dòng ghi Bƣớc 3: Sau ki quét xong liệu, tiến trình lấy liệu bảng tbl_info, đánh dấu thời gian ghi tạo tên nhóm theo đơn vị thời gian (yyyyMMddHHmmss.SSS) theo khoảng thời gian t phút (cấu hình file …/etc/config.txt) Các ghi nằm khoảng thời gian định sẵn so với ghi lưu tên nhóm, ngược lại nằm ngồi khoảng thời gian tạo nhóm đánh dấu lại thời gian ghi, liệu sau lưu vào bảng tbl_info_g gán tên nhóm trường group_name Tiến trình đánh dấu ID ghi cuối cùng, lượt quét tiến trình quét từ ghi có ID lớn ID đánh dấu Bƣớc 4: Thực lưu liệu vào bảng tbl_cluster, liệu gom nhóm theo tên nhóm, địa IP port đích Kiểm tra thời gian bắt đầu nhóm, thuộc vào khoảng thời gian cao điểm (đã cấu hình) đánh dấu nhóm vào cụm cao điểm, ngược lại nhóm bình thường Bƣớc 5: Thực phân cụm theo thuật toán K-Means, khởi tạo thuật toán lấy số cụm hai, tâm cụm lấy từ liệu mẫu sở liệu với điểm có số connects, thơng lượng cao tính tâm điểm bất thường Các nhóm cao điểm gom với liệu mẫu cao điểm, nhóm bình thường lấy liệu mẫu bình thường Thực phân cụm cho nhóm theo tiêu chí riêng biệt: số kết nối tổng dung lượng nhóm Bƣớc 6: Sau thuật toán K-Means xử lý phân chia liệu vào cụm Hệ thống dựa kết phân cụm đưa cảnh báo cơng nêú có liệu rơi vào cụm bất thường Hiển thị vào danh sách cảnh báo ngồi hình web (enable button “Đã xử lý”) Nếu quản trị mạng nắm xử lý thông tin Click vào button “Đã xử lý” để đánh dấu trạng thái cho cảnh báo (disable button) 3.4 Thiết kết sở liệu Hình 3.2: Mơ hình thiết kế sở liệu 3.4 Xây dựng chƣơng trình thử nghiệm Môi trường thực hiện: Cơ sở liệu - MySQL, môi trường server: Linux,Windows, sử dụng ngôn ngữ PHP JAVA Môi trường triển khai: Web Bƣớc 1: Chuẩn bị liệu + Dữ liệu mẫu giả định DB: - Giờ bình thường: giả định cụm bất thường có tâm khoảng (connection,size) = (4502, 53), cụm bình thường có tâm (760, 10) - Giờ cao điểm: giả định cụm bất thường có tâm khoảng (connection,size) = (42270, 528) , cụm bình thường có tâm (2940, 37) + Dữ liệu file log đầu vào: - Dữ liệu file n file log, nhiều khoảng thời gian khác VD: Tập liệu file log thể sau: Khung bình thường: - Cụm 1: 10 ghi từ: Sep 24 06:01:20 đến Sep 24 06:03:20 Trong khoảng thời gian phút có 10 connect tới hệ thống với size (lenght) = 800 - Cụm 2: 30 ghi từ: Sep 24 06:04:20 đến Sep 24 06:07:20 Trong khoảng thời gian phút có 17 connect tới hệ thống với size (lenght) = 1360 - Cụm 3: 1000 ghi từ: Sep 24 06:08:20 đến Sep 24 06:21:20 Trong khoảng thời gian phút có 1000 connect tới hệ thống với size (lenght) = 80000 - Cụm 4: ghi từ: Sep 24 06:22:20 đến Sep 24 06:25:20 Trong khoảng thời gian phút có connect tới hệ thống với size (lenght) = - Cụm 5: 80000 ghi từ: Sep 24 06:25:20 đến Sep 24 06:28:20 Trong khoảng thời gian phút có 80000 connect tới hệ thống với size (lenght) = 400 - Cụm 6: 26 ghi từ: Sep 24 06:25:20 đến Sep 24 06:28:20 Trong khoảng thời gian phút có 26 connect tới hệ thống với size (lenght) = 2080 Khung cao điểm: cấu hình từ 19h00 đến 23h 00: (42270, 528) , cụm bình thường có tâm (2940, 37) - Cụm 7: 100 ghi từ: Sep 24 19:01:20 đến Sep 24 19:03:20 Trong khoảng thời gian phút có 100 connect tới hệ thống với size (lenght) = 80000 - Cụm 8: 76 ghi từ: Sep 24 19:04:20 đến Sep 24 19:07:20 Trong khoảng thời gian phút có 76 connect tới hệ thống với size (lenght) = 6080 - Cụm 9: 30 ghi từ: Sep 24 19:08:20 đến Sep 24 19:21:20 Trong khoảng thời gian phút có 30 connect tới hệ thống với size (lenght) = 2400 - Cụm 10: ghi từ: Sep 24 19:22:20 đến Sep 24 19:25:20 Trong khoảng thời gian phút có connect tới hệ thống với size (lenght) = - Cụm 11: 450 ghi từ: Sep 24 19:25:20 đến Sep 24 19:28:20 Trong khoảng thời gian phút có 450 connect tới hệ thống với size (lenght) = 36000 - Cụm 12: 500 ghi từ: Sep 24 19:25:20 đến Sep 24 19:28:20 Trong khoảng thời gian phút có 500 connect tới hệ thống với size (lenght) = 40000 - Cụm 13: 560 ghi từ: Sep 24 19:28:20 đến Sep 24 19:31:20 Trong khoảng thời gian phút có 500 connect tới hệ thống với size (lenght) = 44800 Kết liệu file log tạo: Vào khung bình thường hệ thống thực đưa cảnh báo với cụm liệu sau: cụm 5, cụm Vào khung bình thường hệ thống thực đưa cảnh báo với cụm liệu sau: cụm 11, cụm 12, cụm 13 Bƣớc 2: Cấu hình hệ thống thực phân cụm theo phút cụm Bƣớc 3: Đưa file log liệu vào thư mục cấu hình quét file  Kết thực tế: Hệ thống thực quét file liệu đầu vào, lấy liệu mang xử lý Bƣớc 4: Kiểm tra xử lý hệ thống sau phân tích liệu có nội dung file log Kết thực tế: Hệ thống hiển thị danh sách kết cảnh báo Khớp với liệu đầu vào giả lập 3.5 Kết đạt đƣợc Có nhiều kĩ thuật phương pháp để áp dụng nhận diện cơng DDOS trình bày chương chương Tuy nhiên, chương trình tập trung vào xây dựng dựa phương pháp phát bất thường dựa khai phá liệu Trong sử dụng kĩ thuật phân cụm áp dụng thuật toán K-Means để phát cụm liệu khoảng thời gian có số kết nối lưu lượng bất thường phân tích Ƣu điểm: - Kết hiển thị giao diện web trực quan - Cách thức xử lý đơn giản, hiệu cao Kết hợp việc phân tích số lượng kết nối lưu lượng bất thường hệ thống nhận - Chương trình có tính mềm dẻo, linh hoạt Do thông số định nghĩa: Khung cao được, Khoảng thời gian phân cụm cấu hình file config Không để cứng code, nên quản trị viên tự cấu hình điều chỉnh cho phù hợp với hệ thống áp dụng thực tế Nhƣợc điểm: - Cảnh báo dừng chỗ đưa kết web, nên yêu cầu đòi hỏi quản trị viên phải trực đáp ứng 24/24 - Dữ liệu mẫu tự tạo tự thử nghiệm hệ thống nên chưa kiểm tra tính đáp ứng thực tế KẾT LUẬN CHƢƠNG Chương đưa vấn đề tốn, từ phân tích, đánh giá tốn Từ xây dựng chương trình phát bất thường nhằm mục đích đảm bảo tính sẵn sàng, toàn vẹn hệ thống Với liệu đầu vào file log server, chương trình thực quét, phân tích xử lý liệu file log, đưa cảnh báo cho quản trị viên gặp liệu bất thường KẾT LUẬN VÀ KIẾN NGHỊ Tấn công từ chối dịch vụ phân tán (DDoS), kẻ cơng sử dụng máy tính bạn để cơng vào máy tính khác Bằng cách lợi dụng lỗ hổng bảo mật khơng hiểu biết, kẻ giành quyền điều khiển máy tính bạn Sau chúng sử dụng máy tính bạn để gửi số lượng lớn liệu đến website gửi thư rác đến địa hịm thư Tấn cơng được gọi “phân tán” kẻ cơng sử dụng nhiều máy tính có máy tính bạn để thực cơng Dos Một số kết đạt luận văn: - Luận văn trình bày mục tiêu, mơ hình, kỹ thuật công công từ chối dịch vụ DDos Các phương pháp phát xâm nhập hệ thống phát xâm nhập Đặc biệt đúc kết sâu nghiên cứu phương pháp phát công DDos dựa tượng bất thường thông qua phương pháp khai phá liệu - Nghiên cứu phương pháp, quy trình khai phá liệu, phương pháp phân cụm nhằm mục đích tối ưu xử lý liệu đầu để phát cơng DDos - Trình bày thuật tốn K-Means, K-Medios Đây hai thuật toán quan trọng khai phá liệu, đánh giá so sánh hai thuật tốn, qua lựa chọn thuật tốn KMeans để vận dụng xây dựng chương trình thử nghiện phát công DDos dựa liệu đầu vào file log filewall giả lập theo tiêu chí phát luồng lưu lượng gia tăng kết nối bất thường có đột biến hiệu hệ thống - Đã thử nghiệm test chương trình thử nghiệm với liệu giả lập khác đưa kết cảnh báo xác với liệu bất thường Một số hướng nghiên cứu phát triển tương lai: - Thiết kế chương trình để đưa cảnh báo tới người dùng linh hoạt hơn, không giao diện web, tới email SMS tới trực tiếp quản trị viên Xây dựng chế cảnh báo chống spam tin liên tục khoảng n thời gian - Phương pháp phát nhận diện từ đầu vào liệu bất thường, dạng công khác ... kĩ thuật khai phá liệu áp dụng vào toán phát công DDOS CHƢƠNG 2: PHƢƠNG PHÁP PHÁT HIỆN TẤN CÔNG DDOS DỰA TRÊN KHAI PHÁ DỮ LIỆU 2.1 Tổng quan khai phá liệu 2.1.1 Định nghĩa Khai phá liệu hiểu... là: ? ?Nghiên cứu giải pháp phát công DDOS qua khai phá liệu? ?? Tổng quan vấn đề nghiên cứu Tấn công từ chối dịch vụ phân tán (Distributed Denial of Service - DDoS) dạng phát triển mức độ cao công. .. thuật công công từ chối dịch vụ DDos Các phương pháp phát xâm nhập hệ thống phát xâm nhập Đặc biệt đúc kết sâu nghiên cứu phương pháp phát công DDos dựa tượng bất thường thông qua phương pháp khai