Giải pháp phát hiện nhanh các hot IP trong hệ thống mạng và ứng dụng (tt)

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Huỳnh Nguyên Chính GIẢI PHÁP PHÁT HIỆN NHANH CÁC HOT-IP TRONG HỆ THỐNG MẠNG VÀ ỨNG DỤNG Chuyên ngành: Hệ thống thông tin Mã số: 62.48.01.04 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Hà Nội – 2017 Công trình hoàn thành tại: Học viện Công nghệ Bưu Viễn thông Người hướng dẫn khoa học: PGS.TS Nguyễn Đình Thúc TS Tân Hạnh Phản biện 1: PGS.TS Bùi Thu Lâm Phản biện 2: PGS.TS Lương Thế Dũng Phản biện 3: TS Nguyễn Đại Thọ Luận án bảo vệ trước Hội đồng chấm luận án cấp Học viện tại: Học viện Công nghệ Bưu Viễn thông Vào lúc: 14 00 ngày 04 tháng 08 năm 2017 Có thể tìm hiểu luận án thư viện: Thư viện Quốc gia Thư viện Học viện Công nghệ Bưu Viễn thông MỞ ĐẦU Giới thiệu Các giải pháp phát sớm đối tượng có khả gây nguy hại mạng, hệ thống mạng trung gian phía nhà cung cấp dịch vụ, có ý nghĩa quan trọng việc giúp giảm thiểu ảnh hưởng xấu cho máy chủ khách hàng dịch vụ mạng Internet Phát sớm đối tượng để tiến hành giải pháp ứng phó, ngăn chặn kịp thời vấn đề quan trọng toán an ninh mạng Các gói tin lưu thông mạng IP có gắn thông tin địa IP để xác định thiết bị gửi nhận phần IP-header Dựa thông tin địa IP này, toán phát đối tượng hoạt động với tần suất xuất cao khoảng thời gian ngắn đưa toán phát Hot-IP Luận án nghiên cứu đề xuất giải pháp phát Hot-IP mạng nhằm mục đích phát sớm đối tượng có khả gây hại Các Hot-IP mục tiêu công từ chối dịch vụ, máy phát động công từ chối dịch vụ, máy tiến hành quét mạng để tìm kiếm lỗ hổng nhằm phát tán sâu Internet, thiết bị hoạt động bất thường hệ thống mạng Phát sớm Hot-IP bước bản, quan trọng đầu tiên, từ giúp người quản trị tiến hành giải pháp phòng chống hiệu quả, kịp thời Lý chọn đề tài Hai toán quan trọng lĩnh vực an ninh mạng công từ chối dịch vụ phát tán sâu Internet Đặc trưng quan trọng dạng công số lượng gói tin mang đối tượng công xuất lớn khoảng thời gian ngắn Các giải pháp bước phát phòng chống công tập trung giải vấn đề phát có luồng lưu lượng công vào hệ thống hay không mà không đối tượng gây nên công Các kỹ thuật phát đối tượng phát tán công thực bước hậu công Để vừa phát nguy công đồng thời đối tượng gây nguy dòng gói tin IP thời gian thực vấn đề quan trọng đặt chưa có giải pháp, nhằm cảnh báo sớm để có giải pháp ứng phó kịp thời Phát sớm Hot-IP mạng ứng dụng để phát đối tượng có khả nguy gây nên công từ chối dịch vụ, mục tiêu công hay phát máy tiến hành quét mạng tìm kiếm lỗ hổng để phát tán sâu Internet vấn đề luận án tập trung nghiên cứu Trong phương pháp mà luận án khảo sát phương pháp thử nhóm bất ứng biến thích hợp để triển khai áp dụng Mục tiêu nghiên cứu 3.1 Mục tiêu tổng quát Mục tiêu luận án xây dựng giải pháp phát Hot-IP mạng máy tính phương pháp thử nhóm bất ứng biến; sử dụng số kỹ thuật công cụ toán học kết hợp nhằm nâng cao hiệu phát Hot-IP xây dựng thuật toán ma trận phân cách phù hợp với vị trí triển khai, xử lý song song, kiến trúc phân tán; áp dụng giải pháp cho số toán an ninh mạng phát đối tượng có khả mục tiêu hay nguồn phát công từ chối dịch vụ hay công từ chối dịch vụ phân tán, thiết bị hoạt động bất thường, nguồn phát tán sâu Internet giám sát Hot-IP mạng 3.2 Các mục tiêu cụ thể • Nghiên cứu lý thuyết thử nhóm bất ứng biến để đề xuất giải pháp phát Hot-IP mạng • Đề xuất xây dựng ma trận phân cách tường minh nhằm giảm chi phí tính toán nhớ sử dụng ma trận phân cách • Đề xuất cải tiến thuật toán thử nhóm bất ứng biến để giảm thời gian tính toán phát Hot-IP dòng gói tin IP thời gian thực • Áp dụng kỹ thuật xử lý song song, kiến trúc phân tán để đề xuất giải pháp kết hợp nhằm phát nhanh Hot-IP mạng • Mô hình hóa toán ứng dụng: phát đối tượng có khả nạn nhân công từ chối dịch vụ, nguồn phát công từ chối dịch vụ, nguồn phát tán sâu Internet, thiết bị hoạt động bất thường toán phát Hot-IP mạng • Giám sát Hot-IP kết hợp với theo dõi tài nguyên hệ thống để điều phối lưu lượng mạng, giảm thiểu nguy hại hệ thống Đối tượng, phạm vi nghiên cứu Nghiên cứu lý thuyết thử nhóm bất ứng biến áp dụng vào toán phát Hot-IP mạng; đồng thời sử dụng kết hợp với kỹ thuật xử lý song song, kiến trúc phân tán để nâng cao hiệu giải pháp phát cảnh báo sớm Hot-IP mạng Phương pháp nghiên cứu Nghiên cứu lý thuyết thử nhóm bất ứng biến: - Hệ thống hóa khái niệm - Phân tích cải tiến thuật toán thử nhóm bất ứng biến Triển khai thực nghiệm giải pháp phát Hot-IP: - Thực nghiệm nhằm xác định tham số thích hợp - Phân tích thực nghiệm Những đóng góp luận án (i) Đề xuất giải pháp phát Hot-IP mạng dựa thử nhóm bất ứng biến số kỹ thuật kết hợp để nâng cao hiệu giải pháp Trong đó, kỹ thuật tính toán song song sử dụng bước tính vector kết nhóm thử, sử dụng kiến trúc phân tán hệ thống mạng đa vùng để cảnh báo sớm từ vùng phát Hot-IP lựa chọn kích thước ma trận phù hợp vị trí triển khai nhằm giảm áp lực tính toán Lý thuyết tảng cho phương pháp đề xuất sử dụng phương pháp nối mã để xây dựng tường minh ma trận phân cách Nhờ đó, không gian lưu trữ tối ưu thay phải lưu trữ toàn ma trận có kích thước lớn trường hữu hạn (ii) Đề xuất cải tiến thuật toán thử nhóm bất ứng biến để giảm thời gian tính toán phát Hot-IP trực tuyến Đặc điểm khác biệt cải tiến nhóm thử đến ngưỡng không cần phải cập nhật tiếp tục, danh sách địa IP nghi ngờ xác định khởi tạo đếm tương ứng, cập nhật IP có mặt danh sách nghi ngờ thực thay phải cập nhật tập tất đếm nhóm thử dựa vào ma trận phân cách (iii) Mô hình hóa toán ứng dụng: (1) phát đối tượng có khả nguồn phát tán sâu Internet, (2) phát thiết bị có khả hoạt động bất thường, (3) phát đối tượng có khả mục tiêu hay nguồn phát công từ chối dịch vụ toán phát Hot-IP (4) giám sát hoạt động Hot-IP kết hợp với theo dõi tài nguyên mạng để điều phối hay hạn chế hoạt động luồng liệu chứa Hot-IP Kỹ thuật sử dụng phân tích luồng liệu dựa vào địa IP nguồn đích gói tin kết hợp với theo dõi tài nguyên hệ thống làm liệu đầu vào thuật toán phát Hot-IP Giới thiệu tổng quan nội dung luận án Nội dung luận án tập trung vào nghiên cứu phương pháp thử nhóm bất ứng biến áp dụng vào toán phát Hot-IP mạng; đề xuất thuật toán cải tiến; đề xuất số kỹ thuật kết hợp để tăng hiệu tính toán giải pháp đề xuất ứng dụng phát Hot-IP số toán an ninh mạng Cấu trúc luận án tổ chức thành chương Chương trình bày tổng quan toán Hot-IP, số khái niệm, khảo sát nghiên cứu liên quan Trên sở đó, luận án đề xuất giải pháp phát Hot-IP mạng dùng phương pháp thử nhóm bất ứng biến Chương trình bày phương pháp thử nhóm bất ứng biến, số khái niệm liên quan, phương pháp xây dựng tường minh ma trận d-phân-cách phép nối mã áp dụng phương pháp thử nhóm bất ứng biến vào việc phát Hot-IP mạng Trong chương này, luận án đề xuất hai thuật toán cải tiến “Online Hot-IP Detecting” “Online Hot-IP Preventing” để giảm thời gian tính toán, tăng mức độ xác đảm bảo hệ thống hoạt động ổn định, thông suốt phát trực tuyến sở sử dụng danh sách địa IP nghi ngờ Chương trình bày số kỹ thuật kết hợp nhằm nâng cao khả phát Hot-IP mạng Trong đó, luận án đề xuất kết hợp với kỹ thuật xử lý song song, kiến trúc phân tán hệ thống mạng đa vùng, ý nghĩa số để lựa chọn tham số quan trọng giải pháp đề xuất áp dụng vị trí triển khai Chương trình bày mô hình hóa số ứng dụng lĩnh vực an ninh mạng phát đối tượng có khả nguồn phát hay mục tiêu công từ chối dịch vụ, phát thiết bị có khả hoạt động bất thường hệ thống mạng, phát đối tượng có khả nguồn phát tán sâu Internet toán phát Hot-IP mạng, giám sát Hot-IP vài chu kỳ thuật toán kết hợp với theo dõi tài nguyên mạng để hạn chế hoạt động chúng, nhằm giúp nhà quản trị mạng theo dõi ứng phó kịp thời, đảm bảo hệ thống mạng hoạt động ổn định, thông suốt Trong phần kết luận, luận án tổng kết kết đạt toán mở cho nghiên cứu tương lai áp dụng kết luận án vào thực tiễn CHƯƠNG TỔNG QUAN VỀ HOT-IP TRÊN MẠNG 1.1 Giới thiệu Các công từ chối dịch vụ, đặc biệt công từ chối dịch vụ phân tán, phát tán sâu Internet ngày dễ thực tác hại đặc biệt nghiêm trọng Đặc điểm quan trọng công tốc độ thời gian tiến hành ngắn Chính nhanh ngắn làm cho nhà quản trị kịp thời chống đỡ, hệ thống mạng bị cạn kiệt tài nguyên, băng thông, dẫn đến tình trạng dịch vụ mạng bị ngưng trệ đáp ứng tốt cho người dùng hợp lệ Các nghiên cứu phòng chống công từ chối dịch vụ, phát tán sâu Internet giai đoạn phát công chủ yếu xem xét luồng liệu có chứa đựng khả công hay không mà không đối tượng hay mục tiêu công Trên mạng tốc độ cao phía nhà cung cấp dịch vụ hay hệ thống cung cấp dịch vụ Internet cần có giải pháp thực nhanh chóng, đơn giản hiệu nhằm phát nhanh đối tượng có khả nguy gây nên công để kịp thời hạn chế ảnh hưởng xấu chúng Dựa vào dòng liệu lưu thông qua thiết bị mạng, thông tin địa IP nguồn địa IP đích xuất với tần suất cao khoảng thời gian ngắn (Hot-IP) dẫn đến khả máy chủ bị công từ chối dịch vụ, đối tượng phát tán sâu mạng hay thực công từ chối dịch vụ Do đó, việc xác định đối tượng có khả mục tiêu công từ chối dịch vụ, máy phát động công từ chối dịch vụ hay máy phát tán sâu Internet đưa dạng toán phát Hot-IP mạng Ở ta sử dụng nhận xét: ”Có công dạng từ chối dịch vụ hay phát tán sâu Internet dạng quét không gian địa IP xuất Hot-IP, xuất Hot-IP chưa bị công” Do đó, luận án nghiên cứu giải pháp dung hòa phòng chống công tính sẵn sàng mạng 1.2 Một số khái niệm định nghĩa Khái niệm 1: Địa IP chuỗi ký hiệu dùng để định danh cho thiết bị mạng Khái niệm 2: Gói tin IP gói tin tầng mạng mô hình OSI, có phần IP-header mô tả thông tin tầng Trong cấu trúc IP-header chứa thông số địa IP nguồn IP đích Các giá trị địa sử dụng làm tham số đầu vào toán phát Hot-IP Khái niệm 3: Dòng gói tin IP dãy liên tiếp gói tin IP (a1 , a2 , , am ) luân chuyển đường truyền xác định Trong đó, gói tin có địa IP cần phân tích s i (si IP nguồn hay IP đích cần xem xét tùy vào ứng dụng cụ thể) Định nghĩa 1: Hot-IP dòng gói tin IP mạng máy tính IP xuất với tần suất cao khoảng thời gian ngắn xác định trước Cho dòng gói tin IP có địa IP tương ứng S = ( IP1 , IP2 , , IPm ) , ký hiệu N số IP (0 ≤ N ≤ m) khác m IP thuộc S Gọi { } f i = j IPi = IPj ; i ≠ j ; IPi , IPj ∈ S , Hot-IP = { IPi ∈ S f i ≥ φ × m,0 ≤ φ ≤ 1} 1.3 Vị trí thu thập xử lý liệu Vị trí triển khai thu thập liệu triển khai theo dạng inline promiscuous 1.4 Các nghiên cứu liên quan Các nghiên cứu liên quan đến Hot-IP chủ yếu đề cập công trình nghiên cứu phát phòng chống công từ chối dịch vụ, nghiên cứu số loại sâu Internet dạng quét không gian địa để tìm kiếm lỗ hổng phát tán môi trường Internet Do đó, luận án tập trung phân tích nghiên cứu liên quan Để mở rộng phạm vi so sánh lựa chọn giải pháp thích hợp, luận án khảo sát thuật toán phát phần tử tần suất cao dòng liệu Từ đó, luận án có sở lựa chọn giải pháp phù hợp để áp dụng vào toán phát Hot-IP mạng 1.4.1 Các nghiên cứu công DoS/DDoS Tấn công từ chối dịch vụ, đặc biệt công từ chối dịch vụ phân tán dạng công nguy hiểm mạng, gây nhiều hậu nghiêm trọng thiệt hại lớn Mục tiêu kẻ công làm tê liệt ứng dụng, máy chủ, gián đoạn kết nối, ngăn cản người dùng hợp lệ truy cập vào dịch vụ mạng Thông thường công này, máy chủ bị “tràn ngập” hàng loạt truy vấn khoảng thời gian ngắn, dẫn đến tải khả phục vụ Tấn công từ chối dịch vụ phân tán phát triển cách đáng lo ngại mối đe dọa thường trực hệ thống mạng Các giải pháp phát phòng chống công từ chối dịch vụ phân làm loại chính: đề phòng, phát công, phản ứng lại công xác định nguồn phát công Trong đó, nghiên cứu phát công phát nguồn phát công hai vấn đề quan tâm luận án Các nghiên cứu phát phòng chống xâm nhập kể đến hai nhóm giải pháp chính: dựa vào dấu hiệu định nghĩa sẵn thiết lập ngưỡng tần suất Giải pháp dựa vào dấu hiệu thực việc so khớp dấu hiệu định nghĩa sẵn thông tin nội dung gói tin dòng liệu thu thập Việc thiết lập ngưỡng dựa chế độ bình thường định nghĩa sẵn sử dụng phương pháp thống kê, phương pháp học máy, khai phá liệu Các phương pháp gặp khó khăn việc định nghĩa trạng thái bình thường hệ thống Mặc dầu có nhiều giải pháp phát phòng chống công từ chối dịch vụ nghiên cứu đề xuất; nhiên, chưa có giải pháp có khả phòng chống công từ chối dịch vụ cách toàn diện hiệu tính chất phức tạp, quy mô lớn khả phân tán cao dạng công Do vậy, phát sớm đối tượng có khả nguồn phát công mục tiêu công có vai trò quan trọng toán an ninh mạng Có ba vị trí triển khai giải pháp phát phòng chống công từ chối dịch vụ: phía mạng máy chủ nạn nhân, vị trí mạng trung gian, vị trí mạng nguồn phát công Trong mạng trung gian mạng nhà cung cấp dịch vụ, việc phát đối tượng có khả mục tiêu hay nguồn phát công từ chối dịch vụ dựa vào phân tích lưu lượng qua có ý nghĩa quan trọng Từ việc phát giúp cảnh báo sớm cho khách hàng để tiến hành biện pháp ứng phó kịp thời loại bỏ nguy để đảm bảo hệ thống hoạt động ổn định Phương pháp thử nhóm bất ứng biến xác định đối tượng có khả nguồn phát công, đối tượng có khả mục tiêu Ta cần xác định xem IP Hot-IP 2.4.2 Giải pháp phát Hot-IP Sử dụng t đếm c1 , c2 , , ct tương ứng với số dòng ma trận nhị phân M, gói tin có địa IP j ∈[ N ] tới tăng tất đếm ci mij = Từ đếm ngưỡng cho trước, vector kết tạo r ∈ {0,1}t Trong đó, kết nhóm thử có chứa Hot-IP kết nhóm thử không chứa Hot-IP Từ vector kết ma trận M, xác định Hot-IP 2.5 Đề xuất thuật toán cải tiến Ý tưởng cho thuật toán cải tiến phương pháp thử nhóm bất ứng biến toán phát Hot-IP là: (1) Việc cập nhật đếm IP đến cho nhóm dừng lại vượt ngưỡng (2) Xác định IP làm vượt ngưỡng nhóm này, đưa vào danh sách nghi ngờ thiết lập đếm tương ứng (3) Nếu IP đến có danh sách nghi ngờ tăng đếm tương ứng cho IP mà không cập nhật đếm nhóm thử chứa địa IP (4) Xác định Hot-IP cách so sánh đếm IP danh sách nghi ngờ với ngưỡng 2.5.1 Thuật toán cải tiến “Online Hot-IP detecting” Thuật toán cải tiến 1: Online Hot-IP Detecting Input: Ma trận d-phân-cách, dòng gói tin IP chu kỳ ∆, ngưỡng δ Output: Hot-IP 1: Hot-List={} 2: For each IP j ∈ S // gói tin IP đến ∆ 3: If(current_timestamp–reference_timestamp< ∆ )then 4: If IP j Hot-List then 5: 6: 7: Hot-List[j].count++ Else For i = to t //t số nhóm thử 8: If mij = and 9: If ci ≥ δ 10: 11: 12: 13: 14: 15: 16: 17: 18: 19: ci < δ then ci++ then Hot-List = Hot-List ∪ {j} Hot-List[j].count = min{ci | mij=1} EndIf EndFor Else Return { j | Hot-List[j].count ≥ δ ,1 ≤ j ≤| Hot-List |} //xuất IP Hot-List có đếm tương ứng vượt ngưỡng Reference_timestamp=current_timestamp Reset Hot-List EndIf Thuật toán cải tiến “Online Hot-IP Detecting” thực việc theo dõi gói tin trực tuyến xuất Hot-IP phát chu kỳ thuật toán Khi địa IP trích từ gói tin IP đến, kiểm tra danh sách IP nghi ngờ (Hot-List), tồn danh sách tăng đếm tương ứng cho IP Nếu chưa tồn Hot-List việc cập nhật cho nhóm thử chứa IP thực bình thường thuật toán thử nhóm bất ứng biến truyền thống Khi nhóm trình cập nhật IP vào làm vượt ngưỡng, địa IP đưa vào danh sách nghi ngờ, khởi tạo đếm tương ứng cách lấy giá trị nhỏ nhóm mà IP thuộc về, nhóm vượt ngưỡng dừng việc cập nhật Qua phân tích thực nghiệm cho thấy thuật toán thử nhóm bất ứng biến cải tiến có nhiều ưu điểm phương pháp thử nhóm bất ứng biến truyền thống Thứ không cập nhật nhóm thử đến ngưỡng, thứ hai thay cập nhật IP dòng liệu cho tất nhóm thử chứa IP cần cập nhật danh sách nghi ngờ Những ưu điểm làm giải thời gian tính toán chương trình Đồng thời, thuật toán cải tiến cho kết xác trường hợp số lượng Hot-IP thực tế nhiều số Hot-IP tối đa định trước thử nhóm bất ứng biến truyền thống 2.5.2 Thuật toán cải tiến “Online Hot-IP preventing” Thuật toán cải tiến 2: Online Hot-IP Preventing Input: Ma trận nhị phân d-phân-cách, dòng gói tin IP, ngưỡng δ ∆: chu kỳ thuật toán Xử lý: 1: 2: 3: 4: 5: 6: 7: 8: 9: 10: 11: 12: 13: 14: 15: 16: T=Systemtime + ∆, Khởi tạo:cho phép tất IP qua For each IP j đến (Systemtime δ Else Cập nhật đếm ci không cập nhật cho If ci > δ then Đưa IP j vào Hot-List Khởi tạo đếm cho IP j = endIf EndIf EndFor then drop(IP j) với mij=1, ci vượt ngưỡng min{ci với mij=1} Thuật toán cải tiến “Online Hot-IP Preventing” thực hạn chế đối tượng có khả nguy chúng phát cách ngăn chặn Hot-IP chu kỳ thời gian thuật toán nhằm hạn chế nhanh chóng nguy đảm bảo hệ thống hoạt động ổn định, thông suốt Thuật toán cải tiến dùng để triển khai router biên trước máy chủ cung cấp dịch vụ router trung gian mạng trung gian đáp ứng mục tiêu đảm bảo cho hệ thống mạng hoạt động ổn định, thông suốt CHƯƠNG NÂNG CAO HIỆU QUẢ PHÁT HIỆN HOT-IP BẰNG MỘT SỐ KỸ THUẬT KẾT HỢP 3.1 Giới thiệu Để triển khai giải pháp phát Hot-IP mạng vị trí cụ thể cần có phân tích để tối ưu tính toán Một số kỹ thuật kết hợp để nâng cao khả giải pháp việc phát nhanh Hot-IP như: (i) lựa chọn kích thước ma trận d-phân-cách phù hợp để giảm thời gian không gian xử lý dựa vào khả vị trí triển khai giải pháp, (ii) sử dụng kỹ thuật xử lý song song để nâng cao khả tính toán (iii) sử dụng kiến trúc phân tán để tổ chức triển khai khu vực cảnh báo sớm đến khu vực khác hệ thống mạng đa vùng 3.2 Vấn đề kích thước ma trận phân cách 3.2.1 Sự ảnh hưởng kích thước ma trận Việc lựa chọn kích thước ma trận d-phân-cách có ý nghĩa quan trọng để áp dụng vào thực tế có hiệu Kích thước ma trận ảnh hưởng đến thời gian cập nhật gói liệu dòng liệu đầu vào thời gian thực thuật toán để phát Hot-IP cách đáng kể Kích thước ma trận cần xem xét để lựa chọn ma trận phù hợp vị trí triển khai cụ thể dựa vào khả hệ thống mạng vị trí 3.2.2 Lựa chọn tham số  Xác định N Giá trị N đại diện cho số lượng địa IP phân biệt Hai trường hợp áp dụng xem xét để tính toán giá trị N đề xuất sau: - Trường hợp 1: Xem xét địa IP Trong trường hợp này, dựa vào khả hệ thống vị trí triển khai kinh nghiệm người quản trị để xác định N chu kỳ thuật toán - Trường hợp 2: Phân biệt IP đăng ký IP không đăng ký sử dụng dịch vụ Số lượng người dùng đăng ký sử dụng dịch vụ N1 số lượng người dùng dịch vụ không đăng ký N2 Đối với người dùng không đăng ký, N2 dùng với số lượng nhỏ địa đại diện, ta có N=N1+N2  Xác định d Giá trị d ma trận d-phân-cách số lượng Hot-IP tối đa phát phương pháp thử nhóm bất ứng biến Tùy vào ứng dụng mà tham số có ý nghĩa khác Trong công từ chối dịch vụ phân tán, d có ý nghĩa số lượng nguồn phát công (giám sát dựa vào địa IP nguồn) số lượng tối đa server có khả bị công (giám sát dựa vào địa IP đích) Trong ứng dụng phát nguồn phát tán sâu Internet, giá trị d có ý nghĩa số lượng tối đa máy tính có khả quét mạng để phát tán sâu Bài toán thử nhóm bất ứng biến truyền thống phụ thuộc nhiều vào việc chọn d Để giảm phụ thuộc vào d, luận án đề xuất phương án sử dụng danh sách IP nghi ngờ (Hot-List) sử dụng thuật toán cải tiến  Xác định m Tham số m∆ tổng số gói tin bắt chu kỳ thuật toán  Ngưỡng tần suất xuất cao Giá trị ngưỡng dùng để xác định kết nhóm thử có chứa m∆ phần tử Hot-IP hay không Giá trị ngưỡng xác định δ = Hot-List  Giá trị t Giá trị t số hàng ma trận hay số nhóm thử thiết kế trước theo phương pháp thử nhóm bất ứng biến Trong xây dựng ma trận d-phân-cách phương pháp nối mã, giá trị t xác định sau: t = n1 × q, với Cout :[n1 , k1 ]q - RS Cin : I q 3.3 Kiến trúc phân tán 3.3.1 Giới thiệu Các công mạng ngày có tính phối hợp cao, phân tán rộng Internet, để phát phòng chống cách hiệu chiến lược phát phòng chống cần triển khai phân tán hợp tác thành phần 3.3.2 Kiến trúc phân tán phát Hot-IP Trong hệ thống mạng tổ chức đa vùng hay hệ thống mạng nhà cung cấp dịch vụ tổ chức thành khu vực để cung cấp dịch vụ cho khách hàng khu vực Ở khu vực, hệ thống phát Hot-IP thiết lập để phát Hot-IP Hệ thống phát Hot-IP vị trí triển khai giải pháp thiết kế để kết nối với theo dạng luồng liệu tích hợp vào router biên mạng Mục đích việc thiết lập để tăng khả phát sớm Hot-IP mạng trách tắc nghẽn có công xảy Khi phát Hot-IP phát có Hot-IP phát cảnh báo cho phát Hot-IP khác có thiết lập kế nối với 3.3.3 Kịch thực nghiệm kết Dòng gói tin IP thu thập vào phát Hot-IP, địa IP nguồn IP đích trích từ IP-header gói tin để xử lý Ở vị trí triển khai sử dụng ma trận phù hợp với lượng IP quản lý cộng với số lượng nhỏ IP đại diện cho đối tượng khác ISP khác, quốc gia hay khu vực Các thực nghiệm cài đặt thuật toán cải tiến “Online Hot-IP Preventing”, kết thực nghiệm cho thấy giải pháp có khả ứng dụng để ngăn ngừa sớm nguy xảy công mạng dạng từ chối dịch vụ DoS/DDoS hay hạn chế máy quét không gian địa mạng giúp hệ thống hoạt động ổn định, thông suốt 3.4 Song song hóa giải pháp 3.4.1 Giới thiệu Trong ứng dụng thời gian thực, việc xác định nhanh đối tượng mục tiêu vô quan trọng Các công từ chối dịch vụ có quy mô ngày lớn gây hậu nghiêm trọng, quét mạng tìm kiếm lỗ hổng để phát tán sâu Internet diễn với tốc độ nhanh, thời gian thực quét mạng ngắn Áp dụng kỹ thuật xử lý song song để tăng tốc độ tính toán xác định Hot-IP giải pháp hữu hiệu để nâng cao khả áp dụng giải pháp vào thực tế 3.4.2 Xử lý song song toán thử nhóm  Xử lý bước thu thập liệu đầu vào: Giải pháp phân tán xử lý liệu đầu vào thời gian thực sử dụng để giải toán xử lý với luồng liệu lớn để tăng thời gian đáp ứng hệ thống cho yêu cầu truy xuất bên hệ thống  Xử lý bước tính vector kết cho nhóm thử: Các nhóm thử phương pháp thử nhóm bất ứng biến độc lập Như vậy, bước xác định kết nhóm thử sử dụng kỹ thuật xử lý song song để tối ưu thời gian tính toán kết nhóm thử 3.4.3 Kịch thực nghiệm kết  Thực nghiệm xử lý song song liệu đầu vào Để xử lý nhanh luồng liệu lớn việc xử lý liệu đầu vào, phần thực nghiệm sử dụng công cụ MapReduce (Hadoop) để thu thập thông tin IP liệu đầu vào, luồng liệu tổng hợp xử lý theo thuật toán cải tiến “Online Hot-IP Preventing”  Thực nghiệm xử lý song song bước tính toán kết Kết thực nghiệm cho thấy phương pháp xử lý song song cho kết giải mã nhanh nhiều so với xử lý Từ cho thấy với việc xây dựng giải pháp phát nhanh Hot-IP mạng dùng phương pháp thử nhóm bất ứng biến kết hợp với kỹ thuật xử lý song song cho kết tốt, áp dụng hiệu triển khai thực tế mạng tốc độ cao CHƯƠNG MỘT SỐ ỨNG DỤNG PHÁT HIỆN CÁC HOT-IP 4.1 Giới thiệu Bài toán phát Hot-IP trực tuyến mạng toán có tính tổng quát, ứng dụng vào số toán an ninh mạng Xác định Hot-IP xác định đối tượng mạng hoạt động với tần suất cao khoảng thời gian ngắn Các đối tượng có khả nguy ảnh hưởng đến hoạt động hệ thống mạng, nguồn phát công hay mục tiêu công từ chối dịch vụ, máy tính quét mạng để tìm kiếm lỗ hổng nhằm phát tán sâu mạng số loại sâu quét không gian địa IP 4.2 Phát đối tượng có khả mục tiêu, nguồn phát công từ chối dịch vụ 4.2.1 Ý nghĩa thực tiễn Tấn công DoS/DDoS công nguy hiểm mạng tính đơn giản việc thực công hậu để lại nghiêm trọng 4.2.2 Vấn đề nghiên cứu đặt Giải pháp cân phát khả công phát đối tượng có khả nguồn phát công có ý nghĩa quan trọng Hai toán đặt ra: toán thứ phát trực tuyến khả nguồn phát công từ chối dịch hay nạn nhân công toán thứ hai đảm bảo hệ thống mạng hoạt động ổn định, thông suốt cách ngăn chặn Hot-IP chu kỳ thuật toán 4.2.3 Mô hình hóa toán phát Hot-IP Xét dòng gói IP lưu thông qua phát Hot-IP, gói tin trích địa IP đích IP-header để phân tích Nếu quan sát gói liệu qua phát Hot-IP mà có nhiều gói có đích đến có khả địa IP bị công từ chối dịch vụ Gọi ∆ thời gian chu kỳ thuật toán, N ∆ ( N ∆ ≤ N ) số lượng địa IP phân biệt khoảng thời gian ∆, m∆ số lượng gói tin hệ thống nhận khoảng thời gian ∆ Gọi Hot-List danh sách lưu địa IP nghi ngờ trình thực thi thuật toán, kích thước Hot-List lựa chọn số lượng mục tiêu công DoS/DDoS số lượng nguồn phát công DoS/DDoS giải pháp phát được, ngưỡng tần m∆ suất cao δ = | Hot-List | Áp dụng thuật toán cải tiến “Online Hot-IP detecting” để phát đối tượng có khả mục tiêu nguồn phát công công DoS/DDoS với giải pháp cài đặt mang tính chất phát cảnh báo Áp dụng thuật toán cải tiến “Online Hot-IP Preventing” để giữ ổn định cho hoạt động hệ thống cách ngắt kết nối Hot-IP phát chu thuật toán 4.2.4 Kịch thực nghiệm kết Mô hình thực nghiệm 1: Phát đối tượng có khả nguồn phát công DoS/DDoS Mô hình thực nghiệm 2: Phòng chống công DDoS 4.3 Phát đối tượng có khả nguồn phát tán sâu Internet 4.3.1 Ý nghĩa thực tiễn Sâu mạng hay sâu Internet chương trình máy tính độc hại tự nhân phát tán cách khai thác lỗ hổng máy tính mạng Một bước việc phát tán sâu quét mạng với tốc độ cao Chúng tập hợp danh sách với hàng ngàn địa IP quét mạng với tốc độ nhanh để tìm kiếm máy bị lỗ hổng để khai thác 4.3.2 Vấn đề nghiên cứu đặt Quan sát luồng liệu mạng, có nhiều gói có địa nguồn máy nguồn bị nhiễm sâu quét mạng Có thể mô hình hóa phương pháp thử nhóm để phát nhanh cảnh báo sớm sâu hoạt động mạng cách phân tích dựa vào gói tin IP phát Hot-IP máy nhiễm sâu tiến hành quét mạng 4.3.3 Mô hình hóa toán phát Hot-IP Gọi ∆ chu thuật toán, m∆ số lượng gói tin tối đa mà hệ thống nhận khoảng thời gian ∆, Hot-List danh sách chứa địa IP nghi ngờ nguồn phát tán sâu mạng (Hot-IP) trình thực thuật toán, kích thước Hot-List lớn d lựa chọn tùy thuộc vào thực tế kinh nghiệm người quản trị Ngưỡng tần suất cao δ , ma trận nhị phân sinh dựa vào giá trị N khoảng thời gian ∆ , suy tham số phép nối mã C in Cout Xác định địa IP có khả nguồn phát tán sâu mạng 4.3.4 Kịch thực nghiệm kết  Kịch 1: Thực nghiệm để đo thời gian giải mã phát đối tượng nguồn quét mạng tìm kiếm lỗ hổng để truyền sâu với khả lên đến 700.000 IP phân biệt  Kịch 2: Xử lý liệu thời gian thực, hạn chế tốc độ lây lan cách ngắt kết nối Hot-IP chu kỳ thuật toán (bằng thuật toán cải tiến “Online Hot-IP Preventing”) Qua kết thực nghiệm thấy thời gian phát đối tượng có khả nguồn phát tán sâu mạng nhanh, hệ thống hoạt động ổn định nguồn phát tán bị ngăn chặn chu kỳ thuật toán, giải pháp áp dụng triển khai vào hệ thống mạng thực tế 4.4 Phát khả thiết bị hoạt động bất thường 4.4.1 Ý nghĩa thực tiễn Các bất thường tình trạng hoạt động máy chủ hệ thống hoạt động mức bị công mức độ phục vụ chập chờn mức bình thường hư hỏng 4.4.2 Vấn đề nghiên cứu đặt Bài toán đặt môi trường mạng phía nhà cung cấp dịch vụ giám sát để cảnh báo sớm server hoạt động bất thường mặt truy cập hệ thống máy chủ chia tải cho ứng dụng mạng 4.4.3 Mô hình hóa toán phát Hot-IP Giả sử tổng tần suất xuất N IP dòng liệu S có nhiều d IP có tần suất hoạt động bất thường (Hot-IP Low-IP) Một IP coi bình thường tần suất xuất nhỏ hơn S lớn d +1 S Giả sử có nhiều d Hot-IP d Low( N − 2d + 1)( d + 1) IP nên IP bình thường dòng liệu N − 2d Tổng tần suất xuất chúng lớn ( N − 2d ) IP Low-IP nhỏ S Do đó, tổng tần suất ( N − 2d + 1)( d + 1) S ( N − 2d + 1)( d + 1) 4.4.4 Kịch thực nghiệm kết Trong phần thực nghiệm phát bất thường dòng liệu, Thuật toán bắt gói cài đặt ngôn ngữ C, sử dụng thư viện pcap để phân tích gói tin Khi gói tin gửi đến, phần IP-header phân tích rút trích thông tin địa IP nguồn Kết thực nghiệm cho thấy giải pháp phát Hot-IP triển khai áp dụng hệ thống mạng thực tế để phát thiết bị hoạt động bất thường 4.5 Giám sát Hot-IP 4.5.1 Ý nghĩa thực tiễn Giám sát hoạt động thiết bị quan trọng mạng nhiệm vụ trọng tâm người quản trị mạng Mục đích công việc theo dõi tình trạng hoạt động chúng hệ thống 4.5.2 Vấn đề nghiên cứu đặt Vấn đề đặt cho việc giám sát nhà cung cấp dịch vụ theo dõi phát cảnh báo cho khả tình trạng máy chủ hay thiết bị hoạt động bất thường hệ thống mà không cần cài đặt chế độ giám sát từ máy chủ giám sát đến thiết bị server 4.5.3 Kịch thực nghiệm kết Các Hot-IP phát đưa vào trạng thái giám sát, xác định tần suất xuất chúng khoảng thời gian định trước, thể đồ thị trực quan giúp người quản trị việc theo dõi hoạt động chúng Người quản trị đặt ngưỡng để phát cảnh báo hay điều phối luồng lưu lượng dòng gói IP chứa Hot-IP Qua việc theo dõi trạng thái hoạt động thiết bị định tuyến, chuyển mạch mạng, hệ thống giám sát kích hoạt tường lửa để hạn chế hay ngăn chặn Hot-IP KẾT LUẬN Luận án trình bày giải pháp phát Hot-IP mạng trực tuyến dựa phương pháp thử nhóm bất ứng biến Mục tiêu của luận án đề xuất giải pháp phát nhanh Hot-IP mạng, ứng dụng mạng trung gian nhà cung cấp dịch vụ mạng cung cấp dịch vụ Internet nhằm giúp người quản trị phát nhanh, ứng phó kịp thời với khả nguy ảnh hưởng xấu đến hoạt động mạng đảm bảo hệ thống hoạt động ổn định, thông suốt Trong giải pháp khảo sát, giải pháp phát Hot-IP mạng sử dụng thử nhóm bất ứng biến giải pháp hữu hiệu để triển khai áp dụng nhằm phát trực tuyến hạn chế tác hại đối tượng nguy gây hại mạng Đây giải pháp phù hợp toán phát đối tượng có khả nạn nhân công từ chối dịch vụ; đối tượng phát động công DoS/DDoS; đối tượng phát tán sâu mạng, giải pháp cân thời gian tính toán phát đối tượng bước phát công Bên cạnh đó, giải pháp có khả tối ưu lực xử lý nhớ, đơn giản, xác, tính toán nhanh, phù hợp để áp dụng môi trường mạng có số lượng người dùng lớn môi trường mạng trung gian phía nhà cung cấp dịch vụ Các kết đạt (1) Luận án mô hình hóa toán phát Hot-IP sang toán thử nhóm bất ứng biến đề xuất kết hợp số kỹ thuật để nâng cao hiệu giải pháp Trong đó, phương pháp nối mã áp dụng vào việc phát sinh ma trận d-phân-cách tường minh để phát sinh xác ma trận tối ưu không gian lưu trữ thực thi chương trình Phương pháp cho phép phát sinh cột ma trận trình xử lý tính toán Do đó, ma trận không cần lưu trữ toàn thực thi chương trình Để nâng cao hiệu giải pháp lựa chọn tham số, kích thước ma trận dựa vào khả vị trí triển khai; đề xuất kết hợp với kỹ thuật xử lý song song để giảm thời gian giải mã phát Hot-IP dựa vào tính chất phương pháp thử nhóm bất ứng biến phép thử xác định trước độc lập nhau; đề xuất kết hợp với kiến trúc phân tán để phát cảnh báo sớm Hot-IP hệ thống mạng tổ chức đa vùng, thích hợp áp dụng mạng trung gian phía nhà cung cấp dịch vụ (2) Luận án đề xuất cải tiến phương pháp thử nhóm bất ứng biến việc phát Hot-IP với hai thuật toán cải tiến Thuật toán cải tiến thứ “Online Hot-IP Detecting” cho phép tối ưu mặt tính toán độ xác số lượng Hot-IP thực tế cao giá trị cho trước xây dựng ma trận Thuật toán cải tiến thứ hai “Online Hot-IP Preventing” đảm bảo hệ thống mạng hoạt động ổn định, thông suốt cách ngắt kết nối Hot-IP chu thuật toán (3) Luận án mô hình hóa số toán an ninh mạng phát nguồn phát tán sâu mạng, phát nạn nhân nguồn phát công công từ chối dịch vụ, phát thiết bị hoạt động bất thường mạng toán tìm Hot-IP Bên cạnh đó, luận án đề xuất giám sát Hot-IP kết hợp với việc theo dõi tài nguyên hệ thống để điều phối hoạt động luồng lưu lượng chứa Hot-IP, giảm ảnh hưởng xấu đến hoạt động chung toàn hệ thống mạng Các kết nghiên cứu thực nghiệm cho thấy giải pháp cho kết tốt, thời gian thực để phát Hot-IP nhanh, áp dụng triển khai vào môi trường thực tế phía nhà cung cấp dịch vụ hệ thống mạng cung cấp dịch vụ môi trường Internet Hướng phát triển Luận án trình bày giải pháp hoàn chỉnh phát Hot-IP mạng số ứng dụng lĩnh vực an ninh mạng Bên cạnh việc áp dụng giải pháp vào thực tiễn, đặc biệt triển khai phần cứng, hướng nghiên cứu mở kết hợp phân tích số yếu tố khác dòng liệu để nhận dạng, phân loại nguy từ toán phát Hot-IP CÁC CÔNG TRÌNH NGHIÊN CỨU CỦA TÁC GIẢ TẠP CHÍ KHOA HỌC Huynh Nguyen Chinh, Nguyen Dinh Thuc, Tan Hanh Finding HotIPs in network using group testing method – A review Journal of Engineering Technology and Education – Kuas,Taiwan, pp.374-379, 2013 Huynh Nguyen Chinh, Nguyen Dinh Thuc, Tan Hanh Group testing for detecting worms in computer networks Tạp chí Khoa học Công nghệ - chuyên san công trình nghiên cứu Điện tử, Viễn thông CNTT, pp.12-19, 2013 Huynh Nguyen Chinh, Tan Hanh, and Nguyen Dinh Thuc Fast detection of DDoS attacks using Non-Adaptive group testing International Journal of Network Security and Its Applications (IJNSA), Vol.5 (5), pp 63–71, India, 2013 Huynh Nguyen Chinh Fast detecting Hot-IPs in high speed networks Tạp chí Phát Triển KH-CN, chuyên san KHTN, ĐHQG Tp.HCM, Vol 18, pp.242-253, 2015 HỘI NGHỊ KHOA HỌC QUỐC TẾ Thach V Bui, Chinh N Huynh, Thuc D Nguyen Early detection for networking anomalies using Non-Adaptive Group testing International Conference on ICT Convergence 2013 (ICTC 2013), Korea, pp 984-987, IEEE, 2013 Huynh Nguyen Chinh, Nguyen Dinh Thuc, Tan Hanh A distributed architecture and Non-adaptive Group testing approach to fast detect Hot-IPs in ISP networks International Conference on Green and Human Information Technology (ICGHIT 2014), pp.232-236, IEEE, 2014 Huynh Nguyen Chinh, Nguyen Dinh Thuc, Tan Hanh Early detection and limitation Hot-IPs using Non-adaptive group testing and dynamic firewall rules International Conference on Computing, Management and Telecommunications (ComManTel 2014), pp 286-290, IEEE, 2014 Huynh Nguyen Chinh, Nguyen Dinh Thuc, Tan Hanh Monitoring Hot-IPs in high speed networks The 2014 International Conference on Advanced Technologies for Communications (ATC’14), pp 430434, IEEE, 2014 ... chặn Hot- IP KẾT LUẬN Luận án trình bày giải pháp phát Hot- IP mạng trực tuyến dựa phương pháp thử nhóm bất ứng biến Mục tiêu của luận án đề xuất giải pháp phát nhanh Hot- IP mạng, ứng dụng mạng. .. Khi phát Hot- IP phát có Hot- IP phát cảnh báo cho phát Hot- IP khác có thiết lập kế nối với 3.3.3 Kịch thực nghiệm kết Dòng gói tin IP thu thập vào phát Hot- IP, địa IP nguồn IP đích trích từ IP- header... SỐ ỨNG DỤNG PHÁT HIỆN CÁC HOT- IP 4.1 Giới thiệu Bài toán phát Hot- IP trực tuyến mạng toán có tính tổng quát, ứng dụng vào số toán an ninh mạng Xác định Hot- IP xác định đối tượng mạng hoạt động