Hệ thống phát hiện tấn công botnet sử dụng web proxy và Convolutional Neural Network

Bài viết đề xuất một họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thô do các công cụ ghi nhận và phân tích network flow cung cấp thành đặc trưng cấp cao hơn, từ đó tiến hành phân lớp (nhị phân) để đánh giá một flow tương ứng với tình trạng bị botnet tấn công hay không.

TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT Tập 10, Số 3, 2020 3-24 HỆ THỐNG PHÁT HIỆN TẤN CÔNG BOTNET SỬ DỤNG WEB PROXY VÀ CONVOLUTIONAL NEURAL NETWORK Trần Đắc Tốta*, Phạm Tuấn Khiêma, Phạm Nguyễn Huy Phươnga Khoa Công nghệ Thông tin, Trường Đại học Công nghiệp Thực phẩm TP Hồ Chí Minh, TP Hồ Chí Minh, Việt Nam * Tác giả liên hệ: Email: tottd@hufi.edu.vn a Lịch sử báo Nhận ngày 10 tháng 02 năm 2020 Chỉnh sửa ngày 20 tháng năm 2020 | Chấp nhận đăng ngày 15 tháng năm 2020 Tóm tắt Botnet ngày trở thành mối đe dọa nguy hiểm lĩnh vực an ninh mạng, nhiều hướng tiếp cận khác để phát công botnet nghiên cứu Tuy nhiên, dù hướng tiếp cận sử dụng, tiến hóa chất botnet tập quy luật định nghĩa sẵn để phát botnet ảnh hưởng đến hiệu suất hệ thống phát botnet Trong báo này, đề xuất họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thơ cơng cụ ghi nhận phân tích network flow cung cấp thành đặc trưng cấp cao hơn, từ tiến hành phân lớp (nhị phân) để đánh giá flow tương ứng với tình trạng bị botnet công hay không Chúng thử nghiệm tập CTU-13 với cấu hình khác convolutional neural network để đánh giá tiềm dùng deep learning với convolutional neural network vào toán phát botnet Đặc biệt đề xuất hệ thống phát Botnet sử dụng Web proxy Đây kỹ thuật giúp triển khai hệ thống phát botnet với chi phí thấp mang lại hiệu cao Từ khóa: AntiBotDDOS; Botnet; Convolutional neural network; Tấn công từ chối dịch vụ; Web proxy DOI: http://dx.doi.org/10.37569/DalatUniversity.10.3.652(2020) Loại báo: Bài báo nghiên cứu gốc có bình duyệt Bản quyền © 2020 (Các) Tác giả Cấp phép: Bài báo cấp phép theo CC BY-NC 4.0 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] DETECTING WEB-BASED BOTNETS USING A WEB PROXY AND A CONVOLUTIONAL NEURAL NETWORK Tran Dac Tota*, Pham Tuan Khiema, Pham Nguyen Huy Phuonga a The Faculty of Information Technology, Ho Chi Minh City University of Food Industry, Hochiminh City, Vietnam * Corresponding author: Email: tottd@hufi.edu.vn Article history Received: February 10th, 2020 Received in revised form: May 20th, 2020 | Accepted: June 15th, 2020 Abstract Botnets are increasingly becoming the most dangerous threats in the field of network security, and many different approaches to detecting attacks from botnets have been studied Whatever approach is used, the evolution of the botnet's nature and the set of defined rules for detecting botnets can affect the performance of botnet detection systems In this paper, we propose a general family of architectures that uses a convolutional neural network group to transform the raw characteristics provided by network flow recording and analysis tools into higher-level features, then conducts a (binary) class to assess whether a flow corresponds to a botnet attack We experimented on the CTU-13 dataset using different configurations of the convolutional neural network to evaluate the potential of deep learning on the botnet detection problem In particular, we propose a botnet detection system that uses a web proxy This technique can be helpful in implementing a low-cost, but highly effective botnet detection system Keywords: AntiBotDDOS; Botnet; Botnet detection; Convolutional Neural Network; Web proxy DOI: http://dx.doi.org/10.37569/DalatUniversity.10.3.652(2020) Article type: (peer-reviewed) Full-length research article Copyright © 2020 The author(s) Licensing: This article is licensed under a CC BY-NC 4.0 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương ĐẶT VẤN ĐỀ Botnet–một mạng máy chủ bị xâm hại điều khiển từ xa Botmaster–có tiềm thực thi quy mơ lớn tác vụ độc hại khác Một số ví dụ điển hình cơng phân tán từ chối dịch vụ (DDoS), ăn cắp thông tin cá nhân spam Cùng với phát triển nhanh chóng cơng nghệ máy tính tốc độ truyền tải Internet, botnet phát triển mạnh mẽ kể từ đầu năm 2000 Sự phát triển đòi hỏi hệ thống phát botnet phải thích ứng với việc nâng cấp mở nhu cầu hệ thống phát botnet dựa khám phá mẫu cấu trúc cách tự động Trong lĩnh vực này, kĩ thuật gom nhóm phân loại–được sử dụng tự động hóa việc phân tích lưu lượng truyền tải–u cầu mạng truyền tải phải biểu diễn cách có ý nghĩa phép việc nhận dạng mẫu Vì vậy, thành phần quan trọng cho hệ thống rút trích đặc trưng (thuộc tính) từ traffic đường mạng Những gói liệu bao gồm hai phần chính, tiêu đề gói (header) nội dung truyền tải (payload) Phần tiêu đề lưu giữ thông tin điều khiển giao thức phần payload lưu giữ thông tin ứng dụng sử dụng mạng Vì lý đó, việc phân tích network traffic thực theo theo gói (per-packet, dùng hai phần nêu trên) theo luồng (chỉ sử dụng gói tiêu đề tổng hợp) Một số cơng trình thực đánh giá hai hướng tiếp cận phát botnet dựa gói payload luồng (Haddadi, Le, Porter, & Zincir-Heywood, 2015) Nhận thấy tập đặc trưng dùng tầm quan trọng kiểm chứng phương pháp rút trích đặc trưng hướng tiếp cận (Haddadi & Zincir-Heywood, 2014) Một số công trình đánh giá hai hướng tiếp cận luồng (one flow based) dựa gói payload (one packet payload based) (Haddadi & ctg., 2015) Vì botnet gần có xu hướng sử dụng mã hóa để che giấu thông tin phương thức chúng khỏi hệ thống phát botnet nên hệ thống phát botnet dựa luồng (one flow based detection system) chiếm ưu hệ thống dựa gói liệu (packet-based system) dùng để phát công nội dung traffic bị mã hóa Do tập luật phải định nghĩa sẵn dựa tri thức sẵn có, kết phân tích, so sánh, đánh giá hiệu hệ thống phát dựa luật bị ảnh hưởng việc chọn tập liệu nâng cấp tập luật Snort (Snort, n.d.) BotHunter (Gu, Porras, Yegneswaran, Fong, & Lee, 2007) hệ thống phát dựa luật thường dùng để so sánh đánh giá Snort hệ thống ngăn ngừa phát xâm nhập thông dụng (IDS/IPS) Đây công cụ mã nguồn mở nên tập luật cơng cụ sửa đổi cách dễ dàng BotHunter hệ thống mở khác, tận dụng module đánh giá Snort sửa đổi tập luật Snort để dành riêng biệt cho việc phát botnet Phát botnet ngày trở nên khó khăn chúng sử dụng giao thức thông dụng HTTP, cấu trúc phân tán kĩ thuật mã hóa Nhiều hệ thống phát botnet đề xuất nhằm đối phó với thay đổi Đứng từ góc TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] độ liệu, số kĩ thuật tập trung chủ yếu vào phân tích mã nguồn file thực thi malware, kĩ thuật khác lại sử dụng liệu đến từ máy chủ lưu trữ (host) liệu mạng (network) Ngồi ra, phân tích lưu lượng dựa luật phát liệu bất thường hướng tiếp cận sử dụng nhiều Trong hướng tiếp cận dựa luật bất thường liệu, luật bất thường xác định thơng qua phát tích liệu việc đánh giá chuyên gia làm tự động hệ thống sử dụng thuật toán máy học Gu ctg (2007) phát triển hệ thống với tên BotHunter, kết hợp với cảnh báo Snort IDS để phát botnet Sự kết hợp dựa vào việc botnet có phần hoạt động giống vịng đời tồn chúng Phân tích payload (Payload analysis) phần hệ thống BotHunter Wurzinger, Bilge, Holz, Goebel, Kruegel, Kirda (2009) đề hướng tiếp cận để phát botnet dựa tương quan lệnh (command) hồi đáp (response) liệu truy vết ghi lại q trình giao tiếp mạng Các đặc tính traffic số lượng bytes ASCII payload (payload) phân tích để xác định tính chất bot Celik, Raghuram, Kesidis, Miller (2011) đề xuất hệ thống phát hoạt động C&C botnet (flow-based botnet C&C activity) sử dụng header gói Họ điều tra ảnh hưởng hiệu chuẩn đặc tính luồng dựa thời gian (time-based flow features) Wang, Huang, Lin (2011) đề phương pháp nhận diện botnet HTTP IRC dựa mẫu hành vi (behavioral pattern) chúng Trong hướng tiếp cận này, Họ phân tích đặc tính truy vấn DNS (như số lượng truy xuất DNS thất bại) luồng TCP để phát tên miền địa IP độc hại Zhao, Traore, Ghorbani, Sayed, Saad, Lu (2012) phát minh hệ thống phát botnet dựa luồng phân đoạn (flow intervals) Các đặc tính luồng gói tin lưu lượng liệu sử dụng với số thuật toán Machine Learning tập trung vào P2P botnet Waledac Trong phần báo này, Phần trình bày nội dung Hệ thống phát botnet (AntiBotDDOS) với web proxy đề xuất họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thô công cụ ghi nhận phân tích network flow cung cấp thành đặc trưng cấp cao hơn, từ tiến hành phân lớp (nhị phân) để đánh giá flow tương ứng với tình trạng bị botnet công hay không Phần phần thực nghiệm Phần phần kết luận hướng nghiên cứu HỆ THỐNG PHÁT HIỆN BOTNET VỚI WEB PROXY VÀ CNN Hệ thống phát botnet (AntiBotDDOS) với web proxy xây dựng theo mơ hình application proxy có bổ sung thêm số tính để giảm thiểu công DDOS đến web server như: • Khả tự kiểm tra phân biệt người dùng PC-Bot: o Challenge HTTP; Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương o Challenge Java; o Phát fake IP • Khả tự học, tự cấu hình để điều chỉnh thơng số nhằm tối ưu hoạt động hệ thống • Khả xác thực người dùng thông qua chế Captcha Ngoài ra, việc xác định ngưỡng hoạt động AntiBotDDOS, có hai ngưỡng thiết lập sau: 2.1 • Thiết lập bị động: Web server cấu hình ngưỡng hoạt động mà tham số xử lý số lượng HTTP request/response thiết lập cố định • Cơ chế chủ động: Hệ thống tự động học (CNN) thiết lập ngưỡng xử lý HTTP request/response Convolutional Neural Network phát công Botnet 2.1.1 Tính đa dạng nguồn liệu thơ Cơng cụ phát sinh luồng (Flow Generation) tóm tắt thơng tin traffic sử dụng header packet mạng Các công cụ thu thập thông tin packer với đặc tính chung, ví dụ địa IP, port, nhóm thơng tin lại thực số tính tốn thống kê, ví dụ số lượng packer flow… Trong RFC 2722, traffic flow xem tương ứng với kết nối liên kết với nhóm tài nguyên cụ thể Phương pháp chung thường sử dụng để xác định traffic flow sử dụng tổ hợp năm thuộc tính từ header packet, bao gồm header tầng network tầng transport TCP/IP network protocol stack Các thông tin là: Địa IP nguồn, địa IP đích, port nguồn, port đích, giao thức Trên thực tế, có nhiều cơng cụ để thu thập (collect), xuất thơng tin (export) giúp phân tích (analyse) traffic mạng Một số công cụ hỗ trợ chế độ online (ghi nhận trực tiếp liệu từ hoạt động thực tế mạng) hay offline (phân tích liệu ghi nhận–precaptured từ file) Tùy theo công cụ hay giải pháp sử dụng để thu thập rút trích thơng tin thuộc tính cho flow mạng, tập đặc trưng (feature set) khác Một số cơng cụ trích xuất thơng tin từ luồng bao gồm: • Maji (Maji, n.d.) cơng cụ mã nguồn mở cài đặt IPFIX, nhóm nghiên cứu WAND Đại học Waikato hỗ trợ Công cụ trích xuất luồng đơn TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] hướng từ traffic thời gian thực với giao tiếp Packet CAPture (PCAP) hầu hết định dạng file trace phổ biến • YAF (YAF, n.d.) cơng cụ trích xuất thơng tin luồng hai hướng nhóm NetSA CERT thiết kế Cơng cụ thu thập trích xuất luồng dựa IPFIX Tương tự với Maji, YAF xử lý liệu packet từ file ghi lại traffic hay ghi nhận trực tiếp từ mơi trường mạng • Softflowd (Softflowd, n.d.) cơng cụ nhỏ gọn cho phép trích xuất luồng đơn hướng hỗ trợ phiên khác NetFlow Cơng cụ trích xuất liệu NetFlow sử dụng liệu ghi lại vào file, ghi nhận thời gian thực từ môi trường mạng • Tranalyzer (Tranalyzer, n.d.) cơng cụ nhỏ gọn cho phép trích xuất luồng đơn hướng hỗ trợ phiên mở rộng tập đặc trưng NetFlow Công cụ hỗ trợ xử lý liệu ghi lại tập tin xử lý thời gian thực từ traffic mạng • Netmate (Netmate, n.d.) cơng cụ trích xuất phân tích luồng hai hướng Công cụ hỗ trợ xử lý liệu ghi lại tập tin xử lý thời gian thực từ traffic mạng Do tập hợp đặc trưng cơng cụ cung cấp khác số lượng ý nghĩa thành phần vector đặc trưng, phạm vi tìm hiểu khả ứng dụng Convolutional Neural Network vào phân tích đánh giá để phát công botnet, đề xuất họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thô công cụ ghi nhận phân tích network flow cung cấp thành đặc trưng cấp cao hơn, từ tiến hành phân lớp (nhị phân) để đánh giá flow tương ứng với tình trạng bị botnet cơng hay khơng 2.1.2 Mơ hình đề xuất Hình Mơ hình tổng quan kiến trúc CNN khảo sát Hình thể mơ hình tổng quan kiến trúc CNN chúng tơi chọn khảo sát Trong kiến trúc có hai thành phần chính: Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương • Giai đoạn biến đổi đặc trưng: Với mục tiêu để biến đổi tạo đặc trưng biểu diễn cấp cao từ tập thuộc tính thơ flow cơng cụ ghi nhận phân tích traffic mạng cung cấp Dữ liệu thô flow biến đổi qua nhiều layer để tạo đặc trưng cấp cao, chuẩn bị cho giai đoạn phân lớp để đánh giá flow có phải bị botnet cơng hay khơng • Giai đoạn phân lớp: Sử dụng đặc trưng cấp cao flow tạo giai đoạn biến đổi đặc trưng, bước xử lý giai đoạn phân lớp giúp đánh giá flow có phải bị botnet cơng hay khơng Chi tiết cách xây dựng giai đoạn biến đổi đặc trưng giai đoạn phân lớp trình bày phần 2.1.3 Giai đoạn biến đổi đặc trưng Dữ liệu đầu vào bao gồm m đoạn flow liên tiếp, đoạn flow biểu diễn vector gồm d chiều đặc trưng thơ cung cấp từ cơng cụ phân tích mạng (Hình 2) Vector đầu vào tổ chức dạng hai chiều, gồm m dòng (tương ứng với m đoạn flow liên tiếp) d cột (biểu diễn d thành phần vector đặc trưng thơ cơng cụ phân tích mạng) Ý tưởng chúng tơi tận dụng cách biểu diễn 2D thường gặp liệu hình ảnh cơng trình Convolutional Neural Network ảnh vào tốn phân tích phát botnet Hình Biểu diễn vector đầu vào Thành phần xử lý kiến trúc bao gồm K chu kỳ, chu kỳ gồm layer convolution layer pooling (Hình 3) Hình Cấu trúc chung giai đoạn biến đổi đặc trưng TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] Mỗi layer convolution sử dụng filter bank bao gồm filter có kích thước nhau, nhằm tạo kết sau lọc khác từ vector đặc trưng đầu vào Do kết đầu node layer convolution tổ hợp tuyến tính giá trị đầu vào layer này, sử dụng thêm layer biến đổi phi tuyến ReLU (Rectified Linear Unit) sau layer convolution để bổ sung tính chất phi tuyến vào neural network Sau layer convolution, bổ sung layer pooling max pooling với kích thước kernel × Việc sử dụng layer pooling giúp cho đặc tính bật rút từ layer convolution có khả xuất linh hoạt biên độ định Kích thước kernel × cho phép liên kết để tổng hợp đặc trưng từ đoạn flow Chúng định nghĩa tham số cho layer convolution thứ i (1 ≤ i ≤ K) bao gồm: • kerneli độ cao kernel sử dụng filter filter bank Như vậy, tất filter dùng layer convolution thứ i có kích thước kerneli × d Nói cách khác, chúng tơi muốn tạo khả tương tác thông tin đặc trưng nhóm gồm kerneli dịng liên tiếp vector feature map • niC số lượng filter filter bank Sau chu kỳ, việc sử dụng layer pooling, độ dài đặc trưng học áp dụng filter cụ thể filter bank giảm 50% Do đó, để giữ lại thông tin từ đặc trưng từ cấp thấp hơn, sử dụng số lượng filter filter bank tăng dần qua chu kỳ xử lý: niC  niC+1 với  i  K Trong thử nghiệm, chọn giá trị độ cao ≤ kerneli ≤ 2.1.4 Giai đoạn phân lớp Hình Cấu trúc chung giai đoạn phân lớp Hình trình bày cấu trúc chung giai đoạn phân lớp Để hạn chế việc khớp huấn luyện neural network, áp dụng kỹ thuật Dropout Ý tưởng Dropout số node (cùng với cạnh nối với node này) chọn ngẫu nhiên để bỏ qua với xác suất định huấn luyện neural network 10 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương 2.2 Cơ chế xác thực người dùng Hình Cơ chế xác thực người dùng AntiBotDDOS Trong mơ hình sử dụng Web Server Reverse Proxy, toàn truy cập đến web server mục tiêu ứng dụng AntiBotDDOS (Hình 5) kiểm tra theo chế: 11 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] • Tồn HTTP request AntiBotDDOS tiếp nhận • Nếu HTTP request có chứa cookies mã xác thực hợp lệ request chuyển đến web server mục tiêu HTTP response trả người dùng • Trong trường hợp HTTP request không hợp lệ, AntiBotDDOS tiến hành challenge theo ba cách: HTTP challenge, JavaScript challenge, Captcha challenge…(số lượng module challenge mở rộng theo phiên AntiBotDDOS) • Nếu vượt qua challenge trình duyệt nhận cookies mã xác thực Ngược lại, AntiBotDDOS ghi nhận HTTP request gửi từ PC-Bots loại bỏ HTTP request 2.2.1 HTTP Challenge Đối với giao thức HTTP quy định RFC 2616, code 3xx sử dụng việc chuyển hướng truy cập (redirection) Khi http request client gửi tới AntiBotDDOS AntiBotDDOS gửi trả cho client http return code 302 Nếu client trình duyệt, nhận http return code 302 chuyển hướng truy cập đến URL AntiBotDDOS định truy cập vào URL này, AntiBotDDOS gửi tiếp cho client đoạn JavaScript để tạo cookies mã xác thực hợp lệ Ngược lại, client trình duyệt, http return code 302 khơng xử lý quy trình Đối với PC-bot, http request gửi trực tiếp đến webserver mà khơng cần thơng qua trình duyệt, hành vi lập trình sẵn khơng đủ thơng minh để xử lý code return 302, không tạo cookies hợp lệ để truy cập vào tài nguyên 2.2.2 JavaScript Challenge Trong tình bị cơng DDOS có dấu hiệu tham gia mạng botnets tính HTTP challenge sử dụng nhằm hạn chế phân loại yêu cầu xuất phát từ bots Trong số trường hợp C&C servers giải mã cookies tạo cho http challenge AntibotDDOS bật chế độ Java challenge Trong chế độ Java Challenge request gửi tới AntiBotDDOS trả đoạn mã JavaScript (khác với JavaScript HTTP challenge) xáo trộn để tăng độ phức tạp Trong đoạn mã có chứa key mã hóa Nếu client trình duyệt có bật chức thực thi JavaScript thực thi đoạn mã JavaScript để tạo cookies mã xác thực hợp lệ Sau đó, trình duyệt dùng thông tin để gửi lại AntiBotDDOS Trong trường hợp ngược lại Bot không xử lý challenge tạo Cookies hợp lệ 12 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương 2.2.3 Captcha Challenge Khi HTTP request gửi tới AntiBotDDOS AntiBotDDOS trả trang web có chứa form CAPTCHA câu trả lời (Hình 6) Hai thơng tin kết hợp với secrect key (một đoạn mã cấu hình sẵn AntiBotDDOS) để tạo thành mã kiểm tra Khi client nhập câu trả lời submit kết quả, AntiBotDDOS dùng kết kết hợp với secrect key để tạo mã trả lời Nếu mã trả lời mã kiểm tra giống nhau, AntiBotDDOS trả cho client trang web có chứa JavaScript yêu cầu client tạo cookies mã xác thực hợp lệ Trong phương thức chống DDoS xem biện pháp tương đối hữu hiệu để ngăn chặn công từ botnet Tuy nhiên việc bật chế độ Captcha làm ảnh hưởng đến người sử dụng hợp pháp hình thành thao tác xác thực kết nối đến Webserver Phương án sử dụng Captcha sử dụng biện pháp cuối cùng, tất challenges khác khơng có hiệu lực Proxy Server AntibotDDOS không đủ để xử lý request từ mạng botnet lớn Hình Giao diện Captcha Challenge AntiBotDDOS THỬ NGHIỆM 3.1 Bộ liệu CTU-13 CTU-13 liệu lưu lượng botnet ghi nhận Đại học CTU, Cộng hịa Séc, cơng bố năm 2011 Trong tập liệu này, traffic gán nhãn có botnet, hoạt động bình thường background traffic Mục tiêu tập liệu cung cấp dataset thực tế có kích thước lớn, traffic ghi nhận bao gồm traffic có botnet cơng hịa lẫn với traffic thông thường traffic Bộ liệu CTU-13 bao gồm 13 lần ghi nhận (gọi kịch bản–scenario) mẫu botnet khác Trên kịch bản, nhóm tác giả CTU-13 cho thực thi malware cụ thể, sử dụng nhiều giao thức thực hành động khác 13 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CƠNG NGHỆ] Bảng Trình bày đặc tính 13 kịch botnet Id IRC SPAM CF √ √ √ √ √ √ √ √ PS DDoS FF P2P √ √ HTTP √ √ UDP and ICMP DdoS √ √ √ √ √ √ Scan web proxies Proprietary C&C RDP Note √ √ US Chinese hosts Proprietary C&C Net-BIOS, STUN √ √ 10 √ √ √ UDP DDoS 11 √ √ √ ICMP DDoS √ 12 √ 13 Synchrinization √ √ Captcha Web mail Ghi chú: CF: ClickFraud; PS: Port Scan; FF: FastFlux; US: nhóm tác giả CTU-13 tạo điều khiển Mỗi kịch ghi lại tệp tin pcap có chứa tất gói tin ba loại lưu lượng truy cập Các tập tin pcap xử lý để có loại thông tin khác, chẳng hạn NetFlows, WebLogs… Các phân tích liệu CTU-13 mô tả công bố báo nhóm tác giả (Garcia, Grill, Stiborek, Zunino, 2014) sử dụng NetFlows theo chiều hướng để đại diện cho lưu lượng truy cập gán nhãn Trên thực tế, NetFlows đơn hướng khơng nên sử dụng kết nhanh chóng bị vượt qua đáng kể phân tích thứ hai liệu, sử dụng NetFlows hai chiều Các NetFlow hai chiều có số lợi có hướng: • NetFlows hai chiều giải vấn đề phân biệt client server; • NetFlows hai chiều bao gồm nhiều thơng tin hơn; • NetFlows bao gồm nhiều nhãn chi tiết Bảng Thống kê thời gian, số gói tin, số NetFlows, kích thước file pcap Id Duration(hrs) # Packets # NetFlows Size Bot #Bots 6.15 71,971,482 2,824,637 52.0GB Neris 4.21 71,851,300 1,808,123 60.0GB Neris 66.85 167,730,395 4,710,639 121.0GB Rbot 4.21 62,089,135 1,121,077 53.0GB Rbot 11.63 4,481,167 129,833 37.6GB Virut 2.18 38,764,357 558,920 30.0GB Menti 14 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương Bảng Thống kê thời gian, số gói tin, số NetFlows, kích thước file pcap (tt) Id Duration(hrs) # Packets # NetFlows Size Bot #Bots 0.38 7,467,139 114,078 5.8GB Sogou 19.50 155,207,799 2,954,231 123.0GB Murlo 5.18 115,415,321 2,753,885 94.0GB Neris 10 10 4.75 90,389,782 1,309,792 73.0GB Rbot 10 11 0.26 6,337,202 107,252 5.2GB Rbot 12 1.21 13,212,268 325,472 8.3GB NSIS.ay 13 16.36 50,888,256 1,925,150 34.0GB Virut Bảng Thống kê số lượng flow có botnet, flow thông thường flow kịch CTU-13 Scen Total Flows Botnet Flows Normal Flows C&C Flows Background Flows 2,824,636 39,933 (1.410%) 30,387 (1.070%) 1,026 (0.030%) 2,753,290 (97.470%) 1,808,122 18,839 (1.040%) 9,120 (0.500%) 2,102 (0.110%) 1,778,061 (98.330%) 4,710,638 26,759 (0.560%) 116,887 (2.480%) 63 (0.001%) 4,566,929 (96.940%) 1,121,076 1,719 (0.150%) 25,268 (2.250%) 49 (0.004%) 1,094,040 (97.580%) 129,832 695 (0.530%) 4,679 (3.600%) 206 (1.150%) 124,252 (95.700%) 558,919 4,431 (0.790%) 7,494 (1.340%) 199 (0.030%) 546,795 (97.830%) 114,077 37 (0.030%) 1,677 (1.470%) 26 (0.020%) 112,337 (98.470%) 2,954,230 5,052 (0.170%) 72,822 (2.460%) 1,074 (2.400%) 2,875,282 (97.32%) 2,753,884 179,880 (6.500%) 43,340 (1.570%) 5,099 (0.180%) 2,525,565 (91.700%) 10 1,309,791 106,315 (8.110%) 15,847 (1.200%) 37 (0.002%) 1,187,592 (90.670%) 11 107,251 8,161 (7.600%) 2,718 (2.530%) (0.002%) 96,369 (89.850%) 12 325,471 2,143 (0.650%) 7,628 (2.340%) 25 (0.007%) 315,675 (96.990%) 13 1,925,149 38,791 (2.010%) 31,939 (1.650%) 1,202 (0.060%) 1,853,217 (96.260%) Mối quan hệ thời gian kịch bản, số lượng gói tin, số NetFlows kích thước tệp pcap trình bày Bảng Bảng cho biết phần mềm độc hại sử dụng, số máy tính bị nhiễm kịch Đặc điểm khác biệt liệu CTU-13 nhóm tác giả phân tích gán nhãn kịch cách thủ công Quá trình ghi nhãn thực bên tập tin NetFlows Bảng cho thấy mối quan hệ số lượng nhãn cho traffic flow nền, có botnet traffic flow thông thường kịch 15 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] 3.2 Tiêu chí đánh giá độ xác Quy ước: 3.3 • True Positive: Số mẫu botnet nhận biết xác botnet • False Negative: Số mẫu botnet bị nhận nhầm bình thường • False Positive: Số mẫu bình thường bị nhận nhầm botnet • True Negative: Số mẫu bình thường nhận biết xác • Để đánh giá tính xác việc phát botnet, sử dụng độ đo DR (Detection Rate) FPR (False Positive Rate) thường sử dụng việc đánh giá phát botnet (Haddadi & Zincir-Heywood, 2014; Haddadi & ctg., 2015) • Độ đo DR định nghĩa tỉ lệ True Positive với (True Positive + False Negative), cho biết khả phát đủ mẫu botnet • Độ đo FPR định nghĩa tỉ lệ False Positive với (False Positive + True Negative), cho biết tỉ lệ mẫu bình thường bị nhận biết nhầm thành botnet • Độ đo TNR (True Negative Rate) định nghĩa tỉ lệ True Negative với (True Negative + False Positive), cho biết khả phát đủ mẫu bình thường • Độ đo FNR (False Negative Rate) định nghĩa tỉ lệ False Negative với (False Negative + True Positive), cho biết tỉ lệ mẫu botnet bị nhận nhầm thành bình thường Kết thực nghiệm Nhóm tác giả chọn tập liệu thử nghiệm tập flow tập CTU-13 gốc Bảng trình bày số lượng mẫu (botnet bình thường) kịch CTU-13 rút gọn Trong kịch bản, số lượng mẫu botnet mẫu bình thường chọn để tránh ảnh hưởng không cơng huấn luyện mơ hình máy học để phân lớp Kết thử nghiệm tập liệu rút gọn công bố 80% (cho kịch bản) Do số lượng mẫu tập liệu rút gọn tương đối ít, có kịch 1, 2, 9, 13 có 4000 mẫu, nên không chọn sử dụng tập liệu rút gọn để huấn luyện thử nghiệm mơ hình CNN để phát botnet 16 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương Bảng Số lượng mẫu CTU-13 rút gọn Kịch Số mẫu botnet Số mẫu bình thường Tổng số mẫu (flow) CTU-1 3233 3233 6466 CTU-2 2374 2374 4748 CTU-3 19 19 38 CTU-4 2 CTU-5 159 159 318 CTU-6 27 27 54 CTU-7 49 49 98 CTU-8 53 53 106 CTU-9 3803 3803 7606 CTU-10 71 71 142 CTU-11 10 10 20 CTU-12 428 428 856 CTU-13 3803 3803 7606 Với tập CTU-13 đầy đủ, sử dụng thử nghiệm với ba tập đặc trưng sau: Tập đặc trưng Argus (Argus, n.d.), tập đặc trưng Argus mở rộng, tập đặc trưng Tranalyzer (dựa theo khuyến nghị (Haddadi, Phan, & Zincir-Heywood, 2016)) Bảng 5, Bảng 6, Bảng trình bày kết thử nghiệm tập liệu CTU-13 (bản đầy đủ) với tập đặc trưng Để tránh việc phụ thuộc vào liệu huấn luyện khảo sát khả hệ thống thích nghi với nhiều tình khác nhau, sử dụng phương pháp k-fold với số lượng phần (fold) 10 Với giá trị K số lượng chu kỳ giai đoạn biến đổi đặc trưng, chúng tơi xem xét cấu hình khác mơ hình CNN theo kiến trúc khảo sát Mỗi cấu hình cụ thể tương ứng với tham số gồm: (1) số lượng filter filter bank kích thước filter chu kỳ; (2) số lượng đoạn flow liên tiếp d dùng Với cấu hình, chúng tơi huấn luyện 9/10 số lượng mẫu sử dụng 1/10 số lượng mẫu để kiểm chứng Độ xác cấu hình tốt mà chúng tơi tìm cho giá trị K–số lượng chu kỳ, thể Bảng Qua kết thử nghiệm thấy giai đoạn biểu diễn đặc trưng có chu kỳ (K = hay K = 2) để rút trích đặc trưng việc nhận biết botnet chưa thật tốt Tuy nhiên, tăng số lượng chu kỳ lên, kết nhận biết botnet cải thiện (với K = hay K = 4) Chúng không tiếp tục xét với giá trị K  lúc cấu trúc neural network tương đối phức tạp, độ xác cải thiện khơng đáng kể so với việc chi phí tính tốn cao có nguy rơi vào tượng khớp Kết thực nghiệm cho thấy tập đặc trưng Argus mở rộng có khuynh hướng cho kết tốt tập đặc trưng Argus có kết tốt tương đương với tập đặc trưng Tranalyzer Điều phù hợp với nhận xét thử nghiệm phân lớp truyền thống (C4.5, SVM) tập liệu CTU-13 rút gọn (Haddadi & ctg., 2016) 17 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] Bảng Kết thử nghiệm CTU-13 (bộ đầy đủ) sử dụng liệu đầu vào tập đặc trưng Argus Bình thường Botnet DR FPR TNR FNR CNN đề xuất (K = 1) 85.8% 14.2% 87.9% 12.1% CNN đề xuất (K = 2) 87.5% 12.5% 89.1% 10.9% CNN đề xuất (K = 3) 92.3% 7.7% 90.3% 9.7% CNN đề xuất (K = 4) 91.7% 8.3% 90.6% 9.4% CNN đề xuất (K = 5) 90.4% 9.6% 92.6% 7.4% Bảng Kết thử nghiệm CTU-13 (bộ đầy đủ) sử dụng liệu đầu vào tập đặc trưng Argus mở rộng Bình thường Botnet DR FPR TNR FNR CNN đề xuất (K = 1) 85.9% 14.1% 88.7% 11.3% CNN đề xuất (K = 2) 87.8% 12.2% 89.2% 10.8% CNN đề xuất (K = 3) 93.2% 6.8% 91.7% 8.3% CNN đề xuất (K = 4) 92.4% 7.6% 92.5% 7.5% CNN đề xuất (K = 5) 91.3% 8.7% 91.9% 8.1% Bảng Kết thử nghiệm CTU-13 (bộ đầy đủ) sử dụng liệu đầu vào tập đặc trưng Tranalyzer Bình thường Botnet DR FPR TNR FNR CNN đề xuất (K = 1) 85.9% 14.1% 88.7% 11.3% CNN đề xuất (K = 2) 87.8% 12.2% 89.2% 10.8% CNN đề xuất (K = 3) 93.2% 6.8% 91.7% 8.3% CNN đề xuất (K = 4) 92.4% 7.6% 92.5% 7.5% CNN đề xuất (K = 5) 91.3% 8.7% 91.9% 8.1% Việc thử nghiệm tập CTU-13 với 13 kịch bảy loại botnet khác cho thấy tiềm sử dụng giải pháp phân lớp máy học ứng dụng convolutional neural network với nhiều lớp ẩn Chúng tiến hành thử nghiệm với nhiều cấu hình cụ thể khác nhóm convolutional neural network có kiến trúc gần giống để chọn cấu hình phù hợp, có khả phát với tỉ lệ xác cao flow botnet 18 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương 3.4 Mơ hình thử nghiệm AntiBotDDOS Hình Mơ hình kiểm thử mơi trường mạng LAN Web Server • Thơng tin cấu hình phần cứng: DELL OptiPlex 6th Generation Intel Corei3 processor, RAM GB, NIC Gbps • Hệ điều hành sử dụng Microsoft Windows 64bit Enterprise Edition • Phần mềm đóng vai trò làm dịch vụ web server IIS 7.0 • Địa IP Address: 192.168.247.111/24 AntiBotDDOS Server • Thông tin cấu hình phần cứng: Dell Precision Tower 3420, Intel Core i5 processor, RAM GB, NIC Gbps • Hệ điều hành sử dụng FreeBSD 64bit 10.2 19 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CƠNG NGHỆ] • Phần mềm đóng vai trị làm web application proxy server: NGINX 1.8.0_3,2 • Địa IP Address: 192.168.247.113/24 BoNeSi: BoNeSi công cụ giả lập cơng DDOS có sử dụng mạng Botnet Công cụ giả lập Botnet Traffic để tạo hiệu ứng giống công DDOS thật • Sử dụng ba máy tính có cấu hình Dell Precision Tower 3620, Intel Corei5processor, RAM GB, NIC Gbps, NIC Gbps • Hệ điều hành Ubuntu Server 64bit 15.10 • IP Address: 192.168.247.114/24, 192.168.247.115/24, 192.168.247.114/24 Người dùng hợp lệ Có ba người dùng hợp lệ sử dụng Dell Precision Tower 3620, Intel Core i5processor, RAM GB, NIC Gbps, NIC Gbps với trình duyệt Internet Explorer, Google Chrome, FireFox để truy cập 3.5 Kịch cơng BoNeSi Servers (Hình 8) tạo HTTP FLOOD từ địa IP thiết lập sẵn để kết nối đến danh sách URL BoNeSi sử dụng thư viện libnet libpcap Linux để nhận IP Packets từ lớp mạng hạt nhân Linux, sau tiêm IP Packets vào gói tin để gửi tới web server mục tiêu Trong HTTP Flood, BoNeSi thiết lập kết nối TCP gửi HTTP request tới web server mục tiêu (Hình 8) Hình Cách thức kết nối BoNeSi-PC-Bots tới web server mục tiêu 20 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương Trong HTTP request mà BoNeSi gửi có option “Connection: close” header line Với header line vậy, web server đóng kết nối TCP lại sau gửi HTTP reponse Ba máy tính sử dụng BoNeSi (được gọi BoNeSi Servers), máy tạo 50.000 PC-Bots với payload size 1470 bytes, lưu lượng mạng công khoảng 1.764 Gbps KẾT QUẢ VÀ BÀN LUẬN Khi thực cơng với BoNeSi (Hình 9) vào hệ thống Hình Trạng thái cơng BoNeSi Trong trường hợp khơng sử dụng AntiBotDDOS trạng thái webserver mục tiêu ghi nhận (Hình 10) Hình 10 CPU web server mục tiêu tình bị công DDOS không sử dụng AntiBotDDOS 21 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CÔNG NGHỆ] Truy xuất từ máy tính người sử dụng hợp lệ, request bị time out Điều cho thấy tác hại DDoS đủ lớn để làm vơ hiệu hóa hoạt động Webserver Khi kích hoạt hệ thống AntibotDDOS (Hình 11) Hình 11 CPU web server mục tiêu tình bị cơng DDOS sử dụng AntiBotDDOS Một biểu hiệu AntibotDDOS (Hình 11), bị cơng DDOS cơng cụ Bonesi, bảo vệ AntiBotDDOS, người dùng truy cập bình thường vào webserver mục tiêu So sánh kết đạt với số sản phẩm thương mại: • Trong chế phân biệt người dùng sản phẩm thương mại Defense Pro, Radware phát triển, để nhận dạng người dùng PC-Bots giống với module HTTP Challenge AntiBotDDOS Cơ chế challenge PC-Bots cách sử dụng code HTTP 302 gần giống với AntiBotDDOS (Bảng 8) • Khơng giống công nghệ nhà cung cấp khác, công DDOS F5 Network phân chia sau [Mitigating DDoS Attacks with F5 Technology–White paper]: Network attacks (layer layer 4–Mơ hình OSI), session attacks (layers 6), application attacks (layer 7) Mỗi loại công F5 Network sử dụng loại công nghệ mô tả sơ lược [Mitigating DDoS Attacks with F5 Technology–White paper] Đối với kiểu công DDOS HTTP GET Flood Recursive GET Flood, tảng BIGIP F5 ngăn chặn cách sử dụng JavaScript để kiểm tra đâu trình duyệt web thật người dùng [Mitigating DDoS Attacks with F5 Technology–White paper, mục Recursive GET floods], cách thức gần giống với hoạt động AntiBotDDOS–module JavaScript challenge 22 Trần Đắc Tốt, Phạm Tuấn Khiêm, Phạm Nguyễn Huy Phương Bảng Bảng so sánh AntibotDDos với sản phẩm thương mại Thiết bị Max Mitigation Capacity/ Throughput Max Legit Concurrent Sessions Max Attack Concurrent Sessions Network Operation Block Actions AntiBotDDOS 10 Gbps 65 536 000 65 536 000 Layer 4, Drop connection 000 000 Không giới hạn Layer 2, Drop packet, reset (source, destination, both), suspend (source, src port, destination, dest port or any combination), Challenge-Response for TCP, HTTP and DNS suspicious traffic 1M L7 requests per second 400K L4 connections per second 7M-HTTP requests per second 12M max L4 CCU L2, L4, L7 RadwareDefensePro x06 Series F5-VIPRION 2100 Blade 40 Gbps L4, 18 Gbps L7 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Trong báo trình bày hướng tiếp cận tốn hồn tồn khác so với phương pháp cũ trước Phương pháp đề xuất sử dụng Convolutional Neural Network vào phân tích đánh giá để phát công botnet, đề xuất họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thô cơng cụ ghi nhận phân tích network flow cung cấp thành đặc trưng cấp cao hơn, từ tiến hành phân lớp (nhị phân) để đánh giá flow tương ứng với tình trạng bị botnet công hay không Qua kết thực nghiệm thử nghiệm tập CTU-13 với cấu hình khác convolutional neural network để đánh giá tiềm dùng deep learning với convolutional neural network vào toán phát botnet Đây giải pháp tiềm sử dụng tương lai với khối lượng flow botnet ghi nhận đủ nhiều đa dạng Chúng đề xuất hệ thống phát Botnet sử dụng Web proxy Với khả tự kiểm tra phân biệt người dùng PC-Bot thông qua kỹ thuật; Challenge HTTP; Challenge Java; Phát fake IP; Hệ thống có khả tự học, tự cấu hình để điều chỉnh thơng số nhằm tối ưu hoạt động phát Botnet Và khả xác thực người dùng thông qua chế Captcha Đây kỹ thuật giúp triển khai hệ thống phát Botnet với chi phí thấp mang lại hiệu cao Trong hướng nghiên cứu tiếp tục thu thập đủ liệu (với khối lượng đủ nhiều) flow thực tế, đặc biệt flow botnet nhiều loại botnet 23 TẠP CHÍ KHOA HỌC ĐẠI HỌC ĐÀ LẠT [CHUYÊN SAN KHOA HỌC TỰ NHIÊN VÀ CƠNG NGHỆ] khác để huấn luyện mơ hình convolutional neural network để hồn thiện sản phẩm có khả phát sớm Botnet TÀI LIỆU THAM KHẢO Argus (n.d.) Retrieved from https://openargus.org/ Celik, Z B., Raghuram, J., Kesidis, G., & Miller, A J (2011) Salting public traces with attack traffic to test flow classifiers Paper presented at The USENIX 4th CSET Workshop, California, USA Garcia, S., Grill, M., Stiborek, H., & Zunino, A (2014) An empirical comparison of botnet detection methods Computers and Security Journal, 45, 100-123 Gu, G., Porras, P., Yegneswaran, V., Fong, M., & Lee, W (2007) BotHunter: Detecting malware infection through ids-driven dialog correlation Paper presented at The 16th USENIX Security Symposium, Massachusetts, USA Haddadi, F., Le, C D., Porter, L., & Zincir-Heywood, A N (2015) On the effectiveness of different botnet detection approaches In J Lopez & Y Wu (Eds), Information security practice and experience (pp 121-135) Berlin, German: Springer Publishing Haddadi, F., Phan, D T., & Zincir-Heywood, A N (2016) How to choose from different botnet detection systems? Istanbul, Turkey: Institute of Electrical and Electronics Engineers Publishing Haddadi, F., & Zincir-Heywood, A N (2014) Benchmarking the Effect of Flow Exporters and Protocol Filters on Botnet Traffic Classification IEEE Systems Journal, 10(4), 1390-1401 Maji (n.d.) Retrieved from https://research.wand.net.nz/software/maji.php Netmate (n.d.) Retrieved from https://github.com/DanielArndt/netmate-flowcalc Softflowd (n.d.) Retrieved from http://www.mindrot.org/projects/softflowd Snort (n.d.) Retrieved from Snort: https://www.snort.org Tranalyzer (n.d.) Retrieved from https://tranalyzer.com/ Wang, K., Huang, C., & Lin, S (2011) A fuzzy pattern-based filtering algorithm for botnet detection Computer Networks, 55, 3275-3286 Wurzinger, P., Bilge, L., Holz, T., Goebel, J., Kruegel, C., & Kirda, E (2009) Automatically Generating Models for Botnet Detection In M Backers & P Ning (Eds), Computer Science–ESORICS (pp 232-249) Berlin, German: Springer Publishing Zhao, D., Traore, I., Ghorbani, A., Sayed, B., Saad, S., & Lu, W (2012) Peer to peer botnet detection based on flow intervals In D Gritzalis, S Furnell, & M Theoharidou (Eds), Information Security and Privacy Research (IFIP Advances in Information and Communication Technology) (pp 87-102) Berlin, German: Springer Publishing YAF (n.d.) Retrieved from https://tools.netsa.cert.org/yaf/index.html 24 ... tình trạng bị botnet công hay không Phần phần thực nghiệm Phần phần kết luận hướng nghiên cứu HỆ THỐNG PHÁT HIỆN BOTNET VỚI WEB PROXY VÀ CNN Hệ thống phát botnet (AntiBotDDOS) với web proxy xây dựng... ứng dụng Convolutional Neural Network vào phân tích đánh giá để phát công botnet, đề xuất họ kiến trúc tổng quát sử dụng thuộc nhóm Convolutional Neural Network để biến đổi từ đặc trưng thô công. .. Vì botnet gần có xu hướng sử dụng mã hóa để che giấu thơng tin phương thức chúng khỏi hệ thống phát botnet nên hệ thống phát botnet dựa luồng (one flow based detection system) chiếm ưu hệ thống