Phát hiện sớm những nguy cơ tiềm ẩn sẽ giúp nhà quản trị đưa rabiện pháp xử lýkịp thời và hiệu quả nhằm đảm bảo an toàn cho thống mạng.hệ IDS là một hệ thống có thể giải quyết được vấn đ
BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Họ tên tác giả: Lê Thanh Tuấn ĐỀ TÀI: HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG PHÂN TÁN VỚI SNORT, CHUKWA, HADOOP VÀ SYSLOG-NG Chuyên ngành: Truyền thơng Mạng máy tính LUẬN VĂN THẠC SĨ KỸ THUẬT Truyền thơng Mạng máy tính Người hướng dẫn: TS Trần Hoàng Hải Hà Nội, 2018 17083300248070f0031e9-d0fc-439d-ba76-0527881542b7 1708330024807560f6f62-8574-4d6e-86ba-6a4df4733769 17083300248078de7e918-a6fe-4586-9c36-8f1a6aabeb0f CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Lê Thanh Tuấn Đề tài luận văn: Hệ thống phát xâm nhập mạng phân tán với Snort, Chukwa, Hadoop Syslog-Ng Chuyên ngành: Truyền thông Mạng máy tính Mã số SV: CA160462 Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 26/04/2018 với nội dung sau: - Tổ chức lại văn bản, sửa lỗi tả - Làm rõ lại kịch thử nghiệm - Ý nghĩa, so sánh mơ hình kết luận Ngày 28 Tháng 04 Năm 2018 Giáo viên hướng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG MỤC LỤC DANH MỤC HÌNH VẼ DANH MỤC BẢNG DANH MỤC ĐỒ THỊ DANH MỤC TỪ VIẾT TẮT LỜI CẢM ƠN TÓM TẮT Chương I: ĐẶT VẤN ĐỀ VÀ ĐỊNH HƯỚNG GIẢI PHÁP 1.1 Mở đầu .9 1.2 Vấn đề an tồn mạng giải pháp phân tích log file từ IDS phân tán 1.3 Lý chọn đề tài 10 1.4 Phạm vi đề tài 11 1.6 Mục tiêu đề tài 14 1.7 Định hướng giải pháp triển khai đề tài 15 1.8 Lịch sử giải vấn đề .16 Chương II: CƠ SỞ LÝ THUYẾT 18 2.1 Hệ thống phát xâm nhập mạng 18 2.1.1 Phương thức phát xâm nhập IDS 19 2.1.2 2.1.3 Phân loại IDS 21 Snort - Ứng dụng IDS 25 2.2 Hệ thống tập hợp liệu Chukwa 26 2.3 Hệ Thống tập hợp liệu Syslog-NG 27 2.4 Mơ hình MapReduce .28 2.4.1 Giới thiệu MapReduce 28 2.4.2 2.4.3 Kiến trúc MapReduce 29 Nguyên tắc hoạt động MapReduce 30 2.5 Hệ thống phân tán với Apache Hadoop 31 2.5.1 Giới thiệu Apache Hadoop 31 2.5.2 2.5.3 Hệ thống tập tin phân tán Hadoop – HDFS 32 Kiến trúc HDFS 33 2.5.4 Nguyên tắc hoạt động HDFS 35 CHƯƠNG III: MÔ HÌNH VÀ KẾT QUẢ THỰC NGHIỆM 38 3.1 Mơ hình đề xuất .38 3.1.1 Tổng quan hệ thống 38 3.1.2 Mơ hình, kiến trúc hệ thống 38 3.1.3 Thiết kế sở liệu 41 3.2 Cài đặt cụm máy chủ Hadoop đề xuất 42 3.2.1 Cài đặt Apache Hadoop 43 3.2.2 Cài đặt Snort 50 3.2.3 Cài đặt Apache chukwa 59 3.2.4 Cài đặt Syslog-Ng 65 3.3 Kết thực nghiệm 66 3.3.1 Thí nghiệm để đánh giá hiệu mơ hình đề xuất 66 3.3.2 So sánh Snort, Chukwa, Hadoop Syslog-ng 68 3.3.3 Đánh giá nhận xét .68 CHƯƠNG IV: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 70 4.1 Kết đạt 70 4.1.1 Về nghiên cứu 70 4.1.2 4.1.3 Về ứng dụng 70 Về mặt khác 70 4.2 Những điểm hạn chế 70 4.3 Định hướng phát triển tương lai 71 TÀI LIỆU THAM KHẢO 72 DANH MỤC HÌNH VẼ Hình 2.1: Mô tả hoạt động IDS nhận dạng theo dấu hiệu 20 Hình 2.2:Mơ tả hoạt động IDS nhận dạng theo bất thường 20 Hình 2.3: Tổng quan NIDS HIDS 24 Hình 2.4: Logo Snort 25 Hình 2.5: Kiến trúc Snort 26 Hình 2.6: Kiến trúc Chukwa 30 Hình 2.7: Kiến trúc Syslog-ng 31 Hình 2.8: Kiến trúc MapReduce 32 Hình 2.9: Tổng quan mơ hình hoạt động MapReduce Google [5] 34 Hình 2.10: Các thành phần Hadoop 36 Hình 2.11: Kiến trúc HDFS 37 Hình 2.12: Quá trình đọc liệu HDFS 26 Hình 2.13: Quá trình ghi liệu HDFS 27 Hình 3.1: Hệ thống Snort phân tán 39 Hình 3.2: Kiến trúc tổng quan hệ thống 40 Hình 3.3: Kiến trúc cụm máy chủ Hadoop mơ hình đề xuất 41 DANH MỤC BẢNG Bảng 1: Cấu trúc sở liệu 42 Bảng 2: Kết thí nghiệm đánh giá 67 DANH MỤC ĐỒ THỊ Đồ thị 1: Biểu đồ kết thí nghiệm đánh giá 67 DANH MỤC TỪ VIẾT TẮT STT Từ viết tắt Ý nghĩa IDS Intrusion Dectection System NIDS Network-based Intrusion Dectection System HIDS Host-based Intrusion Dectection System VPN Virtual Private Network HTTP HyperText Transfer Protocol RDBMS Relative DataBase Management System SQL Structured Query Language HDFS Hadoop Distributed File System XML eXtensible Markup Language 10 CPU Central Processing Unit 11 RAM Random Access Memory LỜI CẢM ƠN Trong suốt thời gian thực đề tài luận văn, chúng em nhận giúp đỡ quý báo từ quý Thầy, Cô, anh(chị), bạn bè ủng hộ động viên người thân, gia đình để chúng em hồn thành đề tài Đầu tiên, em xin gởi lời cảm ơn đến Viện Công Nghệ Thông Tin Truyền Thông – Trường Đại học Bách Khoa Hà Nội tạo điều kiện thuận lợi cho em học tập nghiên cứu thực đề tài Tiếp theo, chúng em xin chân thành cảm ơn quý Thầy, Cô viện Công Nghệ Thông Tin Truyền Thông, người dạy dỗ truyền đạt kiến thức quý báo cho em năm vừa qua, để em có đủ kiến thức kỹ để hồn thành luận văn Đặc biệt, chúng em xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo TS Trần Hoàng Hải, người trực tiếp hướng dẫn em suốt thời gian thực đề tài Thầy người truyền đạt kiến thức cần thiết cho chúng em mà người động viên tinh thần, giúp đỡ chúng em vượt qua lúc khó khăn để hồn thành đề tài Mặc dù cố gắng hoàn thành luận văn phạm vi khả cho phép chắn khơng tránh khỏi thiếu xót, em mong nhận cảm thơng tận tình bảo quý thầy, cô bạn Em xin chân thành cảm ơn! Hà Nội, ngày 21 tháng 04 năm 2018 Sinh viên thực đề tài Lê Thanh Tuấn TĨM TẮT An ninh thơng tin nói chung an ninh mạng nói riêng vấn đề quan tâm không Việt Nam mà toàn giới Cùng với phát triển nhanh chóng mạng Internet, việc đảm bảo an ninh cho hệ thống thông tin trở nên cấp thiết hết Phát sớm nguy tiềm ẩn giúp nhà quản trị đưa biện pháp xử lý kịp thời hiệu nhằm đảm bảo an toàn cho hệ thống mạng IDS hệ thống giải vấn đề trên, cài đặt để giám sát tồn lưu thông hệ thống mạng nên lượng log file mà IDS thu thập vơ lớn Việc lưu trữ xử lý lượng log file lớn hệ thống máy đơn khơng hiệu Vì vậy, địi hỏi hệ thống lưu trữ phân tán xử lý song song đáp ứng yêu cầu Xuất phát từ thưc tế trên, đề tài để xuất ý tưởng: “Hệ thống phát xâm mạng phân tán với Snort, Chukwa, Hadoop Syslog-ng” Hệ thống có thành phần là: Snort, Chukwa – Syslog-ng, Hadoop MapReduce Trong đó, Snort IDS thơng dụng phổ biến nay, đóng vai trị phát xâm nhập ghi nhận log file Sau đó, dùng hệ thống tập hợp liệu Chukwa Syslog-ng để thu thập log file Snort lưu trữ vào HDFS (hệ thống tập tin phân tán Hadoop) Cuối cùng, dùng mơ hình lập trình MapReduce tảng Hadoop để phân tích log file tổng hợp kết Hệ thống đề xuất xây dựng hadoop cluster (cụm máy tính) với master slave Từ kết thực nghiệm, cho thấy hiệu suất tăng 10.1 lần so với hệ thống máy tính đơn Từ khóa: Distributed IDS, Snort, Hadoop, Chukwa, Syslog NG, Map/Reduce Chương I: ĐẶT VẤN ĐỀ VÀ ĐỊNH HƯỚNG GIẢI PHÁP 1.1 Mở đầu Đề tài “Hệ thống phát xâm mạng phân tán với Snort, Chukwa, Hadoop Syslog-ng” tập trung vào tìm hiểu lý thuyết hệ thống lưu trữ phân tán, sở liệu sử dụng hệ thống phân tán đó; trình xây dựng mơ hình hệ thống thơng qua lý thuyết tìm hiểu kiểm thử đánh giá hiệu hệ thống xây dựng Nội dung đồ án em trình bày qua chương sau Chương 1: Tổng quan Giới thiệu tổng quan đề tài nghiên cứu liên quan Đề tài gồm phân hệ: thu thập log file IDS phân tán phân tích log file IDS tảng Hadoop Tiếp theo, trình bày phương pháp nghiên cứu dựa đề xuất hướng giải Chương 2: Cơ sở lý thuyết Tìm hiểu lý thuyết có liên quan đến đề tài công cụ thu thập log file từ cảm biến hệ thống phát xâm nhập mạng, kiến trúc phân tán Hadoop, cách thức hoạt động kiến trúc sở liệu phân tán HBase, vấn đề liên quan đến an toàn toàn vẹn liệu Chương 3: Nội dung kết thực nghiệm Xây dựng hệ thống phát xâm nhập mạng phân tán kết hợp Snort, Hadoop, Chukwa Ngồi cịn xây dựng thêm thay chukwa Syslog NG đánh giá chất lượng ứng dụng Và thực nhiệm hệ thống với số lượng node khác nhau, tiến hành đo lường ghi nhận số liệu Từ thống kê đánh giá hiệu suất hệ thống Chương 4: Kết luận hướng phát triển Từ số liệu thu nhận đưa kết luận ưu điểm hạn chế hệ thống định hướng phát tương lai để hệ thống hoàn thiện 1.2 Vấn đề an tồn mạng giải pháp phân tích log file từ IDS phân tán Xã hội ngày phát triển, Internet trở thành phần thiếu cá nhân, doanh nghiệp, tổ chức, trường học phủ Cùng với phát triển theo chiều hướng tốt, công xâm nhập mạng kẻ xấu phát triển theo không Những lợi nhuận từ Internet mang lại trở thành mục tiêu có nhiều giá trị thu lợi, hấp dẫn kẻ công mạng bỏ nhiều công sức việc xâm nhập phá hoại Không giới mà Việt Nam vấn đề “an tồn thơng tin” trở thành chủ đề nóng bỏng Một giải pháp đưa hệ thống phát sớm nguy tiềm ẩn, đa dạng phức tạp loại hình cơng mạng giúp người quản trị luôn theo dõi, giám sát thu thập thông tin đáng giá phục vụ cho việc phân tích đưa giải pháp kịp thời hiệu nhằm đảm bảo an toàn cho hệ thống mạng Các hệ thống phát xâm nhập (Intrustion Detection System – IDS) giải vấn đề trên, cài đặt để giám sát tồn lưu thơng từ bên bên hệ thống mạng nên lượng log file mà IDS thu thập vơ lớn Ngồi ra, u cầu IDS phải có khả xử lý thời gian thực đáp ứng hiệu an toàn mạng Việc lưu trữ xử lý lượng log file vô lớn ứng với toàn mạng máy đơn làm hiệu suất máy tính giảm cách đáng kể, chưa kể đến liệu hacker cơng Khi phải lưu trữ lượng lớn log file, IDS trở nên chậm chạp khơng đáp ứng tính thời gian thực dẫn đến hiệu suất CPU giảm đáng kể, log file bị mất, ảnh hưởng nghiêm trọng đến an toàn mạng Từ hạn chế trên, yêu cầu cần thiết phải xử lý lượng log file lớn cách phân tán nhiều máy, vừa không ảnh hưởng đến hiệu suất CPU, vừa hạn chế nguy liệu Việc phân chia công việc phân tán nhanh hiệu Map/reduce tảng tính tốn phân tán thích hợp cho việc xử lý phân tán nêu Xuất phát từ yêu cầu trên, đề tài đề xuất giải pháp “Hệ thống phát xâm nhập mạng phân tán với Snort, Chukwa, Hadoop Syslog-ng” để xử lý lượng log file lớn cách phân tán 1.3 Lý chọn đề tài Trong bối cảnh hệ thống mạng ngày phát triển quy mơ, hình thức cơng mạng ngày tinh vi khó đối phó, việc lưu trữ, xử lý phân tích logs truy nhập mạng công việc thiếu hệ thống giám sát, phát 10