Đang tải... (xem toàn văn)
Bài giảng Kỹ thuật theo dõi, giám sát an toàn mạng - Chương 2: Thu thập dữ liệu cung cấp cho người học các kiến thức: Phương pháp thu thập dữ liệu, kiến trúc cảm biến, dữ liệu phiên, dữ liệu bắt gói tin đầy đủ, dữ liệu kiểu chuỗi trong gói tin. Mời các bạn cùng tham khảo.
CHƯƠNG THU THẬP DỮ LIỆU NỘI DUNG Phương pháp thu thập liệu Kiến trúc cảm biến Dữ liệu phiên Dữ liệu bắt gói tin đầy đủ Dữ liệu kiểu chuỗi gói tin PHƯƠNG PHÁP THU THẬP DỮ LIỆU Kết hợp phần cứng phần mềm, tạo thu thập liệu để phát xâm nhập phân tích liệu NSM Chuyên gia phân tích liệu giỏi cần biết rõ: Các nguồn liệu họ có Nơi lấy liệu Cách thu thập liệu Lý thu thập Những làm với liệu GIỚI THIỆU VỀ THU THẬP DỮ LIỆU Thu thập phân tích liệu cơng việc vô quan trọng nhiều thời gian Nhiều tổ chức thường không hiểu đầy đủ liệu họ Khơng có cách tiếp cận có cấu trúc để xác định nguy đến với tổ chức Hậu quả: Nắm bắt lấy liệu tùy biến có sẵn để xây dựng chương trình Lượng liệu q lớn Khơng đủ tài ngun Lọc liệu nhân công công cụ phân tích khơng hiệu ACF (APPLIED COLLECTION FRAMEWORK) Là khung làm việc xây dựng để làm giảm phức tạp việc thu thập liệu Giúp tổ chức đánh giá nguồn liệu cần tập trung trình thu thập liệu Gồm bốn giai đoạn ACF - GIAI ĐOẠN 1: XÁC ĐỊNH NGUY CƠ Thay xác định nguy chung, cần xác định mối nguy cụ thể vào mục tiêu tổ chức Trả lời câu hỏi: “Tình trạng xấu liên quan đến khả sống tổ chức gì?” Đây lý mà chuyên gia an ninh thông tin thường phải cần làm việc với lãnh đạo cấp cao giai đoạn đầu việc xác định yêu cầu thu thập liệu Các nguy thường tác động đến: Tính bảo mật Tính tồn vẹn Tính sẵn sàng ACF - GIAI ĐOẠN 1: XÁC ĐỊNH NGUY CƠ Từ nguy xác định thấy kỹ thuật công nghệ cần sử dụng để giải Ví dụ, trường hợp nguy lớn với tổ chức tài sản trí tuệ, cần nghiên cứu sâu với câu hỏi: Những thiết bị tạo liệu nghiên cứu thô, làm để liệu qua mạng? Nhân viên xử lý liệu nghiên cứu thô thiết bị nào? Dữ liệu nghiên cứu xử lý lưu trữ thiết bị nào? Ai có quyền truy cập vào liệu nghiên cứu thô liệu nghiên cứu xử lý? Dữ liệu nghiên cứu thô liệu nghiên cứu xử lý có sẵn bên ngồi mạng hay khơng? Đường dẫn bên mạng nội có sẵn bên ngoài? Mức độ truy cập làm nhân viên tạm vào liệu nghiên cứu? ACF - GIAI ĐOẠN 1: XÁC ĐỊNH NGUY CƠ Từ đó, xác định danh sách hệ thống bị công, dẫn đến tổn thất tài sản trí tuệ Ví dụ như: Máy chủ web (web server), Máy chủ sở liệu (database server), Máy chủ lưu trữ tệp tin (file server),… ACF - GIAI ĐOẠN 2: ĐỊNH LƯỢNG RỦI RO Khi xác định danh sách nguy cơ, cần xác định xem nguy cần ưu tiên Thực cách tính tốn rủi ro gây nguy tiềm ẩn: Ảnh hưởng (I) × Xác suất (P) = Rủi ro (R) Ảnh hưởng tác động nguy đến tổ chức Xác suất khả nguy xuất Mức độ rủi ro mà nguy gây an toàn mạng ACF - GIAI ĐOẠN 3: XÁC ĐỊNH NGUỒN DỮ LIỆU Đi từ nguy có hệ số rủi ro cao nhất, xem xét chứng thể nguy nhìn thấy Ví dụ, để kiểm tra nguy công máy chủ lưu trữ tệp tin, cần: Xác định cấu trúc máy chủ Vị trí mạng Người có quyền truy cập Đường dẫn mà liệu vào Dựa vào để kiểm tra hai nguồn liệu dựa mạng dựa máy chủ Để tính tốn thơng lượng trung bình ngày, tăng kích thước bin lệnh rwcount để đếm tổng số liệu cho ngày, 86.400 giây cat daily.rw | rwcount bin-size = 86400 Khi tổng liệu 4578.36 GB GIẢM TẢI CHO LƯU TRỮ DỮ LIỆU Dữ liệu lớn gây ảnh hưởng tới hệ thống lưu trữ Có số cách giảm tải liệu Loại bỏ dịch vụ: o Loại bỏ lưu lượng tạo dịch vụ riêng lẻ o Xác định dịch vụ thích hợp chiến lược nhờ sử dụng rwstats Sử dụng rwstats để xác định cổng chịu trách nhiệm lưu lượng vào nhiều mạng: xác định top cổng lưu lượng theo dịch vụ Rồi bỏ lưu lượng HTTPS giảm ~21% lưu lượng ngày cat daily.rw | rwstats fields = sport top count = value = bytes GIẢM TẢI CHO LƯU TRỮ DỮ LIỆU Loại bỏ lưu lượng host tới host: o Là loại bỏ liên lạc host cụ thể o Sử dụng rwstat để xác định cặp IP có lưu lượng lớn Kiểm tra lưu lượng máy tính, lưu lượng cổng 22: Sử dụng chiến lược giảm số lượng liệu lưu trữ 40% QUẢN LÝ DỮ LIỆU THU THẬP Quản lý liệu FPC chủ yếu lọc liệu cũ, với chiến lược: Dựa thời gian o Dễ dàng cho quản lý tự động o Ví dụ, để tìm tệp tin cũ 60 phút thư mục /data/pcap: find /data/pcap -type f -mtime + 60 Dựa kích thước o Khó khăn o Xóa tệp tin PCAP lưu cũ khối lượng lưu trữ vượt tỷ lệ phần trăm sử dụng khơng gian đĩa o Có thể sử dụng Daemonlogger để thực DỮ LIỆU KIỂU CHUỖI TRONG GÓI TIN Dữ liệu kiểu chuỗi gói tin: Packet String Data – PSTR Là lựa chọn liệu mà người đọc được, lấy từ liệu FPC Có thể xuất nhiều hình thức khác o Ví dụ, tạo liệu PSTR với định dạng cụ thể để diễn tả tiêu đề liệu từ giao thức tầng ứng dụng phổ biến (như HTTP SMTP), mà khơng có tải liệu DỮ LIỆU KIỂU CHUỖI TRONG GÓI TIN Log liệu kiểu PSTR HTTP URL yêu cầu: Dữ liệu PSTR chứa yêu cầu HTTP URL theo thời gian thực, ứng dụng trọng chế phát danh tiếng tự động DỮ LIỆU KIỂU CHUỖI TRONG GÓI TIN Tập trung vào tải gói tin sau tiêu đề giao thức ứng dụng: Gồm số lượng giới hạn byte nhị phân từ tải gói tin, cho biết mục đích gói tin Có thể kèm với liệu thừa THU THẬP DỮ LIỆU PSTR Đầu tiên, cần xem xét mức độ liệu PSTR muốn thu thập Lý tưởng tập trung vào việc thu thập liệu tầng ứng dụng cần thiết, nhiều từ giao thức văn rõ tốt Vì có nhiều biến thể liệu PSTR thu thập nên khơng gian lưu trữ liệu biến đổi lớn Nên sử dụng số phương pháp thảo luận phần trước để xác định có khơng gian lưu trữ để sử dụng cho liệu PSTR Nên xem xét khoảng thời gian liệu lưu lại o Việc lưu liệu FPC thường xem xét theo chu kỳ vài vài ngày o Duy trì liệu phiên cần xem xét theo chu kỳ quý năm o Dữ liệu PSTR nên theo chu kỳ tuần tháng để lấp đầy khoảng trống FPC liệu phiên Chú ý có biến đổi lớn đánh giá nhu cầu lưu trữ liệu PSTR, phụ thuộc vào việc kinh doanh THU THẬP DỮ LIỆU PSTR Thu thập liệu PSTR từ mạng thu thập từ liệu FPC Tự động tạo liệu PSTR thủ công Các giải pháp thủ công chậm xử lý liệu linh hoạt Thu thập liệu với URLSnarf Thu thập liệu yêu cầu HTTP cách thụ động lưu chúng định dạng log chung CLF Ví dụ: bắt lưu lượng truy cập tcpdump sau truyền qua URLsnarf với tùy chọn -p THU THẬP DỮ LIỆU PSTR Thu thập liệu với Httpry Là cơng cụ bắt gói tin chun để hiển thị ghi lại lưu lượng HTTP Có nhiều tùy chọn xử lý liệu thu thập, cho phép bắt xuất thông tin tiêu đề HTTP theo thứ tự XEM DỮ LIỆU Logstash Là cơng cụ phân tích log phổ biến dùng cho log đơn dòng đa dòng theo nhiều định dạng, bao gồm định dạng phổ biến syslog log có định dạng JSON, khả phân tích log tùy chỉnh Miễn phí theo mã nguồn mở, mạnh mẽ tương đối dễ dàng thiết lập môi trường lớn Logstash phiên 1.2.1 có giao diện Kibana để xem log Ứng dụng Elasticsearch bên Logstash cho phép lập mục tìm kiếm liệu nhận Sử dụng GROK để kết hợp mẫu văn biểu thức thông thường nhằm so khớp với văn log thứ tự mong muốn phân tích dễ dàng so với lúc sử dụng biểu thức thơng thường XEM DỮ LIỆU Nói thêm Elasticsearch: Là cơng cụ tìm kiếm cấp doanh nghiệp (enterprise-level search engine) Mục tiêu tạo cơng cụ, tảng hay kỹ thuật tìm kiếm phân tích thời gian thực Có thể áp dụng hay triển khai cách dễ dàng vào nguồn liệu (data sources) khác nhau: bao gồm sở liệu tiếng MS SQL, PostgreSQL, MySQL, văn (text), thư điện tử (email), pdf, thứ liên quan tới liệu có văn XEM DỮ LIỆU XEM DỮ LIỆU BÀI TẬP Cài đặt … ... bảo mật hệ điều hành máy chủ web, VLAN 20 0 VLAN 103 Dữ liệu cảnh báo chống vi-rút máy chủ web, VLAN 20 0 VLAN 103 Dữ liệu cảnh báo HIDS máy chủ web, VLAN 20 0 VLAN 103 SƠ ĐỒ MẠNG MỚI VỚI CÁC CẢM... chủ web, VLAN 20 0 VLAN 103 Tất liệu cảnh báo Dữ liệu cảnh báo HIDS máy chủ thư điện tử, máy chủ web VLAN 103 Alert Data Cảnh báo liên quan đến thay đổi tệp tin hệ thống Thay đổi liên quan đến tạo/sửa... chủ lưu trữ tệp tin – Dữ liệu cảnh báo vi-rút Máy chủ lưu trữ tệp tin – Dữ liệu cảnh báo HIDS ACF - GIAI ĐOẠN 4: CHỌN LỌC DỮ LIỆU Liên quan đến bước kỹ thuật chiều sâu cần phải xem xét tất nguồn