Các tính năng chính trong hoạt động giám sát mạng của splunk

Trường đại học Hoa Sen Mục Lục Chú thích hình ảnh Chú thích thuật ngữ Đặt Vấn Đề Tổng quan Splunk 2.1 Splunk gì? 2.2 Sơ đồ Splunk phổ biến 2.3 Splunk thu thập gì? 2.4 Splunk làm gì? 2.5 Splunk cung cấp cho gì? 2.6 Splunk, Giải pháp tối ưu cho Big Data? 2.7 Tại chọn Splunk? Giải pháp với Splunk 10 Quản lý ứng dụng: 10 3.1 3.1.1 Giải vấn đề nhanh hơn, giảm thời gian bị downtime: 10 3.1.2 Tại Splunk giải pháp tốt cho việc quản lý ứng dụng 11 Quản lý hoạt động IT 11 3.2 3.2.1 Phân tích hoạt động IT: 12 3.2.2 Giám sát sở hạ tầng: 12 3.2.3 Splunk cho hệ điều hành 13 3.2.4 Quản lý ảo hóa 13 An ninh lĩnh vực IT 15 3.3 3.3.1 Mối đe dọa an ninh ngày tăng: 15 3.3.2 Quản lý log: 15 3.3.3 Ứng dụng Splunk dành cho an ninh: 15 Các tính hoạt động Giám sát mạng Splunk 16 Map Reduce 16 4.1 4.1.1 Map reduce gì? 16 4.1.2 Ưu điểm mapreduce 16 4.1.3 Nguyên tắc hoạt động Mapreduce 16 4.1.4 4.Chi tiết hàm Map Reduce 17 4.1.5 Thực thi Mapreduce hệ thống 19 4.2 Hướng dẫn tìm kiếm sử dụng Splunk hiệu 21 Trường đại học Hoa Sen 4.2.1 Một số điều cần lưu ý tìm kiếm liệu Splunk: 21 4.2.2 Tìm hiểu Boolean nhóm điều kiện 22 4.2.3 Sử dụng * để tìm kiếm cách hiệu 22 4.2.4 Tìm kiếm kiện thời gian 22 4.2.5 Chia sẻ kết tìm kiếm với người khác 22 4.2.6 Lưu kết tìm kiếm để sử dụng lại 23 4.2.7 Tạo alerts từ kết tìm kiếm 24 4.3 4.3.1 Giới thiệu số hàm việc tạo table 26 4.3.2 Ví dụ table cụ thể: 26 4.4 SEARCH LANGUAGE Splunk 30 4.4.2 Định nghĩa chức số hàm tìm kiếm 30 4.4.3 Một số cú pháp search language splunk: 33 Splunk Forwarder 35 4.5.1 Các loại Forwarder: 35 4.5.2 So sánh universal forwarder với Splunk full: 35 4.5.3 So sánh universal forwarder với light forwarder: 36 4.6 Một số khái niệm file Splunk.conf 36 4.7 Hướng dẫn cấu hình input log từ syslog server vào splunk server 37 4.8 Hướng dẫn cấu hình input log Window vào splunk server 39 4.9 Cách tạo Dashboards 42 Demo Lab lấy log từ hệ thống mạng nhỏ 45 5.1 Dashboard 29 4.4.1 4.5 Table , chart Splunk 26 Mơ hình: 45 5.1.1 Bước 1: Lấy log từ Pfsense vào Splunk 46 5.1.2 Bước 2: Lấy log từ Window Server 2k8 DC vào Splunk 51 Kết luận hướng phát triển đề tài 61 6.1 Kết luận 61 6.2 Hướng phát triển 61 Trường đại học Hoa Sen Chú thích hình ảnh Hình : Sơ đồ triển khai Splunk phổ biến doanh nghiệp Hình : Các loại data , log mà Splunk index Hình : Hệ thống index tìm kiếm phân phối nhiều core Splunk Hình : Sơ đồ hoạt động Mapreduce Hình : Ví dụ minh họa cách mà Mapreduce hoạt động Hình : Phân nhỏ liệu đầu vào Hình : Sao chép chương trình Hình : Thực hàm Map cho kết Hình : Thực hàm Reduce thơng báo kết cho Master Hình 10 : Thơng báo chương trình mapreduce hồn tất kết lưu trữ R tập tin Hình 11 : Ví dụ tìm kiện xảy 60 phút trước Hình 12 : Lưu chia sẻ kết tìm Hình 13 : Kết chia sẻ dạng link Hình 14 : Lưu kết tìm kiếm Hình 15 : Những kết phải thỏa điều kiện thiết lập lưu Hình 16 : Kết tìm kiếm xuất menu Search & Report Hình 17 : Tạo alert Hình 18 : Đặt tên alert điều kiện để kích hoạt alert Hình 19 : Chạy kết tìm kiếm event giờ, khởi động arlet kết tìm kiếm lớn Hình 20 : Nếu số lượng event tìm phút bé kích hoạt alert Hình 21 : Các option Alert Hình 22 : Một table dạng số Hình 23 : Một table dạng chart Hình 24 : Biểu đồ chart liệu nhận khoảng thơi gian Hình 24 : Các tùy chọn formating chart Hình 25 : Ví dụ dashboard Hình 26 : Tắt selinux Hình 27 : Cấu hình mặc định file rsyslog.conf Hình 28 : Cấu hình để mở port 514 cho syslog Trường đại học Hoa Sen Hình 29 : Giao diện web Splunk Hình 30 : Giao diện splunk có thêm add-on Windows Hình 31 : Cấu hình Forwarding and Receiving Hình 32 : Tùy chọn loại log mà universalforwarder gửi Hình 33 : Splunk nhận log Windows Hình 34 : Menu Splunk Hình 35 : Tạo Dashboard Hình 36 : Tùy chỉnh kiểu Dashboard xuất Hình 37 : Biểu đồ biểu diễn log hệ thống Window dạng pie Hình 37 : Biểu đồ biểu diễn log hệ thống Window dạng cột Hình 38 : Thêm ghép nhiều biểu đồ trở thành dashboard Trường đại học Hoa Sen Chú thích thuật ngữ Big Data: Là tập hơp liệu lớn từ nhiều nguồn hệ thống máy tính, mysql, ứng dụng.v.v.v Map Reduce : thuật toán giúp ứng dụng xử lý nhanh lượng liệu lớn UniversalForwarder : phiên splunk có tính thu thập gửi liệu Light Forwarder : phiên Splunk , khơng có tính phân tích mà forward liệu Ít sử dụng phiên splunk 6.0 Heavy Forwarder : Là phiên Splunk, phân tích gửi khơng có khả tìm kiếm phân phối liệu Dashboard : Là bảng bao gồm nhiều biểu đồ với nhiều kiểu định dạng khác Pfsense : Phần mềm firewall mã nguồn mở Trường đại học Hoa Sen Đặt Vấn Đề Trong doanh nghiệp, hệ thống công nghệ thông tin hệ thống vô quan trọng Ngày với mức độ phát triển cơng nghệ nhanh chóng, ngồi việc đảm bảo khả vận hành, hoạt động liên tục xác việc đảm bảo an ninh thơng tin thách thức lớn  Nguy bên ngoài: Tin tặc bên lợi dụng lỗ hổng hệ thống để đột nhập  Nguy bên trong: hành vi người dùng , ý thức mức độ an tồn liệu cịn chưa cao  Tính thống quản trị : Khi hệ thống lớn mức độ phức tạp quản lý tang cao SIEM giải pháp hồn chính, đầy đủ cho phép tổ chức thực việc giám sát kiện cho mộ hệ thống Các thành phần SIEM bao gồm: thành phần thu thập nhật ký, thành phần phân tích, thành phần lưu trữ, thành phần quản trị tập trung Ngồi cịn có thành phần khác như: thành phần giám sát Network mức lớp mơ hình OSI, module tạo báo cáo (Complaince Report, Dashboard) Giải pháp SIEM có ưu điểm sau:  Hỗ trợ thu thập, phân tích kiện theo thời gian thực thu thập từ hệ thống gửi về, kết hợp với thông tin liên quan đến người dùng, thành phần hệ thống liệu  Cung cấp khả lưu trữ log dài, toàn diện (log management) khả phân tích theo ngữ cảnh (Correlation)  Cung cấp chức xây dựng sẵn cho phép thay đổi (Customized) theo yêu cầu tổ chức  Dễ dàng triển khai sử dụng Splunk cầu nối việc quản lý log cách đơn giản bảo mật thông tin, thu thập kiện Cái mà phân biệt Splunk so với server Syslog hay công cụ SIEM khác Splunk Apps Một thự viện quản lý 200 add-on khác Chính điều làm cho Splunk trở nên khác biệt, tặng khả thu thập thông tin loại log khác nhau, có giao diện gần gũi thân thiện, cung cấp tính tìm kiếm phân tích liệu thu Trường đại học Hoa Sen Tổng quan Splunk 2.1 Splunk gì? Splunk hệ thống captures, trích liệu thời gian thực có liên quan tới từ tạo đồ thị, báo cáo, cảnh báo biểu đồ Mục đích Splunk giúp cho việc xác định mơ hình liệu thu thập liệu máy toàn hệ thống dễ dàng hơn.Nó cung cấp số liệu, chẩn đốn vấn đề xảy , phục vụ tốt cho hoạt động kinh doanh Splunk tìm kiếm kiện xảy ra, đồng thời báo cáo phân tích thống kê kết tìm Nó nhập liệu máy dạng có cấu trúc khơng cấu trúc Hoạt động tìm kiếm phân tích sử dụng SPL(Search Processing Language), tạo để quản lý Big Data Do phát triển từ Unix Piping SQL nên Splunk có khả tìm kiếm liệu, lọc, sửa đổi, chèn xóa liệu 2.2 Sơ đồ Splunk phổ biến Hình : Sơ đồ triển khai Splunk phổ biến doanh nghiệp Trường đại học Hoa Sen Mơ hình bao gồm thành phần như: +Nhiều thiết bị Forwarders trung gian phục vụ cho q trình load, tính sẵn sang cao, cải thiện tốc độ xử lý event tới +Một Indexer liên kết với nhiều hệ thống Với nhiều search-peer(indexer) cải thiện hiệu trình nhập liệu tìm kiếm Nó giúp giảm thời gian tìm kiếm cung cấp tính dự phịng cao +Có nhiều đầu tìm kiếm Những hệ thống riêng biệt phân phối yêu cầu tìm kiếm tất search-peer cấu hình trước để cải thiện hiệu tìm kiếm +Đầu tìm kiếm riêng biệt thể để hỗ trợ ứng dụng Splunk’s Enterprise Security(ES) +Server triển khai Hệ thống tích hợp với dịch vụ Splunk khác, triển khai độc lập Nếu muốn triển khai hệ thống lớn, hệ thống độc lập quan trọng 2.3 Splunk thu thập gì? *Splunk thu thập liệu hệ thống máy móc tạo Dữ liệu hệ thống bao gồm nhiều hạng mục record tất hoạt động hành vi- hành vi khách hàng, giao dịch user, hành vi hệ thống 2.4 Splunk làm gì? -Server Metrics -Vulnerability Data -Custom Applications -Physical Security -Windows registries -Scripts -Card key -Patch Mgmt -Server Logs -Host Config -DNS Logs -Virtual Logs -Host ID -Database Logs -Router -Email Logs -RAS VPN -Application Logs 2.5 Splunk cung cấp cho gì? Splunk cung cấp giao diện chung cho tất liệu IT tìm kiếm liệu, cảnh báo, báo cáo(report), hay chia sẻ liệu cho Splunk cung cấp giải pháp tìm kiếm tối ưu 2.6 Splunk, Giải pháp tối ưu cho Big Data? -Splunk tìm kiếm liệu có liên quan với nhau, giúp thu hẹp phạm vi tìm kiếm , tiết kiệm thời gian, làm cho công tác quản trị mạng tốt Trường đại học Hoa Sen 2.7 Tại chọn Splunk? Splunk cịn goi Google log, có cơng cụ search mạng mẽ chấp nhận liệu định dạng Hình : Các loại data , log mà Splunk index Splunk tự động list thời gian cụ thể kiện xảy hệ thống mà giám sát Cảnh báo thời gian thực Ta chỉnh tùy chọn, định nghĩa loại cảnh báo định nhận cảnh báo Splunk cung cấp thơng tin tìm kiếm thơng minh: Kết tìm kiếm xếp hợp lý, có liên quan với nhau, khả hiển thị thời gian thực, phân tích lịch sử kiện xảy Splunk lưu trữ khối lượng dự liệu lớn hệ thống IT liệu có cấu trúc bất kỳ, song tốc độ truy vấn liệu nhanh Tìm kiếm phân tán sử dụng Map Reduce( phần mềm Google, phục vụ cho việc tính tốn phân tán tập liệu lớn cụm máy tính) Trường đại học Hoa Sen Hình : Hệ thống index tìm kiếm phân phối nhiều core Splunk Dữ liệu cần tìm kiếm phân phối nhiều cores Mỗi indexter xử lý tập hợp toàn liệu tạo phần kết tìm kiếm tổng thể đưa vào vào đầu q trình tìm kiếm để giảm tải Tham khảo: http://docs.splunk.com/Documentation/Splunk/6.0.2/installation/RunSplunkasadifferentornon-rootuser Giải pháp với Splunk 3.1 Quản lý ứng dụng: 3.1.1 Giải vấn đề nhanh hơn, giảm thời gian bị downtime: -Troublesshoot vấn đề cách nhanh chóng, giảm chi phí giảm thời gian để điều tra khắc phục cố tới 70% -Giảm phức tạp cách cung cấp cho nhà phát triển truy cập vào log ứng dụng thơng qua vị trí trung tâm mà khơng cần quyền truy cập vào hệ thống -Giám sát tồn mơi trường ứng dụng thời gian thực để ngăn chặn vấn đề ảnh hưởng tới người dung, giữ lại log từ kiện định kỳ để ngăn ngừa mát -Nắm hoạt động toàn ứng dụng: -Truy vết giám sát giao dịch ứng dụng thông qua tầng kiến trúc phân tán từ nhiều nguồn liệu -Phát bất thường vấn đề hoạt động, thời gian đáp ứng chủ động giải chúng trước ảnh hưởng tới người dung ứng dụng 10 Trường đại học Hoa Sen Chọn port nhận gói tin UDP từ client 514, Đặt sourcetype Manual, chọn Save Splunk nhận gói tin UDP từ port 514 + Trên máy Pfsense: Vào Status=>System Logs Chọn tab Setting 47 Trường đại học Hoa Sen Tích vào Send log Messages to remote syslog server, IP remote server nhận log 193.1.1.50(máy Splunk), tích tùy chọn log muốn gửi qua Splunk, Chọn Save Lưu ý Pfsense gửi log giao thức UDP 48 Trường đại học Hoa Sen Kết quả: Splunk nhận log từ Pfsense Nhấn search tìm địa IP 193.1.1.1 Pfsense 49 Trường đại học Hoa Sen 50 Trường đại học Hoa Sen 5.1.2 Bước 2: Lấy log từ Window Server 2k8 DC vào Splunk +Trên máy Window Server 2008: Cài đặt Splunk Forwarder Chọn chấp nhận điều khoản splunk sau bấm Next 51 Trường đại học Hoa Sen Chọn nơi cài đặt cho Splunk Nhập vào địa máy chủ splunk port Lưu ý: ta chọn port trùng với port cấu hình Splunk ( Setting > Forwarding and Receive data ) để liệu gửi qua Splunk 52 Trường đại học Hoa Sen Chọn mục Remote Windows Data để gửi thông tin log, event, performance DomainController Nhập tên tài khoản administrator DomainController 53 Trường đại học Hoa Sen Chọn loại log mà ta cần giám sát, ta tùy chỉnh lại file sau cài đặt Ta chọn cài đặt Splunk Add-on for Windows Finish để kết thúc trình cài đặt 54 Trường đại học Hoa Sen Copy thư mục TA-DNSServer-NT6 TA-DomainController-NT6 vào thư mục câu hình Splunk để gửi thơng tin DC Sau ta restart server để splunk hoạt động Sau restart lại DC, kiểm tra thấy tiến trình Splunk hoạt động 55 Trường đại học Hoa Sen +Cấu hình Splunk Vào Forwarding and Receiving add thêm port 10000 trùng với port lúc cài đặt DC 56 Trường đại học Hoa Sen Sau gắn port ta kiểm tra liệu gửi qua cho Splunk, mục Splunk App for Windows Infrastructure 57 Trường đại học Hoa Sen 58 Trường đại học Hoa Sen 59 Trường đại học Hoa Sen 60 Trường đại học Hoa Sen Kết luận hướng phát triển đề tài 6.1 Kết luận Với mục tiêu đề ra, nhóm chúng tơi hồn thành cơng việc tìm hiểu, nghiên cứu triển khai áp dụng Splunk vào mơ hình mạng thực tế Qua đó, nhóm chúng tơi kiểm chứng yếu tố sau splunk:     Nguyên lý hoạt động môi trường bigdata Một số tính nâng cao việc xử dụng splunk Sức mạnh việc truy vết xự cố phát sinh hệ thống Điều quan cốt lỗi thu lượng kiến thức xoay quanh vấn đề syslog hiểu thêm tầm quan trọng công tác an ninh, bảo mật, phục hồi mạng Kết đạt giúp chúng tơi hiểu sâu tính mà splunk cung cấp Tuy nhiên, hạn chế tài liệu, phí sử dụng quyền kinh nghiệm nhóm nên báo cáo cịn nhiều thiếu sót Nhưng nhóm chúng tơi cố gắng tiếp tục tìm hiểu sâu nữa, kể sau kết thúc báo cáo nghiên cứu khoa học 6.2 Hướng phát triển Thế giới cơng nghệ thơng tin nói chung mơi trường mạng nói riêng ngày phát triển vượt bậc Song song với ngày có nhiều lỗ hõng mạng khai thác tạo điều kiện thuận lợi cho hacker xâm nhập gây ảnh hương tiêu cực đến hệ thống Ngồi ra, vị trí IT system administrator phải lắng nghe tất thơng điệp phát từ hệ thống Qua cho thấy Splunk hoàn toàn phù hợp, cần thiết đầy đủ khả để đáp ứng yêu cầu đặt chương trình quản lý, giám sát, cảnh báo tất kiện âm thầm diễn hệ thống Thực tế, Splunk trình dịch viên cao cấp giúp người quản trị giao tiếp cách trực quan hệ thống Qua nhìn trực quan mà người quản trị xác định xác đâu nguyên nhân dẫn đến cố để khắc phục hiệu xây dựng phương hướng phát triển hệ thống Tất điều chứng minh rằng, Splunk có đầy đủ khả hoạt động môi trường datacenter, mạng doanh nghiệp, mạng dịch vụ, hạ tầng mạng, hỗ trợ thiết bị cisco, IBM,… Tổng hợp điều ra, nơi có hệ thống mạng tồn tại, nơi có hệ thống log tồn nơi ứng dụng Splunk 61 ... dẫn để chạy splunk: # /opt /splunk/ bin /splunk start Bảng license agreement ra, chọn y để khởi động Splunk cài đặt thành công Để splunk khởi động restart máy gõ lệnh: # /opt /splunk/ bin /splunk enable... đặt Splunk Technology Add-on máy forwarder Vào trang chủ splunk down gói Splunk_ TA_windows Bung gói ta thư mục tên Vào thư mục Splunk_ TA_windowsdefault chép file input.conf vào thư mục Splunk_ TA_windowslocal... https://sites.google.com/site/chapterhut/hoc-tap/mon-hoc/map-reduce 4.5 Splunk Forwarder Nhiệm vụ Splunk Forwarder forward liệu Splunk server để index 4.5.1 Các loại Forwarder: Universal forwarder lightweight forwarder splunk Nó có chức thu