28
Mô hình định tuyến và lọc dữ liệu thì công cụ chuyển tiếp sẽ chỉ định tuyến luồng dữ liệu tới một hệ thống Splunk chỉ định hoặc một hệ thống thứ ba dựa trên thông tin về nguồn, loại nguồn hoặc các mẫu có sẵn trong bản thân các sự kiện. Hệ
thống này yêu cầu bộ công cụ Heavy forwarder do cần phải phân tích dữ liệu để
lấy thông tin. Ta có thể cấu hình các loại dữ liệu gửi đi theo yêu cầu như chỉ gửi đi
những log chứa xâu kí tự lỗi (error).
b) Thành phần xử lý dữ liệu đầu vào
Các loại dữ liệu được đưa vào Splunk bao gồm: các sự kiện từ các thiết bị vật lý, nguồn dữ liệu từ hệđiều hành windows, Unix, hoặc các phần mềm an ninh bảo mật,…
Nhiều nguồn dữ liệu có thểđược lấy từ các file và các thư mục vì vậy ta có thể sử dụng chức năng giám sát các file hoặc thư mục để lấy dữ liệu mà ta quan tâm.
Các sự kiện của mạng
Splunk có thể đánh chỉ mục dữ liệu từ bất kì cổng mạng nào. Ví dụ, Splunk có thểđánh chỉ mục cho dữ liệu từ syslog-ng hoặc bất kì ứng dụng khác có chức
năng chuyển dữ liệu theo định dạng TCP. Nó cũng có thể đánh chỉ mục cho dữ
liệu ở dạng UDP nhưng ta nên sử dụng TCP đểnâng cao độ tin cậy của dữ liệu.
Nó cũng có thể nhận và xử lý các sự kiện SNMP, các cảnh báo được đưa ra
từ các thiết bị từ xa.
Nguồn dữ liệu từ windows
Phiên bản Splunk cho windows định nghĩa một loạt các input (đầu vào) riêng biệt. Nó cũng cung cấp việc đánh số trang trong hệ thống Splunk để định nghĩa
việc xác định các loại đầu vào riêng biệt đặc trưng cho windows như: Windows
event log, Windows Registry, WMI, Active Directory hoặc dữ liệu từ các tiện ích
được thiết lập giám sát.
Nguồn dữ liệu khác
Splunk cũng hỗ trợ các loại nguồn dữ liệu như: Hàng đợi First-in, First-out,
đầu vào từ các script: lấy dữ liệu từ các API và các giao diện từ các dữ liệu từ xa khác, các tin nhắn hàng đợi, module đầu vào: xác định khả năng đầu vào để mở
29 Ngoài những dữ liệu được đưa vào từ các công cụ forwarder người dùng có thể cấu hình để thêm dữ liệu mà ta mong muốn.
Sau khi đã nhận được dữ liệu Splunk tiến hành xử lí các sự kiện được chuyển vào. Các sự kiện là các bản ghi của hành động được lưu trữ lại trong tập tin nhật
ký, lưu trữ trong các index. Các sự kiện cung cấp thông tin về các hệ thống, tạo ra các file nhật ký
Quá trình xử lí các sự kiện bao gồm
- Định dạng bộ kí tự cho dữ liệu đầu vào để phù hợp với định dạng mà Splunk có thể xử lý.
- Quá trình phân mảnh các sự kiện - Gán nhãn thời gian cho các sự kiện.
- Trích xuất dữ liệu để tạo các trường đánh chỉ mục.
c) Thành phần đánh chỉ mục và lưu trữ
Với một lượng dữ liệu lớn được truyền từ các máy chủ về máy chủ tập trung thì việc lưu trữ và tìm kiếm sẽ rất khó khăn. Bởi vậy việc đầu tiên sau khi thu thập
được log về sẽ phải lập chỉ mục cho dữ liệu và lưu trữ chúng phục vụ cho việc tìm kiếm. Có nhiều công cụ thực hiện công việc này ví dụnhư elastic trong bộ công cụ
logstash, hay splunk indexer trong bộ công cụ splunk.
Đối với công cụ splunk thì việc đầu tiên là splunk sẽ phải cung cấp dữ liệu,
khi đã nhận được dữ liệu nó sẽ đánh chỉ số và làm cho chúng sẵn sàng để tìm kiếm. Với universal indexer được tích hợp thì splunk sẽ biến đổi dữ liệu thành một loạt các sự kiện liên quan đến từng lĩnh vực tìm kiếm. Ta có thể xử lí dữ liệu trước
và sau khi splunk đánh chỉ sốcho nó, nhưng điều này thường là không cần thiết.
Sau khi đánh chỉ mục có thể bắt đầu tìm kiếm dữ liệu, hoặc sử dụng nó để tạo báo cáo, biểu đồ, cảnh báo hoặc nhiều công việc khác.
Những loại dữ liệu mà splunk có thểđánh chỉ mục thường là bất kì một loại dữ liệu nào như windows event logs, webserver log, log từ các ứng dụng đang
chạy, log từ hệ thống mạng, log giám sát, tin nhắn hàng đợi, tệp tin archive, hoặc bất kì nguồn nào có thể hữu ích.
Khi nguồn dữ liệu chuyển dữ liệu đầu vào splunk ngay lập tức đánh chỉ mục
30 tức. Nếu như kết quả tìm kiếm không thỏa mãn yêu cầu, người quản trị có thể cấu hình lại cách đánh chỉ mục sao cho phù hợp.
d) Thành phần cảnh báo
Một cảnh báo là một hành động được kích hoạt dựa trên các kết quả của tìm kiếm. Khi tạo một cảnh báo, cần định nghĩa một điều kiện mà kích hoạt cảnh báo
đó. Hành động điển hình là gửi email dựa trên các kết quả tìm kiếm. Ngoài ra cũng
có thể chọn các hành động khác như chạy một đoạn mã script hoặc đưa chúng vào
trong danh sách các cảnh báo. Với cùng một điều kiện cảnh báo có thểđưa chúng
vào nhiều lựa chọn khác nhau như vừa gửi mail vừa chạy script. Để tránh việc gửi cảnh báo quá thường xuyên, ta cũng có thể giới hạn điều kiện cho một cảnh báo.
Splunk định nghĩa ba loại cảnh báo là:
- Per result alert: Dựa trên việc tìm kiếm thời gian thực. Điều kiện kích hoạt là bất cứ khi nào việc tìm kiếm trả về một kết quả.
- Scheduled alert. Chạy tìm kiếm theo lịch trình được chỉ định khi tạo cảnh
báo. Ta định nghĩa các kết quả của việc tìm kiếm để kích hoạt cảnh báo đó.
- Rolling-window alert. Dựa trên việc tìm kiếm thời gian thực. Điều kiện kích hoạt là tập hợp các kết quả phù hợp của việc tìm kiếm trong một khung thời
gian quy định.
3.1.3.3. Cách thức triển khai
Doanh nghiệp triển khai Splunk chỉ cần cài đặt 1 thành phần Splunk Server
sau đó cấu hình các nguồn log đẩy vềserver đó.
3.1.4 ELK Stack
3.1.4.1. Tổng quan về ELK Stack
ELK Stack là một bộ giải pháp mã nguồn mở [12], [13], [14] nhằm mục đích
thu thập, quản lý và phân tích dữ liệu tập trung, được cấu thành từ 3 dự án mã nguồn mở khác nhau là Elastic search, Logstash và Kibana