25 - Nhiều thiết bị Forwarders trung gian phục vụ cho quá trình load, tính sẵn sàng cao, và cải thiện tốc độ xử lý các event sắp tới.
- Một Indexer có thể được liên kết với nhiều hệ thống nhằm mục đích thu
thập log. Nhiều search-peer (indexer) giúp cải thiện hiệu năng của quá trình nhập dữ liệu và tìm kiếm. Nó giúp giảm thời gian tìm kiếm và cung cấp tính dự phòng cao.
- Có nhiều đầu tìm kiếm (ES search header). Những hệ thống riêng biệt này chịu trách nhiệm phân phối bất kỳ yêu cầu tìm kiếm trên tất cả các search-peer đã
cấu hình trước đó để cải thiện hiệu năng tìm kiếm. Đầu tìm kiếm riêng biệt được thể hiện ởđây để hỗ trợứng dụng Splunk’s Enterprise Security (ES).
- Server triển khai. Hệ thống này có thểđược tích hợp với các dịch vụ Splunk khác, hoặc triển khai độc lập. Nếu muốn triển khai cho các doanh nghiệp có quy mô hệ thống lớn, việc xây dựng độc lập là rất quan trọng.
3.1.3.2. Các thành phần của Splunk a) Thành phần thu thập log
Đối với bộ công cụ Splunk thì thành phần thu thập log được chia làm ba loại là: universal forwarder, heavy forwarder, light forwarder.
Universal forwarder là một streamlined
Là phiên bản chuyên dụng của Splunk mà trong đó chỉ chứa các thành phần thiết yếu để chuyển dữ liệu từ nguồn đến máy server. Đây là phiên bản khá gọn nhẹđể tích hợp trên các nguồn sinh log chính vì thế mà nó không bao gồm các tính
năng như lập chỉ mục cho dữ liệu và tìm kiếm dữ liệu. Đó cũng chính là điểm khác biệt lớn nhất của Universal forwarder với các phiên bản đầy đủ của Splunk riêng biệt. Heavy forwader và Light forwarder đều là những phiên bản đầy đủ của Splunk nhưng bị vô hiệu hóa một sốtính năng.
Universal forwarder làm việc với dữ liệu thô và dữ liệu chưa được phân tích.
Heavy forwarder
Phiên bản này có kích thước nhỏ hơn một Splunk Indexer nhưng vẫn giữ được hầu hết các tính năng ngoại trừ việc tìm kiếm các kết quả phân phối. Và một số thành phần ví dụ Web splunk nếu cần thiết có thể bị vô hiệu hóa để giảm bớt
kích thước. Một heavy forwarder phân tích dữ liệu trước khi chuyển và có thểđịnh tuyến dữ liệu dựa trên các đặc điểm như nguồn và các loại sự kiện. Nó cũng có thể
26
đánh chỉ mục cho dữ liệu trên máy cục bộcũng như chuyển dữ liệu đến một server Splunk đặc biệt khác. Mặc định khi cài đặt, tính năng này sẽ bị vô hiệu hóa nên phải bật lên nếu muốn sử dụng.
Light forwarder làm việc với dữ liệu thô và dữ liệu chưa được phân tích
Light forwarder
Phiên bản này bị vô hiệu hóa hầu hết các tính năng do đó có kích thước khá nhỏ, chúng chỉ chuyển các dữ liệu không được phân tích. Từ phiên bản 4.2 trở đi
công cụnày được thay thế bởi universal forwarder.
Những loại dữ liệu được chuyển đó là dữ liệu thô, dữ liệu chưa được phân tích và dữ liệu đã được phân tích. Mỗi công cụ chuyển tiếp dữ liệu cho phép chuyển các loại dữ liệu khác nhau.
Heavy forwarder làm việc với dữ liệu thô hoặc dữ liệu đã được phân tích. Với dữ liệu thô thì luồng dữ liệu được chuyển tiếp tương tựnhư các dữ liệu TCP thông thường. Dữ liệu không được chuyển đổi sang định dạng của Splunk. Thiết bị chuyển tiếp chỉ lựa chọn dữ liệu và đẩy chúng đi. Phương pháp chuyển dữ
liệu như này phù hợp cho việc chuyển dữ liệu sang các hệ thống không phải là Splunk.
Với dữ liệu không được phân tích thì Universal forwarder thực hiện các tiến trình tối thiểu. Mặc dù dữ liệu không được phân tích nhưng nó vẫn được định dạng các thẻ để xác định các trường thông tin quan trọng như nguồn, loại nguồn, host. Nó chia các luồng dữ liệu thành các block có kích thước 64K. Thực hiện việc gắn nhãn thời gian (timestamp) lên luồng dữ liệu để bộ phận tiếp nhận có thể phân biệt
được dữ liệu khi mà nó không có một mốc thời gian cụ thể. Universal forwarder
không xác định, kiểm tra, và gán thẻ lên các sự kiện cá nhân.
Đối với dữ liệu đã được phân tích công cụ heavy forwarder chuyển đổi dữ
liệu thành các dạng dữ liệu riêng biệt. Nó sẽ gán thẻ và chuyển dữ liệu đến Splunk indexer. Vì dữ liệu đã được phân tích, nên thành phần heavy forwarder này cũng
có thể kiểm tra các sự kiện, sau đó bộ phận forwarder có thể thực hiện việc định tuyến dữ liệu dựa trên sự kiện dữ liệu.
Mô hình chuyển tiếp log cũng được chia thành nhiều loại như dữ liệu tập trung, cân bằng tải…
27
Mô hình chuyển tiếp dữ liệu tập trung
Là một trong những mô hình được sử dụng rộng rãi nhất với nhiều thiết bị
forwarder từ các nguồn khác nhau gửi đến một Splunk server. Mô hình này thường là các Universal forwarder chuyển tiếp dữ liệu thô, chưa qua phân tích từ máy trạm hoặc các thiết bị không phải là Splunk server tới máy chủ Splunk trung tâm để
tổng hợp và đánh chỉ mục cho dữ liệu.