Các khái niệm chính của Logstash

Một phần của tài liệu (LUẬN văn THẠC sĩ) nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái internet of things (Trang 60 - 62)

Các khái niệm chính của Logstash như sau: - Even Object

Nó là đối tượng chính trong Logstash, đóng gói luồng dữ liệu trong đường dẫn Logstash. Logstash sử dụng đối tượng này để lưu trữ dữ liệu đầu vào và thêm các trường bổ sung được tạo trong giai đoạn lọc.

Logstash cung cấp API sự kiện cho các nhà phát triển để thao tác các sự kiện. Trong hướng dẫn này, sự kiện này được gọi với nhiều tên khác nhau như Ghi nhật ký sự kiện dữ liệu, sự kiện nhật ký, dữ liệu nhật ký, dữ liệu nhật ký đầu vào, dữ liệu nhật ký đầu ra, v.v.

- Pipeline

Nó bao gồm các giai đoạn luồng dữ liệu trong Logstash từ đầu vào đến đầu ra. Dữ liệu đầu vào được nhập vào pipeline và được xử lý dưới dạng sự kiện. Sau đó gửi đến đích đầu ra trong định dạng mong muốn của người dùng hoặc hệ thống.

- Input

Đây là giai đoạn đầu tiên trong đường dẫn Logstash, được sử dụng để lấy dữ liệu trong Logstash để xử lý thêm. Logstash cung cấp nhiều plugin khác nhau để lấy dữ liệu từ các nền tảng khác nhau. Một số plugin được sử dụng phổ biến nhất là - File, Syslog, Redis và Beats.

- Filter

Đây là giai đoạn giữa của Logstash, nơi diễn ra quá trình xử lý các sự kiện thực tế. Nhà phát triển có thể sử dụng mẫu Regex được xác định trước bằng Logstash để tạo các chuỗi để phân biệt giữa các trường trong các sự kiện và tiêu chí cho các sự kiện đầu vào được chấp nhận. Logstash cung cấp nhiều plugin khác nhau để giúp nhà phát triển phân tích cú pháp và biến đổi các sự kiện thành một cấu trúc mong muốn. Một số plugin bộ lọc được sử dụng phổ biến nhất là - Grok, Mutate, Drop, Clone và Geoip.

- Output

Đây là giai đoạn cuối cùng trong đường dẫn Logstash, nơi các sự kiện đầu ra có thể được định dạng thành cấu trúc theo yêu cầu của các hệ thống đích. Cuối cùng, nó sẽ gửi sự kiện đầu ra sau khi xử lý hoàn tất đến đích bằng

cách sử dụng các plugin. Một số plugin được sử dụng phổ biến nhất là - Elasticsearch, File, Graphite, Statsd, v.v.

Một phần của tài liệu (LUẬN văn THẠC sĩ) nghiên cứu các nền tảng phân tích dữ liệu trong môi trường ảo cho hệ sinh thái internet of things (Trang 60 - 62)

Tải bản đầy đủ (PDF)

(88 trang)