Theo như mô hình trên, luồng dữ liệu sẽ xuất phát từ tệp dữ liệu log và đi theo luồng sau:
+ Tệp dữ liệu log sẽ được đọc nội dung bởi “File Input Plugin của Logstash theo tần xuất nhất đ nh (có thể cấu hình được tần xuất đọc tệp).
+ Bên cạnh đó còn có JDBC Input plugin làm nhiệm vụ đọc mã lỗi trong cơ sở dữ liệu mã lỗi để phục vụ công đoạn Filter tìm mã lỗi trong dữ liệu log đọc được từ File Input plugin.
+ Dữ liệu được đọc bởi “File Input sẽ được chuyển tiếp đến “Filter Plugin . Ở đây dữ liệu sẽ được lọc, làm sạch, biến đổi theo đặc thù của từng loại dữ liệu log. Tìm mã lỗi trong nội dung log. Đầu ra trong bước Filter này là tài liệu dạng JSON chứa nội dung thông điệp của log và mã lỗi nếu được tìm thấy.
+ Tài liệu JSON từ bước “Filter được đưa tới các Output plugin của Logstash. Ở đây ta thiết kế sử dụng 2 Output Plugin là “email Output và “ElasticSearch Output để giải quyết 2 bài toán khác nhau.
+ Dữ liệu JSON được đưa tới “email Output để gửi thư điện tử tự động đến cán bộ quản tr hệ thống khi có mã lỗi được tìm thấy trong dữ liệu log.
+ Dữ liệu JSON được đưa tới “ElasticSearch Output để thực hiện đánh chỉ mục cho tài liệu JSON đó trong hệ truy hồi thông tin ElasticSearch phục vụ bài toán tìm kiếm, trực quan hóa dữ liệu, xây dựng báo cáo và phân tích dữ liệu log.
+ Dữ liệu sau khi được đánh chỉ mục trong ElasticSearch sẽ được trực quan hóa, xây dựng báo cáo, xây dựng các màn hình giám sát, điều khiển trên Kibana.
2.2.3. Mô hình trao đổi dữ liệu với các hệ thống khác
Dữ liệu sau khi được đánh chỉ mục trên ElasticSearch có thể được sử dụng bởi các hệ thống khác với mục đích tìm kiếm toàn văn, làm nguồn dữ liệu để phân tích với các ngôn ngữ phân tích dữ liệu phổ biến (R, Python). Dữ liệu log được lưu trong ElasticSearch cũng sẽ là một nguồn dữ liệu đầu vào cho hệ thống dữ liệu lớn (BigData) phục vụ các bài toán phân tích dữ liệu lớn.