Nghiên cứu, tìm hiểu công cụ elk stack (elasticsearch, logstash, kibana) trong hoạt động giám sát và phát hiện bất thường

HỌC VIỆN KĨ THUẬT MẬT MÃ KHOA AN TỒN THƠNG TIN  NGHIÊN CỨU, TÌM HIỂU CƠNG CỤ ELK-STACK (ELASTICSEARCH, LOGSTASH, KIBANA) TRONG HOẠT ĐỘNG GIÁM SÁT VÀ PHÁT HIỆN BẤT THƯỜNG Nhóm 19: Nguyễn Tiến Đạt – AT150110 Vũ Viết Tùng – AT150164 Giảng viên: Phạm Sĩ Nguyên Hà Nội, 05/2022 MỤC LỤC MỤC LỤC CHƯƠNG I: CƠ SỞ LÍ THUYẾT .7 Giới thiệu ELK 1.1 Tổng quan ELK 1.2 Giới thiệu ElasticSearch 1.2.1 Tổng quan ElasticSearch 1.2.2 Kiến trúc ElasticSearch a Elastic Cluster .8 b Các thành phần ElasticSearch 10 1.2.3 Mơ hình truy hồi thông tin 13 1.2.4 Tìm kiếm ElasticSearch .15 a Filter Context 16 b Query Context 16 1.3 Giới thiệu LogStash 19 1.3.1 Tổng quan LogStash 19 1.3.2 Cơng nghệ tích hợp liệu ELK 20 1.3.3 Mơ hình hoạt động LogStash 21 a Input Plugin 21 b Filter Plugin 23 1.4 Giới thiệu Kibana 23 Cơ chế hoạt động .23 2.1 Cơ chế tổng quát 23 2.2 Cơ chế đánh mục dựa Lucene 23 2.2.1 Tìm hiểu 23 2.2.2 Quy trình đánh mục 25 Các gói hỗ trợ việc shipper cho ELK .26 3.1 FileBeat .26 3.1.1 FileBeat gì? 26 3.1.2 Cơ chế hoạt động .27 Giới thiệu FileLog 27 4.1 Log FPT 28 4.2 Log Firewall .29 ELK công cụ thu thập log khác 29 CHƯƠNG III: TRIỂN KHAI KỊCH BẢN THỬ NGHIỆM 36 Cài đặt công cụ 36 Giám sát phát bất thường 40 Kịch công 41 3.1 Kịch 1: Tấn công từ điển tài khoản root dịch vụ SSH 41 3.2 Kịch 2:Scan web path dirsearch 42 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 DANH MỤC CÁC TỪ VIẾT TẮT 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 DANH MỤC HÌNH ẢNH Hình 1: Mơ hình Massive Parallel Processing Hình 2: Tiến trình phân tích từ tố (Analysis) ElasticSearch 18 Hình 3: Giới thiệu Logstash .19 Hình 4: Tiến trình hoạt động ETL 21 Hình 5: Các tiến trình hoạt động Logstash .21 Hình 6: Một số tảng công nghệ sử dụng để quản lí log 30 Hình 7: Thêm repo cho elasticsearch 36 Hình 8: Cài đặt ElasticSearch 36 Hình 9: Kích hoạt dịch vụ ElastichSearch .36 Hình 10: Kiểm tra hoạt động ElasticSearch .37 Hình 11: Cài đặt Kibana 37 Hình 12: Kích hoạt Kibana 37 Hình 13: Cài đặt LogStash 38 Hình 14: Cấu hình đầu vào 39 Hình 15: Cấu hình đầu cho LogStash 39 Hình 16: Kích hoạt dịch vụ LogStash 39 Hình 17: Cài đặt FileBeat 39 Hình 18: Kích hoạt thu thập log system, apache mysql .40 Hình 19: Kích hoạt dịch vụ FileBeat .40 Hình 20: Xem log mục Discover 40 Hình 21: Lọc log theo trường id, host.ip, host.name message .41 Hình 22: Sử dụng Hydra cơng từ điển tài khoản root SSH 41 Hình 23: ELK Server thu log phát có bất thường 42 Hình 24: Sử dụng Dirsearch để dò quét liên kết website 42 Hình 25: ELK Server phát máy 192.168.1.207 thực dirsearch tìm liên kết 404 43 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 DANH MỤC BẢNG Bảng 1: So sánh tính giải pháp quản lí liệu log 30 Bảng 2: So sánh tính ELK Graylog 32 Bảng 3: Ưu nhược điểm giải pháp ELK Graylog 34 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 CHƯƠNG CƠ I: SỞ LÍ THUYẾT Giới thiệu ELK 1.1 Tổng quan ELK ELK giải pháp công nghệ mã nguồn mơꄉ sử dụng để thu thập, quản lý, phân tích liệu log tập trung ELK gồm thành phần: - ElasticSearch: Một hệ truy hồi thông tin mạnh mẽ, sử dụng để lưu trữ đánh mục cho liệu log - Logstash: Phần mềm mã nguồn mơꄉ thực tiến trình đồng liệu ETL, thu thập liệu log, chuyển đổi, làm đưa vào lưu trữ ElasticSearch để đánh mục - Kibana: Phần mềm mã nguồn mơꄉ sử dụng để trừu tượng hóa liệu, xây dựng biểu đồ, hình giám sát phân tích liệu 1.2 Giới thiệu ElasticSearch 1.1.1 Tổng quan ElasticSearch ElasticSearch giải pháp truy hồi thông tin phân tích liệu phân tán mã nguồn mơꄉ mạnh mẽ có tính mơꄉ rộng cao ElasticSearch phát triển tảng thư viện search-engine mã nguồn mơꄉ tiếng “Apache Lucene” Apache Lucene sử dụng ngôn ngữ Java phức tạp để sử dụng, ElasticSearch kế thừa Apache Lucene che dấu phức tạp Lucene đằng sau RESTful API ElasticSearch cho phép lưu trữ, tìm kiếm, phân tích lượng lớn liệu thời gian thực Nó thường sử dụng để hỗ trợ cho ứng dụng có nhu cầu tìm kiếm phức tạp, cần tốc độ nhanh ứng dụng phân tích liệu lớn Một số tốn sử dụng ElasticSearch: - Tìm kiếm sản phẩm trang web bán hàng - Thu thập log hệ thống, liệu giao d椃⌀ch phục vụ phân tích, tìm kiếm Với tốn bên cạnh ElasticSearch cần sử dụng thêm công cụ 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Logstash Kibana Ba phần mềm mã nguồn mơꄉ hợp thành giải pháp ELK (ElasticSeach, Logstash Kibana) - Phân tích liệu lớn (BigData analytic) Với tốn này, ElasticSeach đóng vai trị nơi lưu trữ liệu từ nhiều nguồn, nhiều loại liệu khác tích hợp bơꄉi cơng cụ ETL, Streaming ElasticSeach kết hợp sử dụng với cơng cụ phân tích liệu lớn mạnh mẽ Spark, R hay Python giúp cho nhà khoa học liệu phân tích liệu cách thời gian thực để đưa thông tin hữu tích - Các tốn Bussiness Inteligent Analytic để đánh giá nhanh, phân tích nhanh lượng lớn liệu để đưa đ椃⌀nh kinh doanh k椃⌀p thời Sử dụng giải pháp ELK (ElasticSeach, Logstash Kibana) để tập hợp liệu, xây dựng hình điều khiển (dardboard) để phân tích số liệu trực quan Một số tổ chức lớn sử dụng ElasticSearch: - Trang Wikipedia sử dụng ElasticSearch để cung cấp máy tìm kiếm tồn văn (full-text search) với kết tìm kiếm tơ sáng - Trang The Guardian sử dụng ElasticSearch để kết hợp liệu người đọc với liệu mạng xã hội để cung cấp hồi đáp thời gian thực giúp tăng trải nghiệm người dùng - Trang cộng đồng cho nhà phát triển phần mềm tiếng Stack Overflow sử dụng ElasticSearch làm máy tìm kiếm tồn văn kết hợp với v椃⌀ trí đ椃⌀a lý người dùng để đưa kết tìm kiếm xác cho câu truy vấn người dùng - Trang quản lý mã nguồn mơꄉ tiếng GitHub sử dụng ElasticSearch để quản lý 130 triệu dòng codes 1.1.2 Kiến trúc ElasticSearch a Elastic Cluster 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 ElasticSearch Cluster xây dựng theo ý tươꄉng kiến trúc MPP (Massive Parallel Processing) Massive Parallel Processing hệ thống gồm nhiều nút (node), hoạt động để thực chương trình, node xử lý phần riêng chương trình tài ngun node (memory, CPU, …) Do mà hệ thống MPP gọi hệ thống “Shared nothing” (vì chất node cụm khơng chia sẻ tài ngun để tính tốn, chúng xử lý liệu riêng chúng sức mạnh tài nguyên riêng chúng) Để xử lý lượng liệu khổng lồ, liệu giải pháp MPP thường phân chia node thành phân đoạn (shard), nút xử lý liệu cục Điều tăng tốc độ xử lý liệu, bơꄉi sử dụng lưu trữ chia sẻ cho giải pháp MPP khoản đầu tư lớn hơn, phức tạp hơn, tốn hơn, khả mơꄉ rộng hơn, sử dụng lưu lượng mạng cao tính tốn song song Với cách thiết kế này, hệ thống MPP dễ dàng để mơꄉ rộng, ta cần thêm node vào cụm cluster theo chiều ngang mơꄉ rộng lực tính tốn cho tồn cụm Mơ hình MPP sau: Hình 1: Mơ hình Massive Parallel Processing 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Một Cụm ElasticSearch Cluster bao gồm nhiều nút (nodes) có tên Cluster mà tham gia vào Các nodes cụm Cluster làm việc chia sẻ liệu tải (workload) với Khi node thêm vào rời khỏi cụm Cluster tự động tổ chức tính tốn lại liệu lực tính tốn Một node máy chủ riêng lẻ, phần cụm Cluster, tham gia vào trình đánh mục tìm kiếm cụm Cluster Cũng giống Cluster, node đ椃⌀nh danh bơꄉi tên sinh ngẫu nhiên thời điểm khơꄉi động hệ thống Tất nhiên đ椃⌀nh tên cho node cho mục đích quản lý Mỗi node tham gia (join) vào cluster mặc đ椃⌀nh “elasticsearch” Cluster không đ椃⌀nh Mỗi cụm ElasticSearch Cluster có Master node ch椃⌀u trách nhiệm quản lý thay đổi toàn cụm tạo, xóa index thêm hay loại bỏ node vào/ra cụm Cluster Master node khơng tham gia vào q trình xử lý tìm kiếm Bất kỳ node cụm trơꄉ thành master node Với cụm Cluster có node node thực vai trò master node node xử lý tìm kiếm Tất nodes cụm Cluster kết nối, chia sẻ liệu tải với Tất nodes biết xác liệu lưu trữ ơꄉ đâu, có yêu cầu cần xử lý gửi đến chúng trực tiếp xử lý chuyển tiếp yêu cầu đến node mà thực chứa liệu cần xử lý trả kết b Các thành phần ElasticSearch ElasticSearch cộng đồng mã nguồn mơꄉ phát triển trải qua nhiều phiên bản, phiên thức thời điểm chúng tơi nghiên cứu phiên 6.6 Trong phiên có thay đổi so với phiên 5.x trước đó, có kiểu mapping type ElasticSearch Index Để hiểu rõ nghiên cứu thành phần ElasticSearch Các 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Windows Firewall logs sử dụng để khắc phục số vấn đề như: - Một chương trình mà bạn sử dụng khơng thể kết nối với mạng Internet.Tuy nhiên chương trình, phần mềm khác kết nối được, ta cần thực bước để khắc phục lỗi đảm bảo Windows Firewall không chặn yêu cầu kết nối chương trình từ chối service - Nếu nghi ngờ máy tính bạn sử dụng để chuyển liệu phần mềm độc hại bạn muốn theo dõi network traffic sau gỡ bỏ Firewall yêu cầu kết nối đáng nghi Tạo rule Firewall phép chặn kết nối điều chỉnh theo ý muốn bạn ELK công cụ thu thập log khác Hình 6: Một số tảng cơng nghệ sử dụng để quản lí log Mỗi giải pháp có ưu, nhược điểm mức độ phù hợp riêng Dưới dây bảng so sánh số tính ba giải pháp trên: 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Bảng 1: So sánh tính giải pháp quản lí liệu log Tính Bản quyền ELK Stack Splunk Graylog - Mã nguồn mơꄉ - Thương mại - Mã nguồn mơꄉ - Thương mại - Thương mại Ngôn ngữ Java, Ruby, NodeJS C++, Python Java Đ椃⌀nh dạng JSON JSON, CSV, Text GLEF liệu Độ phức tạp cài Cần cài đặt thành Chỉ cần cài đặt Cần cài đặt đặt phần: thành phần - Graylog - ElasticSearch Splunk Server, dễ - ElasticSearch - Logstash dàng để cài - MongoDB - Kibana đặt cấu hình Độ phức tạp trung Độ phức tạp trung bình bình Nền tảng hỗ trợ Unix, Window, Linux, Solaris, Window, Linux, Linux, Ubuntu, Window, Unix Ubuntu Solaris Đ椃⌀nh dạng tệp Các loại tệp liệu Bất kỳ đ椃⌀nh dạngCác loại tệp log hỗ trợ log phổ biến tệp text, liệu log phổ biến ngnix, http, CSV, tệp log, … ngnix, http, database, tomcat, database, tomcat, … syslog, GLEF … Công cụ vận - Apache Kafka Kiến trúc pipeline - Apache Kafka chuyển liệu - RabbitMQ splunk - RabbitMQ - Redis Tổng hợp Tổng hợp theo lô Tổng hợp theo lô Tổng hợp theo lô liệu Real-time Real-time Real-time Khả tìm Khả tìm kiếm Sử dụng ngơn Khả tìm kiếm phân tích mạnh ngữ tìm kiếm kiếm mẽ với xây dựng ElasticSearch bơꄉi Splunk áp dụng MapReduce Khả xây Với phần mềm Tính báo Giao diện báo cáo dựng báo cáo, Kibana cáo, giám sát giám sát đơn hình giám giải pháp, ELK cho xây dựng giản sát, trừu tượng khả dựng báo sẵn Splunk hóa liệu cáo, xây dựng hình giám sát mạnh mẽ, trực quan 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Ngồi khơng sử dụng giải pháp phần mềm ta hoàn tồn tự phát triển (code) thành phần hệ thống quản lý liệu log tập trung, tốn nguồn lực, chi phí lẫn thời gian hiệu mang lại khơng cao Trong giải pháp quản lý liệu log tập trung trình bày ơꄉ giải pháp Splunk mạnh mẽ phần mềm thương mại phí phải bỏ lớn Graylog giải pháp phát triển mục tiêu đơn lưu trữ, quản lý, cảnh báo tìm kiếm liệu log Mọi công việc từ tổng hợp liệu, cảnh báo thực dễ dàng giao diện UI (User interface) trực quan đóng người sử dụng Graylog cung cấp trích xuất (Extractors) để trích xuất tổng hợp loại liệu log đ椃⌀nh, có yêu cầu cần phải trích xuất liệu log phức tạp mang tính đặc thù cao Graylog bắt đầu thể điểm yếu so với Logstash giải pháp ELK – Logstash cung cấp kỹ thuật trích xuất tổng hợp liệu log dựa công nghệ ETL (Extract, transform, load) mang tính mơꄉ, tường minh tùy biến nhiều Về khả xây dựng báo cáo, biểu đồ, trừu tượng hóa liệu Graylog thực ơꄉ mức bản, chưa đủ linh hoạt để sử dụng tốn phân tích liệu, việc ELK lại làm tốt với thành phần Kibana ELK giống Graylog giải pháp công nghệ mã nguồn mơꄉ sử dụng để thu thập, quản lý, phân tích liệu log tập trung, nhiên đ椃⌀nh hướng mục tiêu giải pháp ELK vượt xa công việc quản lý liệu log đơn ELK gồm thành phần: - ElasticSearch: Một hệ truy hồi thông tin mạnh mẽ, sử dụng để lưu trữ đánh mục cho liệu log - Logstash: Phần mềm mã nguồn mơꄉ thực tiến trình đồng liệu ETL, thu thập liệu log 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 - Kibana: Phần mềm mã nguồn mơꄉ sử dụng để trừu tượng hóa liệu, xây dựng biểu đồ, hình giám sát phân tích liệu ELK so với Graylog, ban đầu khó tiếp cận triển khai hơn, nhiên giá tr椃⌀ giải pháp mang lại đáng giá ELK phát huy khả trội so với giải pháp khác cần trích xuất tổng hợp liệu đặc thù Logstash cung cấp kỹ thuật trích xuất tổng hợp liệu mơꄉ linh hoạt hay cần xây dựng biểu đồ, trừu tượng hóa liệu phức tạp để phân tích vấn đề - nơi mà Kibana thực hoàn hảo nhiệm vụ Bảng 2: So sánh tính ELK Graylog Tính ELK- Stack Bản quyền Mã nguồn mơꄉ Ngôn ngữ Java, JRuby, NodeJS Độ phức tạp Cần cài đặt thành phần: cài đặt - ElasticSearch - Logstash - Kibana Độ phức tạp trung bình Nền tảng hỗ trợ Đ椃⌀nh dạng tệp log hỗ trợ Cơng cụ làm đệm liệu Mục đích đời Unix, Window, Linux, Ubuntu, Solaris,… Các loại tệp liệu log phổ biến ngnix, http, database, tomcat, … - Apache Kafka - RabbitMQ - Redis Lưu trữ, đánh mục liệu - Trừu tượng hóa liệu phục vụ phân tích phức tạp - Business Intelligence - Phân tích liệu lớn Cách nhìn Coi liệu log loại nhận liệu cần xử lý bên cạnh liệu log loại liệu khác - Coi liệu log chứa thông Graylog Mã nguồn mơꄉ Java + Cần cài đặt: - Graylog Server + Cài đặt mơꄉ rộng: - ElasticSearch - MongoDB Độ phức tạp trung bình Window, Linux, Ubuntu, … Các loại tệp liệu log phổ biến ngnix, http, database, tomcat, syslog, GLEF … - Apache Kafka - RabbitMQ - Redis Quản lý, truy vết liệu log đơn - Chỉ đơn liệu log - Sử dụng để tìm kiếm, truy vết 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Khả tìm kiếm Khả xây dựng báo cáo, hình giám sát, trừu tượng hóa liệu Cách thức trích xuất liệu tin hữu ích nhiều khía cạnh doanh nghiệp mà cần khai thác Khả tìm kiếm phân tích mạnh mẽ với ElasticSearch Với phần mềm Kibana giải pháp, ELK cho khả dựng báo cáo, xây dựng hình giám sát mạnh mẽ, trực quan, hỗ trợ tốt cho tốn phân tích liệu Logstash cung cấp khả trích xuất tổng hợp liệu theo cơng nghệ ETL mang tính mơꄉ linh động Khả ElasticSearch thành phần tương thích giải pháp nên giải với pháp ln đồng khả ElasticSearc tương thích tuyệt vời h Cộng đồng Cộng đồng phát triển tương phát triển tác lớn mạnh: https://discuss.elastic.co/c/logsta sh - Số lượng đăng tương tác cộng đồng lớn Khả tìm kiếm Graylog - Nếu cài đặt mơꄉ rộng ElasticSearch tận dụng khả tìm kiếm mạnh mẽ hệ truy hồi thơng tin Giao diện báo cáo giám sát đơn giản Graylog Graylog cung cấp số trích xuất (extractor) cho loại liệu log cụ thể Khả tương thích với phiên ElasticSearch Graylog chậm Cộng đồng phát triển tương tác nhiều so với ELK: https://community.graylog.o rg - Số lượng đăng tương tác cộng động nhiều hạn chế Mỗi giải pháp có ưu nhược điểm riêng chúng Tùy thuộc vào đặc thù doanh nghiệp, nhu cầu đ椃⌀nh hướng xây dựng hệ thống quản lý liệu log mà có lựa chọn giải pháp cho phù hợp Dưới bảng liệt kê 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 ưu/nhược điểm giải pháp quản lý liệu log mã nguồn mơꄉ phổ biến ELK Graylog Bảng 3: Ưu nhược điểm giải pháp ELK Graylog Ưu điểm Nhược điểm ELK Graylog Mã nguồn mơꄉ phí rẻ Mã nguồn mơꄉ phí rẻ Hỗ trợ nhiều tảng hệ điều Hỗ trợ nhiều tảng hệ điều hành loại liệu log khác hành loại liệu log khác nhau Hỗ trợ cảnh báo tự động có Hỗ trợ cảnh báo tự động lỗi liệu log có lỗi liệu log Logstash cung cấp khả Dễ dàng triển khai thu thập trích xuất tổng hợp liệu giám sát loại mạnh mẽ tùy biến cao phù liệu log thông dụng với hợp với kiểu liệu phức giao diện cấu hình đồ họa tạp thân thiện Kibana cho phép xây dựng biểu đồ, trừu tượng hóa liệu phục vụ tốn phân tích phức tạp Tương thích hồn tồn với ElasticSearch cho phép kiểm sốt việc đánh mục tốt ElasticSearch Sử dụng liệu log khơng để tìm kiếm, cảnh báo, truy vết Bên cạnh cịn phân tích, trừu tượng hóa liệu phức tạp để tìm thơng tin hữu ích Hệ thống mơꄉ, mang tính tùy biến cao Cộng đồng phát triển tương tác lớn Triển khai cần nhiều kiến thức Công cụ trích xuất liệu cấu hình hệ thống hơn, khơng hỗ Graylog cung cấp sơ trợ giao diện đồ họa mạnh sài, khơng có tính tùy biến Graylog cao Logstash giải pháp ELK Chức xây dựng biểu đồ 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 đơn giản, khả trừu tượng hóa liệu kém, khơng phù hợp để sử dụng cho tốn phân tích liệu, BI, BigData Khả tương thích với phiên ElasticSearch chậm Ít linh hoạt vấn đề tạo mục ElasticSearch Coi liệu log đơn liệu log phục vụ tìm kiếm, cảnh báo lỗi truy vết, phân tích trường hợp phức tạp Hệ thống có khả tùy biến ELK Cộng đồng phát triển, tương tác chia sẻ hạn chế Chương II: 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Chương III: TRIỂN KHAI KỊCH BẢN THỬ NGHIỆM Cài đặt cơng cụ Hình 7: Thêm repo cho elasticsearch Hình 8: Cài đặt ElasticSearch Hình 9: Kích hoạt dịch vụ ElastichSearch 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 10: Kiểm tra hoạt động ElasticSearch Hình 11: Cài đặt Kibana Hình 12: Kích hoạt Kibana 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 13: Cài đặt LogStash 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 14: Cấu hình đầu vào Hình 15: Cấu hình đầu cho LogStash Hình 16: Kích hoạt dịch vụ LogStash Hình 17: Cài đặt FileBeat 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 18: Kích hoạt thu thập log system, apache mysql Hình 19: Kích hoạt dịch vụ FileBeat Giám sát phát bất thường Hình 20: Xem log mục Discover 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 21: Lọc log theo trường id, host.ip, host.name message Kịch công 3.1 Kịch 1: Tấn công từ điển tài khoản root dịch vụ SSH - Mô tả: Sử dụng Kali Linux công từ điển vào tài khoản root d椃⌀ch vụ SSH thu thập log phía ELK Server - Máy công : kali linux 10.0.0.130/24 - Máy nạn nhân (ELK Server): cenos 10.0.0.143/24 Hình 22: Sử dụng Hydra công từ điển tài khoản root SSH 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 Hình 23: ELK Server thu log phát có bất thường 3.2 Kịch 2: Scan web path dirsearch - Mô tả: Dùng cơng cụ Dirsearch Linux dị qt website để tìm kiếm liên kết hỏng - Máy cơng : kali linux 192.168.1.207/24 - Máy nạn nhân (ELK Server): centos 192.168.1.206/24 Hình 24: Sử dụng Dirsearch để dị quét liên kết website 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.C.33.44.55.54.78.655.43.22.2.4.55.2237.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.66 37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.55.77.77.99.44.45.67.22.55.77.C.37.99.44.45.67.22.99