Giám sát mạng với Splunk Splunk gì? Splunk mơt cơng cụ vơ mạnh mẽ để tìm kiếm, khám phá hiển thị tất kiểu liệu Splunk phổ biến nhanh nhiều doanh nghiệp, lớn nhỏ Các nhà phân tích, người quản lý, sinh viên nhanh chóng học cách sử dụng liệu từ hệ thống, mạng, lưu lượng truy cập web liệu mạng xã hội họ để tạo báo cáo hấp dẫn có nhiều thơng tin Tên "Splunk" lấy cảm hứng trình khám phá hang động hay splunking giúp nhà phân tích, vận hành, lập trình viên khám phá liệu từ tổ chức việc thu thập phân tích báo cáo dựa splunk Splunk công ty đa quốc gia sáng lập Michael Baum, Rob Das Erik Swan có sản phẩm "Splunk Enterprise" Tính Splunk Định dạng log Splunk định dạng loại log khác nhau, loại log sinh từ ứng dụng khác Mỗi loại log đánh kiểu theo loại cụ thể (sourcetype) Thông thường log xử lý Splunk, thực cơng việc là: • Phân tách log • Đánh mục Mỗi loại log có cách xếp liệu khác tin tới Splunk server phân tách thành trường, công việc hỗ trợ nhiều cho trình tìm kiếm lọc thơng tin Do bước quan trọng hệ thống giám sát tập trung Thu thập liệu Quá trình thu thập liệu với Splunk nâng cao hệ thống splunk làm cho việc thu thập liệu đơn giản từ nhiều kiểu liệu khác hệ thống máy tính Dữ liệu từ: • Các tập tin, thư mục • Cổng cổng TCP/UDP • Các Script Để thêm liệu vào Splunk giao diện Web ta có cách hình sau • • Upload: Ta upload tập tin log hay tập tin log từ máy tính Monitor: Splunk thực giám sát máy cài Splunk Với tùy chọn ta lại có kiểu như: Tập tin, thư mục; lấy từ HTTP; cổng TCP/UDP; Script • Forward: Các nguồn liệu lấy từ Splunk Forwarder, phần ta cần phải cấu hình server cần lấy liệu triển khai splunk forwarder client Khi Splunk điều khiển splunk forwarder Đánh mục liệu Splunk đánh mục cho nhiều kiểu liệu Các nguồn liệu thơng thường: • Các liệu có cấu trúc: Các tập tin CSV, JSON hay XML • Các dịch vụ Web: Apache, IIS • Các phần mềm vận hành IT: Nagios, NetApp, Cisco USC • Dịch vụ sở liệu: Oracle, MySQL, Microsoft SQL Server • Mạng An tồn: Syslog, SNMP, thiết bị Cisco, Snort • Các tảng ảo hóa: VMWare, Xen Desktop, XenApp, Hyper-V • Các dịch vụ ứng dụng: JMX & JMS, WebLogic, WebSphere, • Nền tảng Microsoft: Exchange, Active Directory, Sharepoint Tìm kiếm thơng tin Cốt lõi tảng Slunk SPL - Splunk's Search Processing Language SPL ngơn ngữ có khả vơ hạn học khơng q phức tạp Nó đưa cho ta sức mạnh để hỏi câu hỏi với liệu máy SPL hòa hợp khả tốt SQL cú pháp xử lý liên hợp Unix cho phép ta: • Truy cập tất liệu định dạng gốc • Tối ưu hóa cho kiện chuỗi thời gian • Sử dụng ngôn ngữ cho mô SPL cung cấp 140 lệnh cho phép tìm kiếm, tương quan, phân tích mơ liệu Một ngơn ngữ mạnh mẽ tóm tắt ý sau: • • Tìm thứ nhỏ Haystack Tìm kiếm cho từ khóa lọc thông qua tập liệu Mô liệu địa lý theo thời gian thực Sử dụng lệnh "iplocation" để gián địa IP theo kinh độ vĩ độ, "geostats" để gán số liệu theo thời gian thực • Dự đốn, biểu đồ mơ số liệu Sử dụng lệnh "stats" mạnh mẽ với 20 lựa chọn tính tốn số liệu khác Sau biểu đồ, mơ thể kết liệu thơng qua khoảng thời gian • Máy học phát dị thường Sử dụng phát dị thường để mở hành động kiện bất thường Xây dựng áp dụng mô hình máy học với lệnh "fit" "apply" • Giám sát mạng cảnh báo * Splunk cung cấp cho người dùng chế cảnh báo dựa việc tìm kiếm thơng tin người sử dụng đặt Khi có vấn đề liên quan tới hệ thống phù hợp với tiêu chí hệ thống cảnh báo tới người dùng Hiện Splunk ta đặt cảnh báo Splunk qua: • Một Log Event • Chạy script • Gửi Email • Gửi HTTP POST • Thậm chí gọi điện gửi tin nhắn qua số điện thoại người dùng ta cấu hình Đặc biệt ta sử dụng hỗn hợp lựa chọn lúc Ví dụ ta vừa gửi HTTP POST vừa gửi email Khắc phục cố Splunk cung cấp chế tự động khắc phục cố với vấn đề xảy việc cấu hình để tự đọng chạy tập tin Script mà người dùng tạo Ví dụ ta có script chặn địa IP thực công DoS vào hệ thống ta Ta thực đếm request đến từ địa IP, số lượng request vượt số lượng request cho phép 1s script tự chạy, ta bảo vệ hệ thống ta khỏi cơng Cơng việc hồn tồn tự động Hiển thị thông tin Splunk cung cấp chế hiển thị trực quan giúp người sử dụng dễ dàng hình dung tình trạng hệ thống, đưa đánh giá hệ thống Người sử dụng hiển thị biểu đồ dựa kết câu lệnh tìm kiếm Từ có cách nhìn trực quan, dễ hiểu, rõ ràng hệ thống Như hình ta thấy Trung Quốc thực nhiều công SSH vào hệ thống Sau tìm kiếm hiển thị thơng tin, ta lưu lại vào Dashboard, ta chọn "Save As" chọn "Dashboard Panel" Ở ta lựa chọn tạo Dashboard hay Thêm vào Dashboard tồn Các công việc đơn giản dễ dàng Splunk tự động kết xuất báo cáo với nhiều loại định dạng cách chuyên nghiệp Để xuất cáo cáo ta cần vào phần Dashboard mà ta muốn xuất báo cáo chọn "Export" Phát triển Splunk cung cấp API hỗ trợ người dùng phát triển ứng dụng họ Splunk Một số API điển Splunk SDK: Cung cấp SDK tảng Python, Java, JS, PHP, Ruby, • C# Splunk SDK viết dựa Splunk REST API Những thứ mà ta làm Splunk SDK là: tích hợp với cơng cụ báo cáo cổng thông tin bên thứ 3, Đẩy log trực tiếp tới Splunk, Tích hơp kết tìm kiếm Splunk vào ứng dụng người dùng, Giải nén liệu, Xây dựng giao diện Web theo ý thích người dùng, • Shep: Splunk Hadoop Intergration - Đây kết hợp Splunk Hadoop Sử dụng Hadoop kho lưu trữ Splunk có tính sau: - Map Reduce Job Hadoop sử dụng liệu Splunk - Truyền liệu từ Splunk tới HDFS thời gian thực - Ngơn ngữ tìm kiếm tích hợp với Hadoop - Giám sát tập tin thư mục HDFS cho việc đánh mục Splunk • Splunk PowerShell Resource Kit: Bộ công cụ hỗ trợ việc mở rộng quản lý hệ thống Sử dụng Splunk PowerShell Resource Kit, người quản trị hệ thống Windows quản lý mở rộng mơi trường Splunk để hỗ trợ nhiều công việc Với phiên công cụ này, người quản tri quản lý topo Splunk, cấu hình thành phần bên mượn máy tìm kiếm Splunk từ phiên PowerShell Các nhóm lệnh thực PowerShell để tương tác với Splunk bao gồm: - Kiểm tra quản lý dịch vụ Splunk - Tìm kiếm Splunk - Triển khai Splunk - Quản lý lớp máy chủ Splunk ... Script Để thêm liệu vào Splunk giao diện Web ta có cách hình sau • • Upload: Ta upload tập tin log hay tập tin log từ máy tính Monitor: Splunk thực giám sát máy cài Splunk Với tùy chọn ta lại có... học với lệnh "fit" "apply" • Giám sát mạng cảnh báo * Splunk cung cấp cho người dùng chế cảnh báo dựa việc tìm kiếm thơng tin người sử dụng đặt Khi có vấn đề liên quan tới hệ thống phù hợp với. .. ứng dụng họ Splunk Một số API điển Splunk SDK: Cung cấp SDK tảng Python, Java, JS, PHP, Ruby, • C# Splunk SDK viết dựa Splunk REST API Những thứ mà ta làm Splunk SDK là: tích hợp với cơng cụ