kỹ thuật lập trình quản lý logs

BAN CƠ YẾU CHÍNH PHỦ HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA ANYẾU TỒN THƠNG BAN CƠ CHÍNH PHỦTIN -□□ HỌC VIỆN KỸ THUẬT MẬT MÃ KHOA AN TOÀN THƠNG TIN -□□ - KỸ THUẬT LẬP TRÌNH QUẢN LÝ LOGS THỰC TẬP CƠ SỞ CHUYÊN NGÀNH XÂY DỰNG WEBSITE BÁN RƯỢU TWINE Ngành: An tồn thơng tin Sinh viên thực hiện: Mã số: Sinh viên thực hiện: Đỗ Thị Như Tươi – AT160457 Ngô Quang Triều – AT160554 LưuTiến Mạnh Quân – AT160543 Trần Văn – AT160551 NguyễnNguyễn Thị Lệ Thị ThuLệ – AT160447 Thu – AT160447 Người hướng dẫn: Phạm Thái Sơn – AT160748 Thầy Nguyễn Văn Phác Nguyễn Thị Thuỷ - AT160739 Giảng viên hướng dẫn: Hà Nội, 24/06/2022 Thầy Đặng Xuân Bảo Hà Nội, 24/06/2022 MỤC LỤC LỜI NÓI ĐẦU DANH MỤC HÌNH ẢNH CHƯƠNG : KHÁI QUÁT VỀ QUẢN LÝ LOGS 1.1 Khái niệm 1.2 Chức CHƯƠNG : QUẢN LÝ LOGS .7 2.1 Khái quát 2.2 Logging level .7 2.2.1 Debug 2.2.2 Info .8 2.2.3 Warn (Warning) 2.2.4 Error .8 2.2.5 Critical 2.3 Các thành phần mô_đun Logging 2.3.1 Các thành phần chính của Logging module: 2.3.2 Một số ví dụ ứng dụng cho mô-đun Logging module .9 CHƯƠNG : HỆ THỐNG QUẢN LÝ LOGS 19 3.1 Logstash 19 3.1.1 Logstash gì? 19 3.1.2 Logstach hoạt động nào? .19 3.1.3 Một số mẫu khai báo input, output .22 3.2 Elasticsearch .22 3.2.1 Elasticsearch gì? .22 3.2.2 Các khái niệm bản của Elasticsearch 23 3.2.3 Ưu điểm của Elasticsearch 26 3.2.4 Nhược điểm của Elasticsearch 26 3.4 Kibana logs 26 3.4.1 Giao diện người dùng APM biên tập 28 3.4.2 Plain Kibana logs 28 TÀI LIỆU THAM KHẢO .30 CHƯƠNG 4: DEMO 31 LỜI NÓI ĐẦU Với tốc độ phát triển chóng mặt ngành công nghệ thông tin với nhu cầu lớn từ nhiều người sử dụng dẫn đến hệ thống máy tính trở nên phức tạp, khó quản lý Nhiều hệ thống nơi nằm phân tán Các hệ điều hành, ứng dụng, dịch vụ tạo nhiều nguồn khác Lượng liệu khổng lồ không ngừng tăng lại không tập trung Vì vậy, cần phải ghi lại hoạt động hệ thống mà Log Thông thường, ghi lưu trữ phân tán thiết bị khác Kiểm tra log theo phương pháp truyền thống đăng nhập vào hệ thống để tìm kiểm tra, tìm kiếm lỗi gây thời gian, hiệu Ngày để giải yêu cầu chúng em áp dụng quản lý log để phân tích Log theo thời gian thực giúp quản lý đăng nhập tập trung, thao tác đơn giản tăng hiệu làm việc Có thể đáp ứng khối lượng lớn liệu gây phân phối lưu trữ xử lý, tìm kiếm văn đầy đủ, đăng nhập khai thác, thách thức trực quan Được xây dựng phần mềm mã nguồn mở Luccene tìm kiếm tồn văn Elasticsearch, khơng phải có kích thước khổng lồ liệu để hồn thành việc lập mục phân phối thu hồi, mà cịn cung cấp phân tích tổng hợp số liệu, logstach đối phó hiệu với nhiều nguồn liệu khác từ thông tin đăng nhập, bảng điều khiển Kibana phân tích kết trực quan Cùng với đó, Windows server 2019 ngày sử dụng phổ biến rộng rãi Và dễ nhận thấy việc ghi lại hoạt động hệ thống mang lại nhiều lợi ích vơ cần thiết Tuy nhiên việc để phân tích file log nhiều người chuyện dễ dàng làm Mà đặc biệt Windows server 2019 người chưa thao tác nhiều với việc phân tích hoạt động hệ thống Đây lý chúng em chọn đề tài “Quản lý Logs” làm đề tài môn học Đề tài bao gồm nội dung sau: Chương 1: Khái quát quản lý Logs Chương 2: Quản lý Logs Chương 3: Hệ thống quản lý Logs Chương 4: Demo DANH MỤC HÌNH ẢNH Hình Giai đoạn xử lý kiện Logstach 17 Hình Một số đầu vào thường sử dụng 17 Hình 3 Quy trình xử lý kiện .18 Hình Hình ảnh pha cuối Logstach 19 Hình Hoạt động Elasticsearch .20 Hình Bản chất inverted index .21 Hình Hình ảnh thuộc tính Cluster name 22 Hình Chức Cluster 23 CHƯƠNG : KHÁI QUÁT VỀ QUẢN LÝ LOGS 1.1 Khái niệm 1.2 Chức Logs phương tiện theo dõi kiện xảy số phần mềm chạy Nhà phát triển phần mềm thêm lệnh gọi Logs vào code họ biết số kiện định xảy Một kiện mô tả thơng báo mơ tả tùy chọn chứa liệu biến (tức liệu có khả khác lần xảy kiện) Sự kiện có tầm quan trọng mà nhà phát triển quy định cho kiện; tầm quan trọng gọi mức độ mức độ nghiêm trọng Logging cung cấp tập hợp chức tiện lợi để sử dụng logging đơn giản Đó debug (), info (), warning (), error () critical () Để xác định thời điểm sử dụng logging, xem bảng bên dưới, cho biết công cụ tốt để sử dụng cho nhóm tác vụ phổ biến nhóm tác vụ phổ biến Tác vụ Công cụ thực Hiển thị đầu bảng điều khiển để print() sử dụng thông thường tập lệnh chương trình dịng lệnh Báo cáo kiện xảy trình hoạt động bình thường chương trình (ví dụ: để giám sát trạng thái điều tra lỗi) logging.info() (or logging.debug()) Đưa cảnh báo kiện thời gian chạy cụ thể warnings.warn() thư viện code vấn đề tránh ứng dụng client nên sửa đổi để loại bỏ cảnh báo logging.warning() ứng dụng client khơng thể làm với tình này, kiện cần lưu ý Báo cáo việc loại bỏ lỗi mà không nêu ngoại lệ (ví dụ: trình xử lý lỗi quy trình máy chủ chạy dài) logging.error(), logging.exception() or logging.critical() phù hợp với lỗi cụ thể miền ứng dụng CHƯƠNG : QUẢN LÝ LOGS 2.1 Khái quát Khi bạn viết tập lệnh chạy từ dịng lệnh, thơng báo thường xuất thiết bị đầu cuối nơi chúng chạy Có thể cải thiện khía cạnh cách giới thiệu số loại chế ghi tin nhắn tệp sở liệu Python cung cấp Logging module phần thư viện chuẩn Logging Python xây dựng dựa cấu trúc phân cấp ghi log Trong số trường hợp sử dụng module này, làm bật điều sau:  Debugging: Nơi mã nguồn kiểm tra tìm kiếm lỗi  IT Forensic Analysic: Để xác định nguyên nhân cố bảo mật, chẳng hạn cơng hacker, sẵn file ghi log  IT Audit: Kiểm tra log giúp xác định xem hành động người dùng có xảy dự kiến liệu tính bảo mật tính tồn vẹn liệu có đảm bảo hay không Sau giới thiệu Logging module, tiếp tục nghiên cứu mức độ nghiêm trọng mà cung cấp để kiểm sốt loại thông báo khác mà ứng dụng hỗ trợ tuỳ thược vào logic kết hợp 2.2 Logging level Python Logging cung cấp năm mức độ nghiêm trọng khác nhau, đánh dấu debug, info, warning, error, and critical errors: 2.2.1 Debug Log dùng để debug (rất nhiều hỗn loạn) Mục đích sử dụng thường dành cho developer Thông thường đặt log level enable môi trường LOCAL/DEVELOPING disable PRODUCTION số lượng liệu log nhiều Tuy nhiên phải enable lại level log PRODUCTION để thực ghi log phát lỗi xảy PRODUCTION (Khơng phát sinh local) Ví dụ: Hệ thống liệu PRODUCTION thường lớn nhiều so với DEVELOPING nên số lượng trường hợp xảy áp liệu vào phần mềm nhiều Các test-case chưa bao quát hết lỗi > Việc đặt debug giúp developer/tester giả lập lại xác tồn thao tác, workflow cụm liệu vào/đi khỏi phần mềm 2.2.2 Info Log mang tính chất cung cấp thông tin chung, không nên mang ý nghĩa định lỗi Ví dụ: Hành vi đăng nhâp vào hệ thống tài khoản nào, version phần mềm, 2.2.3 Warn (Warning) Log lại lỗi tiềm ẩn, gây lỗi chưa ảnh hưởng đến trải nghiệm người dùng Ví dụ: Khách hàng cố tình nhấn nhiều lần vào button toán người dùng khơng đủ điều kiện để tốn, warning log lại khách hàng "cố gắng" làm sai với hướng dẫn 2.2.4 Error Log lại event hệ thống gây lỗi tương đối lớn, gây ảnh hưởng đến trải nghiệm người dùng Ví dụ: Khách hàng tốn tiền cho dịch vụ A trừ tiền khách hàng hệ thống toán tải Mỗi ERROR ghi vào log-files để sau đối soát lỗi tải gây ảnh hưởng đến khách hàng 2.2.5 Critical Log định để ghi lỗi nghiêm trọng, chí gây gián đoạn dịch vụ, treo/crash phần mềm Ví dụ: Phần mềm sử dụng nhiều, chiếm dụng RAM nhiều, gây tràn memory, phần mềm trước bị tự tắt đưa thông báo 2.3 Các thành phần mô_đun Logging 2.3.1 Các thành phần chính của Logging module: 2.3.1.1 Logger: Ghi lại hành động trình thực thi chương trình.Sử dụng hàm logging.getLogger(logger_name) 2.3.1.2 Handler Là lớp xác định cách giao diện đối tượng xử lý hoạt động Để đặt điểm đến, bạn phải sử dụng loại xử lý StreamHandler gửi liệu đến luồng, FileHandler gửi liệu vào tệp Bạn dử dụng số loại trình xử lý gửi tin nhắn từ logger Điều hữu ích, chẳng hạn bạn cần hiển thị debugging bảng điều khiển log khác thông báo lỗi tệp log 2.3.1.3 Formatter Có thể sử dụng trực tiếp đối tượng mã ứng dụng Với trường hợp này, bạn xác định format phát hành tệp log 2.3.2 Một số ví dụ ứng dụng cho mô-đun Logging module Nhiệm cụ thay đổi cấp độ với mơ-đun Logging Python Nhập lệnh để thay đổi sang mức Debug logging.basicConfig(level=logging.DEBUG): Đây ví dụ đơn giản việc sử dụng mô-đun logging Thông báo bao gồm mức cảnh báo mô tả kiện: Một cách sử dụng cung cấp cho thơng báo với ngày thời gian Bạn bật thời gian logs sau: Thay đổi format ngày cách thêm đối số datefmt sau: Đăng ký kiện file phổ biến Bạn chuyển hướng đầu đến tệp cách sử dụng FileHandler thông qua thuộc tính file đặt cấu hình logging Tập lệnh sau tạo file có tên FileHandler.log có chứa thơng tin log Bạn tìm file logging_fileHandler.py: Trong tập lệnh trước, sử dụng mô-đun logging để lưu tin file với mức gỡ debug, info warning khác Một giải pháp thay để ghi logs vào file lớp FileHandler từ mơ-đun logging Trong ví dụ sau, tạo đối tượng FileHandler để thêm thông báo DEBUG vào file có tên debug.log Bạn tìm thấy file message_handler.py: Trong đoạn code trước, sử dụng phương thức setLevel(), nơi bạn đặt mức độ nghiêm trọng tối thiểu mà thông báo log yêu cầu để chuyển tiếp đến trình xử lý Đối tượng fileHandler tạo file log debug.log, gửi cho bạn thông báo log tạo phương thức addHandler() định trình xử lý tương ứng cho trình ghi log Định cấu hình format cách sử dụng thuộc tính định dạng để hiển thị thông báo log với ngày, giờ, tên logger, cấp độ log liệu thông báo Trong ví dụ sau, hai handler xác định file cấu hình logging.config, cấp bảng điều khiển loại StreamHandler cấp file loại FileHandler:   StreamHandler ghi dấu vết với mức INFO vào đầu tiêu chuẩn FileHandler ghi dấu vết với mức DEBUG vào file tiêu chuẩn gọi fileHandler.log Trong file cấu hình handler, sử dụng TimeRotatingFileHandler, cung cấp khả xoay tự động file log Bạn tìm thấy file logging.config: 10 Trong đoạn code trước, định nghĩa StreamHandler, công cụ ghi thông báo log với mức DEBUG vào đầu tiêu chuẩn Tiếp tục với RotatingFileHandler, viết thông báo log với cấp độ INFO vào tệp tiêu chuẩn có tên RotatingFileHandler.log: Tập lệnh sau cho bạn cách đọc cấu hình ghi nhật ký từ tệp JSON trước Bạn tìm thấy mã sau file logging_json.py: 17 Trong tập lệnh trước, tải tệp logging.json mô-đun json Để đặt cấu hình mơ-đun logging, sử dụng phương thức dictConfig() thơng tin cung cấp giống từ điển Một phương pháp hay áp dụng tập lệnh ghi lại thơng báo lỗi ngoại lệ xảy Trong tập lệnh sau, đọc tệp từ đường dẫn không tồn tại, điều gây ngoại lệ, xử lý cách sử dụng mơ-đun logging Bạn tìm thấy file message_handler.py: Như bạn thấy đầu tập lệnh trước, cách gọi phương thức logger với tham số exc_info = True cách sử dụng phương thức exception(), truy xuất kết xuất vào logger: Trong phần này, phân tích cách mơ-đun Logging Python sử dụng để debugging tập lệnh để ghi lại thơng báo log sử dụng sau cần biết điều xảy ứng dụng Tại thời điểm này, mơđun Logging Python giúp nhà phát triển dễ dàng 18 CHƯƠNG : HỆ THỐNG QUẢN LÝ LOGS 3.1 Logstash 3.1.1 Logstash gì? Logstash cơng cụ mã nguồn mở thu thập liệu có khả liên hợp theo thời gian thực Logstash hợp liệu từ nguồn khác chuẩn hóa liệu phần xử lý Loại bỏ đồng hóa tất liệu số use case cần phân tích thể biểu đồ Logstash có thành phần bước xử lý logstash là: - Input: Nó lấy đầu vào từ TCP/UDP, file, từ syslog, Microsoft Windows EventLogs, STDIN từ nhiều nguồn khác Chúng ta lấy log từ ứng dụng môi trường đẩy chúng tới Logstash - Filter: Khi log tới Server Logstash, có số lượng lớn lọc mà cho phép ta chỉnh sửa chuyển đổi event Ta lấy rac ác thông tin mà ta cần từ envent log - Output: Khi xuất liệu ra, Logstash hỗ trợ nhiều đích tới bao gồm TCP/UDP, email, file, HTTP, Nagios số lượng lớn dịch vụ mạng Ta tích hợp Logstash với cơng cụ tính tốn số liệu (metric), cơng cụ cảnh báo, dạng biểu đồ, công nghệ lưu trữ hay ta xây dựng cơng cụ môi trường làm việc 3.1.2 Logstach hoạt động nào? Hình Giai đoạn xử lý kiện Logstach Đường ống xử lý kiện Logstash có ba giai đoạn: input → filter → output Các đầu vào tạo kiện, lọc sửa đổi chúng đầu chuyển chúng tới nơi khác Đầu vào đầu hỗ trợ codec cho phép bạn mã hóa giải mã liệu vào khỏi đường dẫn mà sử dụng lọc riêng biệt 19 Hình Một số đầu vào thường sử dụng Chúng ta sử dụng Input để lấy liệu vào Logstash Một số đầu vào thường sử dụng :     File : đọc từ tệp hệ thống, giống lệnh UNIX tail -0F Syslog : nghe cổng 514 tiếng cho thông báo nhật ký hệ thống phân tích cú pháp theo định dạng RFC3164 Redis thường sử dụng “broker” mô hình Logstash tập trung, có hàng đợi kiện Logstash từ “shippers” từ xa Beats : xử lý kiện beats gửi HìnhQuy 3.trình Quy trình kiện Hình 3.3 xử lýxử cáclý Filter thiết bị xử lý trung gian đường dẫn Logstash Chúng ta kết hợp lọc với điều kiện để thực hành động 20 kiện đáp ứng tiêu chí định Một số lọc hữu ích bao gồm :      Grok : phân tích cú pháp cấu trúc văn tùy ý - chỉnh sửa định dạng log từ client gửi Grok cách tốt Logstash để phân tích cú pháp liệu nhật ký khơng cấu trúc thành thứ có cấu trúc truy vấn Với 120 mẫu tích hợp sẵn Logstash, nhiều khả tìm thấy mẫu đáp ứng nhu cầu Mutate : thực phép biến đổi chung trường kiện Bạn đổi tên, xóa, thay sửa đổi trường kiện Drop : xóa hồn tồn kiện, ví dụ: debug events Clone : tạo kiện, thêm xóa trường Geoip : thêm thơng tin vị trí địa lý địa IP (cũng hiển thị biểu đồ tuyệt vời Kibana) Hình Hình ảnh pha cuối Logstach Các đầu pha cuối đường ống Logstash Một kiện qua nhiều đầu ra, tất xử lý đầu hoàn tất, kiện hoàn tất việc thực thi Một số đầu thường sử dụng bao gồm :     Elasticsearch : gửi liệu kiện tới Elasticsearch Nếu có kế hoạch để lưu liệu định dạng hiệu quả, thuận tiện, dễ dàng truy vấn … Elasticsearch đường để File : ghi liệu kiện vào file nhớ Graphite : gửi liệu kiện tới graphite, công cụ nguồn mở phổ biến để lưu trữ vẽ đồ thị số liệu Statsd : gửi liệu kiện đến statsd, dịch vụ lắng nghe thống kê 21 3.1.3 Một số mẫu khai báo input, output - Ví dụ file input - Ví dụ file output: 3.2 Elasticsearch 3.2.1 Elasticsearch gì? Khái niệm Elasticsearch có nhiều tìm kiếm Google tổng hợp lại Elasticsearch : Elasticsearch công cụ tìm kiếm phân tích phân tán, RESTful mã nguồn mở xây dựng Apache Lucene Kể từ phát hành vào năm 2010 Elasticsearch nhanh chóng trở thành cơng cụ tìm kiếm sử dụng thơng dụng sử dụng rộng rãi trường hợp liên quan đến phân tích nhật ký tìm kiếm văn bản, thơng tin bảo mật phân tích nghiệp vụ thơng tin vận hành Vì cơng cụ mã nguồn mở miễn phí hồn tồn cài đặt sử dụng cần có máy cài Linux 22 3.2.2 Các khái niệm bản của Elasticsearch Hình3.5 5.Hoạt Hoạtđộng động Elasticsearch Hình Elasticsearch 3.2.2.1 Document Là đơn vị nhỏ để lưu trữ liệu Elasticsearch Đây đơn vị lưu trữ thông tin Elasticsearch, JSON object số liệu Ví dụ : Chào mừng đến với Cloud 365, 3.2.2.2 Index Trong Elasticsearch có cấu trúc tìm kiếm gọi inverted index, thiết kế phép tìm kiếm full-text search Cách thức đơn giản, văn tách thành từ có nghĩa sau map xem thuộc văn search kết cụ thể Có kiểu đánh index forward index inverted index Bản chất inverted index đánh theo keyword: words -> pages forward đánh theo nội dung page -> words 23 Hình Bản chất inverted index 3.2.2.3 Shard Shard đối tượng Lucence, tập hợp Index.Một index lưu nhiều shard Một node bao gồm nhiều Shard, shard đối tượng nhỏ nhât hoạt động mức thấp nhất, đóng vai trị lưu trữ liệu Chúng ta không làm việc với shard Elasticsearch hỗ trợ tồn việc giao tiếp tự động thay đổi Shard cần thiết Elasticsearch cung cấp chế shard primary shard replica shard Primary shard lưu trữ liệu đánh Index, sau đánh liệu xong vận chuyển đến replica shard, mặc định Elasticsearch index có Primary shard kèm với Replica shard Replica shard nơi lưu trữ liệu nhân Elasticsearch, đóng vai trị đảm bảo tính tồn vẹn liệu Primary shard xảy vấn đề, ngồi cịn giúp tăng tốc độ tìm kiếm cấu hình lượng Replica shard nhiều cấu hình mặc định Elasticsearch 3.2.2.4 Node Là trung tâm hoạt động Elasticsearch, nơi lưu trữ liệu, tham gia thực đánh index cluster thực thao tác tìm kiếm 24 lặp Mỗi node xác định tên riêng không phép trùng 3.2.2.5 Cluster Hình Hình ảnh thuộc tính Cluster name Tập hợp node hoạt động với nhau, chia sẻ với thuộc tính cluster name Chính cluster xác định tên riêng không phép trùng lặp Việc tên cluster elasticsearch mà trùng nhai gây lỗi cho node cấu hình cần phải ý Mỗi cluster có node gọi master, node master lựa chọn cách tự động thay đổi có cố xảy Một cluster bao gồm nhiều nodes Các nodes hoạt động server Tuy nhiên thực tế, cluster gồm nhiều nodes hoạt động server khác để đảm bảo server gặp cố node server khác hoạt động đầy đủ chức Các node tìm thấy để hoạt động clustẻ thông qua giao thức Unicast Chức Cluster định xem shard phân bổ cho node di chuyển Cluster để cần lại Cluster Hình Chức Cluster 25 3.2.3 Ưu điểm của Elasticsearch Có khả tìm kiếm phân tích liệu Có khả mở rộng theo chiều ngang Hỗ trợ tìm kiếm từ khóa tìm kiếm bị lỗi Hỗ trợ Elasticsearch client Java, Php, JS, Ruby,… 3.2.4 Nhược điểm của Elasticsearch Elasticsearch thiết kế cho mục đích search sử dụng nên sử dụng kèm theo DB khac MongoDB hay Mysql Trong Elasticsearch khơng đảm bảo tồn vẹn liệu hoạt động Insert, Update hay Delete Khơng thích hợp với hệ thống thường xun cập nhật liệu Sẽ tốn cho việc đánh index liệu 3.4 Kibana logs Kibana Logs cách tuyệt vời để xem xảy ứng dụng bạn để gỡ lỗi vấn đề hiệu suất Điều hướng thông qua số lượng lớn logs tạo áp đảo sau số kỹ thuật mà bạn sử dụng để tối ưu hóa quy trình Bắt đầu cách xác định lĩnh vực vấn đề mà bạn quan tâm Ví dụ: bạn quan tâm đến việc xem Plugin Kibana cụ thể hoạt động nào, khơng cần phải thu thập nhật ký cho tất Kibana Hoặc bạn muốn tập trung vào tính cụ thể, chẳng hạn yêu cầu từ máy chủ Kibana đến máy chủ Elasticsearch Tùy thuộc vào nhu cầu bạn, bạn cấu hình Kibana để tạo nhật ký cho tính cụ thể logging: appenders: file: type: file fileName: /kibana.log layout: type: json ### gather all the Kibana logs into a file logging.root: appenders: [file] level: all ### or gather a subset of the logs logging.loggers: 26 ### responses to an HTTP request - name: http.server.response level: debug appenders: [file] ### result of a query to the Elasticsearch server - name: elasticsearch.query level: debug appenders: [file] ### logs generated by my plugin - name: plugins.myPlugin level: debug appenders: [file] 27 Appender Kibana cấu hình để tạo nhật ký định dạng ECS JSON Đây định dạng bao gồm thông tin meta cần thiết cho mối tương quan nhật ký hộp.file Bước xác định cơng cụ quan sát có sẵn Để có trải nghiệm tốt hơn, thiết lập tích hợp Observability cung cấp Elastic để gỡ lỗi ứng dụng bạn với giao diện người dùng APM Để gỡ lỗi một cách nhanh chóng mà khơng cần thiết lập cơng cụ bổ sung, bạn làm việc với ghi Kibana đơn giản 3.4.1 Giao diện người dùng APM biên tập Điều kiện tiên Kibana logs cấu hình theo định dạng ECS JSON để bao gồm mã định danh truy tìm Để gỡ lỗi Kibana với giao diện người dùng APM, bạn phải thiết lập sở hạ tầng APM Bạn tìm thấy hướng dẫn cho trình thiết lập trang Tích hợp Quan sát Khi bạn thiết lập sở hạ tầng APM, bạn bật đại lý APM đặt Kibana tải để thu thập kiện APM Để phân tích số liệu nhật ký thu thập, sử dụng giao diện người dùng APM trình bày t rong tài liệu 3.4.2 Plain Kibana logs Điều kiện tiên Kibana logs cấu hình theo định dạng ECS JSON để bao gồm mã định danh truy tìm Mở Kibana logs tìm kiếm hoạt động mà bạn quan tâm Ví dụ: giả sử bạn muốn điều tra thời gian phản hồi cho truy vấn đến điểm cuối Kibana Mở Nhật ký Kibana tìm kiếm phản hồi máy chủ HTTP cho điểm cuối Nó trơng tương tự sau (một số trường bỏ qua cho ngắn gọn)./api/telemetry/v2/clusters/_stats { } "message":"POST /api/telemetry/v2/clusters/_stats 200 1014ms - 43.2KB", "log":{"level":"DEBUG","logger":"http.server.response"}, "trace": {"id":"9b99131a6f66587971ef085ef97dfd07"}, "transaction": {"id":"d0c5bbf14f5febca"} Bạn quan tâm đến trường trace.id, định danh dấu vết Nó cung cấp cách để nhóm nhiều kiện, giao dịch, thuộc Bạn tìm kiếm để có tất ghi thuộc dấu vết Điều cho phép bạn xem có u cầu Elasticsearch kích hoạt q trình theo dõi, chúng trơng nào, điểm cuối Elasticsearch bị đánh nào, v.v.trace.id"trace":{"id":"9b99131a6f66587971ef085ef97dfd07"}9b99131a6f6658 7971ef085ef97dfd07 28 KẾT LUẬN Gỡ lỗi bước quan trọng dự án phát triển phần mềm Mô-đun logging phần thư viện Python chuẩn, cung cấp khả theo dõi kiện xảy phần mềm chạy xuất kiện file log riêng biệt phép bạn theo dõi xảy mã bạn chạy Điều cung cấp cho bạn hội gỡ lỗi mã bạn dựa việc hiểu kiện khác xảy chạy chương trình bạn theo thời gian 29 TÀI LIỆU THAM KHẢO     What is Log Management? Importance & Best Practices | Humio https://mentorofdev.com/2021/08/23/he-thong-quan-ly-logs-tap-trung-elk/ https://blog.cloud365.vn/logging/ELK-part-6-Tim-hieu-ve-logstash/ https://blog.cloud365.vn/logging/ELK-part3-Tim-hieu-Elasticsearch/ 30 CHƯƠNG 4: DEMO 31 ... thống Đây lý chúng em chọn đề tài ? ?Quản lý Logs? ?? làm đề tài môn học Đề tài bao gồm nội dung sau: Chương 1: Khái quát quản lý Logs Chương 2: Quản lý Logs Chương 3: Hệ thống quản lý Logs Chương... THỐNG QUẢN LÝ LOGS 3.1 Logstash 3.1.1 Logstash gì? Logstash cơng cụ mã nguồn mở thu thập liệu có khả liên hợp theo thời gian thực Logstash hợp liệu từ nguồn khác chuẩn hóa liệu phần xử lý Loại... “broker” mơ hình Logstash tập trung, có hàng đợi kiện Logstash từ “shippers” từ xa Beats : xử lý kiện beats gửi HìnhQuy 3 .trình Quy trình kiện Hình 3.3 xử lýxử cáclý Filter thiết bị xử lý trung gian