An Introduction to ZABBIX, the System that Regularly Monitors Server Resources
JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn ISSN: 1859-1272 An Introduction to ZABBIX, the System that Regularly Monitors Server Resources Ngoc-Hung-Anh Nguyen1, Quang-Long Vo2, Minh-Son Tran3, Thu-Ha Tran2* 1Posts and Telecommunications Institute of Technology, Vietnam Chi Minh City University of Technology and Education, Vietnam 3Ho Chi Minh City University of Technology (HUTECH), Vietnam 2Ho * Corresponding author Email: thuha@hcmute.edu.vn ARTICLE INFO Received: 4/3/2022 Revised: 14/3/2022 Accepted: 24/3/2022 Published: 28/4/2022 ABSTRACT The article summarizes the protocols and systems used in managing and monitoring resources of server systems operating regularly 24/24 hours and 7/7 days a week, providing the most comprehensive "health" status information of the server Zabbix, an open source application, has emerged as a versatile candidate to support diverse, centralized or distributed network connections The article focuses first on introducing in detail the features of the Zabbix system Then a real deployment of Zabbix in a specific application is also described: a real-time alert monitoring of unusual resource changes for the digital television system on the open Internet called OTT3A (Over The Top with Adaptivities) Based on OTT technology, the OTT3A is developed by the HCMUTE reseachers with new adaptivities to improve the effeciency of the video streaming over the Internet Firstly, the bitrate adaptivity is improved with the spatial and temporal optimatisation, providing better image quality in the bandwidth incertainty of the public Internet Secondly, broadcasted contents are ordered in a topic adaptivity for faster research of a content to be viewed And finally, a resource adaptivity is proposed to exploit better the sub network bandwidth whenever there are a group of viewers comsumming already the same content The system is a good usecase for benchmarking Zabbix application in daily continuous system monitoring according to the criteria: CPU’s load, percentage of memory usage, the transmission bandwidth of the LAN cards, the hard drive usage status KEYWORDS Open source; Computer resources; Digital TV; Zabbix; OTT3A Giới Thiệu Về Zabbix, Hệ Thống Giám Sát Thường Xuyên Tài Nguyên Của Máy Chủ Nguyễn Ngọc Hùng Anh1, Võ Quang Long2, Trần Minh Sơn3, Trần Thu Hà2* 1Học viện Công nghệ Bưu Viễn thơng, Việt Nam Đại học Sư phạm Kỹ thuật TP.HCM, Việt Nam Đại học Công nghệ TP.Hồ Chí Minh, Việt Nam 2Trường * Tác giả liên hệ: thuha@hcmute.edu.vn THÔNG TIN BÀI BÁO Ngày nhận bài: 4/3/2022 Ngày hoàn thiện: 14/3/2022 Ngày chấp nhận đăng: 24/3/2022 Ngày đăng: 28/4/2022 TỪ KHÓA Mã nguồn mở; Tài nguyên máy tính; Truyền hình số; Zabbix; JTE, Issue 69, April 2022 TĨM TẮT Bài báo tóm tắt giao thức hệ thống dùng việc quản lý giám sát tài nguyên hệ thống máy chủ hoạt động thường xuyên 24/24 7/7 ngày tuần để cung cấp thơng tin tình trạng sức khỏe máy chủ cách toàn diện Zabbix, ứng dụng mã nguồn mở, lên ứng cử viên đa năng, linh động hỗ trợ kết nối mạng đa dạng khác tập trung phân tán Bài báo tập trung mơ tả kỹ tính hệ thống Zabbix triển khai công cụ cho ứng dụng cụ thể: giám sát cảnh báo theo thời gian thực biến đổi tài nguyên bất thường cho hệ thống truyền hình số OTT3A mạng Internet tảng từ công nghệ OTT, thống truyền hình số mặt đất với tương thích OTT3A (Over The Top with Adaptivities) phát triển nhóm nghiên cứu HCMUTE có thêm tính tương thích tương thích đường truyền băng thơng thay đổi JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn ISSN: 1859-1272 OTT3A – Truyền hình số mặt đất tảng Internet độc lập với lớp tưởng thích bảo đảm hình ảnh đầu ra, hiển thị kênh có nội dung giúp người dùng nhanh chóng tìm kênh truy cập tương thích nguồn phát tăng tốc độ truyền dẫn củng cố hiệu truyền hình số OTT3A môi trường tốt để đánh giá việc áp dụng Zabbix việc giám sát hệ thống liên tục hàng ngày thời gian thực theo tiêu chí: tải CPU, phần trăm sử dụng nhớ, băng thông truyền dẫn thẻ mạng LAN tình trạng sử dụng ổ đĩa cứng Doi: https://doi.org/10.54644/jte.69.2022.1148 Copyright © JTE This is an open access article distributed under the terms and conditions of the Creative Commons Attribution-NonCommercial 4.0 International License which permits unrestricted use, distribution, and reproduction in any medium for non-commercial purpose, provided the original work is properly cited Giới thiệu Sự đời máy tính cá nhân, kết nối máy tính cá nhân từ khắp nơi giới với múi trái ngược qua mạng Internet toàn cầu, đến xuất tảng dịch vụ đám mây làm cho hệ thống máy tính ngày phải hoạt động không ngừng nghỉ Con người theo dõi giám sát thường trực hệ thống liên tục kết nối để cung cấp dịch vụ suốt 24/24 7/7 ngày tuần, nhu cầu phải tự động hóa việc giám sát, có điều kiện bất thường vượt qua số ngưỡng cho phép, báo động kích hoạt tự động Chỉ người cần phải diện để tham gia vào trình xử lý cố Mục tiêu báo điểm lại tính hệ thống mã nguồn mở sử dụng cho mục đích giám sát tự động hệ thống dịch vụ máy tính Bài báo đề xuất ứng dụng mã nguồn mở tối ưu hóa chi phí cho cơng tác vận hành, bảo trì cảnh báo ”sức khỏe ” hệ thống máy chủ Trong phần 2, báo giới thiệu ứng cử viên ứng dụng giám sát thị trường phần tập trung vào giải pháp Zabbix, hệ sinh thái giám sát dễ sử dụng toàn vẹn Đề xuất thiết kế ứng dụng Zabbix giám sát máy chủ hệ thống truyền hình số mặt đất với tương thích tảng Internet độc lập OTT3A phần Giao thức hỗ trợ phần mềm giám sát mạng 2.1 Giao thức định tuyến mạng SNMP (Simple Network Management Protocol) [1] hệ thống cho phép người quản trị thay đổi trạng thái thiết bị, theo dõi tốc độ đường truyền, biết tổng số “byte” truyền nhận, lấy thơng tin cấu hình máy chủ tự động nhận cảnh báo thiết bị có cổng mạng bị hư Hình Kiến trúc hệ thống SNMP Có hai phương thức giám sát mạng hệ thống SNMP (Hình 1) Poll Alert: Poll: Là hệ thống trung tâm giám sát thường xuyên gửi thông báo theo dõi thông tin thiết bị cần giám sát cập nhật thông tin từ thiết bị Alert: Là phương thức mà thiết bị tự động gửi thông báo cho hệ thống trung tâm giám sát có cố thiết bị, hệ thống giám sát không cần gửi thông báo định kỳ 2.2 Các phần mềm giám sát mạng Phần mềm giám sát mạng Cacti [2]: phần mềm mã nguồn mở giao diện đồ họa viết JTE, Issue 69, April 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn ISSN: 1859-1272 PHP/MySQL Cung cấp cho người quản trị mẫu đồ thị, phương thức tổng hợp liệu công cụ quản lý Phần mềm cho phép người dùng phân quyền liệu đưa cảnh báo hệ thống gặp cố việc gửi thư điện tử, tin nhắn hay nhiều tính khác Phần mềm giám sát mạng Icinga [3]: hệ thống mã nguồn mở có chức giám sát hệ thống mạng, máy chủ, dịch vụ; thông báo tới người dùng hệ thống có cố đưa báo cáo kịp thời Phần mềm Icinga xây dựng dựa mã nguồn phát triển từ hệ thống giám sát Nagios Phần mềm giám sát mạng Nagios [4]: phần mềm mã nguồn mở giám sát hệ thống mạng, phần mềm thực theo dõi đưa cảnh báo trạng thái máy chủ dịch vụ thiết bị Phần mềm xây dựng tảng Linux nên hỗ trợ hầu hết hệ điều hành Linux Nagios cài đặt máy trạm, thực kiểm tra thông tin máy trạm, dịch vụ định kỳ gửi thông tin cho máy chủ Nagios hiển thị giao diện Web Cấu trúc hệ thống ZABBIX Khác với công cụ mô tả phần 2, Zabbix ứng dụng tương đối đơn giản, dễ chỉnh sửa đặc biệt hỗ trợ tính đồ họa để tạo lưu đồ quản lý trực quan Zabbix công cụ mã nguồn mở để giải vấn đề giám sát cho thành phần mạng máy tính bao gồm server, router, switch Cơng cụ sử dụng chế thông báo linh hoạt thông tin thành phần mạng cho phép người dùng cấu hình Email cảnh báo, nhắn tin thời gian gian thực qua Telegram cho kiện bất thường Điều cho phép giải nhanh kịp thời vấn đề hạ tầng mạng Tất báo cáo, thống kê, lịch sử số đo thơng số cấu hình Zabbix truy cập tập trung thông qua giao diện web Giao diện giúp theo dõi tình trạng hệ thống mạng hệ thống server Zabbix đóng vai trị quan trọng việc theo dõi sở hạ tầng công nghệ thông tin Điều phù hợp cho tổ chức nhỏ có server cơng ty lớn với nhiều server Hình mơ tả thành phần cơng cụ Zabbix dùng giám sát mạng máy tính phục vụ cho dịch vụ OTT3A mơ tả phần Hình Sơ đồ kết nối mạng giám sát công cụ Zabbix Kiến trúc hệ thống Zabbix bao gồm thành phần bản: Zabbix Server, Zabbix Proxy, Zabbix Agent Zabbix Web Frontend Zabbix Server: Đây thành phần trung tâm phần mềm Zabbix Server kiểm tra dịch vụ mạng từ xa (web server mail server) Agent báo cáo tồn thơng tin số lượng thống kê cho server Server lưu trữ tất cấu hình liệu thống kê JTE, Issue 69, April 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE ISSN: 1859-1272 Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn Zabbix Proxy: Proxy thành phần tùy chọn Zabbix Proxy thu nhận liệu, lưu nhớ đệm chuyển đến Zabbix server Zabbix Proxy giải pháp lý tưởng cho giám sát tập trung địa điểm từ xa, chi nhánh, mạng lưới khơng có quản trị viên địa phương Zabbix proxy sử dụng để phân phối tải đơn Zabbix Server Zabbix proxy giúp giảm tải cho Zabbix Server nhờ vào việc thu thập liệu chuyển cho Zabbix server Trong hệ thống OTT3A thời điểm thử nghiệm tại, proxy không cần thiết đưa vào sử dụng Zabbix Agent: Agent thành phần cài đặt máy chủ, thiết bị mạng cần giám sát Agent thu thập thông tin hoạt động (ổ cứng, nhớ, xử lý số liệu thống kê ) từ hệ thống mà chạy báo cáo liệu đến Zabbix server để xử lý tiếp Trong trường hợp lỗi (ổ cứng đầy tiến trình chết…), Zabbix server nhận thơng tin gửi cảnh báo cho người quản trị cố Zabbix agent hoạt động theo nguyên lý chính: Nguyên lý thụ động: Zabbix server theo chu kỳ gửi yêu cầu đến Zabbix Agent để nhận lại giá trị đo tiêu chí cho trước xác định sẵn cho thiết bị giám sát Agent Nguyên lý chủ động: Trong trường hợp thiết bị giám sát nằm sau cổng kết nối (NAT), chặn các gói tin yêu cầu từ Zabbix server, Zabbix agent chỉnh sang chế độ chủ động: Agent tự gửi giá trị đo theo chu kỳ đến server mà khơng cần tín hiệu kích họat từ server chế độ thụ động Zabbix Web Frontend, Zabbix Database: Hai thành phần cài đặt chung với Zabbix server Zabbix Web frontend giao diện web viết ngôn ngữ lập trình PHP, cho phép người quản trị hệ thống cấu hình, giám sát, xem liệu thu thập từ nhiều thiết bị mạng khác trang web tập trung Zabbix Database sở liệu cho Zabbix server MySQL sở liệu tiêu biểu để đồng hành với hoạt động Zabbix Tất tham số đo tất thiết bị giám sát Zabbix ghi nhận vào sở liệu Hình mơ tả hoạt động Zabbix server thực theo chu kỳ xảy cho tất thiết bị giám sát máy chủ Các giá trị đo gửi máy chủ Zabbix (theo cách chủ động hay thụ động) cách đặn (từng phút) Hình Luồng xử lý Zabbix server với Zabbix Agent chế độ thụ động Đối với tiêu chí, mức cảnh báo khác thiết lập trước Khi giá trị đo nhận vượt ngưỡng cho phép, tính hiệu báo động tạo gửi cho người liên quan qua email hay nhắn tin (tùy vào việc cài đặt Zabbix server) Trong trường hợp, giá trị đo lưu vào cở sở liệu để lưu trữ cho lần hậu kiểm/thống kê sau JTE, Issue 69, April 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn ISSN: 1859-1272 Để xác định giá trị ngưỡng báo động cho tiêu chí, ứng dụng khác cần chọn giá trị khác Trong trường hợp OTT3A, nhớ CPU thường xuyên không vượt qua 80% OTT3A ứng dụng nén giải nén, cần nhiều tài nguyên nhớ CPU Phần dự trữ 20% tài nguyên đủ để bảo đảm tạm thời hoạt động hệ thống chờ đợi nâng cấp Giá trị ngưỡng dung lượng dĩa cứng gửi cảnh báo 10GB Đây dung lượng đủ cho tiếng ghi video chất lượng cao, thời gian đủ để xử lý tình trạng thiếu lưu trữ Ứng dụng ZABBIX giám sát hệ thống OTT 4.1 Giới thiệu hệ thống OTT3A Nhóm nghiên cứu HCMUTE phát triển hệ thống OTT3A, phiên cải tiến truyền hình số tảng Internet độc lập ([5]) Hệ thống OTT3A mang tính tương thích đặc trưng khắc phục thách thức OTT ([6]) sau: Tương thích với đường truyền Internet (A1): Tự động điều chỉnh độ rộng băng tầng thu (đồng nghĩa với chất lượng thu hình) cách tối ưu theo chất lượng thực tế đường truyền; Giải toán tối ưu cho việc chọn lựa chất lượng nội dung phù hợp với thay đổi băng thông đường truyền mà bảo đảm chất lượng hình ảnh Tương thích với số lượng kênh phát (A2): hiển thị kênh có tín hiệu bảo đảm; Có khả điều chỉnh, thay đổi số lượng kênh TV linh hoạt tức thời nhằm phục vụ tối đa kênh TV cho người xem; Phân loại kênh TV theo nội dung phát, khơng thiết phải theo nhóm đài phát (VTV, VTC, HTV,…) nhằm giúp người xem nhanh chóng bật chương trình u thích Tương thích chọn nguồn phát (A3): tối ưu khả chọn nguồn phát kênh khách hàng chọn lựa, hệ thống OTT3A giám sát truyền lệnh chọn nguồn phát từ máy thu gần từ máy chủ mạng internet chung dựa sở kết hợp kỹ thuật mạng đồng đẳng Peer to Peer [7] mạng Server client [8] Để bảo đảm tính trên, hoạt động liên tục, ổn định dịch vụ đòi hỏi hệ thống giám sát thời gian thực ([9]) tin cậy, chi phí hợp lý Zabbix trở thành ứng cử viên cho nhóm nghiên cứu 4.2 Ứng dụng Zabbix để giám sát OTT3A Với tính mơ tả phần 3, Zabbix hoàn toàn đáp ứng nhu cầu giám sát cảnh báo lỗi hệ thống theo thời gian thực cho dịch vụ OTT3A Hình mơ tả kết nối thành phần Zabbix máy chủ hệ thống OTT3A Hình Giám sát máy chủ OTT3A với Zabbix Dịch vụ Zabbix cài đặt theo kiểu tập trung cho hệ thống OTT3A Zabbix server, Web frontend database cài đặt server Trên máy chủ hệ thống OTT3A, Zabbix agent chỉnh cho chạy thường xuyên ẩn sau dịch vụ thiết bị Nguyên lý hoạt động Zabbix Agent thụ động truyền liệu Zabbix server JTE, Issue 69, April 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn ISSN: 1859-1272 Hình thể lịch sử ghi nhận tham số máy chủ phát nội dung vịng tuần Các tiêu chí giám sát bao gồm tải CPU, phần trăm sử dụng nhớ, băng thông truyền dẫn thẻ mạng LAN, nhiệt độ CPU tình trạng sử dụng ổ đĩa cứng Đây tiêu chí khuyến cáo Zabbix để theo dõi tình trạng sức khỏe máy chủ cách tồn diện Hình Trang Web giám sát thông số Máy chủ phát nội dung Bằng cảnh báo Zabbix băng thông đầu vào (nhận nội dung truyền hình từ nguồn phát truyền hình số mặt đất) số lượng kênh phát điều chỉnh cho hợp lý Với kênh phát thường trực, băng thông đầu vào máy chủ 40Mbps Qua đường mạng LAN nội 100Mbps, hệ thống OTT3A phát lúc 16 kênh truyền hình Quan sát cảnh báo băng thơng đầu ra, nhận biết tình trạng tải (số lượng người xem đồng thời) hệ thống OTT3A Nếu kết nối chủ - tớ truyền thống, số lượng người xem thời điểm làm tăng tuyến tính băng thông đầu máy chủ [10] Nhưng mạng đồng đẳng kích hoạt, thiết bị người xem cuối lại thành máy chủ trung chuyển phục vụ tiếp cho N thiết bị khác (N phụ thuộc mạng đầu của thiết bị đầu cuối) N thiết bị lại trở thành server trung chuyển tầng kết tiếp, quy trình mở rộng theo cấp số nhân N mà không làm thay đổi băng thông đầu máy chủ phát nội dung ([11]) Các thông tin cảnh báo chuyển đến người phụ trách thông qua hệ thống nhắn tin riêng thời gian thực Telegram [12] Kết luận Giám sát theo dõi tình trạng sức khỏe máy chủ hệ thống vận hành liên tục nhu cầu thiết yếu cho dịch vụ trực tuyến Dịch vụ mã nguồn mở Zabbix chọn lựa để đồng hành việc xây dựng hệ thống OTT3A nhóm nghiên cứu HCMUTE Dịch vụ bảo đảm cung cấp tình trạng hoạt động máy chủ theo thời gian thực Dịch vụ tận dụng để chứng minh tính hiệu băng thông mạng đồng đẳng so với mạng chủ tớ túy truyền dẫn truyền hình số TÀI LIỆU THAM KHẢO Bản thảo cho giao thức SNMP: https://datatracker.ietf.org/doc/html/rfc1067 Trang mã nguồn mở Cacti https://sourceforge.net/projects/cacti/ Trang chủ Icinga https://icinga.com/ Trang chủ Nagios https://www.nagios.org/ C Waldenor, Is OTT Disrupting Television? Master Thesis, Stockholm, June 7th 2013 L Bringuier, White Paper OTT Streaming – 2nd edition, September 2011, Anevia E Setton, B Girod, Peer-to-Peer Video Streaming, 2007 Springer Science+Business Media, LLC, ISBN-13: 978-0-387-74114-7 J C Whitaker, Interactive TV Demystified, 2001 McFraw-Hill, ISBN 0-07-136325-4 T Ohanian, Over-the-Top Considerations: Functionalities and Technologies, Cisco Systems, NAB 2014 Y Chu, S Rao, S Seshan, H Zhang,” A Case for End System Multicast”, IEEE Journal and Selected Areas in Communications, vol 20, No 8, pp 1456-1471, Oct 2002 [11] Y Cui, B Li, K Nahrstedt, “Layered Peer-to-Peer Streaming”, Proc NOSSDAV’03, Monterey, USA, pp 162-171, Jun 2003 [12] Trang web thức hệ thống nhắn tin Telegram https://telegram.org/ [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] JTE, Issue 69, April 2022 JOURNAL OF TECHNOLOGY EDUCATION SCIENCE ISSN: 1859-1272 Ho Chi Minh City University of Technology and Education Website: https://jte.hcmute.edu.vn/ Email: jte@hcmute.edu.vn Nguyen Ngoc Hung Anh was born in 1989 in Long An Have graduated in major in Information Systems at Posts and Telecommunications Institute of Technology, in Ho Chi Minh City, 2020 Graduated with a Master's Degree in 2022; Email hunganhbc@gmail.com Phone 0902717074 Vo Quang Long was born in 1996 Majoring in Electronics and Communication, graduated in 2019 from Ho Chi Minh City University of Technology and Education Email longvo2396@gmail.com, Contact phone 0777116785 Son Minh Tran was born in 1973 He received the PhD degree in Telecommunication in 2004 and became an assistant professor at the Budapest University of Technology, Hungary till 2006 He then worked as a research fellow on video compression algorithms and enhanced features for digital video broadcasting at the ARTEMIS Department at TELECOM & Management SudParis, France He spent 10 years doing research on video security in Nagra France, Group Kudelski, leader in DTV security Rejoining Hochiminh University of Technology and Education as senior research fellow since 2018, he continues his activity on video processing He has a portfolio of 14 granted and pending patents on the Secured Video Transmission/ Processing and watermarking Tran Thu Ha was born in 1966, holds in PhD Industrial electronics, automation - telecommunications in 1966 at Kiev Polytechnic University, Ukraine She has worked at Ho Chi Minh city University of Technology and Education since 1997 as lecturer at Electrical and electronics department She got a title Assoc Prof PhD in 2011 She spent time for researching and teaching in the fields: in electronics industrial for using neural network, fuzzy logic in auto-control, sliding control, PID, robot, voice control, IOT noise cancellation In the area of telecommunications: conducting research some problems on teletex, image processing, noise cancellation in signal transmission systems; research on Signal processing, watermarking video security, video processing JTE, Issue 69, April 2022