cau hinh giam sat voi nagios

GIỚI THIỆU Nagios công cụ thực chức giám sát tồn hạ tầng cơng nghệ thơng tin bao gồm server, switch, ứng dụng service Với công cụ Nagios, giám sát tồn hạ tầng công nghệ thông tin, nhận cảnh báo có cố xảy ra, đọc kiện xảy hệ thống thông qua report Sử dụng công cụ Nagios giảm gánh nặng người quản trị hệ thống việc nhận biết cố xảy Đây tài liệu hướng dẫn bước thực cài đặt công cụ giám sát Nagios Fedora Core 17 (các HĐH CentOS phiên Fedora core thực tương tự), hướng dẫn bước cấu hình để thực giám sát máy chủ, website thiết bị mạng Tài liệu khơng bao gồm tồn việc cài đặt tính Nagios tính mở rộng tương lai Nagios Phần 1: HƯỚNG DẪN CÀI ĐẶT VÀ CẤU HÌNH NAGIOS Tham khảo thêm: Phần 2: GIÁM SÁT MÁY CHỦ VỚI NAGIOS Phần 3: GIÁM SÁT WEBSITE VỚI NAGIOS Kết sau cài đặt: – Nagios số plugin vài đặt /usr/local/nagios – Thực truy cập giao diện web Nagios địa http://nagiosip/nagios/ Chuẩn bị: Cần quyền root trình cài đặt Cài đặt gói sau Fedora trước cài đặt Nagios: – Apache – PHP – GCC compiler – GD development libraries Bằng cách thực câu lệnh sau: #yum install httpd php #yum install gcc glibc glibc-common #yum install gd gd-devel Tạo thông tin tài khoản: Đăng nhập với quyền root: #su –l Tạo tài khoản người dùng với tên nagios password: #/usr/sbin/useradd -m nagios #passwd nagios Tạo group với tên nagcmd phép thực lệnh external đượcgửi thông qua giao diện web Thêm người dùng nagios apache vào group: #/usr/sbin/groupadd nagcmd #/usr/sbin/usermod -a -G nagcmd nagios #/usr/sbin/usermod -a -G nagcmd apache Download Nagios Plugin: Tạo thư mục để lưu: #mkdir ~/downloads #cd ~/downloads Download source code file tar Nagios Nagios plugin (vào http://www.nagios.org/download/ để lấy version nhất) #wget http://sourceforge.net/projects/nagios/files/nagios-3.x/nagios3.5.0/nagios-3.5.0.tar.gz #wget http://sourceforge.net/projects/nagiosplug/files/nagiosplug/1.4.16/nagiosplugins-1.4.16.tar.gz Biên dịch cài đặt: Giải nén file tar Nagios source code #cd ~/downloads #tar xzf nagios-3.5.tar.gz #cd nagios-3.5 Chạy Script cấu hình Nagios, dùng tên nhóm tạo trước #./configure with-command-group=nagcmd (2 dấu – trước chữ with) Biên dịch Nagios source code #make all Cài đặt binaries, init script, file cấu hình mẫu thiết lập quyền external command directory #make install #make install-init #make install-config #make install-commandmode Chưa khởi động Nagios Cấu hình theo nhu cầu: File cấu hình mẫu cài đặt thư mục /usr/local/nagios/etc Sử dụng file cấu hình mẫu việc bắt đầu với Nagios Chỉ cần thực thay đổi trước thực hiện… Sửa file cấu hình /usr/local/nagios/etc/objects/contacts.cfg với trình soạn thảo u thích thay đổi địa email gán với định nghĩa nagiosadmin với địa muốn nhận cảnh báo vi /usr/local/nagios/etc/objects/contacts.cfg Cấu hình giao diện web: Cài đặt file cấu hình Nagios web thực mục Apache conf.d #make install-webconf Tạo tài khoản nagiosadmin cho việc logging vào giao diện web Nhớ password gán với tài khoản #htpasswd -c /usr/local/nagios/etc/htpasswd.users nagiosadmin Khởi động lại Apache: #service httpd restart Biên dịch cài đặt Nagios Plugins: Giải nén file tar Nagios Plugins source code #cd ~/downloads #tar xzf nagios-plugins-1.4.16.tar.gz #cd nagios-plugins-1.4.16 Biên dịch cài đặt plugins: #./configure with-nagios-user=nagios with-nagios-group=nagios (2 dấu – trước chữ with) #make #make install Khởi động Nagios: Thêm Nagios vào danh sách dịch vụ tự động khởi động với hệ thống #chkconfig add nagios #chkconfig nagios on Kiểm tra file cấu hình Nagios #/usr/local/nagios/bin/nagios -v /usr/local/nagios/etc/nagios.cfg Nếu khơng có lỗi xảy ra, khởi động nagios #service nagios start 10 Chỉnh sửa thiết lập SELinux Mặc định, SELinux cài đặt kiểu Enforcing Điều dễ dẫn đến thông báo “Internal Server Error” thực truy cập Nagios CGIs Xem SELinux mode getenforce Đặt SELinux kiểu Permissive setenforce Để thay đổi tồn tại, phải chỉnh sửa thiết lập /etc/selinux/config khởi động lại máy chủ 11 Đăng nhập vào giao diện web: Truy cập vào giao diện web với URL http://localhost/nagios/, với tài khoản user/pass nagiosadmin/ password đặt Kích vào “Service Detail” để xem giám sát local machine Mất vài phút cho Nagios để kiểm tra tất vả service gán với local machine 12 Các chỉnh sửa khác: Chỉnh sửa Firewall rule cho phép truy cập webserver muốn truy cập giao diện nagios từ xa, tắt firewall iptables hệ điều hành Câu lệnh tắt firewall iptables: #service iptables stop Kết thúc phần cài đặt Nagios Phần giám sát máy chủ với Nagios Phần 2: GIÁM SÁT MÁY CHỦ VỚI NAGIOS Sau thực cài đặt xong máy chủ Nagios, tiến hành thêm client vào để Nagios server thực quản trị, giám sát Các máy chủ client giám sát bao gồm Windows Linux Thêm client máy chủ window: – Tại máy client windows: Cài đặt gói NSClient++, download địa chỉ: NSClient++ Quá trình cài đặt khai báo tham số hình vẽ bên dưới: – Tại nagios server: thêm host cần giám sát vi /usr/local/nagios/etc/objects/windows.cfg Chỉnh sửa file windows.cfg: define host{ use windows-server host_name winserver alias My Windows Server address 192.168.1.2 } Thay đổi tên địa cho phù hợp 2 Thêm máy chủ Linux: – Tại máy chủ Linux: thực download cài đặt thêm gói nrpe phép Nagios server kết nối giám sát Download cài đặt địa chỉ: Download NRPE Hoặc sử dụng cài đặt mặc định HĐH Đối với HĐH CentOS: wget dl.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm rpm -ivh epel-release-6-8.noarch.rpm yum install -y nrpe nagios-plugins-all openssl Chỉnh sửa file /etc/nagios/nrpe.cfg phép máy chủ Nagios truy cập giám sát: Khởi động lại NRPE: service nrpe restart – Tại Nagios server: thực thêm host cần giám sát vi /usr/local/nagios/etc/objects/localhost.cfg Chỉnh sửa file localhost.cfg: define host{ use linux-server host_name localhost alias localhost address 127.0.0.1 } Chỉnh sửa thông số tên địa IP cho phù hợp Thêm dịch vụ máy chủ cần giám sát Thêm định nghĩa service vào file windows.cfg localhost.cfg tương ứng với loại máy chủ define service{ use generic-service host_name winserver service_description NSClient++ Version check_command check_nt!CLIENTVERSION } Định nghĩa bước thực giám sát version NSClient++ cài máy chủ define service{ use local-service host_name linux-servers service_description Current Users check_command check_local_users!20!50 } Định nghĩa service yêu cầu Nagios giám sát số lượng người dùng máy chủ với tên linux-servers định nghĩa host, số lượng lớn 20 đưa cảnh báo warning, lớn 50 đưa cảnh báo critical define service{ use generic-service host_name winserver service_description CPU Load check_command check_nt!CPULOAD!-l 5,80,90 } Định nghĩa service yêu cầu Nagios giám sát CPU máy chủ có winserver định nghĩa host, việc giám sát thực kiểm tra CPU sau khoản phút, vượt 80 % cảnh báo warning, vượt 90% cảnh báo critical Phần 3: GIÁM SÁT WEBSITE VỚI NAGIOS Có nhiều gói thực giám sát website, thời gian đáp ứng, nội dung … Thực thêm plugin thực chức khác tùy theo yêu cầu define service{ use generic-service host_name ISPConfig3 service_description Website dantri.com.vn check_command check_website_response!http://dantri.com.vn! 5000!7000 check_interval } Định nghĩa yêu cầu Nagios thực kiểm tra thời gian đáp ứng website dantri.com.vn Phần giám sát Cisco router/switch với Nagios Phần 4: GIÁM SÁT ROUTER/SWITCH VỚI NAGIOS Thực thêm host cho Nagios giám sát: vi /usr/local/nagios/etc/objects/switch.cfg Chỉnh sửa file switch.cfg: define host{ use generic-switch host_name SW172.17.0.10 alias SW172.17.0.10 address 172.17.0.10 hostgroups switches } Định nghĩa yêu cầu Nagios thực hiên giám sát switch có địa IP 172.17.0.10, đồng thời đưa switch vào nhóm có tên switches Thêm service chạy router/switch cho Nagios giám sát Thêm vào file switch.cfg: define service{ use generic-service host_name SW172.17.0.10 service_description PING check_command check_ping!200.0,20%!600.0,60% normal_check_interval retry_check_interval } Định nghĩa service yêu cầu Nagios thực giám sát độ gói switch có tên SW172.17.0.10 định nghĩa Kiểm tra thời gian gói mạng, lượng gói tin bị đưa cảnh báo thời gian truyền gói tin lâu độ gói nhiều Để quản lí băng thơng cho port, nagios thực thơng qua gói MRTG, cài đặt thêm gói MRTG vào server cài Nagios Thêm định nghĩa vào file switch.cfg: define service { use generic-service host_name linksys-srw224p service_description Port Bandwidth Usage check_command check_local_mrtgtraf!/var/lib/mrtg/172.17.0.1_1.log!AVG! 1000000,2000000!5000000,5000000!10 } Định nghĩa service yêu cầu Nagios thực giám sát băng thông port switch có địa 172.17.0.1 Chú ý: sau thực chỉnh sửa file cấu hình khởi động lại Nagios Chuẩn bị: Máy chủ cài Nagios core 3.x (mình xài 3.5, chạy Fedora Core 17) Nagios monitor Router/Switch thông qua giao thức SNMP Mặc định plugin check_snmp Nagios không cài đặt, nên cần phải cài đặt thêm Sử dụng lệnh: #yum install nagios-plugins-snmp.x86_64 Chú ý cài đặt phiên HđH sử dụng Mình xài HĐH Fedora core 17 Cài đặt thêm gói phần mềm hỗ trợ giao thức SNMP cho việc thực thi plugin check_snmp Nagios Cài gói: net-snmp net-snmp-utils Lệnh: #yum install net-snmp net-snmp-utils Tiến hành cấu hình Nagios 3.5 Bật file Enable switch.cfg nagios.cfg File nagios.cfg thư mục: /usr/local/nagios/etc/nagios.cfg Bỏ comment dòng: cfg_file=/usr/local/nagios/etc/objects/switch.cfg Tạo hostgroup cho Switch file switch.cfg define hostgroup{ hostgroup_name switches alias Network Switches } Tạo switch host để monitor define host{ use generic-switch host_name core-switch alias SW172.17.0.10 address 172.17.0.10 hostgroups switches } Cấu hình dịch vụ monitor cho switch 4.1 Dịch vụ ping # Monitor by using check_ping define service{ use generic-service hostgroup_name switches service_description PING check_command check_ping!200.0,20%!600.0,60% normal_check_interval retry_check_interval } 4.2 Monitor up time thiết bị # Monitor uptime using check_snmp define service{ use generic-service hostgroup_name switches service_description Uptime check_command check_snmp! -C public -o sysUpTime.0 } Chú ý: tham số -C để community string giao thức SNMP, đặt lại cho thích hợp với thiết bị, community string public, community string cho phép RO (read only) Ngồi monitor port SW, kết hợp với phần mềm MRTG để monitor traffic port Kết :) Monitor switch using Nagios 4.3 Monitor CPU memory SW # Monitor CPU thiết bị, warning đạt 60, critical alert đạt 80 define service{ use generic-service host_name SW172.17.0.10 service_description CPU Utilization check_command check_snmp!-C RO -o 1.3.6.1.4.1.9.9.109.1.1.1.1.4.1 -w 60 -c 80 } # Monitor free memory thiết bị define service{ use generic-service host_name SW172.17.0.10 service_description Free Memory # check_command check_snmp!-C RO -o 1.3.6.1.4.1.9.9.48.1.1.1.5.1 check_command check_snmp!-C RO -o 1.3.6.1.4.1.9.9.48.1.1.1.6.1 } # Monitor Usage memory thiết bị define service{ use generic-service host_name SW172.17.0.10 service_description Usage Memory check_command check_snmp!-C RO -o 1.3.6.1.4.1.9.9.48.1.1.1.5.1 # check_command check_snmp!-C RO -o 1.3.6.1.4.1.9.9.48.1.1.1.6.1 } Monitor Switch Nagios checker plugin cho trình duyệt Nagios hỗ trợ plugin cho trình duyệt Google Chrome Firefox, hỗ trợ việc giám sát thơng qua icon nhỏ trình duyệt xài, tích hợp tính âm phát warning critical events, thuận tiện cho việc giám sát hệ thống Tham khảo cài đặt cấu hình plugin cho Chrome Firefox tại: http://www.thegeekstuff.com/2011/07/nagios-checker-add-on/ Trong trình sử dụng Nagios, liệu thu thập chưa hiển thị dạng đồ thị để tiện cho việc theo dõi, thống kê Vì vậy, hệ thống quy mô giám sát nhiều lớn, việc đồ thị hóa liệu thu thập Nagios cần thiết tối ưu việc theo dõi, giám sát hệ thống Trong Nagios, để đồ thị hóa liệu có phần mềm addon PNP4NAGIOS (viết tắt PNP) làm việc Trang chủ: http://www.pnp4nagios.org/ Documentation: http://docs.pnp4nagios.org/pnp-0.6/start PNP addon phần mềm Nagios dùng để phân tích liệu nhận plugins (như check_ping, check_http, …) lưu trữ vào RRD-databases PNP cài đặt lên máy chủ Nagios để hỗ trợ việc phân tích liệu Những yêu cầu trước triển khai PNP: – Server chạy Nagios phiên >= 2.x (hoặc Icinga – chưa thử) (mình xài Nagios 3.3.x Fedora Core 17) Hướng dẫn cách cài đặt cấu hình Nagios dòng OS CentOS, Fedora tham khảo category monitoring, nagios – Perl >=5.x (không cần module mở rộng kèm theo) – RRD tool >= 1.x, tốt 1.2 không bắt buộc Chú ý: cài đặt RRDtool packet manager dẫn đến lỗi dejavu fonts Điều gây lỗi graphs khơng có text (minhf chưa gặp thông tin trang chủ hướng dẫn (documentation) PNP) – PHP >= 5.1.6 cho web frontend dựa Kohana – Kohana cần module “mod_rewrite” bật (enabled) hoạt động Apache Download link: pnp4nagios-0.6.21.tar.gz (cập nhật ngày viết 19-6-2013) Hoạt động PNP: PNP hỗ trợ nhiều mode xử lý liệu khác nhau, là: Synchronous mode, Bulk mode, Bulk mode với NPCD, Bulk mode với npcdmod, Gearman mode PNP hoạt động mode mà thơi Tùy tình hình hệ thống mà admin lựa chọn mode hoạt động phù hợp với hệ thống Hoạt động pnp4nagios gắn liền với perl script process_perfdata.pl thư mục libexec (của pnp4nagios) Khi cần xử lý liệu (hiển thị dạng đồ thị), Nagios thực thi lệnh cho host service khai báo cần xử lý liệu Phụ thuộc vào mode hoạt động mà data xử lý trực tiếp process_perfdata.pl ghi vào file tạm (temporary files) xử lý sau Process_perfdata.pl ghi data vào XML files lưu trữ chúng vào RRD files sử dụng RRDtool Chi tiết mode hoạt động PNP: Synchronous mode: mode đơn giản dễ dàng cài đặt Nagios gọi script perl process_perfdata.pl cho service host, để xử lý data Mode hoạt động tốt số lượng services vào khoảng 1000 services, dịch vụ kiểm tra khoảng phút Bulk mode: mode này, Nagios ghi liệu cần thiết vào file tạm Sau thời gian khai báo, file xử lý xóa sau Tại mode này, số lượng lần gọi script perl process_perfdata.pl giảm Phụ thuộc vào thời gian số lượng data thu thập được, tiết kiệm nhiều tài nguyên cho máy chủ nagios Tuy nhiên, script process_perfdata.pl chạy lâu Chú ý: nagios không thực thi kiểm tra host hay service gọi script để xử lý data Bulk mode với NPCD, Bulk mode với npcdmod, Gearman mode: tham khảo thêm http://docs.pnp4nagios.org/pnp-0.6/modes Phần quan trọng nhất: cài đặt Chú ý: thư mục cài đặt nagios tại: /usr/local/nagios #tar –xvzf pnp4nagios-HEAD.tar.gz #cd pnp4nagios #./configure Sau chạy xong kết sau: Mọi thứ okey, tiếp tục: #make all #make install Copy sample Apache configuration file đến thư mục config: #make install-webconfig Config file cho process_perldata.pl npcd copy đến thư mục /etc/pnp #make install-config Để cài đặt NPCD Init script: #make install-init Combined all: #make fullinstall Chú ý: sau copy configuration file cho web server phải restart lại service web server #service httpd restart Trong trường hợp nâng cấp lên phiên 0.6.x hoàn toàn giống với việc cài đặt Chú ý chạy /configure với tùy chọn giống với lần đầu cài đặt Chú ý: có thay đổi file config.php nên lưu lại backup tránh việc ghi đè chạy lệnh make install-config Các thông tin PNP sau cài đặt: – Thư mục PHP-Files cho web-frontend: /usr/local/pnp4nagios/share/pnp – File xử lý liệu thu thập process_perfdata.pl thư mục /usr/local/pnp4nagios/libexec – File sample config với hậu tố -sample thư mục /usr/local/pnp4nagios/etc – File config config.php cho web frontend nằm thư mục /usr/local/pnp4nagios/etc Cấu hình Synchronous mode: – Cấu hình đơn giản tất mode – Bật xử lý liệu file nagios.cfg: bật tham số process_performance_data=1 – Nếu không muốn xử lý liệu với host service thêm dòng sau vào host service: Define service { … Process_perf_data … } – Environment variables phải bật hoạt động mode synchronous Chỉnh sửa file nagios.cfg: enable_environment_macros=1 – Lệnh xử lý liệu phải khai báo nagios.cfg: service_perfdata_command=process-service-perfdata – Bật xử lý liệu cho host: host_perfdata_command=process-host-perfdata – Nagios phải khai báo command sử dụng Chỉnh sửa file commands.cfg cách thêm dòng sau: define command { command_name process-service-perfdata command_line /usr/bin/perl /usr/local/pnp4nagios/libexec/process_perfdata.pl } define command { command_name process-host-perfdata command_line /usr/bin/perl /usr/local/pnp4nagios/libexec/process_perfdata.pl -d HOSTPERFDATA } Một cách cải tiến pnp4nagios sau cài đặt tích hợp PNP Nagios thấy graphs mà khơng cần phải click vào Đó nhờ vào việc sử dụng CGI Includes cho phép JavaScript code Với tính này, admin giám sát hệ thống cần kiểm tra sơ thông tin graphs khơng cần phải trực tiếp click vào hạng mục nhỏ mà cần rê chuột ngang qua graphs tự động lên Tuy nhiên cần thơng tin xác hiển thị nhiều dạng thống kê khác graph vòng 4h, 25h, tuần, … phải click trực tiếp vào để xem xác nhiều thơng tin Yêu cầu: PNP cài đặt sử dụng với Nagios Vui lòng tham khảo phần để biết cách cài đặt tích hợp phần mềm pnp4nagios chương trình giám sát hệ thống Nagios Nhắc lại: Phiên Nagios xài phiên (3.3.x), cài đặt Fedora Core 17 Cách thức cài đặt Nagios HđH (dòng os CentOS, Fedora Core) xin vui lòng tham khảo: http://mcle8.tk/networking/monitoring-networking/nagiosnetworking/huong-dan-cai-dat-nagios-tren-hdh-centos-va-fedore.html Thực hiện: Copy file status-header.ssi thư mục contrib/ssi (trong thư mục cài đặt pnp4nagios) đến /usr/local/nagios/share/ssi Chú ý: file phải khơng set execute, khơng sinh lỗi Các định nghĩa cho service host chỉnh sửa sau: define host { name host-pnp action_url /pnp4nagios/index.php/graph? host=$HOSTNAME$&srv=_HOST_’ class=’tips’ rel=’/pnp4nagios/index.php/popup?host=$HOSTNAME$&srv=_HOST_ register } define service { name srv-pnp action_url /pnp4nagios/index.php/graph? host=$HOSTNAME$&srv=$SERVICEDESC$’ class=’tips’ rel=’/pnp4nagios/index.php/popup? host=$HOSTNAME$&srv=$SERVICEDESC$ register } Việc phát user root đăng nhập sai password qua SSH quan trọng tránh số nguy thăm dò pass root Mình xin giới thiệu plugin check_logfiles Nagios sử dụng để “raise alerts” trường hợp phát user root đăng nhập sai mật I Chuẩn bị Máy cài sẵn Nagios Core 3.x Hiện xài Nagios 3.5 Fedora Core 17 Plugin check_logfiles Link: http://labs.consol.de/lang/en/nagios/check_logfiles/ Plugin để tìm kiếm so sánh mẫu, chuỗi ký tự log files đưa cảnh báo tương ứng Link download: http://labs.consol.de/download/shinken-nagiosplugins/check_logfiles-3.5.1.tar.gz II Cài đặt Download check_logfiles: #cd /tmp #wget http://labs.consol.de/download/shinken-nagios-plugins/check_logfiles3.5.1.tar.gz Cài đặt check_logfiles plugin vào thư mục /usr/local/nagios/libexec Đây thư mục chứa plugin Nagios #tar xzf check_logfiles-3.5.1.tar.gz #cd check_logfiles-3.5.1 #./configure –prefix=/usr/local/nagios #make #make install Kiểm tra hoạt động plugin check_logfiles cd /usr/local/nagios/libexec check_logfiles –tag ssh –logfile=/var/log/secure –rotation=SOLARIS – criticalpattern=” Failed password for root from” Định nghĩa thêm command file /usr/local/nagios/etc/objects/commands.cfg ####### Check root login failed define command { command_name check_ssh_attack command_line $USER1$/check_logfiles –tag=ssh –logfile=/var/log/secure – criticalpattern=”Failed password for root from” } Chỉnh sửa file /usr/local/nagios/etc/objects/localhost.cfg định nghĩa thêm dịch vụ cho host cần monitor (ở định nghĩa cho localhost) define service{ use generic-service host_name localhost service_description SSH Attacks check_command check_ssh_attack } Khởi động lại nagios 6.1 Trên web interface báo lỗi: “(2 errors in check_logfiles.protocol2013-03-16-10-03-03) – cannot write status file /var/tmp/check_logfiles/check_logfiles._var_log_secure.ssh! check your filesystem (permissions/usage/integrity) and disk devices …” Đây lỗi permission, thực thi câu lệnh sau: #chown –R nagios /var/tmp/check_logfiles 6.2 Nếu báo lỗi: “insufficient permissions to open logfile /var/log/secure” Đó Nagios user cần quyền read file /var/log/secure Thực thi câu lệnh: #setfacl –m u:nagios:r /var/log/secure ... #chkconfig add nagios #chkconfig nagios on Kiểm tra file cấu hình Nagios #/usr/local /nagios/ bin /nagios -v /usr/local /nagios/ etc /nagios. cfg Nếu khơng có lỗi xảy ra, khởi động nagios #service nagios start... nagios- plugins-1.4.16.tar.gz #cd nagios- plugins-1.4.16 Biên dịch cài đặt plugins: #./configure with -nagios- user =nagios with -nagios- group =nagios (2 dấu – trước chữ with) #make #make install Khởi động Nagios: Thêm Nagios. .. source code file tar Nagios Nagios plugin (vào http://www .nagios. org/download/ để lấy version nhất) #wget http://sourceforge.net/projects /nagios/ files /nagios- 3.x /nagios3 .5.0 /nagios- 3.5.0.tar.gz