Tìm hiểu, triển khai ứng dụng nagvis trong hệ thống giám sát mạng trên nền tảng mã nguồn mở nagios

Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B LỜI CAM ĐOAN Tôi xin cam đoan luận văn kết nghiên cứu thân Các nghiên cứu luận văn dựa tổng hợp lý thuyết hiểu biết thực tế, không chép Tác giả Đặng Đức Duy Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B LỜI CẢM ƠN Trong lời luận văn tốt nghiệp “Tìm hiểu, triển khai ứng dụng NagVis hệ thống giám sát mạng tảng mã nguồn mở Nagios”, muốn gửi lời cảm ơn chân thành đến tất người hỗ trợ, giúp đỡ chuyên môn, vật chất tinh thần suốt trình thực luận văn Trước hết, xin chân thành cảm ơn thầy giáo PGS.TS Ngô Hồng Sơn trực tiếp hướng dẫn , giúp đỡ trình nghiên cứu hoàn thành luận văn Xin cảm ơn thầy, cô Viện Công nghệ thông tin Truyền thông giảng dạy, truyền thụ kiến thức cho suốt trình học tập Xin gửi lời cảm ơn chân thành đến Viện Đào tạo Sau Đại học, Viện tạo điều kiện thuận lợi trình học tập học viên nói riêng lớp TTMMT - 2014B nói chung Cho phép gửi lời cảm ơn đến Ban giám đốc anh chị em đồng nghiệp Trung tâm Mạng Thông Tin - Đại học Bách Khoa Hà Nội, nơi công tác tích cực tham gia vào thử nghiệm, tìm hiểu hệ thống tạo điều kiện để thử nghiệm giải pháp liên quan đến đề tài Cuối cùng, xin bày tỏ lòng biết ơn đến gia đình bạn bè giúp đỡ, động viên nhiều suốt trình học tập làm luận văn tốt nghiệp Trong khuôn khổ luận văn không tránh khỏi thiếu sót định mong nhận đóng góp ý kiến thầy cô giáo bạn Hà nội, ngày 25 tháng 10 năm 2016 Học viên Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B MỤC LỤC DANH MỤC CÁC BẢNG DANH MỤC CÁC HÌNH VẼ DANH SÁCH THUẬT NGỮ VIẾT TẮT MỞ ĐẦU 11 Tính cấp thiết đề tài 10 Mục tiêu nhiệm vụ luận văn 10 Đối tượng phạm vi 11 Kết đạt 11 CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT, NAGIOS VÀ PLUGIN ADD-ON NAGVIS 12 Tổng quan hệ thống giám sát 12 Giao thức quản trị mạng SNMP 17 Tổng quan Nagios 20 Plugin add-on NagVis 26 TỔNG KẾT CHƯƠNG 32 CHƯƠNG 2: XÂY DỰNG MÔ HÌNH GIÁM SÁT CHO MỘT MẠNG CAMPUS 33 Khảo sát trạng hệ thống mạng campus trường ĐHBKHN 33 Cơ sở vật chất 34 Các dịch vụ mạng 35 Những bất cập khó khăn công tác quản trị mạng 36 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Đề xuất mô hình hệ thống giám sát mạng 42 Các chức hệ thống giám sát mạng Nagios, add-on NagVis 43 TỔNG KẾT CHƯƠNG 44 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM 45 Sơ đồ vật lý triển khai 45 Kịch thử nghiệm 47 Kết thử nghiệm 49 TỔNG KẾT CHƯƠNG 67 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 68 TÀI LIỆU THAM KHẢO 70 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B DANH MỤC CÁC BẢNG Bảng Một số thông tin thiết bị cần giám sát 15 Bảng Danh mục thiết bị mạng giám sát 48 Bảng 3: Các sơ đồ mạng triển khai NagVis 61 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B DANH MỤC CÁC HÌNH VẼ CHƯƠNG TỔNG QUAN VỀ HỆ THỐNG GIÁM SÁT, NAGIOS VÀ PLUGIN ADD-ON NAGVIS 12 Hình 1: Giao thức quản trị mạng SNMP 19 Hình 2: Cộng đồng SNMP 20 Hình Sơ đồ tổ chức Nagios 23 Hình Các cách thức thực kiểm tra 25 Hình 5: Sơ đồ mạng Local chi nhánh công ty 28 CHƯƠNG 2: XÂY DỰNG MÔ HÌNH GIÁM SÁT CHO MỘT MẠNG CAMPUS 33 Hình Sơ đồ tổng thể mạng trường ĐHBK-HN 33 Hình Sơ đồ kết nối mạng phân cấp lớp chuẩn 37 Hình Sơ đồ kết nối mạng phân cấp mở rộng 39 Hình Sơ đồ kết nối tạm thời 41 Hình Mô hình giám sát mạng Nagios, NagVis 42 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM 45 Hình Sơ đồ vật lý triển khai hệ thống giám sát 45 Hình Trang tổng quan Nagios Core 46 Hình Trang tổng quan NagVis 47 Hình Sơ đồ vật lý tổng quan quản lý thiết bị mạng 50 Hình Kiểm tra giao thức ICMP tới thiết bị mạng cần giám sát 51 Hình Định nghĩa thông tin host cần giám sát 51 Hình Định nghĩa group thiết bị giám sát 52 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hình Thông tin trạng thái thiết bị mạng giám sát 52 Hình Tập hợp group thiết bị mạng 53 Hình 10 Định nghĩa host 54 Hình 11 Định nghĩa dịch vụ giám sát 54 Hình 12 Thông tin trạng thái server web 54 Hình 13 Cảnh báo trạng thái Up/Down thiết bị theo dõi 55 Hình 14 Host Down 56 Hình 15 Host Up 56 Hình 16 Thông tin người quản trị nhận email thông báo 57 Hình 17 Định nghĩa ngày thông báo, loại dịch vụ cần thông báo 57 Hình 18 Email thông báo thiết bị down 58 Hình 19 Email thông báo thiết bị trở trạng thái recovery 59 Hình 20 Đăng nhập vào hệ thống 59 Hình 21 Thông tin tổng quan trạng thái hoạt động sơ đồ giám sát 60 Hình 22 Trạng thái vật lý hệ thống mail, web Hust 61 Hình 23 Hệ thống đường cáp quang trường trạng thái điểm phân phối cáp quang 62 Hình 24 Giám sát thiết bị mạng server tủ Rack 63 Hình 25 Sơ đồ giám sát vùng DMZ 63 Hình 26 Các tham số thống kê thiết bị 64 Hình 27 Các tham số thống kê thiết bị theo thời gian 65 Hình 28 Thống kê băng thông sử dụng thiết bị 66 Hình 29 Băng thông sử dụng toàn hệ thống mạng qua thiết bị router 66 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B DANH SÁCH THUẬT NGỮ VÀ VIẾT TẮT CPU Central Processing Unit CGI Common Gateway Interface CLI Command Line Interface CMIS Common Management Information Services CSDL Cơ Sở Dữ Liệu DHCP Dynamic Host Configuration Protocol DMZ Data Management Zone DNS Domain Name Service FTP File Transfer Protocol GUI Graphical User Interface HTML HyperText Markup Language HTTP HyperText Transfer Protocol ICMP Internet Control Message Protocol IMAP Internet Message Access Protocol IP Internet Protocol ITU International Telecommunication Union Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B NMS Network Management System PING Packet Internet Groper PDU Protocol Data Unit POP Post Office Protocol SMI Structure of Management Information SMTP Simple Mail Transfer Protocol SNMP Simple Network Management Protocol SSH Secure Shell TCP Transmission Control Protocol UDP User Datagram Protocol URL Uniform Resource Locator VLAN Virtual Local Area Network VPN Virtual Private Network WWW World Wide Web Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B MỞ ĐẦU Tính cấp thiết đề tài Ngày nay, tổ chức doanh nghiệp có sở hạ tầng thông tin riêng với quy mô cách tổ chức khác Với tổ chức có hạ tầng mạng riêng, có hệ thống giám sát hạ tầng cần thiết, giúp tiết kiệm chi phí, tăng hiệu suất mạng, tăng suất lao động giảm chi phí sở hạ tầng Một hệ thống giám sát theo dõi hạ tầng mạng nội để xác định nhanh chóng vấn đề xảy ra, hỗ trợ, tìm kiếm giúp giải cố thiết bị hệ thống Chính hạ tầng mạng nguồn tài nguyên quan trọng nên việc đảm bảo cho tài nguyên hoạt động liên tục vấn đề thiết yếu Đây thách thức có nhiều mối nguy tiềm tàng hackers công từ chối dịch vụ, virus, cắp thông tin đe dọa đến hệ thống tổ chức dẫn tới việc hệ thống ngưng hoạt động, liệu làm giảm độ tin cậy lợi ích thu từ hệ thống Ngoài ra, hệ thống mạng ngày phát triển mạnh, với công nghệ mới, thiết bị mới, nên việc đảm bảo cho hệ thống hoạt động cách trôi chảy vô khó khăn quan trọng Là người quản trị cần phải biết sảy hệ thống vào lúc, bao gồm thời gian thực Nắm bắt thông tin lịch sử sử dụng, hiệu suất, tình trạng tất ứng dụng, thiết bị, tất liệu mạng Chính việc giám sát hệ thống công việc vô quan trọng cấp thiết tổ chức, doanh nghiệp, quan Mục tiêu nhiệm vụ luận văn Mục tiêu luận văn là: Đưa giải pháp giám sát tối ưu cho hệ thống tích hợp ứng dụng plugin NagVis áp dụng vào hệ thống mạng campus trường ĐHBK- 10 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Thêm tên, thông tin email người quản trị mong mốn nhận email Hình 16 Thông tin người quản trị nhận email thông báo Hình 17 Định nghĩa ngày thông báo, loại dịch vụ cần thông báo Khởi động lại Nagios Core: /etc/init.d/nagios restart Giả sử cần giám sát máy trạm người dùng làm việc hành chính, hết làm họ tắt máy tính Nếu không định nghĩa lại khoảng thời gian giám sát, email thông báo, hệ thống hiểu thiết bị down người dùng tắt thiết bị Bằng việc định nghĩa khoảng thời gian cần giám sát, giả sử khoảng thời gian từ 7h30 57 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B đến 17h30 từ thứ đến thứ 6, khoảng thời gian thiết bị down hệ thống không tự gửi thông báo cho người quản trị Hệ thống phát host thay đổi trạng thái, người quản trị nhận thông báo email: Hình 18 Email thông báo thiết bị down Khi host trở trạng thái ban đầu, người quản trị nhận thông báo email từ Nagios Core: 58 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hình 19 Email thông báo thiết bị trở trạng thái recovery 3.2 Giám sát hệ thống mạng với ứng dụng add-on NagVis Việc đưa hình ảnh thực tế thiết bị mạng vào hệ thống giám sát giúp cho người quản trị dễ dàng xác định vị trí thiết bị sảy lỗi, ví dụ tủ Rack, phòng kỹ thuật chứa nhiều thiết bị mạng, từ có phương án khắc phục cố nhanh sảy lỗi Đăng nhập vào hệ thống giám sát http://202.191.56.138/nagvis/frontend/nagvis-js/index.php Hình 20 Đăng nhập vào hệ thống 59 theo địa chỉ: Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hình 21 Thông tin tổng quan trạng thái hoạt động sơ đồ giám sát Các sơ đồ, thiết bị mô tả bảng STT Tên sơ đồ Ghi 3560_TVDT Sơ đồ vị trí Core switch đặt phòng máy chủ cung cấp mạng cho mạng Thư viện điện tử Mail_server Vị trí máy chủ mail tủ Rack BK_NET_BACKBONE Sơ đồ giám sát vị trí nút quang Rack_1_2 Các thiết bị: Router, switch, máy chủ Core_3750 Core_switch distribute Web_server Máy chủ web_hust, web_soict, web_bknic DMZ_1 Các thiết bị: Firewall, switch multi access chia VLAN, máy chủ web, máy chủ giám sát mạng Cacti 60 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Firewall Sophos bảo vệ vùng máy chủ Firewall Router_Switch_Core Firewall Fotinet bảo vệ vùng người dùng Router định tuyến quảng bá lớp mạng, switch Core chia VLAN cho người dùng Bảng 3: Các sơ đồ mạng triển khai NagVis Hình 22 Trạng thái vật lý hệ thống mail, web Hust 61 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Với hệ thống mạng liên tục mở rộng, đặc biệt đường backbone cáp quang Việc đưa hệ thống đường cáp quang hệ thống giám sát giúp cho người quản trị dễ dàng xác định điểm kết nối quang từ điểm tập trung đường quang đến điểm phân phối Hình 23 Hệ thống đường cáp quang trường trạng thái điểm phân phối cáp quang Ngoài việc đưa ảnh thực tế thiết bị vào, người quản trị vẽ riêng sơ đồ vật lý thiết bị mạng, sau đưa vào hệ thống giám sát 62 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hình 24 Giám sát thiết bị mạng server tủ Rack Hình 25 Sơ đồ giám sát vùng DMZ Hiển thị tham số thống kê (CPU, nhớ, tiến trình, lưu lượng interface, ) thiết bị theo thời gian, giúp người quản trị đánh giá hiệu 63 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B thiết bị, phát cố, phát công, từ đưa giải pháp nâng cao hiệu năng, độ khả dụng, an toàn, an ninh mạng Hình 26 Các tham số thống kê thiết bị 64 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hệ thống cho phép người quản trị theo dõi tham số khoảng thời gian khác nhau: theo ngày, theo tuần, theo tháng, theo năm Hình 27 Các tham số thống kê thiết bị theo thời gian Chức thống kê tham số mà dịch vụ chiếm: CPU, lưu lượng băng thông Cho phép người quản trị xác định mức độ sử dụng tài nguyên dịch vụ, phát công dịch vụ, từ nâng cao hiệu sử dụng dịch vụ nâng cao an toàn cho dịch vụ 65 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B Hình 28 Thống kê băng thông sử dụng thiết bị Giám sát băng thông triển khai tất link hệ thống Hình 29 Băng thông sử dụng toàn hệ thống mạng qua thiết bị router Quan sát qua hình ta thấy trạng thái băng thông ngày ban đêm Ban đêm lưu lượng kết nối Internet Băng thông bắt đầu tăng từ sáng, đạt ngưỡng cao khoảng 400Mbps bắt đầu giảm từ chiều Qua hình ta thấy trung bình ngưỡng sử dụng băng thông đạt giới hạn cho phép (1Gbps) 66 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B TỔNG KẾT CHƯƠNG  Đã triển khai thành công hệ thống giám sát Nagios tích hợp Plugin NagVis  Giám sát số thiết bị như: Router, firewall, switch, máy chủ  Giám sát lưu lượng băng thông sử dụng qua link chính, biết nhu cầu sử dụng thực tế toàn mạng khu vực, biết xác khu vực chiếm dụng băng thông để từ đưa phương án xử lý đảm bảo mạng không bị tải qua điểm phân bố  Đưa sơ đồ cáp quang vào hệ thống, từ biết xác trạng thái đường cáp quang kéo đến điểm phân bố  Hệ thống tự động gửi mail cho người quản trị để thông báo trạng thái thiết bị dịch vụ chạy chúng 67 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Với chương trình giám sát hệ thống mã nguồn mở đáp ứng phần nhu cầu cho việc giám sát, theo dõi toàn môi trường mạng phức tạp Bên cạnh thiết bị chuyên dụng đáp ứng tốt nhu cầu chi phí cho việc triển khai lại cao, phù hợp với hệ thống, doanh nghiệp, tổ chức lớn Việc triển khai hệ thống giám sát cần dựa tiêu chí như: độ lớn hệ thống, chức mở rộng, chi phí cho cấp cho việc triển khai hệ thống giám sát… Tùy theo hệ thống tổ chức, doanh nghiệp, đơn vị khác mà ta triển khai hệ thống giám sát cho phù hợp Luận văn nghiên cứu, triển khai hoàn thành vấn đề sau: Lý thuyết:  Về vấn đề giám sát: Luận văn sâu phân tích giám sát hệ thống tầm quan trọng việc giám sát hệ thống môi trường mạng  Về giao thức quản lý mạng: khóa luận trình bày giao thức quản lý mạng đơn giản (Simple Network Management Protocol) bao gồm: khái niệm giao thức quản lý mạng, thành phần giao thức quản lý mạng, cách hoạt động giao thức quản lý mạng Thực nghiệm:  Luận văn đưa mô hình triển khai hệ thống mạng trường đại học trình bày toàn bước cấu hình hệ thống giám sát theo mô hình triển khai đề 68 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B  Những kết đạt được: o Có kiến thức giám sát hệ thống, giao thức quản lý mạng o Triển khai thành công mô hình giám sát hệ thống Nagios có tích hợp plugin add-on NagVis o Cấu hình thiết bị mạng như: Router, Switch, Server phục vụ cho trình giám sát thông qua giao thức SNMP o Tích lũy kinh nghiệm việc cấu hình công nghệ Hướng phát triển:  Xây dựng hoàn thiện toàn hệ thống giám sát mạng trường  Tích hợp thêm số giải pháp giám sát khác vào hệ thống giám sát Nagios có sẵn nhằm tối ưu hóa hệ thống 69 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B TÀI LIỆU THAM KHẢO [1] Dinangkur Kund, S M Ibrahim Lavlu " Cacti 0.8 Network Monitoring " [2] Ethan Galstad "Nagios NRPE Documentation" ,1999-2007 [3] Wolfgang Barth “Nagios System and Network Monitoring”, Open Source Press GmbH, 2006 [4] Max ScHubert Derrick Bennett Jonathan Gines Andrew Hay John Strand “Nagios Enterprise Network Monitoring Including Plug-Ins and Hardware Devices”, 2008 [5] David Josephsen “ Building a monitoring infrastructure with Nagios”, Pearson Education, Inc, 2007 [6] Andrew S Tanenbaum Maarten Van Steen “Distributed Systems: Principles and Paradigms (2nd Edition)”, Prentice Hall, 2002 [7] Tom Ryder " Nagios Core Administrattion Cookbook - Develop an integrated monitoring solution for virtually any kind of nework " Packt Publishing, 2013 [8] http://docs.nagvis.org/1.8/en_US/index.html [9] http://www.nagvis.org/screenshots Một số hình ảnh thực tế hệ thống NagVis triển khai [10] Stallings W., “SNMP, SNMP v2 and RMON 2nd edition”, Addison-Wesley Pub, June 1996 [11] Alexander Clemm “Network Management Fundamentals ”, Cisco Systems, 2007 [12] http://docs.nagvis.org/1.8/en_US/index.html [13] Báo cáo quý 2016 Trung tâm Mạng Thông tin - ĐHBKHN [14] Báo cáo quý 2016 Trung tâm Mạng Thông tin - ĐHBKHN 70 Luận văn cao học Đặng Đức Duy - Lớp TTMMT - 2014B 71 ... thống giám sát hệ thống mạng phần mềm mã nguồn mở, sau triển khai áp dụng vào hệ thống mạng trường Các nhiệm vụ cụ thể là: Tìm hiểu giao thức quản lý mạng, tìm hiểu hệ thống giám sát mạng Nagios. .. lý hệ thống giám sát Kết đạt Tổng hợp kiến thức hệ thống giám sát, giao thức quản lý mạng Triển khai thành công hệ thống giám sát phần mềm mã nguồn mởi Nagios NagVis Cấu hình thiết bị mạng để hệ. .. luận văn giới hạn tìm hiểu hệ thống Nagios ứng dụng Plugin Nagvis, từ triển khai hệ thống giám sát Nagios Core tích hợp Plugin NagVis Mô hình sử dụng tham khảo hệ thống mạng trường Đại học Bách