Nghiên cứu và phát triển hệ thống giám sát mạng cho trường ĐHBK tp hồ chí minh

Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THỊ ANH THƯ NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG GIÁM SÁT MẠNG CHO TRƯỜNG ĐHBK TP.HCM Chuyên ngành : Kỹ thuật điện tử LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2011 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH Cán hướng dẫn khoa học : TS LƯU THANH TRÀ Cán chấm nhận xét : PGS TS PHẠM HỒNG LIÊN Cán chấm nhận xét : TS NGUYỄN MINH HOÀNG Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày 12 tháng 07 năm 2011 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: PGS TS Phạm Hồng Liên TS Đỗ Hồng Tuấn TS Phan Hồng Phương TS Nguyễn Minh Hoàng TS Lưu Thanh Trà Xác nhận Chủ tịch Hội đồng đánh giá LV môn quản lý chuyên ngành sau luận văn sửa chữa (nếu có) Chủ tịch Hội đồng đánh giá LV Bộ môn quản lý chuyên ngành TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HOÀ XÃ HỘI CHỦ NGHIÃ VIỆT NAM KHOA ………………………………… Độc Lập - Tự Do - Hạnh Phúc -oOo Tp HCM, ngày tháng năm NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Thị Anh Thư Ngày, tháng, năm sinh: 20/04/1984 Chuyên ngành: Kỹ thuật điện tử MSHV: 01408385 Phái: Nữ Nơi sinh: Đà Lạt 1- TÊN ĐỀ TÀI: NGHIÊN CỨU VÀ PHÁT TRIỂN HỆ THỐNG GIÁM SÁT MẠNG CHO TRƯỜNG ĐẠI HỌC BÁCH KHOA TP.HCM 2- NHIỆM VỤ LUẬN VĂN: - Tìm hiểu hệ thống giám sát, giao thức SNMP Khảo sát hệ thống giám sát số đơn vị địa bàn TP HCM Tìm hiểu kết hợp setup thử nghiệm phần mềm giám sát mã nguồn mở (Cacti, Ganglia, MRTG, Nagios) Nghiên cứu, phát triển hệ thống giám sát mạng trường ĐHBK TP HCM sở xây dựng hàm thư viện ứng dụng cho trình giám sát hệ thống mạng Triển khai thử nghiệm; kiểm chứng kết 3- NGÀY GIAO NHIỆM VỤ : 25/01/2010 4- NGÀY HOÀN THÀNH NHIỆM VỤ : 30/06/2011 5- HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN (Ghi đầy đủ học hàm, học vị ): TS LƯU THANH TRÀ Nội dung đề cương Luận văn thạc sĩ Hội Đồng Chuyên Ngành thông qua CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN (Họ tên chữ ký) QUẢN LÝ CHUYÊN NGÀNH (Họ tên chữ ký) KHOA QL CHUYÊN NGÀNH (Họ tên chữ ký) Tác giả xin chân thành cảm ơn tất người hướng dẫn giúp đỡ tác giả trình tìm hiểu kiến thức để hoàn thành luận văn Trước tiên thầy TS Lưu Thanh Trà, người nhiệt tình hướng dẫn em hiểu vấn đề thực luận văn Xin chân thành cảm ơn thầy cô hội đồng nhận xét, phản biện nghiêm túc giúp em hoàn chỉnh luận văn Xin chân thành cảm ơn bạn bè, đồng nghiệp sát cánh bên việc giải vấn đề khoa học nảy sinh nghiên cứu để tác giả có lời giải đáp, tiếp tục hướng đường nghiên cứu để đạt kết cuối cùng, hoàn thành hướng nghiên cứu Cơng trình hồn thành chờ đón, động viên chia sẻ người thân gia đình, người đồng nghiệp người bạn Cảm ơn người bên lúc Tp HCM, tháng 6/2011 Nguyễn Thị Anh Thư LỜI CAM ĐOAN Luận văn kết trình tự nghiên cứu từ báo khoa học tạp chí IEEE, từ RFC, từ ebook hệ thống giám sát, ebook giao thức SNMP, tư liệu đề cập phần tài liệu tham khảo Những kết nêu đồ án thành lao động cá nhân tác giả giúp đỡ giáo viên hướng dẫn TS Lưu Thanh Trà, thầy cô, anh chị nhân viên trung tâm mạng ĐHBK TP.HCM, đồng nghiệp bạn bè lớp cao học điện tử 2008 Tác giả xin cam đoan luận văn hồn tồn khơng chép lại cơng trình có từ trước TÓM TẮT LUẬN VĂN Đối với hạ tầng mạng, việc hoạch định kiến trúc, vận hành hệ thống giám sát hệ thống kết hợp chặt chẽ với Hệ thống giám sát giúp đảm bảo tính thời gian thực tính liên tục 24/7 cho hệ thống mạng tối ưu hóa luồng liệu truy cập môi trường phức tạp biến đổi Hiện nay, để triển khai hệ thống giám sát, có giải pháp: thứ sử dụng thiết bị phần cứng hãng; thứ hai sử dụng phần mềm (bao gồm phần mềm có quyền phần mềm mã nguồn mở) Giải pháp phần cứng bao gồm sản phẩm hãng Cisco, Juniper…Giải pháp phần mềm mã nguồn mở bao gồm số phần mềm phổ biến như: Cacti, Nagios, MRTG, Ganglia, Big Brother, Zenoss… Tại Việt Nam, việc sử dụng phần mềm open source để giám sát hệ thống chưa phổ biến rộng rãi tổ chức, doanh nghiệp Hiện tại, dừng lại góc độ nghiên cứu khoa học mô máy ảo Trường ĐHBK TP HCM đơn vị đầu nước việc nghiên cứu, ứng dụng triển khai công nghệ vào thực tế Vì vậy, đề tài luận văn thực nghiên cứu, phát triển hệ thống giám sát mạng trường cách xây dựng hàm thư viện ứng dụng cho q trình giám sát Có thể nói đề tài luận văn này, mặt đáp ứng nhu cầu giám sát cho hệ thống mạng trường nay; mặt khác, sở khoa học cho việc hợp tác chuyển giao công nghệ hệ thống giám sát open source trường đơn vị có nhu cầu Để phát triển hệ thống giám sát, luận văn nêu lên nghiên cứu hệ thống giám sát, giải pháp thiết bị phần cứng hãng, khảo sát việc sử dụng hệ thống giám sát số đơn vị TP.HCM Nghiên cứu số phần mềm giám sát open source phổ biến, phương pháp cài đặt, cấu hình trình bày luận i văn Dựa nội dung nghiên cứu trên, luận văn xây dựng hàm thư viện phù hợp nhằm hỗ trợ cho trình giám sát Kết thực nghiệm cho thấy hệ thống giám sát sử dụng hàm thư viện có khả giám sát thông số hệ thống (số user tại, số process tại…), mem lượng traffic, thống kê theo thời gian (ngày, tuần, tháng, năm) phát tất dấu hiệu bất thường web server, cho phép người quản trị mạng giám sát tình trạng hệ thống thơng qua giao diện web Trong tương lai, phát triển theo hướng giám sát thêm số dịch vụ nâng cao cho phù hợp với nhu cầu thực trạng trường (ví dụ giám sát mail server, DNS server…) ii ABSTRACT Network monitoring is essential for obtaining the required information about the health and operation of network systems in order to make management decisions and control their behaviors The main contribution of this thesis is the support for auto collection of required informations of several objects and supplying with graph results accordingly In particular, this thesis builds up a library function which helps users to extract the informations they need exactly The library function when used as middleware can be easily applied to further application As an illustration, we use this library function for monitoring the host resource parameters defined in the MIB 2790 and MIB 1213 iii MỞ ĐẦU Trước đây, vai trò hệ thống giám sát chưa đánh giá mức hệ thống mạng Ngày nay, với mở rộng tính quy mô hệ thống mạng, mức độ phức tạp dịch vụ yêu cầu gắt gao lĩnh vực an ninh mạng khiến việc giám sát hệ thống mạng trở thành yêu cầu thiết thực nhằm đảm bảo vận hành ổn định cho hệ thống Hiện có nhiều phương pháp ứng dụng để triển khai hệ thống giám sát Có thể chia thành hai nhóm chính: nhóm sử dụng giải pháp hãng hãng Cisco (CiscoWorks, Solar Wind), hãng Nortel Network (Optivity), hãng Juniper, hãng Ericsson, hãng Siemens, hãng Huawei… nhóm sử dụng giải pháp open source như: Cacti, MRTG, Ganglia, Nagios Giải pháp hãng có ưu điểm tích hợp trọn gói, dễ cài đặt – sử dụng không phát triển thêm tính tương thích khơng cao với sản phẩm khác hãng Giải pháp mã nguồn mở có ưu điểm giúp tiết kiệm chi phí, có khả phát triển tùy biến tính tương thích cao xây dựng chuẩn hóa; bù lại, việc cài đặt sử dụng tương đối phức tạp Trường Đại học Bách khoa TP HCM đơn vị tiên phong nghiên cứu - ứng dụng công nghệ nước Hiện nay, để đảm bảo phục vụ tốt cho việc truy cập vào hệ thống website trường sử dụng dịch vụ mail cho sinh viên, học viên, cán khách, cần phát triển hệ thống giám sát, giúp đảm bảo tính liên tục ổn định cho hệ thống dịch vụ cung cấp cho đối tượng nói Mục đích luận văn phát triển hệ thống giám sát mạng trường Đại học Bách khoa TP HCM sở xây dựng hàm thư viện (dựa giao thức SNMP RRDTool) Luận văn trình bày thành chương, cụ thể sau: iv Chương 1: Tổng quan Phần tổng quan nêu lên sở mục đích nghiên cứu luận văn Tình hình giới tình hình nước liên quan đến lĩnh vực nghiên cứu Ngoài ra, chương này, tìm hiểu vấn đề liên quan đến quản trị hệ thống, nguy đe dọa tính ổn định hệ thống mạng Sau nghiên cứu hệ thống giám sát, thành phần hệ thống giám sát, mơ hình hoạt động, ngun lí hoạt động, phương pháp xử lí thơng tin hệ thống giám sát Chương 2: Giải pháp triển khai phần cứng hệ thống giám sát hãng ứng dụng hệ thống giám sát đơn vị Trong chương trình bày giải pháp monitor hãng việc triển khai thực tế số đơn vị địa bàn TP HCM Từ đưa đánh giá, so sánh chọn lựa giải pháp phát triển hệ thống giám sát cho trường Đại học Bách khoa TP HCM Chương 3: Nghiên cứu số phần mềm giám sát hệ thống mạng open source phổ biến Chương bao gồm nội dung: cấu trúc hệ thống, cài đặt, cấu hình, phân tích tập tin config, cách thức hoạt động… số phần mềm như: Cacti, MRTG, Nagios, Ganglia Chương 4: Xây dựng hàm thư viện ứng dụng giám sát hệ thống mạng trường ĐHBK TP.HCM Trong chương này, phân tích trạng hạ tầng mạng hệ thống giám sát trường ĐHBK TP HCM; Xây dựng hàm thư viện ứng dụng giám sát hệ thống mạng; triển khai thử nghiệm mơ hình VMWare kiểm chứng kết Trên sở đó, phân tích, so sánh đánh giá hiệu triển khai sử dụng hàm thư viện so với phiên open source Chương 5: Kết luận hướng phát triển Nêu lên kết đạt được, mặt hạn chế định hướng phát triển luận văn v Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử [root@localhost rrdtool]# cd /var/www/html/rrdtool/graph [root@localhost graph]# [root@localhost graph]# ll -a total 436 drwxr-xr-x root root 4096 Jun 25 11:19 drwxr-xr-x root root 4096 Jun 25 10:55 -rw-r r root root 19680 Jun 25 11:19 [hrStorageSize]_[0]_day.png -rw-r r root root 15033 Jun 25 11:19 [hrStorageSize]_[0]_month.png -rw-r r root root 16644 Jun 25 11:19 [hrStorageSize]_[0]_week.png -rw-r r root root 16186 Jun 25 11:19 [hrStorageSize]_[0]_year.png -rw-r r root root 19548 Jun 25 11:19 [hrStorageSize]_[1]_day.png -rw-r r root root 14947 Jun 25 11:19 [hrStorageSize]_[1]_month.png -rw-r r root root 16391 Jun 25 11:19 [hrStorageSize]_[1]_week.png -rw-r r root root 16078 Jun 25 11:19 [hrStorageSize]_[1]_year.png -rw-r r root root 18373 Jun 25 11:19 [hrStorageSize]_[2]_day.png -rw-r r root root 14986 Jun 25 11:19 [hrStorageSize]_[2]_month.png -rw-r r root root 16740 Jun 25 11:19 [hrStorageSize]_[2]_week.png -rw-r r root root 16219 Jun 25 11:19 [hrStorageSize]_[2]_year.png -rw-r r root root 17397 Jun 25 11:19 [hrStorageSize]_[3]_day.png -rw-r r root root 14119 Jun 25 11:19 [hrStorageSize]_[3]_month.png -rw-r r root root 15527 Jun 25 11:19 [hrStorageSize]_[3]_week.png -rw-r r root root 15149 Jun 25 11:19 [hrStorageSize]_[3]_year.png -rw-r r root root 19237 Jun 25 11:19 [hrStorageSize]_[4]_day.png -rw-r r root root 14349 Jun 25 11:19 [hrStorageSize]_[4]_month.png -rw-r r root root 15627 Jun 25 11:19 [hrStorageSize]_[4]_week.png -rw-r r root root 15485 Jun 25 11:19 [hrStorageSize]_[4]_year.png -rw-r r root root 18146 Jun 25 11:19 [hrSystemNumUsers]_[0]_day.png -rw-r r root root 15199 Jun 25 11:19 [hrSystemNumUsers]_[0]_month.png -rw-r r root root 16779 Jun 25 11:19 [hrSystemNumUsers]_[0]_week.png -rw-r r root root 16325 Jun 25 11:19 [hrSystemNumUsers]_[0]_year.png 4.2.3.3 Tổng hợp thành hàm thư viện: Hợp sub routine thành hàm thư viện với tên gọi bkmodule.pl Để tránh lặp lại nội dung, sub routine người viết thay dấu ba chấm (…) Cụ thể sau: GVHD: TS Lưu Thanh Trà -67- HVTH: Nguyễn Thị Anh Thư Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử sub bkmodule1 { … } sub bkmodule2 { … } 1; #Main - return a true value END =head1 DESCRIPTION This is a small library provided two functions: - Query information using SNMP and return an array stored value requested - Store in rrd DataBase and create graph accordingly The usage for each is: bkmodule1 (name,number_of_instance); bkmodule2 (type,name,number_of_instance,@return_of_bkmodule1,@name_of_instance); =head1 PREREQUISITES rrdtool-1.2.30-1.wrl net-snmp-perl-5.3.2.2-9.el5_5.1 BKMODULE(1) User Contributed Perl Documentation BKMODULE(1) PREREQUISITES rrdtool-1.2.30-1.wrl net-snmp-perl-5.3.2.2-9.el5_5.1 perl v5.8.8 2011-06-25 BKMODULE(1) 4.3 Ứng dụng hàm thư viện hoàn thiện vào giám sát thử nghiệm Collect data (net-snmp) Storage Graph RRDTool RRDTool Back – end user php-mySQL Hình 4.4: Sơ đồ luồng liệu GVHD: TS Lưu Thanh Trà -68- HVTH: Nguyễn Thị Anh Thư Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử Ứng dụng hàm thư viện vào giám sát thử nghiệm số thông số network device như: - Mem: hrStorageSize hrStorageUsed (5 instance: Mem Buffers, Real Memory, Swap Space, /, /boot); - Process, users: hrSystemNumUsers; hrSystemProcesses; - Network Interface: ifInOctets, ifOutOctets, ifInErrors, ifOutErrors (3 instance: Loopback, ethernet, tunnel) Query tiến hành OID thuộc MIB 2790 (Host Resources MIB ) MIB 1213 (MIB for Network Management of TCP/IP-based internets) cho trường hợp instance nhiều instance Mơ hình chạy thử nghiệm VMWare 4.3.1 Cài đặt SNMP: net-snmp-perl-5.3.2.2-9.el5_5.1 net-snmp-devel-5.3.2.2-9.el5_5.1 net-snmp-utils-5.3.2.2-9.el5_5.1 net-snmp-libs-5.3.2.2-9.el5_5.1 net-snmp-5.3.2.2-9.el5_5.1 RRDTool rrdtool-perl-1.2.30-1.wrl rrdtool-1.2.30-1.wrl rrdtool-devel-1.2.30-1.wrl Perl perl-5.8.8-10.el5_0.2 GVHD: TS Lưu Thanh Trà -69- HVTH: Nguyễn Thị Anh Thư Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử PHP php-5.1.6-27.el5_5.3 php-common-5.1.6-27.el5_5.3 php-mssql-5.1.6-15.el5.centos.1 php-devel-5.1.6-27.el5_5.3 php-cli-5.1.6-27.el5_5.3 php-gd-5.1.6-27.el5_5.3 MySQL mysql-5.0.77-4.el5_6.6 mysql-server-5.0.77-4.el5_6.6 php-mysql-5.1.6-27.el5_5.3 GVHD: TS Lưu Thanh Trà -70- HVTH: Nguyễn Thị Anh Thư Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử 4.3.2 Demo #!/usr/bin/perl use SNMP '5.0.3.pre1' || die("Cannot load module\n"); use RRDs; my $path_lib = '/usr/local/bin'; require "$path_lib/bkmodule.pl"; ########### param delare ########### #################################### # define location of rrdtool databases my $rrd = '/var/lib/rrd/rrd1'; # define location of images my $img = '/var/www/html/rrdtool/data1'; $ENV{'MIBS'}="ALL"; #Load all available MIBs $SNMP_TARGET = "192.168.1.8"; $SNMP_COMMUNITY = "public"; $SESSION = new SNMP::Session ( DestHost => $SNMP_TARGET, Community => $SNMP_COMMUNITY, Version => 2); use vars qw(@VLIST_1 @VLIST_2 @instance_1 @instance_2 @a0 @a1 @a2 @a3 @b0 @b1 @b2 @b3 @temp1 @temp2 $type1 $type2 @temp); $type1 = 1; $type2 = 2; @VLIST_1 = ('hrStorageSize','hrStorageUsed','hrSystemNumUsers','hrSystemProcesses'); @instance_1 = (4,4,0,0); @a0 = ('Memory Buffers','Real Memory','Swap Space','/','/boot'); @a1 = ('Memory Buffers','Real Memory','Swap Space','/','/boot'); @a2 = ('hrSystemNumUsers'); @a3 = ('hrSystemProcesses'); @VLIST_2 = ('ifInOctets', 'ifOutOctets', 'ifInErrors', 'ifOutErrors'); @instance_2 = (2,2,2,2); @b0 = ('Loopback','ethernet','tunnel'); @b1 = ('Loopback','ethernet','tunnel'); @b2 = ('Loopback','ethernet','tunnel'); @b3 = ('Loopback','ethernet','tunnel'); GVHD: TS Lưu Thanh Trà -71- HVTH: Nguyễn Thị Anh Thư Luận văn thạc sĩ Phát triển hệ thống giám sát mạng cho trường ĐHBK TP.HCM Chuyên ngành kỹ thuật điện tử @temp1 = (); for ($pi = 0;$pi