Thiết kế và xây dựng hệ thống giám sát phân tích cảnh báo chủ động cho isp

ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA - NGUYỄN TRUNG THÔNG THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG GIÁM SÁT PHÂN TÍCH CẢNH BÁO CHỦ ĐỘNG CHO ISP Chuyên ngành: Kỹ Thuật Điện Tử Mã số: 605270 LUẬN VĂN THẠC SĨ TP.HCM, tháng 07 năm 2014 CƠNG TRÌNH ĐƢỢC HỒN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG-HCM Cán hƣớng dẫn khoa học : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ đƣợc bảo vệ Trƣờng Đại học Bách Khoa, ĐHQG TP HCM ngày … tháng … năm 2014 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trƣởng Khoa quản lý chuyên ngành sau luận văn đƣợc sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM TRƢỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: NGUYỄN TRUNG THÔNG MSHV:11146080 Ngày, tháng, năm sinh: 11/04/1988 Nơi sinh: Tiền Giang Chuyên ngành: Kỹ thuật điện tử Mã số : I TÊN ĐỀ TÀI: THIẾT KẾ VÀ XÂY DỰNG HỆ THỐNG GIÁM SÁT PHÂN TÍCH CẢNH BÁO CHỦ ĐỘNG CHO ISP II NHIỆM VỤ VÀ NỘI DUNG: III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) V CÁN BỘ HƢỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): Tp HCM, ngày tháng năm 2014 CÁN BỘ HƢỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƢỞNG KHOA (Họ tên chữ ký) LỜI CẢM ƠN Trƣớc hết, xin chân thành cảm ơn Thầy hƣớng dẫn TS.Nguyễn Minh Hồng, ngƣời tận tình hƣớng dẫn, giúp đỡ suốt thời gian thực đề tài Tôi xin gởi lời cảm ơn đến q Thầy Cơ Khoa Điện-Điện Tử nói chung môn Viễn Thông, truyền đạt cho kiến thức q báu tơi cịn sinh viên trƣờng Đại Học Bách Khoa TP.HCM Ngồi ra, tơi cung xin chân thành cảm ơn đồng nghiệp Phịng Cơng Nghệ Thơng Tin- Viễn Thơng thuộc cơng ty TNHH Truyền Hình Cáp SaiGonTourist tạo điều kiện để thử nghiệm, ứng dụng kết đề tài vào thực tế Cuối xin cảm ơn đến bậc sinh thành sinh tơi, ln theo sát, động viên tơi thời gian khó khăn Cảm ơn em trai ngƣời bạn thân hỗ trợ thời gian qua Sự giúp đở em bạn niềm động viên q báu, khiến tơi thêm tâm hồn thành luận văn Nguyễn Trung Thông ABSTRACT Whatever Internet Services Provider needs a good Monitor System to detect and help people to fix problem as soon as possible However, the Monitor Tools cannot meet all the monitoring needs As the needs to monitor quality of service, to monitor VPN/MPLS flow, to monitor Multicast IPTV, cause analysis, troubleshooting support, cannot be supplied by most of monitor tools To solve that problem, a new monitor system (which include many Network Sensors and analyzes engine) is build to monitor all the services on the ISP system and to also analysis and troubleshooting whatever they detect problems This help reduce the downtime of services So, troubleshooting team can increases the sense of initiative when opeating the system In the results: The research had to overcome the missing features of the current monitoring tools The system is used for NOC (Network operations Center) of SCTV ISP (Internet Services Provider) – which have over 100,000 Internet customers and have got the thoughput about 40Gbps New Monitor system help detect, analyze and handle incidents more quickly, more active Results of the research is a new approach to the ISP NOC complete system to help ISP increase network scalability with the service monitoring system Trang i TÓM TẮT Bất kỳ nhà cấp dịch vụ Internet cần hệ thống giám sát để phát khắc phục cách nhanh chóng cố Tuy nhiên, công cụ giám sát phổ biến không đáp ứng đƣợc nhu cầu giám sát nhà cung cấp Các nhu cầu nhƣ: giám sát chất lƣợng dịch vụ, giám sát luồng VPN/MPLS, luồng IPTV Multicast, phân tích nguyên nhân, hỗ trợ xứ lý cố, … nhu cầu thiết Thêm vào việc phát hiện, phân tích xử lý cố bị động Phải nhiều thời gian Để đáp ứng nhu cầu giám sát ISP, luận văn xây dựng công cụ giám sát (Sensor giám sát) kèm giải thuật phân tích hệ thống hỗ trợ khắc phục cố Nhằm giúp hệ thống giám sát thiết bị đầy đủ dịch vụ cung cấp Khi phát cố, module giám sát phát phân tích ngun nhân Từ đó, thơng báo cho phận giám sát gởi kèm thông tin liên hệ xử lý Việc giúp rút ngắn thời gian xử lý, tăng tính chủ động vận hành hệ thống Kết thực hiện: đề tài khắc phục hạn chế công cụ giám sát Hệ thống đƣợc ứng dụng cho phận giám sát nhà cung cấp Internet SCTV - đơn vị có 100.000 khách hàng Internet cung cấp nhiều dịch vụ truyền dẫn khác với lƣu lƣợng lên đến 40Gbps, giúp phát hiện, phân tích xử lý cố nhanh chóng hơn, chủ động Kết đề tài phƣơng thức để ISP hoàn thiện hệ thống giám sát Giúp ISP tăng khả mở rộng mạng lƣới dịch vụ với hệ thống giám sát Trang ii LỜI CAM KẾT Tôi xin cam kết đề tài nghiên cứu tôi, đƣợc thực tinh thần sáng tạo trách nhiệm Tất thiết kế, đoạn mà lập trình, ý tƣởng đƣợc thực sở khoa học chân chính, nghiêm túc Nguyễn Trung Thông Trang iii MỤC LỤC ABSTRACT i TÓM TẮT ii LỜI CAM KẾT iii MỤC LỤC iv DANH MỤC HÌNH vii DANH MỤC CÁC CHỮ VIẾT TẮT ix CHƢƠNG 1: MỞ ĐẦU 1.1 Đặt Vấn Đề .1 1.2 Đối Tƣợng Và Phạm Vi Nghiên Cứu .2 1.3 Tóm Tắt Nội Dung CHƢƠNG 2: TỔNG QUAN VỀ GIÁM SÁT HỆ THỐNG ISP 2.1 Phân chia thành phần mạng ISP 2.2 Bộ phận giám sát (NOC) chức 2.3 Các thông số cần giám sát mạng dịch vụ (ISP) công cụ giám sát CHƢƠNG 3: CÁC GIAO THỨC VÀ CÔNG CỤ GIÁM SÁT 10 3.1 Giao thức phục vụ giám sát 10 3.1.1 Giao thức SNMP: 10 3.1.2 Syslog & Analyzer [3] 10 3.1.3 Giao thức telnet: [2] 11 3.1.4 Giao thức SSH [4]: 12 3.1.5 Phƣơng thức giám sát dịch vụ: 12 3.2 Các phần mềm giám sát 14 3.2.1 Cacti & weather map: 14 3.2.2 Nagios 15 3.2.3 SolarWind 16 3.2.4 MRTG - Multi Router Traffic Graphic 17 3.2.5 NTOP 17 Trang iv 3.2.6 Syslog 17 3.3 Giám sát chất lƣợng dịch vụ 18 3.3.1 Nhu cầu QoS 18 3.3.2 Mô hình QoS: 19 3.3.3 Giám sát chất lƣợng dịch vụ: 21 3.4 Các phƣơng thức cảnh báo .22 3.4.1 Các loại cảnh báo thƣờng dùng 22 3.4.2 Giới thiệu Pushnote Pushbullet 22 CHƢƠNG 4: XÂY DỰNG HỆ THỐNG GIÁM SÁT, PHÂN TÍCH, CẢNH BÁO CHỦ ĐỘNG CHO ISP 24 4.1 Mô tả hệ thống giám sát 24 4.1.1 Cấu trúc thiết kế chung 24 4.1.2 Tính phân tích 26 4.1.3 Tính hỗ trợ xử lý cố 26 4.1.4 Các phƣơng thức cảnh báo 27 4.1.5 Tóm tắt tính phần mềm: 28 4.2 Các Sensor giải thuật xử lý 29 4.2.1 Sensor giám sát module phân tích thiết bị cổng vật lý 29 4.2.2 Sensor module quản lý cấu hình thiết bị, so sánh, phân tích 32 4.2.3 Sensor giám sát ngƣời quản trị đăng nhập hệ thống: 35 4.2.4 Sensor giám sát QoS 38 4.2.5 Sensor giám sát luồng IPTV multicast: 40 4.2.6 Sensor giám sát BGP session 43 4.2.7 Sensor giám sát dịch vụ VPN/MPLS (layer and Layer 3) 47 4.2.8 Giao diện quản trị hệ thống giám sát mới: 49 CHƢƠNG 5: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 54 5.1 Đánh giá kết thực hiện: 54 5.2 Các vấn đề giải quyết: .55 5.3 Hƣớng phát triển: 56 PHỤ LỤC 57 6.1 Cơ sở liệu cho hệ thống giám sát: .57 6.1.1 Hệ thống giám sát mới: 57 Trang v 6.1.2 Database hệ thống syslog: 57 6.1.3 Database hệ thống snmptrap: 58 6.2 Hƣớng dẫn cài đặt 58 6.2.1 Cài đặt syslog server 58 6.2.2 Cài đặt syslogtrap server: 61 6.2.3 Cài đặt công cụ hỗ trợ phần mềm giám sát: 61 6.2.4 Cài đặt webserver, php,mysql: 61 6.3 Các đoạn mã lập trình quan trọng: 65 6.3.1 Module giám sát, phân tích tình trạng thiết bị cổng vật lý 65 6.3.2 Module quản lý cấu hình thiết bị, so sánh phân tích thay đổi cấu hình 70 6.3.3 Module quản lý ngƣời quản trị đăng nhập hệ thống: 78 6.3.4 Module giám sát QoS 84 6.3.5 Module giám sát luồng IPTV multicast: 88 6.3.6 Module giám sát BGP session peering 95 6.3.7 Module giám sát dịch vụ VPN/MPLS (layer and Layer 3) 98 6.3.8 Giao diện quản trị hệ thống giám sát mới: 98 TÀI LIỆU THAM KHẢO 110 Trang vi echo "select id,DeviceReportedTime,Message,syslogtag,fromhost from SystemEvents where id>$STARTID and (fromhost like \"%MX%\" or fromhost like \"%SRX%\" or fromhost like \"%EX%\" or fromhost like \"%ISP%\") and ( Message Like \"%logout%\" or Message Like \"%login%\")" | \ mysql -u viewconfig password=password Syslog skip-column-names > $HOMEBGP/syslog.logincore_temp cat $HOMEBGP/syslog.logincore_temp | grep -v viewconfig > $HOMEBGP/syslog.logincore if [ -s $HOMEBGP/syslog.logincore ]; then IFS=' ' while read -r SYSID SYSTIME MESSAGE LOGIC FROMHOST TEMP=$(echo $MESSAGE | cut -d ":" -f 2- | sed "s/'//g") $SQLPATH/insert_event3.sh "usersys" "$TEMP" "$FROMHOST" "" "1" "L1_user.jpg" "chu y" "" "$SYSTIME" &>> $LOGMYSQL echo "$SYSTIME $FROMHOST $TEMP" >> $HOMEBGP/pushbullet_content done < $HOMEBGP/syslog.logincore TEMPPUSH=$(cat $HOMEBGP/pushbullet_content | egrep -v 'configuration mode|Login attempt'| cut -d ',' -f ) if [ -n "$TEMP" ]; then echo "======$(date)=====" >> $HOMEBGP/pushbullet_log echo "$TEMPPUSH" >> $HOMEBGP/pushbullet_log fi fi #rm -f $HOMEBGP/syslog.logincore rm -f $HOMEBGP/syslog.mysql ######### update last id for next scan ############ IDLAST_TEMP=$(echo "select max(id) from SystemEvents" | mysql -u viewconfig -password=password Syslog skip-column-names) echo "IDLAST=$IDLAST_TEMP" > $HOMEBGP/idlast ######### Pre process before send alarm ########### cat $EMAILCONTENT | grep "2001:470:17:4::1" | sed 's/2001:470:17:4::1/2001:470:17:4::1 EBGP_HURRICANEv6_IXP/g'> $HOMEBGP/temp_obmit #cat $EMAILCONTENT | egrep -v "2001:470:17:4::1" > $HOMEBGP/temp Trang 97 #mv $HOMEBGP/temp $EMAILCONTENT ######### Email Alarm ########### if [ -s $EMAILCONTENT ]; then # them cac dong ==== vao email cho de doc echo -n > /tmp/temp_email_bgp IFS=" " while read LINE echo $LINE >> /tmp/temp_email_bgp echo "========" >> /tmp/temp_email_bgp done < "$EMAILCONTENT" mv /tmp/temp_email_bgp $EMAILCONTENT echo "======$(date)======" >> $LOGBGP cat $EMAILCONTENT >> $LOGBGP echo "OBMIT:" >> $LOGBGP cat $HOMEBGP/temp_obmit >> $LOGBGP echo "$(date): BGP" >> $LOGMAIL # $HOMEMAIL/sendmail.sh noc@sctv.com.vn "" BGP $EMAILCONTENT &>> $LOGMAIL # $HOMEMAIL/sendmail.sh thong.nt@sctv.com.vn le.nq@sctv.com.vn,nghia.tm@sctv.com.vn BGP $EMAILCONTENT 2>> $LOGMAIL $HOMEMAIL/sendmail.sh thong.nt@sctv.com.vn "" BGP $EMAILCONTENT 2>> $LOGMAIL fi 6.3.7 Module giám sát dịch vụ VPN/MPLS (layer and Layer 3) File thực thi đƣợc gộp chung với module giám sát IPTV phƣơng án snmptrap Phần khác dấu hiệu nhận biết kiện VPN/MPLS down/up 6.3.8 Giao diện quản trị hệ thống giám sát mới: Code website dashboard: /var/www/monitor/dashboard/view.php View Records Trang 98