Nghiên cứu giải pháp tập trung và ứng dụng quản lý hệ thống mạng trường đại học hà nội

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG &*& NGUYỄN THỊ HÀ LY NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI – 2019 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG &*& NGUYỄN THỊ HÀ LY NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS TRẦN QUANG ANH HÀ NỘI – 2019 i LỜI CAM ĐOAN Tôi cam đoan đề tài: “Nghiên cứu giải pháp giám sát tập trung ứng dụng quản lý hệ thống mạng Trường Đại học Hà Nội” cơng trình nghiên cứu riêng hướng dẫn PGS.TS Trần Quang Anh Các kết quả, phân tích, kết luận luận văn thạc sỹ (ngồi phần trích dẫn) kết làm việc tác giả, số liệu nêu luận văn trung thực chưa công bố công trình khác Nếu sai tơi xin hồn tồn chịu trách nhiệm Hà Nội, ngày 12 tháng năm 2019 Tác giả Nguyễn Thị Hà Ly ii LỜI CẢM ƠN Lời cho em xin gửi lời cảm ơn chân thành đến thầy, cô giáo thuộc Khoa CNTT, Khoa QT&ĐT sau đại học thuộc Học viện Công nghệ Bưu viễn thơng tận tình giảng dạy, truyền đạt nội dung kiến thức, kinh nghiệm quý báu suốt trình em theo học Học viện Với học quý giá, kèm cặp, bảo truyền thụ tâm huyết thầy, cô giúp cá nhân em hoàn thiện hệ thống kiến thức chuyên ngành, phục vụ tốt yêu cầu công tác đơn vị đồng thời nâng cao vốn tri thức thân Đặc biệt, em xin gửi lời cảm ơn chân thành tới thầy hướng dẫn khoa học PGS.TS Trần Quang Anh, tâm huyết, tận tình bảo, hướng dẫn, cung cấp tài liệu nội dung kiến thức quý báu, đồng thời có định hướng đắn giúp em hồn thành luận văn Đồng thời em xin chân thành cảm ơn tập thể lớp Cao học Khoa học máy tính đồng hành, khích lệ chia sẻ suốt trình học tập Trong trình thực luận văn, thân cố gắng, chủ động việc sưu tầm tài liệu, củng cố kiến thức… nhiên chắn luận văn nhiều thiếu sót Em mong nhận dạy, đóng góp tận tình thầy, để luận văn em hoàn thiện có tính ứng dụng cao thực tiễn Xin trân trọng cảm ơn! Hà Nội, ngày 12 tháng năm 2019 Học viên Nguyễn Thị Hà Ly iii MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH MỞ ĐẦU Chương I TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG 1.1 Các yêu cầu giám sát hệ thống mạng 1.1.1 Giới thiệu chung 1.1.2 Các yêu cầu chung giám sát hệ thống mạng 1.2 Tổng quan giám sát tập trung 1.3 Ứng dụng giám sát tập trung 1.4 Các yêu cầu chung cho giám sát tập trung 1.5 Tình hình triển khai hệ thống giám sát mạng Việt Nam vấn đề liên quan đến giám sát hệ thống mạng thực tế 1.6 Kết luận chương Chương II NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG 2.1 Các giải pháp giám sát 2.1.1Giải pháp giám sát hiệu 2.1.2Giải pháp giám sát lưu lư 2.1.3Giải pháp giám sát ngườ 2.1.4Giải pháp giám sát dịch 2.1.5Giải pháp giám sát Data 2.1.6Giải pháp giám sát hệ 2.1.7Giải pháp giám sát an ni 2.2 Giới thiệu số công cụ giám sát: 2.2.1Splunk iv 2.2.2 Zabbix 24 2.2.3 Nagios 24 2.2.4 HP ArcSight Logger 25 2.2.5 PRTG Network Monitor 25 2.2.6 ELK stack 26 2.3 Kết luận chương 34 Chương III XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI 35 3.1 Khảo sát mạng nội Đại Học Hà Nội (sau xin phép nhà trường đồng ý từ ban giám hiệu) 35 3.1.1 Mơ hình kiến trúc, chức trang thiết bị mạng có hệ thống mạng trường Đại học Hà Nội 35 3.1.2 Yêu cầu sử dụng 36 3.2 Đề xuất giải pháp giám sát tập trung cho mạng nội trường đại học Hà Nội 37 3.2.1 Giám sát hiệu phần cứng máy chủ 38 3.2.2 Giám sát lưu lượng băng thông, đường truyền 38 3.2.3 Giám sát người dùng 38 3.2.4 Giám sát dịch vụ 38 3.2.5 Giám sát Database 38 3.2.6 Giám sát Hệ điều hành 38 3.2.7 Giám sát an ninh 38 3.3 Thử nghiệm đánh giá số giải pháp bảo mật đề xuất 38 3.3.1 Nội dung thử nghiệm 38 3.3.2 Kết thử nghiệm đánh giá 40 3.4 Kết luận chương 48 KẾT LUẬN 49 TÀI LIỆU THAM KHẢO 50 PHỤ LỤC 51 v DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT Từ viết tắt FTP HTTP HTTPS ICSA IDS IMAP IPS POP3 SMTP SNMP TCP UDP vi DANH MỤC CÁC HÌNH Hình 1.1 Cơ chế hoạt động hệ thống giám sát Hình 1.2 Vịng đời chung Log (Nguồn: Internet) Hình 1.3 Mơ hình Log local Hình 1.4 Mơ hình Log tập trung 10 Hình 1.5 Mơ hình giám sát tập trung [13] 13 Hình 2.2 Các thành phần ELK stack [8] 27 Hình 2.3 Cấu trúc ELK [8] 28 Hình 2.4 Cơng cụ Elasticsearch [8] 29 Hình 2.5 Cơng cụ Logstash nguyên lý hoạt động [8] 30 Hình 2.6 Cơng cụ Kibana [8] 32 Hình 2.7 Beats nguyên lý hoạt động [8] 33 Hình 2.8 Beats Family [8] 34 Hình 3.1: Mơ hình hoạt động hệ thống mạng trường Đại học Hà Nội 35 Hình 3.2: Giám sát hiệu phần cứng 41 Hình 3.3: Mail gửi có Host vượt ngưỡng CPU 70% 41 Hình 3.4: Danh sách máy tạo nhiều traffic 42 Hình 3.5: Danh sách máy nhận nhiều traffic 43 Hình 3.6: Giám sát lượng người dùng lỗi đăng nhập khóa tài khoản sử dụng dịch vụ Active Directory 43 Hình 3.7: Giám sát dịnh vụ web apache 44 Hình 3.8: Giám sát tình trạng hoạt động dịch vụ Windows .45 Hình 3.9: Giám sát hàng động truy vấn (MySQL) 45 Hình 3.10: Giám sát số lượng kết nối tới Database (MySQL) .46 Hình 3.11: Giám sát log hệ điều hành Windows 47 Hình 3.12: Giám sát log Windows Defender Antivirus 47 Hình 3.13: Giám sát log hệ điều hành Linux (/var/log/ .) .47 Hình 3.15: Giám sát log đẩy từ Fortinet (Traffic log) 48 MỞ ĐẦU Lý chọn đề tài Giám sát hệ thống mạng vấn đề vô quan trọng hệ thống mạng giới Việc cập nhật tình trạng thành phần bên hệ thống giúp ta chủ động để ứng phó với vấn đề nảy sinh q trình hệ thống hoạt động Nếu khơng có giám sát, hệ thống quan tổ chức thụ động trước cố xảy hay đặc biệt can thiệp trái phép từ bên ngoài, gây tổn thất đo đếm Ngày nay, hệ thống mạng thường có biện pháp bảo vệ an ninh mạng firewall, phần mềm diệt virus, giải pháp có tác dụng vịng đai ngồi hệ thống mạng, vơ hiệu với cơng backdoor Hay IDS/IPS – hệ thống phát phòng chống xâm nhập khơng thể phát cố phát sinh từ bên nghẽn băng thơng, sập máy chủ, sập Router, Điều rõ hệ thống mạng cần hệ thống giám sát bao quát vấn đề, cung cấp thông tin định kỳ hệ thống, giúp người quản trị mạng sẵn sàng phát cố nhằm khắc phục chúng nhanh kịp thời nhất, giảm thiểu chi phí quy mơ cố xuống thấp Để thực việc giám sát cách hiệu quả, ISO (International Organization for Standardization) thiết kế mơ hình gọi FCAPS [3] nhằm định hướng rõ việc mà hệ thống quản lý cần phải thực hiện: - Quản lý lỗi - Quản lý cấu hình - Quản lý tài khoản - Quản lý hiệu - Quản lý bảo mật Và giải pháp giám sát hệ thống mạng thích hợp, hệ thống quản lý thu thập thông tin, liệu báo cáo định kì từ thiết bị phần mềm theo dõi, sở để quản lý toàn hệ thống Từ nhu cầu giám sát hệ thống mạng tổ chức, doanh nghiệp quan, học viên xin chọn đề tài nghiên cứu “NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI” Tổng quan vấn đề nghiên cứu Giám sát hệ thống mạng việc sử dụng hệ thống để liên tục theo dõi thành phần mạng máy tính, xem xét tình trạng hoạt động thành phần bên mạng, báo lại cho quản trị viên thành phần giám sát phát sinh vấn đề, cố để từ đề xuất phương án giải Thông thường mạng máy tính tối thiểu cần có máy chủ (server), đường truyền, thiết bị kết nối (Repeater, Hub, Switch, Bridge, ), máy tính người dùng (client), card mạng (Network Interface Card – NIC) để kết nối máy tính lại với Một hệ thống giám sát gồm có nhiều thành phần: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở liệu trung tâm Cơng cụ phân tích (Analysis tool) Mỗi thành phần bao gồm chức riêng, phương pháp thu thập, phân tích liệt kê nhằm đảm bảo đánh giá phản hồi kiện xảy hệ thống mạng cách nhanh chóng xác Các kiện diễn thiết bị ghi lại “log” Log ghi lại xác hoạt động thiết bị tình trạng hoạt động thiết bị Nhiệm vụ hệ thống giám sát mạng sử dụng máy trinh sát đến thiết bị cần theo dõi, thu thập log gửi sở liệu trung tâm Thơng qua cơng cụ phân tích để xác định cố báo lại cho quản trị viên nhằm có hành động thích hợp để ứng phó Tóm lại, cần phải có giải pháp giám sát tập trung để thu thập lượng log lớn giải toán giám sát, từ quản lý hệ thống cách hiệu 60 if "winlogbeat" in [tags] and [log_name] == "Security" and [event_id] == 4625 { mutate { remove_field => ["[message]"] add_field => { "short_message" => "Logon Failure Activity" } }}} filter { if "winlogbeat" in [tags] and [log_name] == "Security" and [event_id] == 4648 { mutate { remove_field => ["[message]"] add_field => { "short_message" => "A logon was attempted using explicit credentials" } }}} filter { if "winlogbeat" in [tags] and [log_name] == "Security" and [event_id] == 4727 { mutate { add_field => { "short_message" => "A security-enabled global group was created" } }} else if [event_id] == 4728 { mutate { add_field => { "short_message" => "A member was added to a security-enabled global group" } }} else if [event_id] == 4729 { mutate { 61 add_field => { "short_message" => "A member was removed from a security-enabled global group" } }} else if [event_id] == 4730 { mutate { add_field => { "short_message" => "A security-enabled global group was deleted" } }} else if [event_id] == 4731 { mutate { add_field => { "short_message" => "A security-enabled local group was created" } }} else if [event_id] == 4732 { mutate { add_field => { "short_message" => "A member was added to a security-enabled local group" } }} else if [event_id] == 4733 { mutate { add_field => { "short_message" => "A member was removed from a security-enabled local group" } }} else if [event_id] == 4734 { mutate { add_field => { "short_message" => "A security-enabled local group was deleted" } }} else if [event_id] == 4735 { 62 mutate { add_field => { "short_message" => "A security-enabled local group was changed" } }} else if [event_id] == 4737 { mutate { add_field => { "short_message" => "A security-enabled global group was changed" } }} else if [event_id] == 4754 { mutate { add_field => { "short_message" => "A security-enabled universal group was created" } }} else if [event_id] == 4755 { mutate { add_field => { "short_message" => "A security-enabled universal group was changed" } }} else if [event_id] == 4756 { mutate { add_field => { "short_message" => "A member was added to a security-enabled universal group" } }} else if [event_id] == 4757 { mutate { add_field => { "short_message" => "A member was removed from a security-enabled universal group" } }} 63 else if [event_id] == 4758 { mutate { add_field => { "short_message" => "A security-enabled universal group was deleted" } }} else if [event_id] == 4764 { mutate { add_field => { "short_message" => "A group's type was changed" } }}} filter { if "winlogbeat" in [tags] and [log_name] == "Security" and [event_data][LogonType] == "2" { mutate { add_field => { "Method" => "Interactive - Keyboard" } }} else if [event_data][LogonType] == "3" { mutate { add_field => { "Method" => "Network Logon" } }} else if [event_data][LogonType] == "4" { mutate { add_field => { "Method" => "Batch - Scheduled Task" } }} else if [event_data][LogonType] == "5" { mutate { add_field => { "Method" => "Service Account" } }} else if [event_data][LogonType] == "7" { mutate { 64 add_field => { "Method" => "Unlock System" } }} else if [event_data][LogonType] == "8" { mutate { add_field => { "Method" => "NetworkCleartext" } }} else if [event_data][LogonType] == "9" { mutate { add_field => { "Method" => "NewCredentials" } }} else if [event_data][LogonType] == "10" { mutate { add_field => { "Method" => "RemoteInteractive" } }} else if [event_data][LogonType] == "11" { mutate { add_field => { "Method" => "CachedInteractive" } }} else if [event_data][LogonType] == "0" { mutate { add_field => { "Method" => "System Account" } }}} filter { if "winlogbeat" in [tags] and [log_name] == "Security" and [event_data][Status] == "0x0" { mutate { add_field => { "Statusmsg" => "Success" } }} 65 else if [event_data][Status] == "0x12" { mutate { add_field => { "Statusmsg" => "Account: disabled,expired,locked out,logon hours" } }} else if [event_data][Status] == "0xB" { mutate { add_field => { "Statusmsg" => "Request start time is later than end time" } }} else if [event_data][Status] == "0x17" { mutate { add_field => { "Statusmsg" => "Password has expired" } }} else if [event_data][Status] == "0x18" { mutate { add_field => { "Statusmsg" => "Bad password" } }} else if [event_data][Status] == "0x1b" { mutate { add_field => { "Statusmsg" => "Server principal valid for user-to-user only" } }} else if [event_data][Status] == "0x1d" { mutate { add_field => { "Statusmsg" => "A service is not available." } }} else if [event_data][Status] == "0x20" { mutate { 66 add_field => { "Statusmsg" => "Ticket expired- Frequently logged by computer accounts" } }} else if [event_data][Status] == "0x25" { mutate { add_field => { "Statusmsg" => "Workstation’s clock out of sync with the DC" } }} else if [event_data][Status] == "0x6" { mutate { add_field => { "Statusmsg" => "Username does not exist or has not replicated" } }} else if [event_data][Status] == "0xc000006a" { mutate { add_field => { "Statusmsg" => "Incorrect Password" } }} else if [event_data][Status] == "0xc0000064" { mutate { add_field => { "Statusmsg" => "Username Does Not Exist" } }} else if [event_data][Status] == "0xc0000072" { mutate { add_field => { "Statusmsg" => "Account is disabled" } }} else if [event_data][Status] == "0xc0000234" { mutate { add_field => { "Statusmsg" => "Account is Locked Out" } }} 67 else if [event_data][Status] == "0xc0000193" { mutate { add_field => { "Statusmsg" => "Account Expiration" } }} else if [event_data][Status] == "0xc000006f" { mutate { add_field => { "Statusmsg" => "Logon Outside Hours" } }} else if [event_data][Status] == "0xc0000224" { mutate { add_field => { "Statusmsg" => "Use Required to change password next time" } }} else if [event_data][Status] == "0xc0000071" { mutate { add_field => { "Statusmsg" => "Password expired" } }} else if [event_data][Status] == "0xc000006d" { mutate { add_field => { "Statusmsg" => "Logon Failure" } }} else if [event_data][Status] == "0xc000006e" { mutate { add_field => { "Statusmsg" => "Unknown user name or bad password." } }} else if [event_data][Status] == "0xc000005e" { mutate { add_field => { "Statusmsg" => "No Logon Servers available to login" } 68 }} else if [event_data][Status] == "0xc0000133" { mutate { add_field => { "Statusmsg" => "Workstation’s clock out of sync with the DC" } }} else if [event_data][Status] == "0xc00002ee" { mutate { add_field => { "Statusmsg" => "An Error occured during Logon" } }} else if [event_data][Status] == "0xc000015b" { mutate { add_field => { "Statusmsg" => "Login Not Allowed for this system" } }} else if [event_data][Status] == "0xc0000225" { mutate { add_field => { "Statusmsg" => "Windows Bug and not a risk" } }}} output { if "winlogbeat" in [tags] { elasticsearch { hosts => ["http://192.168.1.5:9200"] index => "logstash-winlogbeat-%{+xxxx.ww}" # Format cũ: index => "logstash-winlogbeat-%{+YYYY.MM.dd}" }}} Lưu cấu hình khởi động lại dịch vụ: # Systemctl restart logstash Vậy ta cấu hình xong Winlogbeat để thu thập log truy cập dịch vụ Active Directory máy chủ Windows 69 Cấu hình Switch, Router gửi syslog máy chủ ELK Ở Switch Router, thiết bị cấu hình hoạt động bình thường hệ thống mạng Để gửi syslog máy chủ ELK, ta cấu sau: (Có tham khảo mã nguồn: Cisco Certified Network Associate – Cisco Academy) Switch> enable Switch#configure terminal Switch(config)#logging host 192.168.1.5 transport udp port 5514 Switch(config)#end Switch>wr Sau ta cần cấu hình logstash để nhận syslog từ Switch, Router Khởi tạo tệp tin cấu hình: # vi /etc/logstash/conf.d/logstash-syslog.conf input { udp { port => 5514 type => “syslog” }} filter {} output { elasticsearch { hosts => ["192.168.1.5:9200"] }} Lưu cấu hình khởi động lại dịch vụ: # Systemctl restart logstash Việc cài đặt cấu hình Switch, Router gửi syslog máy chủ ELK hồn tất Cấu hình Firewall Fortinet gửi syslog máy chủ ELK Đầu tiên, ta cần cấu hình Syslog Fortinet: 70 config log syslogd setting set status enable set server "192.168.1.5" set port 514 end config log syslogd filter set severity error end Sau ta cấu hình Logstash # vi /etc/logstash/conf.d/logstash-fortinet.conf input { udp { port => 514 type => "syslog" }} filter {} output { elasticsearch { host => ["192.168.1.5:9200"] }} Lưu cấu hình khởi động lại dịch vụ: # Systemctl restart logstash Vậy ta hoàn thành việc cấu hình Firewall Fortinet tự động gửi syslog máy chủ ELK Truy cập Kibana, vào index pattern Logstash, ta nhận log gửi đến từ Fortinet Cấu hình ngưỡng, cảnh báo ELK Để cấu hình ngưỡng, cảnh báo ELK Máy chủ ELK cần phải cài đặt module X-pack Truy cập vào máy chủ ELK, ta sử dụng lệnh sau: # /usr/share/elasticsearch/bin/elasticsearch-plugin install x-pack 71 # /usr/share/kibana/bin/kibana-plugin install x-pack # /usr/share/logstash/bin/logstash-plugin install x-pack # vi /etc/elasticsearch/elasticsearch.yml Thêm vào cuối file xpack.license.self_generated.type: trial xpack.monitoring.enabled: true xpack.security.enabled: false xpack.watcher.enabled: true xpack.ml.enabled: false Giờ ta khởi động lại dịch vụ # systemctl restart elasticsearch kibana logstash Sau cài xong, ta vào giao diện Management bên Kibana Có thể để ý thấy có nhiều thay đổi sau cài X-pack Hình 4: Giao diện ELK sau cài X-pack Ở mục Elasticsearch, click vào Watcher -> Create new Watch -> Threshold Alert (tạo ngưỡng cảnh báo mới) 72 Hình 5: Tạo ngưỡng cảnh báo (1) Ở phần Name, ta đặt tên cho mức ngưỡng Ở phần Index, ta chọn loại thông tin mà ta đặt ngưỡng, ELK giám sát Metricbeat – hiệu phần cứng máy chủ nên ta chọn Metricbeat Ở phần Select a time Field, ta chọn @timestamp – hiển thị hiệu theo thời gian, run this watch every kiểm tra trạng thái lượt cách thời gian, ta chọn 10s 73 Hình 6: Tạo ngưỡng cảnh báo (2) Ở phần Matching the following condition, ta cần lựa chọn giá trị When, Over, Is Above, For the Last, phù hợp vs nhu cầu ngưỡng Chẳng hạn đặt ngưỡng sau System Load hay High Heap Usage: Hình 7: Tạo ngưỡng cảnh báo (3) 74 Hình 8: Tạo ngưỡng cảnh báo (4) Sau đặt ngưỡng thích hợp, nhiệm vụ cuối lựa chọn kiểu cảnh báo Có kiểu cảnh báo E-mail, Logging Slack phần chọn Add new Action phần cài đặt mức ngưỡng Sau điền thông tin phần kiểu cảnh báo, ta hồn thành Hình 9: Chọn kiểu cảnh báo Email Hình 10: Chọn kiểu cảnh báo Log ... DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương nghiên cứu hệ thống mạng trường Đại Học Hà Nội đề xuất ứng dụng giải pháp giám sát tập trung thông qua nghiên cứu từ... hệ thống giám sát cho hệ thống mạng trường Đại học Hà Nội 35 Chương III XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương luận văn nghiên cứu đề xuất số giải pháp. .. mà hệ thống quản lý cần phải thực hiện: - Quản lý lỗi - Quản lý cấu hình - Quản lý tài khoản - Quản lý hiệu - Quản lý bảo mật Và giải pháp giám sát hệ thống mạng thích hợp, hệ thống quản lý thu