Nghiên cứu giải pháp giám sát tập trung và ứng dụng quản lý hệ thống mạng trường đại học hà nội (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - NGUYỄN THỊ HÀ LY NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI CHUYÊN NGÀNH : MÃ SỐ : KHOA HỌC MÁY TÍNH 8.48.01.01 TĨM TẮT LUẬN VĂN THẠC SỸ KỸ THUẬT HÀ NỘI - 2018 Luận văn hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS TRẦN QUANG ANH Phản biện 1: ………………………………………………………… Phản biện 2: ……………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thông MỞ ĐẦU Giám sát hệ thống mạng vấn đề vô quan trọng hệ thống mạng giới Việc cập nhật tình trạng thành phần bên hệ thống giúp ta chủ động để ứng phó với vấn đề nảy sinh trình hệ thống hoạt động Nếu khơng có giám sát, hệ thống quan tổ chức thụ động trước cố xảy hay đặc biệt can thiệp trái phép từ bên ngoài, gây tổn thất đo đếm Ngày nay, hệ thống mạng thường có biện pháp bảo vệ an ninh mạng firewall, phần mềm diệt virus, giải pháp có tác dụng vịng đai ngồi hệ thống mạng, vơ hiệu với công backdoor Hay IDS/IPS – hệ thống phát phòng chống xâm nhập khơng thể phát cố phát sinh từ bên nghẽn băng thông, sập máy chủ, sập Router, Điều rõ hệ thống mạng cần hệ thống giám sát phù hợp, cung cấp thông tin định kỳ hệ thống, giúp người quản trị mạng sẵn sàng phát cố nhằm khắc phục chúng nhanh kịp thời nhất, giảm thiểu chi phí quy mơ cố xuống thấp Để thực việc giám sát cách hiệu quả, ISO (International Organization for Standardization) thiết kế mơ hình gọi FCAPS [3] nhằm định hướng rõ việc mà hệ thống quản lý cần phải thực hiện: - Quản lý lỗi - Quản lý cấu hình - Quản lý tài khoản - Quản lý hiệu - Quản lý bảo mật Và giải pháp giám sát hệ thống mạng thích hợp, hệ thống quản lý thu thập thông tin, liệu báo cáo định kì từ thiết bị phần mềm theo dõi, sở để quản lý toàn hệ thống Từ nhu cầu giám sát hệ thống mạng tổ chức, doanh nghiệp quan, học viên xin chọn đề tài nghiên cứu “NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG VÀ ỨNG DỤNG QUẢN LÝ HỆ THỐNG MẠNG TRƯỜNG ĐẠI HỌC HÀ NỘI” Tổng quan vấn đề nghiên cứu Giám sát hệ thống mạng việc sử dụng hệ thống để liên tục theo dõi thành phần mạng máy tính, xem xét tình trạng hoạt động thành phần bên mạng, báo lại cho quản trị viên thành phần giám sát phát sinh vấn đề, cố để từ đề xuất phương án giải Thông thường mạng máy tính tối thiểu cần có máy chủ (server), đường truyền, thiết bị kết nối (Repeater, Hub, Switch, Bridge, ), máy tính người dùng (client), card mạng (Network Interface Card – NIC) để kết nối máy tính lại với Một hệ thống giám sát gồm có nhiều thành phần: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở liệu trung tâm Công cụ phân tích (Analysis tool) Mỗi thành phần bao gồm chức riêng, phương pháp thu thập, phân tích liệt kê nhằm đảm bảo đánh giá phản hồi kiện xảy hệ thống mạng cách nhanh chóng xác Các kiện diễn thiết bị ghi lại “log” Log ghi lại xác hoạt động thiết bị tình trạng hoạt động thiết bị Nhiệm vụ hệ thống giám sát mạng sử dụng máy trinh sát đến thiết bị cần theo dõi, thu thập log gửi sở liệu trung tâm Thông qua công cụ phân tích để xác định cố báo lại cho quản trị viên nhằm có hành động thích hợp để ứng phó Ở số cơng ty, doanh nghiệp chưa có hệ thống giám sát nên xảy cố gây tổn thất nặng nề Một vài nơi khác triển khai hệ thống giám sát chưa đủ để đáp ứng nhu cầu hệ thống Chẳng hạn hệ thống Zabbix quản lý tốt hiệu quản lý dịch vụ hạ tầng Cacti quản lý hạ tầng, dịch vụ quản lý hiệu năng, Tựu chung hệ thống giám sát xây dựng chưa đủ khả để quản lý toàn vẹn nhu cầu mà hệ thống đề Do đó, ta cần phải có giải pháp giám sát tập trung để đáp ứng tất tốn giám sát, từ quản lý hệ thống cách hiệu Tóm lại, giải pháp giám sát tập trung giải tất vấn đề mà hệ thống giám sát cần phải thực Với giải pháp này, hệ thống quản lý hoàn thiện hết Và để hiểu rõ giải pháp quản lý tập trung, cần phải nghiên cứu mặt lý thuyết lẫn triển khai ứng dụng Mục tiêu nghiên cứu đề tài Mục tiêu nghiên cứu luận văn khảo sát yêu cầu giải pháp giám sát tập trung, để đưa giải pháp giám sát tập trung cho hệ thống mạng trường Đại Học Hà Nội có khả triển khai áp dụng thực tế Đối tượng phạm vi nghiên cứu đề tài Đối tượng nghiên cứu luận văn giám sát tập trung vấn đề liên quan tới giám sát tập trung Phạm vi nghiên cứu luận văn giải pháp giám sát tập trung ứng dụng cho mạng nội trường đại học Hà Nội… Phương pháp nghiên cứu đề tài - Về mặt lý thuyết: Thu thập, khảo sát, phân tích tài liệu liên quan đến giám sát tập trung - Về mặt thực nghiệm: Khảo sát hệ thống mạng Trường Đại học Hà Nội ứng dụng giải pháp giám sát tập trung phù hợp với nhu cầu nhà trường 3 Bố cục luận văn Luận văn trình bày chương: Chương 1: TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG Nội dung chương luận văn khảo sát tổng quan giám sát tập trung yêu cầu giám sát hệ thống mạng Chương 2: NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG Chương luận văn tập trung nghiên cứu giải pháp giám sát, từ đưa giải pháp giám sát tập trung Chương 3: XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương nghiên cứu hệ thống mạng trường Đại Học Hà Nội đề xuất ứng dụng giải pháp giám sát tập trung thông qua nghiên cứu từ chương cho hệ thống mạng nội trường Đại Học Hà Nội Chương I TỔNG QUAN VỀ GIÁM SÁT TẬP TRUNG VÀ CÁC YÊU CẦU GIÁM SÁT HỆ THỐNG MẠNG 1.1 Các yêu cầu giám sát hệ thống mạng 1.1.1 Giới thiệu chung Giám sát hệ thống mạng việc sử dụng hệ thống để liên tục theo dõi thành phần mạng máy tính, xem xét tình trạng hoạt động thành phần bên mạng, thơng báo lại cho quản trị viên thành phần giám sát phát sinh vấn đề Thông thường mạng máy tính tối thiểu cần có máy chủ (Server), đường truyền, thiết bị kết nối (Repeater, Hub, Switch, Bridge, ), máy tính người dùng (Client), card mạng (Network Interface Card – NIC) để kết nối máy tính lại với Một hệ thống giám sát gồm có nhiều thành phần: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở liệu trung tâm Công cụ phân tích (Analysis tool) - Máy trinh sát (Sensor): máy trạm làm nhiệm vụ trinh sát Thành phần tiếp cận, tương tác với hệ thống dịch vụ cần giám sát để nhận biết trạng thái dịch vụ - Máy thu thập (Collector): Máy thu thập đọc thông tin thu từ máy trinh sát chuẩn hóa thơng tin dựa quy tắc chuẩn hóa biết trước - Cơ sở liệu trung tâm: nơi lưu trữ liệu toàn hệ thống giám sát - Cơng cụ phân tích (Analysis tool): Thành phần đọc liệu từ sở liệu trung tâm tính tốn để tạo báo cáo số liệu thống kê toàn hệ thống Giới thiệu log Log ghi lại liên tục thông báo hoạt động hệ thống dịch vụ triển khai hệ thống file tương ứng Log file thường file văn thơng thường dạng “clear text”, dễ dàng đọc trình soạn thảo văn (vi, vim, nano ) trình xem văn thơng thường (cat, tailf, head ) xem file log Các file log cung cấp thông tin cần biết, để giải vấn đề với ứng dụng, tiến trình ghi vào log Cơng dụng Log - Phân tích ngun nhân có cố xảy - Giúp cho việc khắc phục cố nhanh hệ thống gặp vấn đề - Giúp cho việc phát hiện, dự đoán vấn đề xảy hệ thống 1.1.2 Các yêu cầu chung giám sát hệ thống mạng Về yêu cầu giám sát hệ thống mạng, ISO (International Organization for Standardization) thiết kế mơ hình gọi FCAPS nhằm định hướng rõ việc mà hệ thống giám sát cần phải quản lý FCAPS mơ hình quản lý mạng viễn thông kiến trúc quản lý mạng FCAPS phân nhóm đối tượng quản lý mạng vào mức (hay mô đun): - Fault management (Quản lý lỗi) - Configuration management (Quản lý cấu hình) - Accounting management (Quản lý tài khoản) - Performance management (Quản lý hiệu năng) - Security management (Quản lý bảo mật) 1.2 Tổng quan giám sát tập trung Khi giám sát hệ thống mạng, máy chủ giám sát cần phải giám sát nhiều thành phần để đáp ứng yêu cầu từ hệ thống đặt ra, thành phần là: Người dùng, Hạ tầng, Dịch vụ, An ninh Những thành phần liệt kê phía quan trọng cần thiết, hệ thống giám sát giám sát tất chúng, lúc giám sát tập trung đời Giám sát tập trung giám sát hệ thống mạng, giám sát tập trung giám sát tất thành phần mà giám sát hệ thống mạng cần phải giám sát Giám sát tập trung có thành phần tương tự hệ thống giám sát bình thường khác: Máy trinh sát (Sensor), Máy thu thập (Collector), Cơ sở liệu trung tâm Công cụ phân tích (Analysis tool) cách thức hoạt động hoàn toàn giống Tuy nhiên, thành phần giám sát tập trung cần phải mạnh nhiều so với giám sát thành phần chuyên biệt 1.3 Ứng dụng giám sát tập trung Giám sát tập trung ứng dụng việc giám sát tất vấn đề xuất bên hệ thống mạng, giải tất yêu cầu nảy sinh vấn đề giám sát Giám sát tập trung giúp máy chủ giám sát giải toán sau: - Giám sát hiệu hoạt động máy chủ - Giám sát lưu lượng, băng thông đường truyền - Giám sát người dùng - Giám sát dịch vụ hệ thống - Giám sát database - Giám sát hệ điều hành - Giám sát an ninh hệ thống mạng Sử dụng giám sát tập trung, quản trị viên hồn tồn giám sát vấn đề tồn hệ thống mạng, nhanh chóng xác định, phát cố khắc phục xử lý 1.4 Các yêu cầu chung cho giám sát tập trung Do khối lượng liệu trao đổi thành phần giám sát tập trung vô lớn, nên vấn đề việc quản trị viên cần bao quát hệ thống, đủ khả vận hành sử dụng hệ thống giám sát tập trung, hạ tầng triển khai giám sát tập trung cần phải đủ mạnh đáp ứng yêu cầu hệ thống giám sát tập trung hoạt động - Yêu cầu thiết bị: Cần có cấu hình phù hợp để vận hành xây dựng hệ thống giám sát tập trung - Yêu cầu băng thông đường truyền: Lượng thông tin cần truyền qua lại thiết bị hệ thống giám sát tập trung vô nhiều nên băng thông đường truyền phải đủ lớn để luồng liệu di chuyển hệ thống khơng bị tắc nghẽn 1.5 Tình hình triển khai hệ thống giám sát mạng Việt Nam vấn đề liên quan đến giám sát hệ thống mạng thực tế Ngày Việt Nam, tổ chức, doanh nghiệp xây dựng, vận hành hệ thống mạng riêng Hệ thống mạng giúp gia tăng khả làm việc nhân viên, ban ngành với nhau, gia tăng hiệu suất giúp công ty, tổ chức hoạt động cách hiệu Tuy nhiên, vận hành hệ thống mạng, có nhiều vấn đề phát sinh làm ảnh hưởng đến khả hoạt động hệ thống Những vấn đề đến từ nhiều nguyên nhân khác nhau, hỏng hóc máy móc thiết bị hay lỗi người dùng tạo Hệ thống lớn, hoạt động diễn bên hệ thống nhiều, vấn đề nảy sinh tăng theo Do đó, hệ thống mạng ln cần có hệ thống giám sát túc trực, quản lý, dễ dàng phát cố xảy bên hệ thống, thơng qua quản trị viên đưa biện pháp ứng phó Nhưng tại, nhiều doanh nghiệp Việt Nam hoàn toàn bỏ qua vấn đề giám sát hệ thống Theo số liệu thống kê, có khoảng 30% cơng ti, doanh nghiệp sử dụng hệ thống giám sát Điều làm cho hệ thống mạng công ty, doanh nghiệp luôn trạng thái bị động, xảy cố khơng thể ứng phó, gây nhiều hậu tổn thất nặng nề Hiện nay, thị trường có giải pháp cung cấp cho công ti, doanh nghiệp phần mềm xây dựng hệ thống giám sát Tuy nhiên, với hệ thống giám sát tính phí (như Splunk) họ khơng muốn phải bỏ khoản tiền lớn đề đầu tư vào Do cơng ti, doanh nghiệp có xu hướng sử dụng phần mềm giám sát mã nguồn mở Zabbix, Nagios, Nhưng công cụ mã nguồn mở phổ biến sơ sài, chưa tối ưu hóa, khả sử dụng nhiều yếu kém, chưa giám sát bao qt tồn hệ thống Từ tình hình trên, việc xây dựng hệ thống giám sát mạng, đặc biệt giám sát tập trung để quản lý hệ thống mạng ngày cảng trở nên cấp thiết hết 1.6 Kết luận Trong chương 1, luận văn nghiên cứu tổng quan giám sát tập trung yêu cầu giám sát hệ thống mạng, vấn đề liên quan đến xây dựng hệ thống giám sát thực tế Trên sở nội dung trình bày chương 1, toán giám sát mà hệ thống giám sát tập trung giải đề nghiên cứu chương luận văn 8 Chương II NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG 2.1 Các giải pháp giám sát 2.1.1 Giải pháp giám sát hiệu hoạt động máy chủ Giám sát hiệu máy chủ giám sát lượng tài nguyên sử dụng bên máy chủ, từ phát cố liên quan đến hiệu hoạt động đề phương án giải Nói đến tài nguyên phần cứng máy chủ, cần phải xét tới thành phần CPU, RAM Ổ cứng Mỗi thành phần có mức ngưỡng riêng đặt để quản trị viên phát thành phần xét có gặp cố hay không Sử dụng công cụ giám sát, quản trị viên theo dõi nhanh chóng phát đưa biện pháp xử lý thích hợp có vấn đề xảy liên quan đến hiệu hoạt động máy chủ 2.1.2 Giải pháp giám sát lưu lượng băng thông đường truyền Giám sát lưu lượng băng thông đường truyền giải pháp cho phép người quản trị kiểm sốt lưu lượng liệu sử dụng đường truyền, phát node chiếm nhiều băng thông đường truyền gây tắc nghẽn mạng, từ đề phương pháp giải vấn đề Khi giám sát lưu lượng hệ thống mạng, quản trị viên cần phải giám sát lưu lượng vào máy chủ Khi cài đặt công cụ giám sát, công cụ thu thập thông tin liên quan đến số lượng gói tin (traffic) mà máy chủ gửi nhận Từ thông tin trên, quản trị viên tính tốn đặt mức ngưỡng để cảnh báo cố xảy 2.1.3 Giải pháp giám sát người dùng Giải pháp giám sát người dùng giám sát hoạt động thực thiết bị đầu cuối bên phía người dùng Quản trị viên cần quản trị thông số sau: số lần đăng nhập, thời gian sử dụng dịch vụ hoạt động truy cập dịch vụ Từ xây dựng nên phương pháp xử lý cụ thể 2.1.4 Giải pháp giám sát dịch vụ Giải pháp giám sát dịch vụ giải pháp giám sát trạng thái hoạt động dịch vụ số lượng phiên kết nối từ người dùng đến dịch vụ Quản trị viên đặt cảnh báo dịch vụ ngưng hoạt động thơng qua cơng cụ giám sát, tìm hiểu nguyên nhân dịch vụ không hoạt động xử lý Về số lượng phiên kết nối từ người dùng đến dịch vụ, tùy vào mức độ số lượng phiên mà dịch vụ tiếp nhận để đặt mức ngưỡng cảnh báo phù hợp 2.1.5 Giải pháp giám sát Database Giải pháp giám sát database giải pháp giám sát hệ sở liệu hệ thống mạng Khi nói đến hệ sở liệu, bao gồm thành phần sở liệu hệ quản trị sở liệu.Vậy giám sát hệ sở liệu, quản trị viên cần phải giám sát thành phần Do hệ quản trị sở liệu sử dụng nhằm mục đích quản lý sở liệu nên hệ thống giám sát cần giám sát hệ quản trị sở liệu giám sát sở liệu nằm bên Từ chức hệ quản trị sở liệu, hoạt động cần giám sát truy vấn (đọc, sửa, xóa, ), lưu trữ đăng nhập Thông qua hoạt động này, quản trị viên đặt ngưỡng đề phương pháp xử lý có cố 2.1.6 Giải pháp giám sát hệ điều hành Giải pháp giám sát hệ điều hành giải pháp giám sát vấn đề liên quan đến hệ điều hành Hệ điều hành phân thành loại hệ điều hành mã nguồn mở (Linux) hệ điều hành Windows Mỗi loại hệ điều hành có cách giám sát khác Sau thu thập thông tin, kiện diễn hệ điều hành, quản trị viên cần đặt cảnh báo xuất kiện báo lỗi gửi máy chủ giám sát, từ đưa biện pháp xử lý thích hợp 2.1.7 Giải pháp giám sát an ninh hệ thống mạng Giải pháp giám sát an ninh hệ thống mạng giải pháp giám sát vấn đề liên quan đến tình trạng an ninh hệ thống, kết nối trái phép, công vào hệ thống, Những vấn đề phụ thuộc vào giải pháp bảo mật an ninh mà hệ thống mạng triển khai sử dụng Các giải pháp bảo mật an ninh mạng mà hệ thống thường sử dụng firewall IDS/IPS Mỗi giải pháp đề có cách riêng để thu thập thông tin khác đối tượng cần giám sát Quản trị viên cần đặt ngưỡng để phát cố cách xử lý riêng gặp cố giải pháp bảo mật giám sát an ninh hệ thống mạng 10 2.2 Giới thiệu số công cụ giám sát: 2.2.1 Splunk Splunk phần mềm giám dựa việc phân tích Log Splunk thực cơng việc tìm kiếm, giám sát phân tích liệu lớn sinh từ ứng dụng, hệ thống thiết bị hạ tầng mạng Splunk xây dựng dựa tảng Lucene MongoDB với giao diện web trực quan nhiều tính hữu ích khác: hỗ trợ nhiều loại log, thu thập từ nhiều nguồn, sở liệu thời gian thực, Tuy nhiên, Splunk phần mềm trả phí, cần trả khoản kinh phí lớn Dù cho Splunk có phiên miễn phí, thiếu chức khơng thể tùy chỉnh 2.2.2 Zabbix Zabbix phần mềm doanh nghiệp mã nguồn mở giám sát mạng ứng dụng, tạo Alexei Vladishev công bố lần vào năm 2001 Nó thiết kế để giúp quản trị mạng giám sát theo dõi tình trạng dịch vụ mạng, máy chủ phần cứng mạng khác cách thông minh nhằm đảm bảo hệ thống ln ln ổn định Zabbix có nhiều tính giám sát máy chủ lẫn thiết bị mạng, dễ thao tác, cấu hình, mã nguồn mở phí thấp,… hiệu suất hoạt động cịn thấp, mạnh giám sát hiệu mạng tùy chỉnh 2.2.3 Nagios Nagios công cụ giám sát nguồn mở giúp giám sát hạ tầng mạng Phần mềm mắt vào năm 1999, bảo trợ Nagios Enterprises Nagios đưa cảnh báo tới người dùng hệ thống gặp cố Phần mềm thiết kế với khả mở rộng, tính linh hoạt cao, plugin đơn giản, dễ phát triển Nagios giám sát dịch vụ mạng host, khả tối ưu hóa khơng cao khơng thể tùy chỉnh 2.2.4 HP ArcSight Logger HP ArcSight Logger sản phẩm sản phẩm ArcSight Hp Nó cung cấp giải pháp hiệu việc quản lý log Nó có khả thu thập, phân tích lưu trữ với khối lượng Log lớn với nhiều loại định dạng khác 11 Nó hỗ trợ việc triển khai hệ thống nhiều hình thức thiết bị, phần mềm, máy ảo dịch vụ đám mây Nhưng nhược điểm lớn sản phẩm hiệu xử lý phụ thuộc vào thiết bị giám sát hãng cung cấp, muốn nâng cấp phải mua thiết bị mới, làm chi phí đầu tư tốn kém, đắt đỏ 2.2.5 PRTG Network Monitor PRTG Network Monitor sản phẩm tập đồn cơng nghệ phần mềm Paessler, thành lập từ năm 1997 Hiện PRTG có mặt thị trường quốc tế nhiều thị trường, hỗ trợ đối tác khách hàng toàn cầu PRTG Network Monitor hệ thống giám sát mạng, server nói chung & lưu lượng băng thơng nói riêng tiếng giới thuộc cơng ty Paessler AG, có trụ sở đặt thành phố Nuremberg, Đức Có hai phiên PRTG Network Monitor Traffic Grapher Cả hai sản phẩm có phiên miễn phí phiên thương mại Tuy vậy, miễn phí thiếu xót nhiều chức khơng thể tùy chỉnh 2.2.6 ELK stack ELK viết tắt tập hợp phần mềm cốt lõi kèm với nhau, phục vụ cho công việc giám sát hệ thống Ba phần mềm Elasticsearch, Logstash Kibana Đây công cụ giám sát tập trung mã nguồn mở mạnh, xử lý nhiều toán quản lý hệ thống mạng nên công ty, tổ chức tin dùng Lý chọn phần mềm ELK stack: - ELK stack phần mềm mã nguồn mở, khơng tốn nhiều chi phí triển khai - ELK phát triển mạnh gần đây, nên cộng đồng hỗ trợ đông đúc mạnh mẽ - Thu thập log từ nhiều nguồn khác nhau: log hệ thống, log ứng dụng, log thiết bị mạng, log snmp, log từ hệ thống API (Application Programming Interface)… - Khả tương thích cao, dễ dàng tích hợp với hệ thống khác mà khơng gặp khó khăn - Giao diện Kibana trực quan, sinh động - Phương tiện cảnh báo đa dạng, tích hợp với email, sms, slack, ứng dụng OTP (One Time Password) Telegram, Whatsapp, 12 - Hiệu xử lý cao, chịu tải lượng lớn liệu (log) đẩy mà phụ thuộc vào khả xử lý phần cứng - Giải hầu hết toán giám sát hệ thống mạng: giám sát hạ tầng, giám sát dịch vụ, giám sát an ninh, giám sát người dùng, Đây đặc điểm giúp cho ELK tương lai công ty tổ chức sử dụng để triển khai hệ thống giám sát tập trung bên hệ thống mạng họ Các thành phần ELK stack gồm thành phần: - Elasticsearch: Dùng để tìm kiếm query log - Logstash: Tiếp nhận log từ nhiều nguồn, sau xử lý log ghi vào sở liệu - Kibana: Giao diện để quản lý, thống kê log Đọc thông tin từ Elasticsearch - Beats: Một tập công cụ chuyên dùng để thu thập liệu cực mạnh Elasticsearch Đầu tiên cần hiểu ElasticSearch cơng cụ tìm kiếm cấp doanh nghiệp (enterprise-level search engine) Mục tiêu tạo cơng cụ, tảng hay kỹ thuật tìm kiếm phân tích thời gian thực (ý nói nhanh chóng xác), cách để áp dụng hay triển khai cách dễ dàng vào nhiều nguồn liệu (data sources) khác Nguồn liệu nói trên bao gồm sở liệu tiếng MS SQL, PostgreSQL, MySQL, Một số đặc điểm ElasticSearch: - Elasticsearch search engine - Elasticsearch xây dựng để hoạt động server cloud - Phát triển ngôn ngữ Java - Là phần mềm open-source phát hành theo giất phép Apache License - Elasticsearch tích hợp với tất ứng dụng sử dụng loại ngôn ngữ: Java, JavaScript, Groovy, NET, PHP, Perl, Python, Ruby Logstash Logstash công cụ thu thập liệu mã nguồn mở với khả pipelining thời gian thực Logstash tự động thu thập liệu từ nhiều nguồn 13 khác chuẩn hóa liệu phụ thuộc vào đích đến liệu Logstash thường sử dụng giao thức Syslog hay SNMP để thu thập log Đây giao thức thường sử dụng hệ thống giám sát nhằm thu thập thông tin đẩy liệu máy chủ giám sát Syslog giao thức client/server Đây giao thức dùng để chuyển log thông điệp đến máy nhận log Máy nhận log thường gọi syslogd, syslog daemon syslog server Syslog gửi qua UDP TCP Các liệu gửi dạng cleartext Syslog dùng cổng 514 SNMP viết tắt Simple Network Management Protocol, giao thức chuyên sử dụng vấn đề quản lý, giám sát hệ thống mạng SNMP có quy định riêng, thành phần riêng để thành phần hệ thống mạng tuân theo, từ thu thập log hệ thống mạng để quản lý, giám sát SNMP sử dụng UDP, chạy cổng 161 162 Kibana Kibana tảng phân tích trực quan mã nguồn mở thiết kế để làm việc với Elasticsearch Ta sử dụng Kibana để tìm kiếm, xem tương tác với liệu lưu trữ Elasticsearch Từ dễ dàng thực phân tích liệu trực quan hóa liệu thơng qua biểu đồ, bảng Kibana giúp nắm bắt nhanh chóng liệu có khối lượng lớn Giao diện đơn giản, dựa vào trình duyệt cho phép nhanh chóng hiển thị thay đổi truy vấn Elasticsearch thời gian thực Beats Beats tập hợp công cụ thu thập thông tin chuyên dụng, biết đến Shipper (người vận chuyển) giúp thu thập gửi liệu từ Client tới máy chủ ELK Trong Beats có nhiều Beat “con”, cụ thể: - Filebeat: công cụ chuyên dùng để thu thập log gửi log cho hệ thống ELK 14 - Metricbeat: công cụ chuyên dùng để thu thập hiệu máy chủ Ngoài hiệu phần cứng máy chủ, Metricbeat khai thác thông tin dịch vụ hay database - Packetbeat: công cụ sử dụng để giám sát lưu lượng băng thông máy chủ - Winlogbeat: thu thập kiện xảy bên hệ điều hành Windows - Auditbeat: Auditbeat giúp quản lý folder, tập tin hệ thống hệ điều hành Linux - Heartbeat: công cụ Heartbeat sử dụng nhằm giúp cho hệ thống giám sát biết trạng thái dịch vụ có cịn hoạt động hay không Tổng kết Sử dụng Beats, Logstash – thông qua giao thức Syslog SNMP, để thu thập nhiều loại thơng tin, Elasticsearch giúp việc tìm kiếm trở nên hiệu Kibana với khả phân tích mạnh mẽ biểu diễn trực quan, ELK stack công cụ tuyệt vời giám sát hệ thống mạng nói chung giám sát tập trung nói riêng 2.3 Kết luận Trong chương 2, luận văn nghiên cứu giải pháp giám sát mà giám sát tập trung cần phải đáp ứng thực Mỗi giải pháp giám sát thành phần định hệ thống mạng Từ thành phần cần giám sát, luận văn đưa giải pháp áp dụng công cụ để giám sát tập trung thực tế Trong chương 3, luận văn ứng dụng giải pháp giám sát tập trung để xây dựng hệ thống giám sát cho hệ thống mạng trường Đại học Hà Nội 15 Chương III XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương luận văn nghiên cứu đề xuất số giải pháp giám sát tập trung cho hệ thống mạng đại học Hà Nội Luận văn thực số thử nghiệm đánh giá hiệu giải pháp giám sát tập trung Kết thử nghiệm trình bày phần phụ lục 3.1 Khảo sát mạng nội Đại Học Hà Nội (sau xin phép nhà trường đồng ý từ ban giám hiệu) 3.1.1 Mơ hình kiến trúc, chức trang thiết bị mạng có hệ thống mạng trường Đại học Hà Nội Mơ hình mạng nội trường Đại học Hà Nội: Hình 3.1: Mơ hình hoạt động hệ thống mạng trường Đại học Hà Nội Hệ thống sử dụng kiến trúc mơ hình mạng Client - Server nhằm chia sẻ liệu từ máy chủ tới máy Đồng thời với kiến trúc mạng hình tầng, ta đạt tốc độ nhanh có thể, kiểm sốt tốt xảy lỗi mở rộng tùy ý muốn Hạ tầng mạng phân cấp: máy tính phịng ban kết nối tới Switch tầng, từ Switch tầng kết nối tới Switch tổng tòa nhà Sau 16 Switch tịa nhà kết nối tới Switch tổng Switch tổng kết nối tời Firewall tới thiết bị cần tải Internet Hệ thống máy chủ Web, Mail, File máy chủ giám sát tập trung dự kiến kết nối vào Core Switch Hệ thống Core Switch đặt sau Firewall nên an tồn Từ Firewall thơng qua thiết bị cân tải để Internet Về trang thiết bị số lượng người sử dụng: - Số lượng phòng ban khoa sử dụng máy tính 52 - Tổng số máy tính cho cán nhân viên 1200, tổng máy tính cho sinh viên học 800, chia làm phòng học đặt tòa nhà D1 có phịng, nhà C có phịng, Thư viện có phịng - Số lượng máy chủ 13 máy đặt tập trung: máy quản lý File Server, máy quản lý đề thi, máy quản lý nhân sự, máy chủ chạy Website nhà trường phòng ban, máy chủ chạy Email, máy chủ chạy DHCP DNS - Số lượng thiết bị cân tải đường truyền Internet 1: PBL 210 - Số lượng Firewall là: Fortinet FG-600D chạy cân tải HA Firewall - Số lượng Switch layer là: Switch 3850 chạy Stack Switch - Số lượng Switch tòa nhà tầng 54 Access Switch Distribution Swich - Số lượng tổng đài nội dùng IP - Số lượng Camera sử dụng 300 - Số lượng đường truyền Internet: Viettel Fpt 3.1.2 Yêu cầu sử dụng - Hệ thống phải kết nối Internet - Hệ thống Firewall phải bảo vệ hệ thống máy chủ người dùng 24/7 - Các dịch vụ File, Mail, Web phải ổn định để Sinh viên cán trường sử dụng Ln ln kiểm sốt số lượng người truy cập dịch vụ - Dữ liệu phịng ban phải tập trung, khơng phân tán, dễ quản lý, phân quyền phù hợp với chức trách 17 - Khả cung ứng cao, đáp ứng lượng lớn kết nối vào hay mạng mà giữ ổn định - Có khả mở rộng tương lai 3.1.3 Hiện trạng vấn đề liên quan trình vận hành, khai thác mạng nội trường Đại học Hà Nội - Do số tịa nhà có số lượng người dùng lớn dẫn tới lưu lượng sử dụng đổ Switch tổng cao không giám sát phòng ban dùng nhiều, gây tắc nghẽn treo số tòa nhà - Vào thời gian cao điểm từ 8h30 tới 10h sáng, số lượng người truy cập máy chủ lớn, không đo lường, kiểm soát hiệu máy chủ dẫn tới không phân luồng kịp thời lưu lượng máy chủ gây chậm treo số thời điểm - Một số phịng ban máy tính bị Virus không phát kịp thời dẫn tới dễ lây lan toàn hệ thống nhà trường 3.2 Đề xuất giải pháp giám sát tập trung cho mạng nội trường đại học Hà Nội Để giám sát tập trung, đồng thời kịp đánh giá trạng thái hoạt động cho hệ thống mạng, em đề xuất giải pháp cài đặt công cụ giám sát tập trung ELK stack để xử lý toán cần phải giám sát Máy chủ cài đặt ELK cần xây dựng bên hệ thống máy chủ, cạnh máy chủ dịch vụ khác Web, Mail, File sơ đồ phần Làm vừa để bảo vệ máy chủ giám sát có Firewall sau Core Switch, vừa thuận tiện cho việc giám sát máy chủ, dịch vụ, nhà trường 3.2.1 Giám sát hiệu phần cứng máy chủ - Sử dụng công cụ Metricbeat thu thập thông tin hiệu phần cứng 3.2.2 Giám sát lưu lượng băng thông, đường truyền - Sử dụng công cụ Packetbeat thống kê lưu lượng băng thông mà máy chủ sử dụng - Cấu hình Switch, Router tự động gửi syslog máy chủ ELK 18 3.2.3 Giám sát người dùng - Sử dụng Winlogbeat kiểm soát lượt đăng nhập người dùng dịch vụ cần đăng nhập dịch vụ AD (Active Directory) 3.2.4 Giám sát dịch vụ - Sử dụng Metricbeat giám sát dịch vụ web, dịch vụ chạy hệ điều hành Windows, 3.2.5 Giám sát Database - Sử dụng Metricbeat giám sát Database 3.2.6 Giám sát Hệ điều hành - Sử dụng Winlogbeat để thu thập log hệ điều hành Windows, Filebeat để thu thập log hệ điều hành Linux 3.2.7 Giám sát an ninh - Cấu hình Firewall Fortinet gửi syslog kiện diễn đến máy chủ ELK 3.3 Thử nghiệm đánh giá số giải pháp bảo mật đề xuất 3.3.1 Nội dung thử nghiệm Luận văn thực thử nghiệm số nội dung sau - Cài đặt máy chủ giám sát tập trung ELK - Cài đặt Metricbeat giám sát hiệu phần cứng, dịch vụ, database - Cài đặt Packetbeat giám sát lưu lượng băng thông máy chủ - Cài đặt Filebeat giám sát hệ điều hành Linux - Cài đặt Winlogbeat giám sát truy cập người dùng đến Active Directory, hệ điều hành Windows - Cấu hình Switch, Router gửi syslog máy chủ ELK - Cấu hình Firewall Fortinet gửi syslog máy chủ ELK - Cấu hình ngưỡng, cảnh báo ELK Mục đích thử nghiệm thực số cài đặt phần mềm nhằm mô giải pháp giám sát tập trung thông qua cơng cụ giám sát tập trung ELK Từ có sở để đề xuất triển khai thực tế 19 (1) Cài đặt máy chủ giám sát tập trung ELK Ta tiến hành cài đặt máy chủ ELK, nơi nhận lượng thông tin đổ từ máy thu thập, lưu trữ phân tích chúng Ta cần phải đảm bảo đường truyền mạng ổn định, kết nối tới máy giám sát không gặp trục trặc (2) Cài đặt Metricbeat giám sát hiệu phần cứng, dịch vụ, database Ta cài đặt công cụ Metricbeat cấu hình để thu thập thơng tin hiệu máy chủ, dịch vụ web, database gửi máy chủ giám sát ELK để phân tích (3) Cài đặt Packetbeat giám sát lưu lượng băng thông máy chủ Ta cài đặt công cụ Packetbeat cấu hình để thu thập thơng tin lưu lượng băng thông máy chủ gửi máy chủ giám sát ELK để phân tích (4) Cài đặt Filebeat giám sát hệ điều hành Linux Ta cài đặt cơng cụ Filebeat cấu hình để thu thập thông tin hệ điều hành Linux gửi máy chủ giám sát ELK để phân tích (5) Cài đặt Winlogbeat giám sát truy cập người dùng đến Active Directory, hệ điều hành Windows Ta cài đặt cơng cụ Winlogbeat cấu hình để thu thập thông tin hệ điều hành Windows, truy cập người dùng đến máy chủ Active Directory gửi máy chủ giám sát ELK để phân tích (6) Cấu hình Switch, Router gửi syslog máy chủ ELK Switch, Router có sẵn hệ thống syslog lưu trữ kiện bên thiết bị Nhiệm vụ ta cấu hình để Switch, Router gửi syslog cho máy chủ ELK Ngồi ra, cần cấu hình máy chủ ELK để nhận syslog Switch Router gửi tới (7) Cấu hình Firewall Fortinet gửi syslog máy chủ ELK Thử nghiệm cấu hình syslog Firewall Fortinet gửi cho máy chủ ELK Ta cần phải cấu hình máy chủ ELK để nhận syslog Firewall Fortinet (8) Cấu hình ngưỡng, cảnh báo ELK Thử nghiệm trình bày cách cấu hình đặt ngưỡng, cảnh báo vượt ngưỡng máy chủ ELK thông qua Module X-pack Tuy nhiên Module cần phải 20 phí có 30 ngày dùng thử Việc sử dụng thực tế tùy thuộc định nhà trường Chi tiết nội dung thử nghiệm, cách cài đặt bước tiến hành thử nghiệm trình bày phần phụ lục 3.3.2 Kết thử nghiệm đánh giá Chi tiết kết thử nghiệm trình bày phần phụ lục Tất thử nghiệm cho kết khả quan vận hành tốt, ổn định, đáp ứng yêu cầu giám sát tập trung Các giải pháp thử nghiệm ứng dụng cho mạng nội trường Đại học Hà Nội đáp ứng nhu cầu trình đào tạo, quản lý nhà trường 3.4 Kết luận chương Chương luận văn khảo sát mạng nội trường Đại học Hà Nội, vấn đề nảy sinh trình sử dụng yêu cầu giám sát hệ thống mạng nhằm đáp ứng nhu cầu đào tạo nhà trường Luận văn đề xuất giải pháp giám sát tập trung cho hệ thống mạng nội trường Đại học Hà Nội Các kết thử nghiệm cho thấy giải pháp bảo mật đề xuất triển khai thực tế phù hợp với yêu cầu đề 21 KẾT LUẬN Các kết đạt luận văn: Với mục tiêu nghiên cứu giải pháp giám sát tập trung ứng dụng Trường Đại học Hà Nội, luận văn đạt số kết sau đây: - Khảo sát giải pháp giám sát tập trung - Khảo sát yêu cầu xây dựng hệ thống giám sát tập trung - Nghiên cứu giải pháp giám sát tập trung - Đề xuất giải pháp giám sát tập trung triển khai cho hệ thống mạng trường Đại Học Hà Nội Hướng phát triển tiếp theo: Học viên tiếp tục nghiên cứu, hoàn thiện giải pháp giám sát tập trung để triển khai cách hiệu thực tế  ... giám sát tập trung Chương 3: XÂY DỰNG HỆ THỐNG GIÁM SÁT TẬP TRUNG CHO HỆ THỐNG MẠNG CỦA ĐẠI HỌC HÀ NỘI Chương nghiên cứu hệ thống mạng trường Đại Học Hà Nội đề xuất ứng dụng giải pháp giám sát tập. .. thiết, hệ thống giám sát giám sát tất chúng, lúc giám sát tập trung đời Giám sát tập trung giám sát hệ thống mạng, giám sát tập trung giám sát tất thành phần mà giám sát hệ thống mạng cần phải giám. .. khảo sát tổng quan giám sát tập trung yêu cầu giám sát hệ thống mạng Chương 2: NGHIÊN CỨU GIẢI PHÁP GIÁM SÁT TẬP TRUNG Chương luận văn tập trung nghiên cứu giải pháp giám sát, từ đưa giải pháp giám