Xây dựng hệ thống phần mềm giám sát chất lượng mạng ip (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - TÊN LUẬN VĂN: “XÂY DỰNG HỆ THỐNG GIÁM SÁT MẠNG IP” CHUYÊN NGÀNH: KỸ THUẬT VIỄN THƠNG MÃ SỐ: 60.52.02.08 TĨM TẮT LUẬN VĂN THẠC SỸ Ngƣời hƣớng dẫn khoa học: PGS.TS NGUYỄN TIẾN BAN H N I - Năm 2013 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: PGS.TS.NGUYỄN TIẾN BAN Phản biện 1: PGS TS Trương Vũ Bằng Giang Phản biện 2: TS Hoàng Văn Võ Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sỹ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm 2013 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng 1 LỜI NĨI ĐẦU Ngày nay, với bùng nổ Internet, việc kết nối sử dụng Internet ngày đa dạng, phong phú, tầm quan trọng việc đảm bảo chất lượng dịch vụ (QoS – Quality of Service) ngày tăng Với đời nhà cung cấp dịch vụ viễn thông, việc ổn định “chất lượng dịch vụ viễn thông” cần phải đảm bảo Điều có nghĩa nhà cung cấp dịch vụ viễn thông cần tạo cho người dung dịch vụ đa dạng, phong phú cốt yếu đảm bảo chất lượng dịch vụ Mạng viễn thơng cung cấp dịch vụ sở phục vụ theo khả tối đa (best-effort) tức một cam kết đưa từ phía nhà khai thác chất lượng dịch vụ Thay vào đó, tùy thuộc vào trạng thái cụ thể mạng, nhà mạng thực khả tốt để phục vụ lưu lượng cho dịch vụ Đây nguyên nhân chủ yếu thúc đẩy nghiên cứu mạnh mẽ giám sát chất lượng dịch vụ mạng IP năm gần Chất lượng dịch vụ thành phần quan trọng mạng đa dịch vụ Vấn đề chất lượng dịch vụ đánh giá chất lượng dịch vụ vấn đề đóng vai trị quan trọng tất loại hình dịch vụ viễn thơng Mỗi loại hình dịch vụ quan tâm tới chất lượng dịch vụ khía cạnh khác Chính đề tài mà em chọn làm đồ án tốt nghiệp là: “Xây dựng hệ thống phần mềm giám sát chất lượng mạng IP” Nội dung đồ án em gồm phần sau: Chương Tổng quan quản lý giám sát mạng IP Chương Hoạt động hệ thống Chương Xây dựng sở liệu chương trình phần mềm giám sát Nhân đây, em xin cảm ơn thầy giáo PGS TS Nguyễn Tiến Ban thầy cô giáo, bạn b đồng nghiệp đ tận tình hướng dẫn giúp đ em suốt suốt trình học tập làm việc để hoàn thành luận văn M c dù đ cố g ng, nhiên cịn có nhiều hạn chế nên ch c ch n luận văn cịn có thiếu sót, em mong nhận kiến đóng góp bổ ích để hồn thiện thêm nội dung luận văn để hoàn thiện định hướng nghiên cứu tương lai Em xin chân thành cảm ơn CHƢƠNG 1: TỔNG QUAN VỀ QUẢN LÝ GIÁM SÁT MẠNG IP 1.1 Kiến trúc hoạt động mạng IP Hiện mạng 3G cung cấp đến khách hàng dịch vụ thoại, liệu dịch vụ đa phương tiện khác Mạng 3G bao gồm mạng truy nhập vô tuyến UTRAN mạng lõi bao gồm miền CS miền PS Các phần tử mạng lõi miền CS, miền PS mạng truy nhập vô tuyến UTRAN kết nối qua mạng IP backbone Mobifone Cấu trúc mạng IP backbone trung tâm bao gồm router P (Provider) phần lõi router PE (Provider Edge) phần biên Các router PE kết nối trực tiếp đến mạng IP kết nối Gigabite Ethernet ho c qua switch Layer giao diện Gigabite Ethernet 1.2 Hệ thống quản lý giám sát mạng IP Quản l mạng gồm tập chức để điều khiển, lập kế hoạch, liên kết, triển khai giám sát tài ngun mạng Quản l mạng nhìn nhận cấu trúc gồm nhiều lớp Quản l mạng chia thành hai chức sở: truyền tải thông tin quản l qua hệ thống quản l phần tử thông tin quản l mạng Các chức gồm nhiệm vụ khác như: Giám sát, cấu hình, sửa lỗi lập kế hoạch thực nhà quản trị ho c nhân viên quản l mạng Phần mềm giám sát đ t máy trạm, tự động lấy liệu từ U2000 sau khoảng thời gian xác định giao thức FTP Sau lấy liệu về, chương trình import số liệu vào database tính tốn, xử lý số liệu Sau q trình tính tốn kết thúc, chương trình thực nh n tin đến người dùng có liên quan Lấy số liệu từ U2000 Nhắn tin nhận tin nhắn phản hồi FTP Import số liệu vào database Xử lý số liệu database Người dùng Hình 1.1: Sơ đồ hoạt động phần mềm giám sát Mơ hình quản l hệ thống bao gồm ba chức quản l gồm: giám sát, điều khiển đưa báo cáo tới người điều hành:  Chức giám sát có nhiệm vụ thu thập liên tục thông tin trạng thái tài ngun quản l sau chuyển thơng tin dạng kiện đưa cảnh báo tham số tài nguyên mạng quản l vượt ngư ng cho phép  Chức quản l có nhiệm vụ thực yêu cầu người quản l ho c ứng dụng quản l nhằm thay đổi trạng thái hay cấu hình tài ngun quản l  Chức đưa báo cáo có nhiệm vụ chuyển đổi hiển thị báo cáo dạng mà người quản lí đọc, đánh giá ho c tìm kiếm, tra cứu thơng tin báo cáo Phần mềm giám sát đ t máy trạm, tự động lấy liệu từ U2000 sau khoảng thời gian xác định giao thức FTP Sau lấy liệu về, chương trình import số liệu vào database tính tốn, xử lý số liệu Sau q trình tính tốn kết thúc, chương trình thực nh n tin đến người dùng có liên quan Web Technical server IPBB IP: 10.151.214.2(1)/28 ACGBT_1H IP: 10.151.23.90/24 IPBB OAM Switch IP: 10.151.214.29/28 IP: 10.12.1.90/24 SingleRAN OAM Switch SingleRAN Router IP: 10.12.1.91/24 iwebserver U2000 Remote Router Hình 1.2: Sơ đồ kiến trúc quản lý mạng IP Cơ chế quản l mạng bao gồm giao thức quản l mạng, giao thức quản l mạng cung cấp chế thu thập, thay đổi truyền liệu quản l mạng qua mạng Các chế giám sát nhằm để xác định đ c tính thiết bị mạng, tiến trình giám sát bao gồm thu thập lưu trữ tập liệu Dữ liệu thường thu thập thông qua polling ho c tiến trình giám sát gồm giao thức quản l mạng Xử lý liệu sau trình thu thập thông tin quản l mạng bước loại bỏ bớt thông tin liệu không cần thiết nhiệm vụ quản l Sự thể thông tin quản l cho người quản l cho ph p người quản l n m b t hiệu tính đ c tính mạng cần quản l Một số kĩ thuật biểu diễn liệu thường sử dụng dạng ký tự, đồ thị ho c lưu đồ (tĩnh ho c động) Tại thời điểm xử lý thông tin liệu, nhiều thông tin chưa kịp xử l lưu trữ vùng nhớ lưu trữ khác Các chế dự phịng cập nhật lưu trữ ln xác định trước chế quản l mạng nhằm tránh tối đa tổn thất liệu Các phân tích thời gian thực ln u cầu thời gian hỏi đáp tới thiết bị quản l khoảng thời gian ng n Đây điều kiện đánh đổi số lượng đ c tính thiết bị mạng với lượng tài ngun (khả tính tốn, số lượng thiết bị tính tốn, nhớ, lưu trữ) cần thiết để hỗ trợ phân tích Trong việc giám sát chất lượng mạng IP, chương trình xây dựng cần đáp ứng yêu cầu sau đ t gồm:  Khả giám sát điều khiển mạng thành phần hệ thống thiết bị từ đầu cuối đến đầu cuối  Có thể truy nhập cấu hình lại từ xa tài nguyên quản l  Dễ dàng việc cài đ t, vận hành bảo dư ng hệ thống quản l ứng dụng  Bảo mật hoạt động quản l truy nhập người sử dụng, bảo mật truyền thông thông tin quản l  Có khả đưa báo cáo đầy đủ rõ nghĩa thông tin quản l  Quản l theo thời gian thực hoạt động quản l hàng ngày thực cách tự động  Mềm dẻo việc nâng cấp hệ thống có khả tương thích với nhiều cơng nghệ khác  Có khả lưu trữ khôi phục thông tin quản l Kết luận: Chương đưa khái niệm nhất, giúp người đọc hình dung tổng quan hệ thống mạng IP hệ thống quản lý giám sát mạng IP, dựa vào để phát triển nội dung luận văn CHƢƠNG 2: HOẠT Đ NG CỦA HỆ THỐNG PHẦN MỀM GIÁM SÁT 2.1 Hoạt động phần mềm giám sát Sau khoảng thời gian định (đuợc đ t người quản trị chương trình), chương trình lấy liệu (là file thống kê U2000 đưa ra) máy trạm Dữ liệu lưu máy trạm để phục vụ công tác import liệu vào database U2000 File thống kê Máy trạm Hình 2.1: Sơ đồ lấy liệu từ U2000 máy trạm Sau hệ thống đọc liệu đ lấy từ máy trạm, import vào database Trước tiên liệu import mức thô, sau tính tốn để tổng hợp theo ngày, tháng Dữ liệu file cảnh báo chia thành trường tách biệt chứa nội dung tên, loại cảnh báo, thời gian, giá trị tham số Các giá trị lấy đưa vào trường riêng biệt hệ thống sở liệu để tổng hợp, xử lý (tính giá trị trung bình ngày, tính thời điểm giá trị cao ngày) Convert số liệu Bảng liệu kiện cảnh báo mức thô Xử lý, tổng hợp số liệu Bảng liệu kiện cảnh báo mức tổng hợp Hình 2.2: Sơ đồ convert liệu vào database Hệ thống có chức tra cứu thơng tin tình trạng hệ thống mạng IPBB nhằm phục vụ cho công tác quản trị Các liệu hiển thị trang web cập nhật tự động từ bảng tính tốn tổng hợp theo ngày tháng ho c người dùng tự cập nhật có phát sinh xảy ngồi ý muốn Hình 2.3: Sơ đồ cập nhật hiển thị số liệu 2.2 Phƣơng thức thu thập số liệu QoS Các tham số liệu KPI lấy hàng vào trường liệu tương ứng sở liệu Sau ta tính giá trị trung bình tham số tiếp tục tính giá trị trung bình tham số theo ngày, tháng, năm Các giá trị tham số sau tính tốn đối chiếu với ngư ng giá trị mà ta cần để giám sát Sau sở liệu hiển thị web giúp ta giám sát chất lượng dịch vụ đưa cảnh báo giá trị không phù hợp với ngư ng tham số đ cho Các tham số liệu xử lý liên tục đảm bảo việc giám sát tức thời đưa cảnh báo giá trị thời điểm khơng phù hợp với ngư ng gây ảnh hưởng đến dịch vụ chất lượng (QoS) Mơ hình hệ thống bao gồm:  Devices: Là hệ thống thiết bị router, switch L2, L3 hoạt động hệ thống mạng IPBB trung tâm Các thiết bị thu thập lưu giữ thông tin quản lý gửi số liệu tới server NMS thông qua giao thức SNMP  Server (Network Management Station -NMS): Các chức Server NMS bao gồm đ c tính báo cáo, network topology mapping lập tài liệu, công cụ phần mềm, chương trình cho phép giám sát thông số performance hệ thống IPBB như: giám sát tình trạng thiết bị, giám sát traffic (lưu thơng) mạng, giám sát KPI khác hệ thống vv… Hình 2.4: Mơ hình kết nối hệ thống 2.3 Quy trình xử lý liệu KPI Các tham số liệu KPI lấy hàng vào trường liệu tương ứng sở liệu Sau ta tính giá trị trung bình tham số tiếp tục tính giá trị trung bình tham số theo ngày, tháng, năm Các giá trị tham số sau tính tốn đối chiếu với ngư ng giá trị mà ta cần để giám sát Sau sở liệu hiển thị web giúp ta giám sát chất lượng dịch vụ đưa cảnh báo giá trị không phù hợp với ngư ng tham số đ cho Các tham số liệu xử lý liên tục đảm bảo việc giám sát tức thời đưa cảnh báo giá trị thời điểm khơng phù hợp với ngư ng gây ảnh hưởng đến dịch vụ chất lượng (QoS) Kết luận: Chương đưa tiêu chuẩn thiết kế hoạt động hệ thống quản lý giám sát mạng IP, phương pháp thu thập số liệu QoS để từ thiết kế hệ thống quản lý giám sát mạng IP cụ thể CHƢƠNG 3: XÂY DỰNG CƠ SỞ DỮ LIỆU V CHƢƠNG TRÌNH PHẦN MỀM GIÁM SÁT 3.1 Phân tích thiết kế xây dựng Thiết kết chức quản trị hệ thống bao gồm module bao gồm module có chức quản l tuỳ biến giá trị tệp tin tham số tải định dạng file, đường dẫn, địa tải nhằm giúp cho người quản trị dễ dàng cho việc thay đổi, cập nhật số liệu Quản l tiến trình xử l tham số Hệ thống bao gồm module có chức năng: - Lọc giá trị cần để tính tốn để đưa vào bảng số liệu thống kê file thô - Thực q trình tính tốn đưa số liệu vào bảng số liệu thống kê Thiết kế chức báo lỗi bao gồm module có chức hiển thị thơng báo logfile tíến hành nhằm quản l giám sát hoạt động chương trình phát chi tiết nguyên nhân xảy lỗi trình làm việc lỗi kết nối, lỗi xử l số liệu file cảnh báo thay đổi giá trị so với ban đầu Thiết kế chức xử l số liệu bao gồm module có chức thực việc tải tệp tin máy trạm theo lịch trình quy định trước Mỗi tiến trình tải xử l tệp tin thực độc lập nhằm đảm bảo cho việc tệp tin xảy lỗi trình tải hay xử l tiến trình khác khơng bị ảnh hưởng - Thiết lập template tên tệp tham số - Dò tải tệp theo lịch trình quy định Hệ thống bao gồm module có chức thực việc tải tệp tin máy trạm theo lịch trình quy định trước Mỗi tiến trình tải xử l tệp tin thực độc lập nhằm đảm bảo cho việc tệp tin xảy lỗi trình tải hay xử l tiến trình khác không bị ảnh hưởng - Thiết đ t service hoạt động tự động: Hệ thống bao gồm module có chức tự động chạy chương trình khởi tạo tự động t t đ xử l xong số liệu Việc giúp cho hệ thống làm việc cách tự động liên tục - Xử l số liệu Board Performance - Xử l số liệu Device Performance - Xử l số liệu Interface Usage - Xử l số liệu Optical Power - Xử l số liệu Packet Loss - Xử l số liệu Link Performance Nhóm chức thống kê, báo cáo phân hệ IP Core, IP RAN 3.2 Các thống kê KPI phần mềm giám sát Hệ thống thống kê KPI cách tối ưu dựa cấu trúc liệu cụ thể: - Giải thuật với liệu SQL: câu lệnh ngơn ngữ SQL dựa liệu có dạng tập ghi, giải thuật gồm thêm, sửa, xoá phần tử, thay đổi thông tin phần tử, thuật tốn tìm kiếm, thống kê Các thuật tốn cài đ t kỹ thuật thủ tục dựng sẵn hệ quản trị để tối ưu thời gian thực - Giải thuật với liệu tuần tự: Đó giải thuật xây dựng cơng cụ phát triển WEB ASP, giải thuật để thực số kỹ thuật danh sách ghi Dựa vào ta xây dựng kiến trúc hệ thống quản l mạng IP đưa yêu cầu tham số QoS truyền dẫn bao gồm: Băng thơng, Trế, Biến động trễ, Mất gói tin, Độ khả dụng, Bảo mật Bảng 3.1: Các tham số QoS Thông số QoS Các giá trị minh họa Băng thông (nhỏ nhất) 64kb/s, 5Mb/s, 45Mb/s Trễ(Lớn nhất) 50ms trễ vòng, 150ms trễ vòng Jitter (Biến động trễ) 10% trễ lớn nhất, 5ms biến động Loss (Mất thơng tin) 1000 gói chưa chuyển giao Độ khả dụng (tin cậy) 99 99% Bảo mật Mã hoá nhận thực tất luồng lưu lượng 3.3 Ứng dụng chƣơng trình quản lý giám sát mạng Mobifone Ứng dụng chương trình thực tế vận hành giám sát mạng IP Mobifone Xây dựng sở liệu Luận văn sử dụng công cụ hãng Microsoft Sở dĩ chọn công nghệ lý sau: - Nền tảng hệ điều hành Windows Server 2008 hệ quản trị CSDL SQL Server 2005 phù hợp với ứng dụng c trung bình Các cơng cụ phát triển Web, cơng cụ phát triển đồ hoạ Web Microsoft sẵn sàng dễ sử dụng Giá hợp l Kế thừa hệ thống có Người dùng quen thuộc dễ dàng tích hợp với ứng dụng soạn thảo, bảng tính có sẵn 10 Có số cơng nghệ khác hệ điều hành Unix Linux, khơng lựa chọn số vấn đề: đầu tư phần cứng lớn hơn, công cụ phát triên, công cụ phát triển đồ hoạ khó dùng, vấn đề tích hợp với với công cụ Microsoft dùng Trung tâm Hệ thống gồm máy chủ cài hệ điều hành Windows Server 2008, hệ quản trị sở liệu MS SQL Server 2005, máy trạm để đ t tiến trình convert số liệu Các hệ thống liên quan kết nối qua mạng LAN Xây dựng chƣơng trình giám sát mạng IP Chương trình thiết kế cách sử dụng cách tối ưu dựa cấu trúc liệu cụ thể: - - Giải thuật với liệu SQL: câu lệnh ngôn ngữ SQL dựa liệu có dạng tập ghi, giải thuật gồm thêm, sửa, xố phần tử, thay đổi thơng tin phần tử, thuật tốn tìm kiếm, thống kê Các thuật toán cài đ t kỹ thuật thủ tục dựng sẵn hệ quản trị để tối ưu thời gian thực Giải thuật với liệu tuần tự: Đó giải thuật xây dựng công cụ phát triển WEB ASP, giải thuật để thực số kỹ thuật danh sách ghi Hình 3.1: Số liệu KPI Board Performance 10 11 Hình 3.2: Số liệu Device Performance Hình 3.3: Số liệu Link Performance 11 12 Hình 3.4: Số liệu Interface Usage Hình 3.5: Số liệu Packet Loss 12 13 Hình 3.6: Số liệu Optical Power Kết luận: Chương đưa kết hệ thống quản lý giám sát mạng IP Từ đó, ứng dụng hệ thống công việc vận hành quản lý giám sát chất lượng mạng IP Đây xu chung tất yếu tương lai hướng đến tự động hóa hồn tồn khâu giám sát, phát cố tự động xử lý cố 13 14 KẾT LUẬN Kết đạt ứng dụng luận văn Trong khuôn khổ luận văn tốt nghiệp, luận văn em đ hoàn thành vấn đề sau: xây dựng công cụ hiển thị báo cáo chất lượng web, nh n tin tự động đến người sử dụng góp phần phát xử lý nhanh chóng lỗi, cố phát sinh Luận văn đ ứng dụng vào thực tiễn với chức đ đáp ứng yêu cầu trình giám sát, đánh giá chất lượng mạng truyền dẫn IP Hướng nghiên cứu Ứng dụng hệ thống giám sát quản lý chất lượng mạng IP hỗ trợ việc giám sát chất lượng cho loại sản phầm hãng sản xuất khác (Cicso, Juniper ) giám sát chất lượng truyền dẫn IP tỉnh/Thành phố nước  ... nghiệp là: ? ?Xây dựng hệ thống phần mềm giám sát chất lượng mạng IP? ?? Nội dung đồ án em gồm phần sau: Chương Tổng quan quản lý giám sát mạng IP Chương Hoạt động hệ thống Chương Xây dựng sở liệu... tổng quan hệ thống mạng IP hệ thống quản lý giám sát mạng IP, dựa vào để phát triển nội dung luận văn CHƢƠNG 2: HOẠT Đ NG CỦA HỆ THỐNG PHẦN MỀM GIÁM SÁT 2.1 Hoạt động phần mềm giám sát Sau khoảng... đáp ứng yêu cầu trình giám sát, đánh giá chất lượng mạng truyền dẫn IP Hướng nghiên cứu Ứng dụng hệ thống giám sát quản lý chất lượng mạng IP hỗ trợ việc giám sát chất lượng cho loại sản phầm