Đề tài PHÂN TÍCH dữ LIỆU hệ THỐNG CẢNH báo lỗi THIẾT bị MẠNG dựa TRÊN bộ CÔNG cụ PENTAHO

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ **************** Nguyễn Văn Tâm PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CƠNG CỤ PENTAHO KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công Nghệ Thông Tin Hà Nội - 2013 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ **************** Nguyễn Văn Tâm PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CÔNG CỤ PENTAHO KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công Nghệ Thông Tin Cán hƣớng dẫn : ThS Lê Hồng Hải Hà Nội - 2013 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÓM TẮT Cùng với việc áp dụng rộng rãi công nghệ thông tin vào hầu hết lĩnh vực đời sống, kinh tế, xã hội việc liệu thu nhận qua thời gian ngày nhiều.Vì vậy, yêu cầu thiết yếu đặt doanh nghiệp việc khai thác liệu hiệu để phục vụ cho việc kinh doanh ngày tốt Khóa luận với đề tài áp dụng công cụ Pentaho kỹ thuật OLAP để phân tích, xử lý kho liệu báo cáo viễn thông LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Để hồn thành khóa luận chun ngành cách hồn chỉnh, em xin bày tỏ lịng cảm ơn chân thành đến thầy cô hướng dẫn thực tập trường Đại Học Công Nghệ Đặc biệt thầy Lê Hồng Hải, thầy trực tiếp hướng dẫn tận tình, sửa chữa đóng góp nhiều ý kiến q báu giúp chúng em hồn thành khóa luận tốt nghiệp Con xin chân thành cảm ơn Ông Bà, Cha Mẹ động viên, ủng hộ vật chất lẫn tinh thần suốt thời gian qua Chân thành cảm ơn đến bạn trong tập thể lớp K54CB hỗ trợ để hồn thành tốt khóa luận Lời cảm ơn chân thành sâu sắc, em xin gửi đến gia đình, sát cánh động viên em giai đoạn khó khăn Em xin chân thành gửi lời cảm ơn đến tất thầy cô giảng dạy em thời gian qua, truyền đạt trang bị cho em kinh nghiệm, kiến thức chuyên mơn, giúp chúng em mở rộng tầm nhìn thâm nhập vào thực tế Em xin hứa không ngừng phấn đấu nỗ lực vươn lên học tập công tác sau Sinh viên Nguyễn Văn Tâm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CAM ĐOAN Tơi xin cam đoan khóa luận tốt nghiệp "Nguyễn Văn Tâm" viết hướng dẫn ThS.Lê Hồng Hải, môn Các hệ thống thông tin, trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Trong tồn nội dung khóa luận, tơi xin cam đoan ngồi phần cá nhân tự viết, nội dung có nguồn gốc từ nghiên cứu bên ngoài, cá nhân hay tổ chức rõ trích dẫn danh mục tài liệu tham khảo cách rõ ràng Nếu có vấn đề sai sót tơi xin hồn tồn chịu trách nhiệm LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com MỤC LỤC Chƣơng 1: Giới thiệu hệ thống lý chọn đề tài, tìm hiểu kho liệu, tổng quan OLAP 10 1.1 Hệ thống xử lý lỗi thiết bị mạng Vinaphone 10 1.2 Kho liệu (Data warehouse) 11 1.2.1 Kho liệu 11 1.2.2 Đặc tính kho liệu 11 1.2.3 Ích lợi kho liệu 12 1.2.4 Cấu trúc hệ thống kho liệu 12 1.2.5 Ứng dụng kho liệu (Data warehouse) 14 1.3 Tổng quan OLAP, mơ hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm nhược điểm mơ hình 15 1.3.1 Giới thiệu OLAP 15 1.3.2 Cấu trúc OLAP 16 1.3.3 Đơn vị lưu trữ OLAP 17 1.3.4 Một số mơ hình hỗ trợ OLAP 18 1.3.4.1 Mơ hình Multidimentional OLAP (MOLAP) 18 1.3.4.2 Mơ hình Relational OLAP (ROLAP) 19 1.3.4.3 Mơ hình Hybrid OLAP (HOLAP) 19 1.3.5 So sánh mơ hình liệu 20 Chƣơng 2: Giới thiệu công cụ Pentaho 21 2.1 Tổng quan BI (Pentaho) 21 2.2 Các tính mà BI Pentaho hỗ trợ 23 2.3 Lợi ích cơng cụ BI Pentaho mang lại 25 2.4 Tìm hiểu số cơng cụ BI áp dụng vào tốn thực tế 27 2.4.1 Giới thiệu sử dụng công cụ PDI (Pentaho Data Integration) 27 2.4.1.1 Giới thiệu công cụ PDI 27 2.4.1.2 Sử dụng công cụ PDI 28 2.4.2 Giới thiệu sử dụng công cụ Schema workbench 29 2.4.2.1 Giới thiệu Schema workbench 29 2.4.2.2 Sử dụng Schema workbench 30 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 3: Xây dựng tốn liệu cơng cụ Pentaho kết đạt đƣợc 32 3.1 Xây dựng toán triển khai công cụ Pentaho 32 3.2 Thu thập xây dựng liệu thô từ hệ quản trị Oracle 32 3.3 Xây dựng Data Warehouse sử dụng công cụ Pentaho 34 3.4 Xử lý kĩ thuật OLAP sử dụng công cụ Schema-workbench 47 3.4.1 Tạo cube publish lên server 47 3.4.2 Thiết kế biểu đồ, báo cáo 49 Chƣơng 4: Kết luận 58 Tài liệu kham khảo 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com DANH SÁCH HÌNH VẼ Hình 1: Cấu trúc hệ thống kho liệu 13 Hình 2: Ứng dụng kho liệu Business Intelligence 15 Hình 3: Mơ hình cấu trúc OLAP 16 Hình 4: Mơ hình liệu MOLAP 18 Hình 5: Mơ hình liệu ROLAP 19 Hình 6: Kiến trúc Pentaho BI 21 Hình 7: Báo cáo đồ thị 23 Hình 8: Phân tích lược đồ 24 Hình 9: Ứng dụng data warehouse 25 Hình 10: Cơng cụ Spoon 27 Hình 11: Giao diện đồ họa Spoon 29 Hình 12: Giao diện thiết kế schema workben 30 Hình 13: Tạo thuộc tính kết nối Cube 30 Hình 14: Chọn kết nối tới sở liệu 31 Hình 15: Tạo schema cube 31 Hình 16: Dữ liệu thô cảnh báo lỗi 33 Hình 17: Mơ hình mối quan hệ bảng liệu 34 Hình 18: Dữ liệu vào từ Oracle 35 Hình 19: Lựa chọn sở liệu 36 Hình 20: Lựa chọn kết nối 37 Hình 21: Step Combination lookup/update 38 Hình 22: Connection dim_time 39 Hình 23: Kết nối dim_time 39 Hình 24: Kiểm tra kết nối tới database 40 Hình 25: Tạo dim_time 41 Hình 26: Hiển thị bảng dim 42 Hình 27: Tạo bảng liệu fact_alarm 43 Hình 28: Hiển thị log 44 Hình 29: Tạo thủ tục 45 Hình 30: Dữ liệu sau xử lý 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 31: Tạo cube 47 Hình 32: Tạo kết nối tới Admintor 48 Hình 33: Đăng nhập server 48 Hình 34: Giao diện thiết kế báo cáo 49 Hình 35: Lựa chọn schema 49 Hình 36: Thiết kế biểu đồ 50 Hình 37: Lựa chọn thước đo 50 Hình 38: Lựa chọn chiều thời gian 51 Hình 39: Lựa chọn thời gian theo năm 51 Hình 40: Lựa chọn thời gian tháng, ngày, 52 Hình 41: Chỉnh sửa cấu trúc biểu đồ 53 Hình 42: Biểu đồ đường thể tổng số lỗi năm 2012 53 Hình 43: Biểu đồ cột thể tổng số lỗi năm 2012 54 Hình 44: Biểu đồ cột nhiều mầu sắc thể tổng số lỗi năm 2012 55 Hình 45: Bảng liệu tổng lỗi năm 2012 55 Hình 46: Xử lý chiều liệu để phân tích 56 Hình 47: Lựa chọn mức lỗi 56 Hình 48: Biểu đồ đường hiển thị mức lỗi 57 Hình 49: Biểu đồ cột hiển thị mức lỗi 57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com BẢNG TỪ VIẾT TẮT OLAP Online Analysis Processing MOLAP Multidimensional Online Analysis Processing ROLAP Relational Online Analysis Processing HOLAP Hybird Online Analysis Processing PDI Pentaho Data Integration LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 29: Tạo thủ tục Trước chạy thủ tục em thêm vào bảng dim_time số trường cần thiết: Alter table dim_time add dayofmonth int(11) default NULL; Alter table dim_time add dayofyear int(11) default NULL; Alter table dim_time add dayofweek int(11) default NULL; Alter table dim_time add dayname varchar(10) collate utf8_unicode_ci default NULL; Alter table dim_time add monthnumber int(11) default NULL; Alter table dim_time add monthname varchar(10) collate utf8_unicode_ci default NULL; 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Alter table dim_time add year int(11) default NULL; Alter table dim_time add quarter tinyint(4) default NULL; Alter table dim_time add hour int(11) default NULL; Alter table dim_time add minute int(11) default NULL; Alter table dim_time add second int(11) default NULL; Rồi sau chạy thủ tục chờ liệu xử lý (Hình vẽ) Hình 30: Dữ liệu sau xử lý Đến bước em hoàn thành công việc xây dựng data warehouse cho hệ thống công cụ Spoon 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.4 Xử lý kĩ thuật OLAP sử dụng công cụ Schema-workbench 3.4.1 Tạo cube publish lên server Đầu tiên em xây dựng cube công cụ Schema workbench, mở file workben.bat sau vài giây chờ đợi hiển thi hình cửa sổ Lựa chọn kết nối tới database (Ở em sử dụng database Mysql) Tạo Schema, em vào File > New > Schema Trong Schema add thêm Cube chiều cube Hình 31: Tạo cube Sau tạo xong cube công việc khởi động server “administration-console” (gói nằm biserver-ce-4.5.0-stable - em dùng phiên ce 4.5) Em mở thư mục administration-console Click vào file start-pac.bat, bật trình duyệt gõ vào địa http://localhost.com:8099 với user: admin, password: password Trong Administration > database connections em thêm kết nối “tamnv” với thông tin sau: 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 32: Tạo kết nối tới Admintor Sau trở lại cơng cụ schema workben để public cube lên server, em vào File > publish Trong cửa sổ login em đăng nhập với tài khoản joe/password Hình 33: Đăng nhập server 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.4.2 Thiết kế biểu đồ, báo cáo Bước em mở folder “biserver-ce” chạy file “start-pentaho.bat” sau vào địa http://localhost:8080 để vào “Pentaho User Console” Hiện khung đăng nhập, em điền user: joe/ password: password Khi đăng nhập thành cơng hệ thống hiển thị giao diện Hình 34: Giao diện thiết kế báo cáo Tiếp đến em chọn New Analysis, mục schema lựa chọn tên schema mà em vừa publish thành công lúc trước ấn OK Hình 35: Lựa chọn schema Sau ấn Ok hệ thống chuyển đến giao diện làm việc “New Analysis Views” Trong cửa sổ nơi em bắt đầu cơng việc phân tích thiết kế biểu đồ 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 36: Thiết kế biểu đồ Em click vào nút công cụ hệ thống để em lựa chọn độ đo, columns, rows filter cho việc lựa chọn hiển thị nội dung phân tích Hình 37: Lựa chọn thước đo Đầu tiên em lựa chọn thước đo sum_node – tính tốn mức độ xẩy cảnh báo lỗi thiết bị năm Sau ấn Ok em tiếp tục lựa chọn Rows, mục Rows em chọn chiều dim_time để phân tích 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 38: Lựa chọn chiều thời gian Sau em click vào lọc theo chiều Dim_time (Như hình) hệ thống chuyển sang chi tiết thông tin chiều Dim_time Em click vào nút check box All Dim_time để hiển thị chi tiết năm Ở em lựa chọn năm (2012) để phân tích liệu Hình 39: Lựa chọn thời gian theo năm 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Vào chi tiết năm em chọn tháng, ngày, sau ấn Ok để lưu lại Hình 40: Lựa chọn thời gian tháng, ngày, Sau em ấn Ok mục Filter để lọc lại liệu lựa chọn Tiếp đến em ấn nút cơng cụ để chỉnh sửa lại kích thước biểu đồ lựa chọn kiểu biểu đồ thiết kế mong muốn 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 41: Chỉnh sửa cấu trúc biểu đồ Chọn xong biểu đồ em ấn Ok ấn nút liệu phân tích để hiển thị hình hình dạng Hình 42: Biểu đồ đường thể tổng số lỗi năm 2012 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 43: Biểu đồ cột thể tổng số lỗi năm 2012 Để có nhiều màu sắc cho biểu đồ làm cho người đọc dễ hình dung em click vào cơng cụ tự khắc chuyển cho em từ biểu đồ hình cột đơn sắc sang biểu đồ hình cột đa màu sắc 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 44: Biểu đồ cột nhiều mầu sắc thể tổng số lỗi năm 2012 So sánh biểu đồ với bảng liệu tương ứng Hình 45: Bảng liệu tổng lỗi năm 2012 Tiếp theo em phân tích tổng số lỗi dựa mức độ nguy hiểm lỗi thiết bị năm 2012 Vẫn giao diện làm việc “New Analysis View” em click vào nút để bắt đầu với phiên làm việc Click vào “Measures” lựa chọn thước đo sum_level (Nếu chưa tồn thước đo em tạo lại với công cụ 55 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com schema workben) Tiếp hàng “Rows” chiều Dim_time em click vào biểu tượng để chuyển chiều sang Columns với thước đo measeres Tương tự em làm với chiều dim_cause, dim_node Hình 46: Xử lý chiều liệu để phân tích Trong mục Rows em click vào Dim_level để lựa chọn mức lỗi cần phân tích Hình 47: Lựa chọn mức lỗi 56 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tương tự phần em cấu hình lại hình dạng biểu đồ lựa chọn kiểu hiển thị biểu đồ khác em Hình 48: Biểu đồ đường hiển thị mức lỗi Hình 49: Biểu đồ cột hiển thị mức lỗi 57 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 4: Kết luận Qua việc tìm hiểu cơng cụ Pentaho áp dụng vào báo cáo này, em thấy tầm quan trọng áp dụng kho liệu kĩ thuật OLAP xu tất yếu tương lai nhà doanh nghiệp Vấn đề liệu lớn hay phức tạp khơng phải khó khăn để giải biết xây dựng kho liệu xử lý chúng cơng cụ Pentaho Khóa luận giúp em đạt kết Tìm hiểu cấu trúc kho liệu lớn data warehouse ứng dụng việc phân tích thống kê báo cáo Tìm hiểu kĩ thuật phân tích OLAP, mơ hình lưu trữ hỗ trợ OLAP ưu nhược điểm mơ hình lưu trữ Làm quen với công cụ Pentaho, học cách sử dụng chức tool áp dụng vào toán thực tế Xây dựng biểu đồ thể thay đổi biến động cảnh báo lỗi thiết bị mạng Vinaphone ********************************* 58 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liệu kham khảo Tài liệu tiếng việt [1] Nguyễn Văn Chức Business Intelligence ? 7/4/2012 [2] William H Inmon Building the Data Warehouse Fourth Edition Wiley, 2005 [3] Minh` Blog Pentaho Data Integration 2012 [4] Nguyễn Thành Đạt, Nguyễn Ngọc Anh Advances Topics in Database Systems 2009 [5] Trịnh Minh Giang Dữ liệu xử lý chuyển giao liệu trực tuyến 26/02/2004 [6] Trần Đình Chiến Luận văn thạc sĩ Phương pháp xử lý phân tích trực tuyến áp dụng xây dựng hệ trợ giúp định dựa vào liệu 2006 [7] Bi for Everyone Phần mềm Bi mã nguồn mở Pentaho 2012 Tài liệu tiếng anh [8] Pentaho Corporation Pentaho Analysis Viewer User Guide Pentaho Corporation, 2007 Tr 1-23 [9] Julian Hyde, Lance Walter OLAP for MySQL using Pentaho’s Mondrian 59 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... ĐẠI HỌC CÔNG NGHỆ **************** Nguyễn Văn Tâm PHÂN TÍCH DỮ LIỆU HỆ THỐNG CẢNH BÁO LỖI THIẾT BỊ MẠNG DỰA TRÊN BỘ CƠNG CỤ PENTAHO KHĨA LUẬN TỐT NGHIỆP ĐẠI HỌC CHÍNH QUY Ngành: Công Nghệ Thông... xẩy cảnh báo lỗi, mã lỗi, tên thiết bị, mã thiết bị, tên nhà cung cấp, nguyên nhân lỗi, mức độ nguy hiểm cảnh báo Ví dụ thơng tin cảnh báo có dạng sau Mã lỗi Thờ i gian xẩy lỗi Mã Tên thi thiết. .. phải nhiều cố, lỗi thiết bị phần cứng gây lưu lượng người truy cập lớn làm hệ thống tải sinh cảnh báo lỗi Để biết trước khả phát sinh lỗi thiết bị, nhà mạng cần phải lưu lại liệu phân tích xử lý