NGHIÊN cứu ỨNG DỤNG bộ CÔNG cụ BUSINESS INTELLIGENCE TRONG VIỆC xử lý số LIỆU của hệ QUẢN TRỊ cơ sở dữ LIỆU MYSQL

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Trƣơng Vĩnh Long NGHIÊN CỨU ỨNG DỤNG BỘ CÔNG CỤ BUSINESS INTELLIGENCE TRONG VIỆC XỬ LÝ SỐ LIỆU CỦA HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU MYSQL KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Cơng nghệ thông tin HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Trƣơng Vĩnh Long NGHIÊN CỨU ỨNG DỤNG BỘ CÔNG CỤ BUSINESS INTELLIGENCE TRONG VIỆC XỬ LÝ SỐ LIỆU CỦA HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU MYSQL KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Công nghệ thông tin Cán hƣớng dẫn: TS Nguyễn Hà Nam Cán đồng hƣớng dẫn: ThS Nguyễn Thu Trang HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com LỜI CẢM ƠN Trước tiên em xin gửi lời cảm ơn sâu sắc tới TS Nguyễn Hà Nam ThS Nguyễn Thu Trang tận tình bảo, giúp đỡ em hồn thành luận văn Em xin chân thành cảm ơn thầy cô môn Các hệ thống thông tin, trường Đại học Công nghệ - Đại học Quốc gia Hà nội tạo điều kiện cho em thực đề tài Đồng thời, em xin cảm ơn thầy cô giáo trường Đại học Công nghệ dạy bảo, giúp đỡ em năm học vừa qua Cuối em xin cảm ơn người thân gia đình bạn bè động viên, giúp đỡ em trình học tập thực hồn luận văn Xin chân thành cảm ơn! Sinh viên Trương Vĩnh Long LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com TÓM TẮT Ngày nay, việc lưu trữ, xử lý liệu để tổng hợp thông tin, hỗ trợ định trở nên phổ biến nhiều tổ chức sản xuất, kinh doanh Có nhiều phương pháp để đáp ứng yêu cầu này, Business Intelligence(BI- giải pháp quản trị doanh nghiệp thông minh) giải pháp tiêu biểu, nhiều tổ chức lựa chọn Khóa luận giới thiệu vài nét tổng quan kho liệu, hệ thống xử lý phân tích trực tuyến cơng cụ Business Intelligence Tiếp việc triển khai cài đặt, ứng dụng Business Intelligence, cụ thể sử dụng công cụ Pentaho việc xây dựng báo cáo khai phá liệu dựa hệ quản trị sở liệu MySQL kết hợp phần mềm Weka LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách hình Hình – Cấu trúc hệ thống kho liệu Hình – Dịng liệu kho liệu Hình - Ứng dụng kho liệu Business Intelligence Hình – Ví dụ định Hình – Thành phần hệ Business Intelligence 12 Hình – Cấu trúc Pentaho Business Intelligence 19 Hình – Cơ sở liệu thành phố 23 Hình – Thiết lập Data Source 24 Hình – Thiết lập Constraint 25 Hình 10 – Mơ tả báo cáo thu sử dụng Pentaho 26 Hình 11 – Mô tả bảng liệu khách hàng ngân hàng 27 Hình 12 - Tải liệu lên Weka từ MySQL 28 Hình 13 – Chọn lọc MathExpression 29 Hình 14 – Thay đổi thơng số cho lọc MathExpression 30 Hình 15 – Sử dụng MathExpression để gán lại giá trị cho trường THU NHAP 30 Hình 16 – Chọn lọc NumericToNominal 31 Hình 17 – Chọn lọc AddValues 32 Hình 18 – Thiết lập thơng số cho lọc AddValues 32 Hình 19 – Sử dụng chức Replace Value phần Edit 33 Hình 20 – Lựa chọn giá trị cần thay 34 Hình 21 – Lựa chọn giá trị thay 34 Hình 22 – Lựa chọn xây dựng định theo J48 35 Hình 23 - Cây định thu dùng Classifier J48 36 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 24 – Lựa chọn xây dựng luật kết hợp theo thuật tốn Apriori 37 Hình 25 – Kết thu tạo luật kết hợp sử dụng thuật toán Apriori 38 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Bảng từ khóa OLAP Online Analysis Processing MOLAP Multidimensional Online Analysis Processing ROLAP Relational Online Analysis Processing HOLAP Hybird Online Analysis Processing BI Business Intelligence LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Chƣơng : KHO DỮ LIỆU VÀ HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU MYSQL 1.1 Kho liệu 1.1.1 Khái niệm kho liệu 1.1.2 Các đặc tính kho liệu 1.1.3 Cấu trúc hệ thống kho liệu 1.1.4 Dòng liệu kho liệu 1.1.5 Ứng dụng kho liệu 1.2 Hệ quản trị sở liệu MySQL 1.2.1 Giới thiệu MySQL 1.2.2 Ưu điểm nhược điểm MySQL Chƣơng : PHƢƠNG PHÁP KHAI PHÁ DỮ LIỆU 2.1 Khái niệm khai phá liệu 2.2 Các thành phần giải thuật khai phá liệu 2.3 Cây định 2.4 Phát luật kết hợp 10 Chƣơng : BỘ CÔNG CỤ BUSINESS INTELLIGENCE 12 3.1 Business Intelligence 12 3.1.1 Khái niệm Business Intelligence 12 3.1.2 Các thành phần hệ Business Intelligence 12 3.1.3 Lợi ích Business Intelligence doanh nghiệp 13 3.1.4 Các công cụ Business Intelligence 15 3.1.5 Kết hợp Business Intelligence MySQL 15 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.2 Kỹ thuật OLAP 16 3.2.1 Khái niệm OLAP 16 3.2.2 Các thành phần hệ thống OLAP 17 3.3 Pentaho – Business Intelligence Server 18 3.3.1 Tổng quan Pentaho 18 3.3.2 Khả lợi ích Pentaho 19 3.4 Mondrian – OLAP Server 20 3.4.1 Mondrian 20 3.4.2 Schema Workbench 20 3.5 Weka – Khai phá liệu 21 Chƣơng : ỨNG DỤNG BUSINESS INTELLIGENCE 22 4.1 Tạo báo cáo sử dụng công cụ BI 22 4.1.1 Giới thiệu sở liệu 22 4.1.2 Bài toán 23 4.1.3 Giải toán 23 4.2 Khai phá liệu 26 4.2.1 Giới thiệu sở liệu 26 4.2.2 Bài toán 27 4.2.3 Tiền xử lý 27 4.2.4 Thực thuật toán phân lớp 35 4.2.5 Xây dựng luật kết hợp 36 4.2.6 Nhận xét kết 38 KẾT LUẬN 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương – Kho liệu hệ quản trị sở liệu MySQL Chƣơng : KHO DỮ LIỆU VÀ HỆ QUẢN TRỊ CƠ SỞ DỮ LIỆU MYSQL 1.1 Kho liệu 1.1.1 Khái niệm kho liệu Theo William Inmon [12], kho liệu liệu có đặc tính : hướng chủ đề, có tính tích hợp, ổn định, liệu gắn với thời gian, thường sử dụng hệ thống hỗ trợ định Kho liệu thường bao gồm : - Một nhiều công cụ để chiết xuất liệu từ dạng cấu trúc liệu khác - Cơ sở liệu tích hợp hướng chủ đề, ổn định tổng hợp thông qua việc lập bảng liệu Một kho liệu coi hệ thống thông tin với thuộc tính sau: • Là sở liệu thiết kế dành cho nhiệm vụ phân tích, sử dụng liệu từ ứng dụng khác • Hỗ trợ cho số người dùng có liên quan, có sử dụng tới thơng tin liên quan • Nội dung cập nhật thường xuyên, chủ yếu theo hình thức bổ sung thơng tin • Chứa liệu lịch sử nhằm cung cấp xu hướng thơng tin • Chứa bảng liệu có kích thước lớn • Một câu hỏi thường trả tập kết liên quan đến toàn bảng liên kết nhiều bảng 1.1.2 Các đặc tính kho liệu Hƣớng chủ đề : Kho liệu chứa lượng liệu lên tới hàng trăm Gigabyte, tổ chức theo chủ đề Kho liệu khơng trọng vào giao tác việc xử lý giao tác Thay vào đó, kho liệu tập trung vào việc mơ hình hóa, phân tích liệu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương - Ứng dụng Business Intelligence Hình 11 – Mơ tả bảng liệu khách hàng ngân hàng 4.2.2 Bài toán Từ bảng liệu khách hàng, tìm luật định xây dựng định việc tiến hành cho vay không cho vay 4.2.3 Tiền xử lý Dữ liệu tải lên từ sở liệu có tên bankdata, sử dụng chức “Open database” Weka 27 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương - Ứng dụng Business Intelligence Hình 12 - Tải liệu lên Weka từ MySQL Chức Preprocess thực việc chuẩn hóa, tiền xử lý liệu thông qua lọc (Filter) Trước tiên, ta chuyển liệu cột TUOI thành dạng so sánh gồm nấc : - Nếu TUOI = 60, gán TUOI = Việc thực lọc MathExpression 28 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương - Ứng dụng Business Intelligence Hình 13 – Chọn lọc MathExpression Các thông số lọc thay đổi, với hàm so sánh thêm vào : expression : “ifelse(A