Ứng dụng kỹ thuật OLAP trong khai phá dữ liệu sinh viên tại Học viện Ngân hàng : Luận văn ThS. Công nghệ thông tin: 60 48 01 04

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG LUẬN VĂN THẠC SĨ Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60 48 01 04 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Đỗ Trung Tuấn Hà Nội – 2014 MỤC LỤC MỤC LỤC BẢNG DANH SÁCH CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU LỜI CAM ĐOAN LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG 11 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 11 VÀ PHÁT HIỆN TRI THỨC 11 1.1 Khái niệm khai phá liệu 12 1.2 Quá trình khai phá tri thức sở liệu 12 1.3 Các kiểu liệu khai thác Khai phá liệu 14 1.3.1 Dữ liệu từ Cơ sở liệu 14 1.3.2 Kho liệu 15 1.3.3 Dữ liệu giao dịch 17 1.3.4 Các loại liệu khác 17 1.4 Các kỹ thuật khai phá liệu 19 1.4.1 Khai phá liệu dự đoán 19 1.4.2 Khai phá liệu mô tả 21 1.5 Lợi khai phá liệu so với phương pháp khác 22 1.5.1 Học máy 22 1.5.2 Hệ chuyên gia 23 1.5.3 Thống kê 23 1.6 Các ứng dụng Khai phá liệu 24 1.6.1 Trí tuệ doanh nghiệp 24 1.6.2 Công cụ tìm kiếm 24 1.7 Những thách thức phát tri thức 26 1.8 Kết luận 28 CHƯƠNG 30 OLAP VÀ OLAP TRONG MS SQL SERVER 2008 30 2.1 Khái niệm OLAP 30 2.2 Mơ hình liệu đa chiều 30 2.3 So sánh OLAP với OLTP 32 2.4 Các mơ hình lưu trữ hỗ trợ OLAP 33 2.4.1 Mơ hình MOLAP 33 2.4.2 Mơ hình ROLAP 34 2.4.3 Mơ hình HOLAP 35 2.4.4 So sách mơ hình 36 2.5 Kiến trúc khối OLAP 36 2.6 Mô hình kiến trúc dịch vụ OLAP Microsoft 37 2.6.1 Tầng liệu nguồn 38 2.6.2 Kiến trúc tầng tảng 38 2.6.3 Kiến trúc tầng khai thác 39 2.7 Giới thiệu dịch vụ OLAP Microsoft SQL Server 41 2.7.1 Dịch vụ tích hợp liệu 41 2.7.2 Dịch vụ Báo cáo 45 2.7.3 Dịch vụ phân tích liệu 48 2.7.4 Bộ cơng cụ phát triển trí tuệ doanh nghiệp 49 2.7.5 Công cụ quản lý SQL Server 50 2.8 Triển khai OLAP liệu sinh viên 51 2.9 Kết luận 59 CHƯƠNG 60 ÚNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG 60 3.1 Giới thiệu Học viện Ngân hàng 60 3.2 Yêu cầu Phân tích liệu sinh viên 61 3.2 Mơ hình liệu lược đồ 62 3.2.1 Mơ hình liệu 62 3.2.2 Bảng thông tin liệu 63 3.3 Khai phá liệu sinh viên Học viện Ngân hàng 66 3.3.1 Phân tích liệu điểm mơn Kinh tế vi mơ sinh viên khóa 11 khóa 12 66 3.3.2 Phân tích kết học tập mơn Tiếng anh sinh viên khóa 12 theo Dân tộc 67 3.3.3 Phân tích liệu sinh viên theo khóa, tỉnh môn học 67 3.3.4 Phân tích liệu sinh viên theo giới tính, môn học 69 3.4 Kết luận 69 KẾT LUẬN 71 Kết đạt luận văn 71 Phương hướng tiếp tục nghiên cứu 72 Tài liệu Tham khảo 73 BẢNG DANH SÁCH CÁC TỪ VIẾT TẮT Từ Tiếng Anh Tiếng Việt Cơ sở liệu CSDL BI Business Intelligent Trí tuệ doanh nghiệp BIDS Business Intelligent Development Studio Trình phát triển trí tuệ doanh nghiệp DM Kho liệu chuyên đề Kho liệu chuyên biệt DW Data Warehouse Kho liệu DSV Data Source View Dữ liệu nguồn XML Extensible Markup Language Ngôn ngữ đánh dấu mở rộng ETL Extract - Transform - Load Trích rút – Biến đổi – Nạp HOLAP Hybrid OLAP OLAP ghép MOLAP Multidimensional OLAP OLAP đa chiều OLAP Online Analytical Processsing Xử lý phân tích trực tuyến OLTP Online Transaction Processing Xử lý giao dịch trực tuyến ODS Operational Database Store Kho liệu tác ng hiệp RDBMS Relational DataBase Management Hệ quản trị CSDL quan hệ System ROLAP Relational OLAP OLAP quan hệ SSAS SQL Server Analysis Services Dịch vụ phân tích SQL Server SSIS SQL Server Integration Service Dịch vụ tích hợp SQL Server SSMS SQL Server Management Studio Trình quản lý SQL Server SSRS SQL Server Reporting Services Dịch vụ báo cáo SQL Server UDM Unified Dimensional Model Mơ hình chiều thống Học viện Ngân hàng HVNH DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1 Quá trình phát tri thức 13 Hình 1.2 Kiến trúc kho liệu điển hình cho cơng ty AllElectronics 16 Hình 1.3 Tập liệu với lớp: có khơng có khả trả nợ 19 Hình 1.4 Phân loại học mạng nơron cho tập liệu cho vay 20 Hình 1.5 Phân cụm tập liệu kết học tập vào cụm 21 Hình 2.1 Mơ chiều kinh doanh 31 Hình 2.2 Mơ hình liệu MOLAP 33 Hình 2.3 Mơ hình liệu ROLAP 34 Hình 2.4 Mơ hình liệu HOLAP 35 Bảng 2.1 Bảng so sánh mơ hình OLAP 36 Hình 2.5 Kiến trúc dịch vụ OLAP Microsoft 38 Hình 2.6 Kiến trúc tầng tảng OLAP dựa công cụ phân tích PivotTable 39 Hình 2.7 Kiến trúc tầng khai thác OLAP dựa cơng cụ phân tích PivotTable 40 Hình 2.8 Kiến trúc dịch vụ tích hợp SSIS 41 Hình 2.9 Ví dụ luồng liệu 43 Hình 2.10 Kiến trúc dịch vụ báo cáo SSRS 46 Hình 2.11 Kiến trúc dịch vụ phân tích SSAS 48 Hình 2.12 Màn hình khởi tạo mẫu dự án DW/BI BIDS 50 Hình 2.13 Màn hình quản lý SQL Server 51 Hình 2.14 Màn hình khởi động SQL Server Business Intelligence Development Studio 52 Hình 2.15 Màn hình khởi tạo Analysis Services Project 52 Hình 2.16 Màn hình tạo kết nối đến Data Source 53 Hình 2.17 Màn hình thiết lập tham số kết nối đến Data Source 53 Hình 2.18 Màn hình tạo kết nối đến Data Source View 54 Hình 2.19 Màn hình thiết lập tham số kết nối đến Data Source View 54 Hình 2.20 Màn hình lựa chọn bảng cần phân tích Data Source View 54 Hình 2.21 Bảng Fact Dimensions sau hoàn thành việc kết nối đến Data Source View 55 Hình 2.22 Màn hình tạo khối để phân tích 55 Hình 2.23 Màn hình lựa chọn bảng có chứa độ đo 56 Hình 2.24 Màn hình lựa chọn độ đo 56 Hình 2.25 Màn hình lựa chọn chiều 57 Hình 2.26 Khối liệu với chiều sinh 57 Hình 2.27 Màn hình Deploy để sinh chiều 58 Hình 2.28 Khối liệu chiều Deploy thành cơng 58 Hình 2.29 Bấm Browse để vào Phân tích khối liệu 58 Hình 2.30 Phân tích khối liệu 59 Bảng 3.1 Yêu cầu xử lý liệu Học viện Ngân hàng 62 Hình 3.1 Sơ đồ quan hệ bảng liệu nguồn 63 Hình 3.2 Phân tích khối liệu 66 Hình 3.3 So sánh kết học tập mơn Kinh tế vi mơ sinh viên Khóa 11 Khóa 12 66 Hình 3.4 Kết học tập môn tiếng anh theo dân tộc sinh viên khóa 12 67 Hình 3.5 Phân tích kết học tập môn Kinh tế vĩ mô c sinh viên K11 tỉnh Bắc ninh Bắc giang 68 Hình 3.6 Phân tích kết học tập mơn Kinh tế vĩ mô sinh viên K12 tỉnh Bắc ninh Bắc giang 68 Hình 3.7 Phân tích kết học tập mơn theo giới tính 69 LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Ứng dụng kỹ thuật OLAP khai phá liệu sinh viên Học viện Ngân hàng” cơng trình nghiên cứu thân Các số liệu kết nghiên cứu nêu luận văn trung thực, tác giả cho phép sử dụng tài liệu tham khảo trình bày luận văn Tơi xin chịu trách nhiệm luận văn Học viên Nguyễn Tuấn Minh LỜI CẢM ƠN Trước tiên tác giả xin bày tỏ lòng biết ơn tới thầy cô giáo ngành Hệ thống thông tin khoa Công nghệ thông tin trường Đại học công nghệ-Đại học quốc gia Hà Nội truyền đạt, hướng dẫn cung cấp kiến thức quý báu cho tác giả suốt trình học tập nghiên cứu trường Để hoàn thành phần cho đề tài luận văn mình, tác giả nh ận nhiều giúp đỡ, nh ững chia sẻ động viên từ đồng nghiệp Trung tâm Thực hành, Học viện Ngân hàng Đặc biệt, hướng dẫn, bảo góp ý ý kiến quý báu Thầy PGS.TS Đỗ Trung Tuấn, tác giả hồn thành tốt luận văn Tác giả xin cảm ơn đồng nghiệp Học viện Ngân hàng giúp đỡ tác giả mặt tinh thần, thời gian đặc biệt quan trọng liệu sinh viên Học viện Ngân hàng để tác giả có liệu thử nghiệm Tác giả xin gửi lời cảm ơn tới gia đình, người thân tạo điều kiện để hồn thành khóa học sau đại học Nhân đây, có lời cám ơn đến bạn bè, người cổ vũ, quan tâm giúp đỡ tác giả suốt thời gian học tập làm luận văn Mặc dù tác giả có nhi ều cố gắng hoàn thiện luận văn tất nhiệt tình lực Tuy nhiên thời gian kiến thức có hạn nên luận văn khơng tránh khỏi thiếu sót định Tác giả mong nhận góp ý quý báu thầy cô bạn Hà Nội, tháng 11 năm 2014 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống... Triển khai OLAP liệu sinh viên 51 2.9 Kết luận 59 CHƯƠNG 60 ÚNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG 60 3.1... kiểu liệu khai thác Khai phá liệu Là cơng nghệ nói chung, khai phá liệu áp dụng cho loại liệu miễn liệu có ý nghĩa cho ứng dụng mục tiêu Các hình thức liệu cho ứng dụng khai phá liệu sở liệu, liệu