(Luận văn thạc sĩ) ứng dụng kỹ thuật OLAP trong khai phá dữ liệu sinh viên tại học viện ngân hàng 04

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG LUẬN VĂN THẠC SĨ Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống Thông tin Mã số: 60 48 01 04 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS Đỗ Trung Tuấn Hà Nội – 2014 MỤC LỤC MỤC LỤC BẢNG DANH SÁCH CÁC TỪ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU LỜI CAM ĐOAN LỜI CẢM ƠN LỜI MỞ ĐẦU CHƯƠNG 11 TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU 11 VÀ PHÁT HIỆN TRI THỨC 11 1.1 Khái niệm khai phá liệu 12 1.2 Quá trình khai phá tri thức sở liệu 12 1.3 Các kiểu liệu khai thác Khai phá liệu 14 1.3.1 Dữ liệu từ Cơ sở liệu 14 1.3.2 Kho liệu 15 1.3.3 Dữ liệu giao dịch 17 1.3.4 Các loại liệu khác 17 1.4 Các kỹ thuật khai phá liệu 19 1.4.1 Khai phá liệu dự đoán 19 1.4.2 Khai phá liệu mô tả 21 1.5 Lợi khai phá liệu so với phương pháp khác 22 1.5.1 Học máy 22 1.5.2 Hệ chuyên gia 23 1.5.3 Thống kê 23 1.6 Các ứng dụng Khai phá liệu 24 1.6.1 Trí tuệ doanh nghiệp 24 1.6.2 Công cụ tìm kiếm 24 1.7 Những thách thức phát tri thức 26 1.8 Kết luận 28 CHƯƠNG 30 OLAP VÀ OLAP TRONG MS SQL SERVER 2008 30 2.1 Khái niệm OLAP 30 2.2 Mơ hình liệu đa chiều 30 2.3 So sánh OLAP với OLTP 32 2.4 Các mơ hình lưu trữ hỗ trợ OLAP 33 2.4.1 Mơ hình MOLAP 33 2.4.2 Mơ hình ROLAP 34 2.4.3 Mơ hình HOLAP 35 2.4.4 So sách mơ hình 36 2.5 Kiến trúc khối OLAP 36 2.6 Mô hình kiến trúc dịch vụ OLAP Microsoft 37 2.6.1 Tầng liệu nguồn 38 2.6.2 Kiến trúc tầng tảng 38 2.6.3 Kiến trúc tầng khai thác 39 2.7 Giới thiệu dịch vụ OLAP Microsoft SQL Server 41 2.7.1 Dịch vụ tích hợp liệu 41 2.7.2 Dịch vụ Báo cáo 45 2.7.3 Dịch vụ phân tích liệu 48 2.7.4 Bộ cơng cụ phát triển trí tuệ doanh nghiệp 49 2.7.5 Công cụ quản lý SQL Server 50 2.8 Triển khai OLAP liệu sinh viên 51 2.9 Kết luận 59 CHƯƠNG 60 ÚNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG 60 3.1 Giới thiệu Học viện Ngân hàng 60 3.2 Yêu cầu Phân tích liệu sinh viên 61 3.2 Mơ hình liệu lược đồ 62 3.2.1 Mơ hình liệu 62 3.2.2 Bảng thông tin liệu 63 3.3 Khai phá liệu sinh viên Học viện Ngân hàng 66 3.3.1 Phân tích liệu điểm mơn Kinh tế vi mơ sinh viên khóa 11 khóa 12 66 3.3.2 Phân tích kết học tập mơn Tiếng anh sinh viên khóa 12 theo Dân tộc 67 3.3.3 Phân tích liệu sinh viên theo khóa, tỉnh môn học 67 3.3.4 Phân tích liệu sinh viên theo giới tính, môn học 69 3.4 Kết luận 69 KẾT LUẬN 71 Kết đạt luận văn 71 Phương hướng tiếp tục nghiên cứu 72 Tài liệu Tham khảo 73 BẢNG DANH SÁCH CÁC TỪ VIẾT TẮT Từ Tiếng Anh Tiếng Việt Cơ sở liệu CSDL BI Business Intelligent Trí tuệ doanh nghiệp BIDS Business Intelligent Development Studio Trình phát triển trí tuệ doanh nghiệp DM Kho liệu chuyên đề Kho liệu chuyên biệt DW Data Warehouse Kho liệu DSV Data Source View Dữ liệu nguồn XML Extensible Markup Language Ngôn ngữ đánh dấu mở rộng ETL Extract - Transform - Load Trích rút – Biến đổi – Nạp HOLAP Hybrid OLAP OLAP ghép MOLAP Multidimensional OLAP OLAP đa chiều OLAP Online Analytical Processsing Xử lý phân tích trực tuyến OLTP Online Transaction Processing Xử lý giao dịch trực tuyến ODS Operational Database Store Kho liệu tác ng hiệp RDBMS Relational DataBase Management Hệ quản trị CSDL quan hệ System ROLAP Relational OLAP OLAP quan hệ SSAS SQL Server Analysis Services Dịch vụ phân tích SQL Server SSIS SQL Server Integration Service Dịch vụ tích hợp SQL Server SSMS SQL Server Management Studio Trình quản lý SQL Server SSRS SQL Server Reporting Services Dịch vụ báo cáo SQL Server UDM Unified Dimensional Model Mơ hình chiều thống Học viện Ngân hàng HVNH DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1 Quá trình phát tri thức 13 Hình 1.2 Kiến trúc kho liệu điển hình cho cơng ty AllElectronics 16 Hình 1.3 Tập liệu với lớp: có khơng có khả trả nợ 19 Hình 1.4 Phân loại học mạng nơron cho tập liệu cho vay 20 Hình 1.5 Phân cụm tập liệu kết học tập vào cụm 21 Hình 2.1 Mơ chiều kinh doanh 31 Hình 2.2 Mơ hình liệu MOLAP 33 Hình 2.3 Mơ hình liệu ROLAP 34 Hình 2.4 Mơ hình liệu HOLAP 35 Bảng 2.1 Bảng so sánh mơ hình OLAP 36 Hình 2.5 Kiến trúc dịch vụ OLAP Microsoft 38 Hình 2.6 Kiến trúc tầng tảng OLAP dựa công cụ phân tích PivotTable 39 Hình 2.7 Kiến trúc tầng khai thác OLAP dựa cơng cụ phân tích PivotTable 40 Hình 2.8 Kiến trúc dịch vụ tích hợp SSIS 41 Hình 2.9 Ví dụ luồng liệu 43 Hình 2.10 Kiến trúc dịch vụ báo cáo SSRS 46 Hình 2.11 Kiến trúc dịch vụ phân tích SSAS 48 Hình 2.12 Màn hình khởi tạo mẫu dự án DW/BI BIDS 50 Hình 2.13 Màn hình quản lý SQL Server 51 Hình 2.14 Màn hình khởi động SQL Server Business Intelligence Development Studio 52 Hình 2.15 Màn hình khởi tạo Analysis Services Project 52 Hình 2.16 Màn hình tạo kết nối đến Data Source 53 Hình 2.17 Màn hình thiết lập tham số kết nối đến Data Source 53 Hình 2.18 Màn hình tạo kết nối đến Data Source View 54 Hình 2.19 Màn hình thiết lập tham số kết nối đến Data Source View 54 Hình 2.20 Màn hình lựa chọn bảng cần phân tích Data Source View 54 Hình 2.21 Bảng Fact Dimensions sau hoàn thành việc kết nối đến Data Source View 55 Hình 2.22 Màn hình tạo khối để phân tích 55 Hình 2.23 Màn hình lựa chọn bảng có chứa độ đo 56 Hình 2.24 Màn hình lựa chọn độ đo 56 Hình 2.25 Màn hình lựa chọn chiều 57 Hình 2.26 Khối liệu với chiều sinh 57 Hình 2.27 Màn hình Deploy để sinh chiều 58 Hình 2.28 Khối liệu chiều Deploy thành cơng 58 Hình 2.29 Bấm Browse để vào Phân tích khối liệu 58 Hình 2.30 Phân tích khối liệu 59 Bảng 3.1 Yêu cầu xử lý liệu Học viện Ngân hàng 62 Hình 3.1 Sơ đồ quan hệ bảng liệu nguồn 63 Hình 3.2 Phân tích khối liệu 66 Hình 3.3 So sánh kết học tập mơn Kinh tế vi mơ sinh viên Khóa 11 Khóa 12 66 Hình 3.4 Kết học tập môn tiếng anh theo dân tộc sinh viên khóa 12 67 Hình 3.5 Phân tích kết học tập môn Kinh tế vĩ mô c sinh viên K11 tỉnh Bắc ninh Bắc giang 68 Hình 3.6 Phân tích kết học tập mơn Kinh tế vĩ mô sinh viên K12 tỉnh Bắc ninh Bắc giang 68 Hình 3.7 Phân tích kết học tập mơn theo giới tính 69 LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Ứng dụng kỹ thuật OLAP khai phá liệu sinh viên Học viện Ngân hàng” cơng trình nghiên cứu thân Các số liệu kết nghiên cứu nêu luận văn trung thực, tác giả cho phép sử dụng tài liệu tham khảo trình bày luận văn Tơi xin chịu trách nhiệm luận văn Học viên Nguyễn Tuấn Minh LỜI CẢM ƠN Trước tiên tác giả xin bày tỏ lòng biết ơn tới thầy cô giáo ngành Hệ thống thông tin khoa Công nghệ thông tin trường Đại học công nghệ-Đại học quốc gia Hà Nội truyền đạt, hướng dẫn cung cấp kiến thức quý báu cho tác giả suốt trình học tập nghiên cứu trường Để hoàn thành phần cho đề tài luận văn mình, tác giả nh ận nhiều giúp đỡ, nh ững chia sẻ động viên từ đồng nghiệp Trung tâm Thực hành, Học viện Ngân hàng Đặc biệt, hướng dẫn, bảo góp ý ý kiến quý báu Thầy PGS.TS Đỗ Trung Tuấn, tác giả hồn thành tốt luận văn Tác giả xin cảm ơn đồng nghiệp Học viện Ngân hàng giúp đỡ tác giả mặt tinh thần, thời gian đặc biệt quan trọng liệu sinh viên Học viện Ngân hàng để tác giả có liệu thử nghiệm Tác giả xin gửi lời cảm ơn tới gia đình, người thân tạo điều kiện để hồn thành khóa học sau đại học Nhân đây, có lời cám ơn đến bạn bè, người cổ vũ, quan tâm giúp đỡ tác giả suốt thời gian học tập làm luận văn Mặc dù tác giả có nhi ều cố gắng hoàn thiện luận văn tất nhiệt tình lực Tuy nhiên thời gian kiến thức có hạn nên luận văn khơng tránh khỏi thiếu sót định Tác giả mong nhận góp ý quý báu thầy cô bạn Hà Nội, tháng 11 năm 2014 Panel bên phải chia làm cửa sổ, cửa sổ phía dùng để xác định điều kiện để phân tích, cửa sổ phía chứa kết độ đo ta kéo thả độ đo từ khung bên trái qua Tùy theo mục đích phân tích mà xác lập biểu thức phân tích cho phù hợp Ví dụ với thiết lập có nghĩa yêu cầu cho biết số sinh viên đạt điểm A, B, C, D, F mơn Kinh tế Phát triển khóa 11, 12 Hình 2.30 Phân tích khối liệu 2.9 Kết luận chương Nội dung chương luận văn tập chung vào làm rõ khái niệm liên quan đến kỹ thuật OLAP, mơ hình lưu trữ hỗ trợ OLAP : (i) Mơ hình MOLAP; (ii) Mơ hình ROLAP; (iii) Mơ hình HOLAP Ngồi nội dung chương cịn trình bày kỹ thuật OLAP SQL Server, chương trình bày giải pháp cơng nghệ kho liệu kỹ thuật OLAP Microsoft, mà đặc biệt SQL Server 2008 Ngồi trình bày số công cụ sử dụng việc xây dựng kho liệu như: SSIS dùng cho tích hợp, SSRS dùng cho báo cáo, SSAS dùng cho phân tích liệu SSMS dùng cho việc theo dõi quản lý 59 CHƯƠNG OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG 3.1 Giới thiệu Học viện Ngân hàng Học viện Ngân hàng Hà Nội (nguyên Trường Cao cấp nghiệp vụ Ngân hàng, thành lập ngày 13/09/1961 theo Quyết định số 3072/VG Thủ tướng Chính phủ) tổ chức đào tạo nghiên cứu khoa học Nhà nước lĩnh vực ngân hàng Học viện Ngân hàng thành lập ngày 09/02/1998, theo Quyết định số 30/1998/QĐ-TTg Thủ tướng Chính phủ sở tổ chức lại Trung tâm Đào tạo Nghiên cứu khoa học Ngân hàng Học viện Ngân hàng có nhiệm vụ đào tạo cán bậc giáo dục chuyên nghiệp, bậc đại học đại học lĩnh vực tiền tệ - tín dụng - ngân hàng số ngành, chuyên ngành khác theo quy định Bộ Giáo dục Đào tạo; Tổ chức khoá bồi dưỡng nghiệp vụ công nghệ ngân hàng; Tổ chức NCKH công nghệ ngân hàng; Thực hợp tác đào tạo NCKH ngân hàng với tổ chức nước theo quy định chung Nhà nước Học viện Ngân hàng tổ chức hoạt động theo Quyết định số 48/QĐ NHNN ngày 12/01/2004 Thống đốc NHNN VN, chịu lãnh đạo quản lý trực tiếp NHNN VN chịu quản lý nhà nước giáo dục Bộ Giáo dục Đào tạo Học viện có trụ sở Hà Nội, Viện NCKH Ngân hàng, phân viện Bắc Ninh, Phú Yên Cơ sở đào tạo Hà Tây Học việ n Ngân hàng thành lập theo Quyết định số 30/1998/QĐ -TTg ngày 09/02/1998 Thủ tướng Chính phủ sở tổ chức lại Trung tâm Đào tạo Nghiên cứu khoa học Ngân hàng Theo đó, Học viện Ngân hàng sở đào tạo Nhà nước, phép đào tạo bậc học từ trung cấp, cao đẳng, đại học sau đại học lĩnh vực tiền tệ - tín dụng – ngân hàng Theo Quyết định số 48/2004QĐ -NHNN Thống đốc Ngân hàng Nhà nước Việt Nam, Học viện Ngân hàng có trụ sở Hà Nội, Phân viện Bắc Ninh, Phú Yên, Cơ sở đào tạo Sơn Tây Học viện Ngân hàng chịu lãnh đạo quản lý trực tiếp Ngân hàng Nhà nước Việt Nam, chịu quản lý nhà nước giáo dục Bộ Giáo dục Đào tạo 60 Ngày 29/04/2009, Thống đốc Ngân hàng Nhà nước Việt Nam ban hành Quyết đị nh số 1009/QĐ -NHNN quy định chức năng, nhiệm vụ, quyền hạn cấu tổ chức Học viện Ngân hàng thay cho Quyết định số 48/2004QĐ -NHNN đây, ngày 16/03/2012 Thống đốc Ngân hàng Nhà nước Việt Nam ban hành Quyết định số 433/QĐ -NHNN quy định chức năng, nhiệm vụ, quyền hạn mơ hình tổ chức, cấu Học viện Ngân hàng thay cho Quyết định số 1009/QĐ NHNN trước nhằm kiện toàn máy tổ chức hoạt động Học viện Ngân hàng cho phù hợp với điều kiện phát triển kinh tế điều kiện hội nhập Trong giai đoạn gần 20 năm, Học viện Ngân hàng phát triển không ngừng Từ trường đại học chuyên đào tạo lĩnh vực Tài – Ngân hàng, Học viện Ngân hàng mở rộng đào tạo đa ngành Trình đọ tính chun nghiệp đội ngũ giảng viên ngày nâng cao Hiện Học viện Ngân hàng có 20.000 sinh viên theo học tất khóa, hệ (Sau đại học, Đại học qui, Cao đằng qui, liên thông đại học, liên thông cao đẳng, văn II, chức chương trình liên kết với đối tác nước ) Sinh viên tốt nghiệp Học viện Ngân hàng đáp ứng nhu cầu nguồn nhân lực cho kinh tế góp phần khẳng định vị Học viện Ngân hàng thị trường lao động Đây giai đoạn Học viện Ngân hàng phát triển mạnh hoạt động hợp tác đào tạo quốc tế thơng qua chương trình trao đổi giảnh viên, sinh viên, liên kết đào tạo với nhiều trường đại học có uy tín giới Các hoạt động nghiên cứu khoa học, tư vấn sách chuyển giao cơng nghệ củ a Học viện Ngân hàng giai đoạn tạo nên động lực nâng cao chất lượng đào tạo đóng góp có hiệu cho kinh tế 3.2 Yêu cầu Phân tích liệu sinh viên Bài tốn đặt hệ thống sở liệu phân tích số liệu theo số chủ đề quan tâm từ đưa báo cáo phục vụ công tác quản lý đào tạo giảng dạy Học viện Ngân hàng sau:  Kết học tập học sinh: Giỏi (Điểm A), (Điểm B), trung bình (Điểm C), yếu (Điểm D), (Điểm F)  Ảnh hưởng vùng miền đến kết học tập  Các dân tộc khác có kết học tập  Hồn cảnh gia đình, đ ạo đức lối sống học sinh  Phân tích số liệu sinh viên để đưa dự báo tình hình tuyển sinh 61 năm Nhu cầu xử lý liệu theo nhu cầu nhà trường cần phân tích theo chủ đề, chiều khác Chúng chi tiết hoá theo bảng sau: Bảng 3.1 Yêu cầu xử lý liệu Học viện Ngân hàng Phân tích theo chủ đề Điểm trung bình mơn học Hồn cảnh gia đình Vùng miền (đơn vị hành Tỉnh, thành phố) Đối tượng tuyển sinh Dân tộc Các chuyên ngành đào tạo Lớp đào tạo Kết học tập Điểm A Điểm B Điểm C Điểm D Điểm F X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X Với toán đặt ra, việc phân tích, thiết kế xây dựng CSDL phải đáp ứng chủ đề kết học tập sinh viên quan trọng dựa kết học tập sinh viên đánh giá hồn thiện cơng tác Giảng dạy (đánh giá chất lượng giảng viên, khả tiếp cận môn học sinh viên theo vùng miền dân tộc, đánh giá chất lượng đào tạo, hoàn thiện chương trình đào tạo ngành, hệ Học viện ), Quản lý (hoàn thiện báo cáo liên quan đến đào tạo) Học viện Ngân hàng Một số câu hỏi đặt công tác quản lý giáo dục: Đánh giá kết học tập môn học sinh viên khóa, hệ; Ảnh hưởng Dân tộc đến kết học tập sinh viên nào? Giới tính ảnh hưởng đến kết học tập sinh viên? Xu hướng tuyển sinh năm sao? 3.2 Mơ hình liệu lược đồ 3.2.1 Mơ hình liệu Mơ hình mơ tả mối quan hệ bảng liệu hệ thống liệu sinh viên Học viện Ngân hàng 62 Hình 3.1 Sơ đồ quan hệ cá c bảng liệu nguồn 3.2.2 Bảng thông tin liệu - Bảng Hồ sơ sinh viên: Name ID_sv Ma_sv Ho_ten Ngay_sinh ID_gioi_tinh ID_dan_toc ID_quoc_tich ID_thanh_phan_xuat_than ID_doi_tuong_TS ID_tinh_ns Que_quan Dia_chi_tt NoiO_hiennay Type int nvarchar(20) nvarchar(50) datetime int int int int int nvarchar(5) nvarchar(500) nvarchar(500) nvarchar(200) Nullable N Y Y Y Y Y Y Y Y Y Y Y Y 63 Comments ID sinh viên (số tuần tự) Mã sinh viên Họ tên sinh viên Ngày, tháng, năm sinh Giới tính Dân tộc Quốc tịch Thành phần xuất thân Mã đối tượng tuyển sinh Mã tỉnh Quê quán Địa thường trú Nơi Ho_ten_cha Ho_khau_TT_cha Ho_ten_me Ho_khau_TT_me CMND Dienthoai_canhan Email nvarchar(30) nvarchar(500) nvarchar(30) nvarchar(500) nvarchar(50) nvarchar(50) nvarchar(100) Y Y Y Y Y Y Y Họ tên bố Hộ thường trú bố Họ tên mẹ Hộ thường trú mẹ Số chứng minh thư Số điện thoại di động Địa E mail Name ID_diem ID_sv ID_mon Hoc_ky Nam_hoc Diem_Thi_1 Diem_Thi_2 Diem_Thi_3 Diem_Chu_1 Type int int int int Nvarchar(10) real real real varchar(1) Nullable N N N N N Y Y Y Y Diem_Chu_2 varchar(1) Y Diem_Chu_3 varchar(1) Y Diem_TP_1 Diem_TP_2 Diem_TP_3 TBCMH_1 TBCMH_2 TBCMH_3 TBCMH_chu_1 real real real real real real varchar(1) Y Y Y Y Y Y Y TBCMH_chu_2 varchar(1) Y TBCMH_chu_3 varchar(1) Y Comments ID Điểm (số tuần tự) ID sinh viên (số tuần tự) ID Môn học (số tuần tự) Học kỳ Năm học Điểm thi hết học phần lần Điểm thi hết học phần lần Điểm thi hết học phần lần Điểm chữ (A,B,C,D,F) thi hết học phần lần Điểm chữ (A,B,C,D,F) thi hết học phần lần Điểm chữ (A,B,C,D,F) thi hết học phần lần Điểm thành phần Điểm thành phần Điểm thành phần Điểm TBMH thi lần Điểm TBMH thi lần Điểm TBMH thi lần Điểm TBMH chữ (A,B,C,D,F) thi lần Điểm TBMH chữ (A,B,C,D,F) thi lần Điểm TBMH chữ (A,B,C,D,F) thi lần Type Nullable - Bảng Điểm: - Bảng Môn học: Name 64 Comments ID_mon Ky_hieu Ten_mon int nvarchar(225) nvarchar(260) N N N ID Môn (số tuần tự) Ký hiệu môn học Tên môn học Type int nvarchar(5) nvarchar(50) int Nullable N N N N Comments ID Chuyên ngành (số tuần tự) Mã chuyên ngành Tên chuyên ngành ID Chuyên ngành (số tuần tự) Type int nvarchar(10) nvarchar(50) Nullable N N N Comments ID quốc tịch (số tuần tự) Mã quốc tịch Tên quốc tịch Type int nvarchar(5) nvarchar(50) Nullable N N N Comments ID dân tộc (số tuần tự) Mã dân tộc Tên dân tộc Type nvarchar(5) nvarchar(50) Nullable N N Comments ID Tỉnh Tên tỉnh Type int nvarchar(5) nvarchar(50) Nullable N N N Comments ID đối tượng (số tuần tự) Mã đối tượng Tên đối tượng Comments ID thành phần xuất thân (số tuần tự) Thành phần xuất thân - Bảng Chuyên ngành: Name ID_chuyen_nganh Ma_chuyen_nganh Chuyen_nganh ID_nganh - Bảng Quốc tịch: Name ID_quoc_tich Ma_quoc_tich Quoc_tich - Bảng Dân tộc: Name ID_dan_toc Ma_dan_toc Dan_toc - Bảng Tỉnh: Name ID_tinh Ten_tinh - Bảng Đối tượng: Name ID_dt Ma_dt Ten_dt - Bảng Thành phần xuất thân: Name ID_thanh_phan_xuat_than Type int Nullable N Ten_thanh_phan nvarchar(50) N 65 - Bảng Giới tính Name ID_gioi_tinh Gioi_tinh Type int nvarchar(530) Nullable N N Comments ID giới tính (số tuần tự) Giới tính 3.3 Khai phá liệu sinh viên Học viện Ngân hàng 3.3.1 Phân tích liệu điểm môn Kinh tế vi mô sinh viên khóa 11 khóa 12 Các chiều lựa chọn hình dư ới: Hình 3.2 Phân tích khối liệu Kết Phân tích liệu điểm mơn Kinh tế vi mơ sinh viên khóa 11 khóa 12 Hình 3.3 So sánh kết học tập mơn Kinh tế vi mơ sinh viên K hóa 11 Khóa 12 Đối với mơn Kinh tế vi mơ ta thấy kết học tập sinh viên khóa 12 tốt sinh viên khóa 11 tỷ lệ sinh viên đạt điểm A, B, C khóa 12 nhiều khóa 11, tỷ lệ sinh viên đạt điểm D F sinh viên khóa 11 lại cao sinh 66 viên khóa 12 Từ đánh giá chất lượng giảng dạy giảng viên môn kinh tế vi mô phần cải thiện 3.3.2 Phân tích kết học tập mơn Tiếng anh sinh viên khóa 12 theo Dân tộc Các chiều lựa chọn hình dư ới: Hình 3.4 Kết học tập mơn tiếng anh theo dân tộc sinh viên khóa 12 Kết học tập môn Tiếng anh theo Dân tộc ta nhận thấy em sinh viên thuộc dân tộc người có kết học tập thấp so với em sinh viên thuộc dân tộc Kinh: lý sinh viên thuộc dân tộc thiểu số khơng có điều kiện tiếp cận với tài liệu điều kiên học thêm môn tiếng anh giống em sinh viên dân tộc Kinh Do đó, để nâng cao chất lượng học tập môn tiếng anh em sinh viên thuộc dân tộc it người, Phòng đào tạo khoa tiếng anh cần quan tâm đến việc học tập ngoại ngữ trường đại học em sinh viên dân tộc thiểu số 3.3.3 Phân tích liệu sinh viên theo khóa, tỉnh mơn học Mẫu phân tích tạo tập tin Excel, sử dụng chức PivotTable để thực việc phân tích Dữ liệu cho phân tích lấy từ khối liệu Phantich_OLAP Khi sử dụng mẫu phân tích tạo Excel kết đáp ứng tức số liệu dựa khối liệu Sau số mẫu phân tích cài đặt:  Phân tích kết học tập mơn Kinh tế vĩ mơ c sinh viên khóa 11 có hộ thường trú Bắc giang Bắc ninh 67 Hình 3.5 Phân tích kết học tập mơn Kinh tế vĩ mô sinh viên K11 tỉnh Bắc ninh Bắc giang Thực thao tác xoay khối liệu, chi tiết liệu theo học kỳ Ta có góc nhìn khác kết học tập mơn Kinh tế vĩ mơ sinh viên khóa 12 có hộ thường trú Bắc giang Bắc ninh Hình 3.6 Phân tích kết học tập mơn Kinh tế vĩ mô sinh viên K12 tỉnh Bắc ninh Bắc giang Qua kết phân tích ta thấy kết học tập bạn sinh viên tỉnh Bắc 68 ninh Bắc giang tốt, cụ thể tỷ lệ sinh viên đạt điểm F 4% tổng số sinh viên hai tỉnh tham gia học môn kinh tế vĩ mô 3.3.4 Phân tích liệu sinh viên theo giới tính, môn học Cụ thể môn học trường hợp đư ợc lọc theo môn Nguyên lý b ản chủ nghĩa Mác Lênin Kết phân tích dựa chiều giới tính hình 3.7 Hình 3.7 Phân tích kết học tập mơn theo giới tính Sau đưa chiều liệu vào phân tích ta thấy, kết học tập bạn nam bạn nữ số lượng bạn nữ nhiều bạn nam khoảng lần Tỷ lệ bạn sinh viên nữ có kết học tập đặt điểm A, B cao nhiều so với bạn nam, cụ tỷ lệ bạn nữ đạt điểm A, B 49% tỷ lệ bạn nam đạt diểm A, B 21% Từ kết này, để nâng cao kết học tập trung tồn trường thầy, giáo cần tập trung vào nhóm bạn nam lớp 3.4 Kết luận chương Chương luận văn tập trung vào việc chạy thử nghiệm kỹ thuật OLAP liệu sinh viên Học viện Ngân hàng Việc chạy thử nghiệm liệu sinh viên Học viện Ngân hàng thực công cụ phân tích liệu MS SQL 2008 Server công cụ Pivort table MS Excel Việc phân tích liệu đạt khả quan, tốc độ truy cập vào khối liệu tốt, kết phân tích 69 đáp ứng số yêu cầu mong muốn đề Mặc dù tập trung xây dựng khai phá liệu học tập sinh viên, luận văn thực đầy bước qui trình triển khai kỹ thuật OLAP, đủ để đưa vào áp dụng chạy thử nghiệm thực tế 70 KẾT LUẬN Kết đạt luận văn Luận văn trình bày đư ợc cách tổng quan Khai phá liêu kỹ thuật OLAP khai phá liệu, công nghệ hỗ trợ xây dựng kho liệu, OLAP SQL Server 2008 cách thức áp dung công cụ vào xây dựng kỹ thuật OLAP Về phần tổng quan khai phá liệu phát tri thức luận văn trình bày tóm t khái niệm, kỹ thuật khai phá liệu, kiến trúc tổng thể kỹ thuật OLAP, mơ hình liệu Luận văn trình bày số cơng cụ dịch vụ hỗ trợ cho việc triển khai kỹ thuật SQL Server 2008 Cụ thể trình bày cơng cụ dịch vụ sau:         Hệ Quản trị CSDL SQL Server 2008 Dịch vụ tích hợp liệu SSIS Dịch vụ báo cáo SSRS Dịch vụ phân tích SSAS Công cụ quản lý SSMS Công cụ phát triển kho liệu BIDS Cơng cụ phân tích liệu PivotTable Excel Công cụ quản lý báo cáo Cuối cùng, luận văn trình bày cách thức áp dụng công cụ dịch vụ SQL Server 2008 việc xây dựng thử nghiệm khai phá liệu sinh viên kỹ thuật OLAP cho Học viện Ngân hàng, bước đầu kết việc phân tích liệu đạt khả quan, đáp ứng số yêu cầu mong muốn đề Mặc dù tập trung xây dựng khai phá liệu học tập sinh viên, luận văn thực đầy bước qui trình triển khai kỹ thuật OLAP, đủ để đưa vào áp dụng chạy thử nghiệm thực tế Các bước thực xây dựng liệu thử nghiệm sau: xây dựng cấu trúc CSDL, làm tích hợp liệu, tạo khối liệu đa chiều, tạo báo cáo mẫu, tạo phân tích mẫu chia sẻ báo cáo Tuy nhiên, luận văn ch ỉ tập trung tìm hiểu Kỹ thuật OLAP cơng nghệ SQL Server 2008 đủ để áp dụng triển khai kỹ thuật OLAP cho khai 71 phá liệu học tập sinh viên Học viện Ngân hàng Và xây dựng b ỏ qua số yêu cầu nghiệp vụ khác: phân tích liệu Học phí, liệu Giảng viên Khi triển khai kỹ thuật OLAP ch ỉ xây dựng bảng kiện, chưa tạo bảng tổng hợp hay bảng chụp liệu Phương hướng tiếp tục nghiên cứu Hiện luận văn nghiên cứu thử nghiệm ban đầu, muốn đưa vào sử dụng thực tế cho cần thực triển khai thử nghiệm nghiên cứu sâu u cầu phịng Đào tạo để bao quát hầu hết yêu cầu thực tế, dựa vào để hồn thiện thêm phần thực nghiệm luận văn, mở rộng cho nghiệp vụ khác Học viện Ngân hàng Luận văn giới thiệu tương đối chi tiết công cụ qui trình đ ể phát triển kỹ thuật OLAP Do đó, ngồi việc tiếp tục nghiên cứu thêm để ứng dụng vào liệu đào tạo khác liệu học phí, liệu nhân Luận văn ứng dụng để khai phá loại liệu khác, ví dụ khai phá liệu khách hàng ngân hàng, liệu bán hàng siêu thi, liệu giao dịch chứng khốn, tài 72 Tài liệu Th am khảo Tiếng Việt [1] Trịnh Thế Tiến (2009), Giáo trình học nhanh SQL Server 2008, Nhà xuất Hồng Đức [2] Viện Công nghệ Thông tin, Viện Khoa học Công nghệ Việt Nam (1999), Thiết kế hệ thống xây dựng Data Warehouse Hệ thống Thông tin lớn, Hà Nội Tiếng Anh [3] Tom Mitchell (1999), Machine Learning and Data Mining, Communications of the ACM, Vol 42, No 11, pp 30-36 [4] U M Fayyad, G Piatetsky-Shapiro, P Smyth and R Uthurusamy (1996), Advances in Knowledge Discovery and Data Mining, AAAI Press, Menlo Park, CA) [5] D Pyle (2003), Business Modeling and Data Mining, Morgan Kaufmann Publishers, San Francisco, CA [6] Joy Mundy and Warren Thornthwaite (2011), The Microsoft Data Warehouse Toolkit: With SQL Server 2008 R2 and the Microsoft Business Intelligence Toolset, Wiley Publishing, Inc [7] Microsoft, SQL Server 2008 Books Online [8] Rob Vieira (2009), Professional Microsoft SQL Server 2008 Programming, Wiley Publishing, Inc [9] Trang web: http://www.learndatamodeling.com/dw_concepts.htm, 2011 [10] Real-Time Data Integration for Data Warehousing and Operational Business Intelligence An Oracle White Paper, 2010 [11] J Grabmeier, and A Rudolph (2002), Techniques of Clustering Algorithms in Data Mining, Data Mining and Knowledge Discovery, Kluwer Academic Publishers, Netherlands, pp 303-360 73 ... 50 2.8 Triển khai OLAP liệu sinh viên 51 2.9 Kết luận 59 CHƯƠNG 60 ÚNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG ... kiểu liệu khai thác Khai phá liệu Là cơng nghệ nói chung, khai phá liệu áp dụng cho loại liệu miễn liệu có ý nghĩa cho ứng dụng mục tiêu Các hình thức liệu cho ứng dụng khai phá liệu sở liệu, liệu. ..ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN TUẤN MINH ỨNG DỤNG KỸ THUẬT OLAP TRONG KHAI PHÁ DỮ LIỆU SINH VIÊN TẠI HỌC VIỆN NGÂN HÀNG Ngành: Công nghệ thông