ÁP DỤNG kỹ THUẬT OLAP và KHO dữ LIỆU TRONG dự báo tài CHÍNH

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Ngọc Anh ÁP DỤNG KỸ THUẬT OLAP VÀ KHO DỮ LIỆU TRONG DỰ BÁO TÀI CHÍNH KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Các hệ thống thông tin HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Ngọc Anh ÁP DỤNG KỸ THUẬT OLAP VÀ KHO DỮ LIỆU TRONG DỰ BÁO TÀI CHÍNH KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Các hệ thống thơng tin Cán hướng dẫn: TS Nguyễn Hà Nam Cán đồng hướng dẫn: Ths Nguyễn Thu Trang HÀ NỘI - 2010 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời cảm ơn Trước tiên xin gửi lời cảm ơn lòng biết ơn sâu sắc tới TS.Nguyễn Hà Nam Ths.Nguyễn Thu Trang tận tình bảo hướng dẫn tơi suốt q trình thực khóa luận tốt nghiệp Tôi xin chân thành cảm ơn thầy, cô tạo cho điều kiện thuận lợi để học tập nghiên cứu trường Đại Học Công Nghệ Tôi xin cảm ơn bạn nhóm làm “Data Warehouse OLAP” thảo luận trao đổi giúp nhiều q trình thu thập tài liệu Tơi xin gửi lời cảm ơn vơ hạn tới gia đình, bạn bè, người thân yêu bên cạnh động viên suốt q trình thực khóa luận Tơi xin chân thành cảm ơn! Sinh viên Vũ Ngọc Anh LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mục lục Mục lục Danh sách hình Bảng từ viết tắt Lời mở đầu Chương Giới thiệu kho liệu liệu tài 1.1 Dữ liệu lĩnh vực tài 1.2 Kho liệu (Data warehouse) 1.2.1 Kho liệu 1.2.2 Mục đích kho liệu 1.2.3 Lợi ích kho liệu 1.2.4 Thành phần kho liệu 10 1.2.5 Cấu trúc kho liệu 11 1.2.6 Mơ hình thực thể kho liệu 12 1.2.7 Các lĩnh vực ứng dụng kho liệu 15 Chương Kỹ thuật phân tích OLAP 16 2.1 Giới thiệu OLAP 16 2.2 Mơ hình liệu đa chiều 16 2.3 Kiến trúc khối (Cube) OLAP 18 2.4 So sánh OLAP OLTP 19 2.5 Các thành phần OLAP 20 2.6 Chuyển đổi liệu từ OLTP tới OLAP 21 2.7 Các mơ hình lưu trữ hỗ trợ OLAP 22 2.7.1 Mơ hình Multidimentional OLAP (MOLAP) 22 2.7.2 Mơ hình Relational OLAP (ROLAP) 23 2.7.3 Mơ hình Hybird OLAP (HOLAP) 24 2.7.4 So sánh mơ hình 25 Chương Bộ công cụ Pentaho 26 3.1 Tổng quan 26 3.2 Các khả BI pentaho 26 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.3 Những đặc tính lợi ích 29 Chương Giới thiệu toán triển khai Pentaho kết đạt 33 4.1 Giới thiệu toán 33 4.2 Thu thập,xử lý liệu 33 4.3 Tạo data warehouse 36 4.4 Xử lý liệu kỹ thuật OLAP 42 4.4.1 Tạo cube 42 4.4.2 Analysis View 43 Kết luận 52 Tài liệu tham khảo 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Danh sách hình Hình Các thành phần kho liệu .11 Hình Mơ hình 13 Hình Mơ hình bơng tuyết 14 Hình Mơ hình chịm 15 Hình Mơ chiều kinh doanh .17 Hình Mơ hình liệu MOLAP 22 Hình Mơ hình liệu ROLAP 23 Hình Mơ hình liệu HOLAP 24 Hình Cấu trúc Pentaho .26 Hình 10 Dữ liệu tỷ giá 33 Hình 11 Dữ liệu giá vàng .34 Hình 12 Dữ liệu giá dầu .35 Hình 13 Dữ liệu số VnIndex 35 Hình 14 Dữ liệu tổng hợp .36 Hình 15 Mơ hình kho liệu .37 Hình 16 Spoon workspace 37 Hình 17 Spoon nhập liệu 38 Hình 18 Combination Lookup/Update 38 Hình 19 Thay đổi thuộc tính 39 Hình 20 Kết nối sở liệu .39 Hình 21 Tạo bảng Dim_time 40 Hình 22 Tạo bảng dim_factor .40 Hình 23 Tạo Table Output 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 24 Tạo bảng fact_price 41 Hình 25 Nhập liệu 42 Hình 26 Kết nối sở liệu .42 Hình 27 Kiến trúc Cube 43 Hình 28 Repository Login 43 Hình 29 Kết nối sở liệu .44 Hình 30 Khung làm việc Pentaho 45 Hình 31 Chọn schema cube .45 Hình 32 Dữ liệu schema cube 45 Hình 33 Nội dung phân tích 46 Hình 34 Chọn Measures .46 Hình 35 Chọn factor .46 Hình 36 Chọn năm phân tích 47 Hình 37 Chọn chi tiết ngày tháng 47 Hình 38 Chọn loại biểu đồ 48 Hình 39 Biểu đồ tỷ giá USD/VND .48 Hình 40 Biểu đồ giá vàng .49 Hình 41 Biểu đồ giá dầu .49 Hình 42 Biểu đồ số VnIndex 50 Hình 43 Biểu đồ giá vàng giá dầu 50 Hình 44 Biểu đồ tỷ giá giá vàng 51 Hình 45 Biểu đồ giá vàng VNIndex 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Bảng từ viết tắt OLAP Online Analysis Processing MOLAP Multidimensional Online Analysis Processing ROLAP Relational Online Analysis Processing HOLAP Hybird Online Analysis Processing BI Business Intelligence OLTP OnLine Transaction Processing LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Lời mở đầu Cùng với việc áp dụng rộng rãi công nghệ thông tin vào hầu hết lĩnh vực đời sống, kinh tế, xã hội việc liệu thu nhận qua thời gian ngày nhiều.Vì vậy, yêu cầu thiết yếu đặt doanh nghiệp việc khai thác liệu hiệu để phục vụ cho việc kinh doanh ngày tốt Khóa luận với đề tài “Áp dụng kỹ thuật OLAP kho liệu báo cáo tài chính” giới thiệu kho liệu, phương pháp OLAP ứng dụng phân tích biên động giá dầu, giá vàng số VNIndex cơng cụ Pentaho Khóa luận gồm bốn chương: Chương Giới thiệu kho liệu liệu tài giới thiệu đặc điểm liệu tài chính, giới thiệu tổng quan kho liệu, cấu trúc kho liệu, thành phần kho liêu, cách thiết kế kho liệu ứng dụng kho liệu Chương Giới thiệu tổng quan OLAP giới thiệu tổng quan kỹ thuật OLAP, mơ hình lưu trữ hỗ trợ kỹ thuật OLAP, ưu điểm nhược điểm mơ hình Các bước để chuyển liệu từ OLTP sang OLAP Chương Giới thiệu công cụ Pentaho giới thiệu tổng quan công cụ Pentaho, kiến trúc, công nghệ, tiện ích Pentaho Chương Giới thiệu tốn triển khai Pentaho kết đạt triển khai Pentaho toán thực, áp dụng kỹ thuật kho liệu kỹ thuật OLAP để thực Phần kết luận tổng kết tóm lược kết quả, đóng góp khóa luận LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chương Giới thiệu kho liệu liệu tài 1.1 Dữ liệu lĩnh vực tài Với đặc điểm tính tốn xác, nhanh chóng, khách quan nên cơng nghệ thông tin áp dụng rộng rãi lĩnh vực tài từ sớm Dữ liệu lĩnh vực tài có đặc điểm sau: - Ln biến đổi - Dữ liệu phân tán - Giao dịch chồng chéo - Số lượng giao dịch lớn Do đó, cần có chiến lược lưu trữ liệu cách hiệu quả.Những hệ thống đáp ứng đặc điểm thuộc nhóm hệ thống xử lý giao dịch trực tuyến OLTP (OnLine Transaction Processing)[4] Các ứng dụng xử lý giao dịch trực tuyến – OLTP (OnLine Transaction Processing) ứng dụng giúp người dùng truy cập trực tiếp thơng tin theo hình thức ứng dụng Client/Server OLTP bao gồm dãy lệnh: thu nhận (gathering) liệu đầu vào, xử lý (processing) liệu, cập nhật (updating) liệu cũ với liệu nhập xử lý OLTP phương thức hiệu người dùng muốn: - Xử lý liệu đơn với số lượng tần số ước lượng - Truy cập tức vào liệu cập nhật, phản ánh giao dịch trước - Thay đổi liệu tức để phản ánh giao dịch vừa xử lý Các chức OLTP[4]: với khả truy cập cập nhật liệu chia sẻ, hệ thống OLTP hỗ trợ user khả truy cập trực tuyến (online), khả truy cập tức thời (availability), khả phản hồi nhanh chóng (response), tiết kiệm chi phí transaction (low cost) Để trả lời câu hỏi đơn giản trình kinh doanh doanh thu tháng LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 21 Tạo bảng Dim_time Ấn nút Get Fields để load trường file excel , ta loại bỏ trường không xuất bảng dim_time, đặt trường khóa cho bảng dim_time, tick vào ô Remove lookup fields? Để trường không xuất bảng sau Ấn nút SQL để xem câu lệnh sql tạo bảng sau ấn nút Execute để tạo bảng Dim_time(time_id,timekey,month,quarter,year) Tương tự ta kéo thêm step với bước tạo bảng dim_time trên: Combination lookup/update nối tiếp Hình 22 Tạo bảng dim_factor 40 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trong bảng có trường factor_key tự động sinh khóa trường factor chứa tên nhân tố ảnh hưởng Bước ta tạo bảng fact_price, bảng output bao hàm bảng Do phần step ta kéo thả Table output Hình 23 Tạo Table Output Click đúp vào Table output ta thay đổi thông số cho phù hợp: Hình 24 Tạo bảng fact_price Ấn SQL để xem câu lệnh sql ấn nút Execute để tạo bảng Ta lưu transformation vào ấn nút chọn Launch để nhập liệu vào sở liệu tạo 41 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 25 Nhập liệu Như ta tạo thành công data warehouse all_price công cụ Spoon 4.4 Xử lý liệu kỹ thuật OLAP 4.4.1 Tạo cube Để tạo cube ta dùng công cụ Schema Workbench công cụ Pentaho Trước tiên ta phải tạo kết nối tới sở liệu Mysql cách menu Tools ta chọn Connection cửa sổ, ta điền thông số để kết nối tới Mysql: Hình 26 Kết nối sở liệu Ta tạo schema cube với với độ đo sum avg hình: 42 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 27 Kiến trúc Cube Sau tạo cube, ta publish cube lên hệ thống pentaho với thông tin đầy đủ server tài khoản user pentaho Hình 28 Repository Login Ta lưu lại file cube publish schema cube lên hệ thống pentaho 4.4.2 Analysis View Pentaho cung cấp tiện ích áp dụng kỹ thuật OLAP Analysis View Ngồi áp dụng công cụ pentaho phát triển riêng để sử dụng OLAP Mondrian Trong em xin trình bày cách áp dụng tiện ích Analysis View để ứng dụng kỹ thuật OLAP 43 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Trước tiên ta phải kết nối Pentaho đến sở liệu mà cần phân tích hệ sở liệu Mysql Để kết nối đến sở liệu ta vào folder cài đặt Pentaho , vào folder administration-console chạy file start-pac.bat để khởi động Administration Console Sau ta vào trình duyệt chạy link : http://localhost:8099 khung đăng nhập, tài khoản admin mặc định user: “admin” / password: “password” Để tạo kết nối tới mysql data warehouse tạo ta vào tab Database Connection Trong em sử dụng sở liệu all_price hệ sở liệu Mysql nên ta nhập hình sau: Hình 29 Kết nối sở liệu Sau nhập đầy đủ , ta ấn test để kiểm tra kết nôi, kết nối thành công ta chọn OK để lưu kết nối Như ta kết nối thành công pentaho tới mysql Bước ta vào địa http://localhost:8080 để vào Pentaho User Console Hiện khung đăng nhập, ta điền user password vào, sử dụng vài account mẫu Sau login vào sau: 44 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 30 Khung làm việc Pentaho Sử dụng Analysic View chọn schema cube tạo bước Hình 31 Chọn schema cube Sau ấn OK cửa sổ sau: Hình 32 Dữ liệu schema cube Trên Tools bar ta chọn để lựa chọn độ đo, columns, rows filter cho việc lựa chọn hiển thị nội dung phân tích 45 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 33 Nội dung phân tích Để phân tích tỉ giá USD/VNĐ vịng 10 năm từ năm 2000 tới 2010, phần Measures ta chọn avg price: Hình 34 Chọn Measures Phần factor ta chọn exchange: Hình 35 Chọn factor Trong phần thời gian ta chọn năm từ 2000 đến 2010, ta so sánh giá trị trung bình tỉ giá năm 46 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 36 Chọn năm phân tích Tuy nhiên ta lựa chọn thời gian chi tiết theo thừng tháng, quý, ngày cách chọn nút : Hình 37 Chọn chi tiết ngày tháng Và để hiển thị biểu đồ tỉ giá vòng 10 năm qua, ta chọn để lựa chọn kiểu biểu đồ: 47 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 38 Chọn loại biểu đồ Sau chọn xong định dạng cho biểu đồ, ta chọn nút : tỉ giá usd / vnd vòng 10 năm qua: để hiển thị biểu đồ Hình 39 Biểu đồ tỷ giá USD/VND Dựa vào biểu đồ ta tháy tỷ giá USD/VNĐ thay đổi nhiều năm 2008 trở lại có xu hướng tăng Tương tự ta có biểu đồ giá vàng: 48 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 40 Biểu đồ giá vàng Giá vàng 10 năm gần tăng mạnh, đặc biệt tử năm 2005 tới nay, giá vàng biến đổi tăng liên tục Dựa vào biểu đồ ta thấy giá vàng có xu tăng Biểu đồ giá dầu: Hình 41 Biểu đồ giá dầu Giá dầu có nhiều biến động 10 năm trở lại Giá dầu tăng giảm thất thường, khó để dự đốn Giá dầu cao vào khoảng năm 2007 Và có xu hướng tăng trở lại Biểu đồ số VnIndex: 49 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 42 Biểu đồ số VnIndex Chỉ số VnIndex nước ta có biến động lớn Từ năm 2000 tới năm 2005 số VnIndex tăng châm, sau năm 2005 tới năm 2007 số VNIndex liên tục tăng cao Và xuống thấp vào cuối năm 2008 đầu 2009, có dấu hiệu phục hồi cân Biểu đồ giá vàng giá dầu: Hình 43 Biểu đồ giá vàng giá dầu Biểu đồ giá vàng tỉ giá USD /VNĐ 50 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hình 44 Biểu đồ tỷ giá giá vàng Dựa vào biểu đồ ta nhin thấy liên quan giá vàng tỉ giá USD/VND, chúng tăng giảm Biểu đồ số VNIndex giá vàng: Hình 45 Biểu đồ giá vàng VNIndex Dựa vào biểu đồ ta nhận thấy giá vàng số VNIndex có mối liên hệ với Do khó kết luận xu hướng giá vàng dựa vào xu hướng số VNIndex 51 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Kết luận Qua phân tích ứng dụng báo cáo đưa cho thấy việc áp dụng kho liệu kỹ thuật OLAP tương lai tất yếu xu để doanh nghiệp ứng dụng Khóa luận đạt kết quả: - Tìm hiểu phân tích kỹ thuật kho liệu ứng dụng lĩnh vực tài - Tìm hiểu phân tích kỹ thuật OLAP, mơ hình lưu trữ hỗ trợ OLAP, ưu nhược điểm mơ hình lưu trữ - Phân biệt khác OLTP OLAP - Giới thiệu công cụ Business Intelligent Pentaho áp dụng - Phân tích liệu biến động giá la, giá vàng số VNIndex 52 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tài liệu tham khảo Tiếng Việt [1] Kho liệu http://vi.wikipedia.org/wiki/Kho_d%E1%BB%AF_li%E1%BB%87u [2] Ths Nguyễn Thế Quyền Giới thiệu kiến trúc khối OLAP Tạp chí Cơng nghệ thơng tin & Truyền thơng http://www.tapchibcvt.gov.vn/News/PrintView.aspx?ID=15695 Tiếng Anh [3] Djoni Darmawikarta Dimensional Data Warehousing with MySql Brainy Software Corp, 2007 [4] Don Jones Why is OLAP Faster than OLTP http://nexus.realtimepublishers.com/tips/Data_Warehousing/Why_Is_OLAP_Faster_T han_OLTP.php [5] Hari Mailvaganam Introduction to OLAP http://www.dwreview.com/OLAP/Introduction_OLAP.html [6] Kefa Rabah Pentaho Business Intelligene BI Suite Training Manual Global Open Versity, 2007 Tr 1-23 [7] Online Analytical Processing Wikipedia.org [8] Pentaho Corporation Pentaho Training Course 2010 Edition Pentaho Corporation, 2007 Tr 1-13 [9] Pentaho Corporation Pentaho Analysis Viewer User Guide Pentaho Corporation, 2007 Tr 1-23 [10] Roland Bouman- Jos Van Dongen Business Intelligence and Data Warehousing with Pentaho and Mysql- Pentaho Solutions Wiley Publishing,Inc, 2009 Tr 3-309 [11] S.Nagabhushana Data warehousing Olap and Data mining New Age International Publishers, 2006 Tr 24-246 53 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com [12] Seth Grimes Mysql V5- Ready for Prime Time Business Intelligence Alta Plana Corporation, 2006 Tr 2-23 [13] Surajit Chaudhuri- Umeshwar Dayal An Overview of Data warehouse and OLAP Technology Tr 2-10 [14] Thomas C.Hammergren- Alan R Simon Data warehousing for dummies Wiley Publishing,Inc Tr 9-95 [15] MOLAP, ROLAP, And HOLAP http://www.1keydata.com/datawarehousing/molap-rolap.html 54 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... doanh ngày tốt Khóa luận với đề tài ? ?Áp dụng kỹ thuật OLAP kho liệu báo cáo tài chính? ?? giới thiệu kho liệu, phương pháp OLAP ứng dụng phân tích biên động giá dầu, giá vàng số VNIndex cơng cụ Pentaho... Chương Giới thiệu kho liệu liệu tài giới thiệu đặc điểm liệu tài chính, giới thiệu tổng quan kho liệu, cấu trúc kho liệu, thành phần kho liêu, cách thiết kế kho liệu ứng dụng kho liệu Chương Giới... QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Ngọc Anh ÁP DỤNG KỸ THUẬT OLAP VÀ KHO DỮ LIỆU TRONG DỰ BÁO TÀI CHÍNH KHỐ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY Ngành: Các hệ thống thông tin Cán hướng