Thiết kế Data Warehouse và ứng dụng trong hệ thống thông tin ngành điện

Header Page of 237 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN LUẬN VĂN THẠC SĨ Hà Nội - 2008 Footer Page of 237 Header Page of 237 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS HOÀNG XUÂN HUẤN Hà Nội - 2008 Footer Page of 237 Header Page of 237 Lời cam đoan Với mục đích học tập, nghiên cứu để nâng cao kiến thức trình độ chun mơn nên tơi làm luận văn cách nghiêm túc hoàn toàn trung thực Trong luận văn, tơi có sử dụng số tài liệu tham khảo số tác giả Tôi nêu phần tài liệu tham khảo cuối luận văn Tôi xin cam đoan chịu trách nhiệm nội dung trung thực luận văn tốt nghiệp Thạc sĩ mình! Học viên, Phạm Văn Vinh Footer Page of 237 Header Page of 237 Lời cảm ơn Trước tiên, em xin bày tỏ lời cảm ơn sâu sắc tới thầy giáo hướng dẫn PGS.TS Hồng Xn Huấn người tận tình hướng dẫn, bảo, giúp đỡ em nhiều q trình tìm hiểu nghiên cứu để hồn thành luận văn tốt nghiệp Em xin chân thành cảm ơn thầy cô giáo Đại học Công Nghệ - Đại học Quốc Gia Hà Nội dạy bảo, trang bị cho em kiến thức suốt thời gian nghiên cứu học tập trường em Em xin chân thành cảm ơn cô, chú, anh, chị Trung tâm công nghệ thông tin - Điện lực Việt Nam toàn thể bạn bè tạo điều kiện đóng góp ý kiến bổ ích thời gian em làm luận văn tốt nghiệp Footer Page of 237 Header Page of 237 MỤC LỤC DANH SÁCH HÌNH VẼ 16 DÁNH SÁCH BẢNG BIỂU 17 BẢNG TỪ VIẾT TẮT Error! Bookmark not defined TỪ KHOÁ Error! Bookmark not defined MỞ ĐẦU Error! Bookmark not defined CHƢƠNG 1: GIỚI THIỆU CHUNG VỀ DATA WAREHOUSEError! Bookmark not defined 1.1 Giới thiệu Error! Bookmark not defined 1.2 Khái niệm data warehouse Error! Bookmark not defined 1.3 Lợi ích sử dụng data warehouse Error! Bookmark not defined 1.4 Các thành phần môi trường data warehouseError! defined Bookmark not 1.4.1 Khối nguồn liệu Error! Bookmark not defined 1.4.2 Khối tạo dựng data warehouse Error! Bookmark not defined 1.4.3 Thành phần lưu trữ liệu Error! Bookmark not defined 1.4.4 Thành phần phân phát thông tin Error! Bookmark not defined 1.4.5 Thành phần siêu liệu Error! Bookmark not defined 1.4.6 Thành phần quản lý kiểm soát Error! Bookmark not defined 1.4.7 Thành phần ứng dụng Error! Bookmark not defined 1.5 Một số khái niệm liên quan Error! Bookmark not defined 1.5.1 Cơ sở liệu đa chiều Error! Bookmark not defined 1.5.2 Kho liệu tác nghiệp Error! Bookmark not defined 1.5.3 Kho liệu hướng chủ đề Error! Bookmark not defined 1.6 Hệ thống xử lý giao dịch trực tuyến data warehouseError! Bookmark not defined CHƢƠNG 2: KIẾN TRÚC DATA WAREHOUSE Error! Bookmark not defined 2.1 Kiến trúc data warehouse Error! Bookmark not defined 2.2 Các mơ hình data warehouse Error! Bookmark not defined 2.3 Mơ hình liệu đa chiều Error! Bookmark not defined 2.3.1 Lược đồ liệu data warehouse Error! Bookmark not defined 2.3.2 Định nghĩa lược đồ Error! Bookmark not defined Footer Page of 237 Header Page of 237 2.3.3 Độ phân cấp Error! Bookmark not defined CHƢƠNG 3: OLAP VÀ DATA WAREHOUSE Error! Bookmark not defined 3.1 Giới thiệu OLAP Error! Bookmark not defined 3.2 Đặc trưng OLAP Error! Bookmark not defined 3.3 Phân tích đa chiều Error! Bookmark not defined 3.4 Các toán tử OLAP Error! Bookmark not defined 3.4.1 Toán tử lên Error! Bookmark not defined 3.4.2 Toán tử khoan sâu Error! Bookmark not defined 3.4.3 Toán tử cắt lát thu nhỏ Error! Bookmark not defined 3.4.4 Toán tử xoay Error! Bookmark not defined 3.4.5 Một số toán tử khác Error! Bookmark not defined 3.5 Các mơ hình OLAP Error! Bookmark not defined 3.5.1 Mơ hình MOLAP Error! Bookmark not defined 3.5.2 Mơ hình ROLAP Error! Bookmark not defined 3.5.3 Lựa chọn mô hình ROLAP hay MOLAP Error! Bookmark not defined 3.5.4 Cách triển khai OLAP Error! Bookmark not defined CHƢƠNG 4: THIẾT KẾ VẬT LÝ DATA WAREHOUSEError! defined Bookmark not 4.1 Các yếu tố thiết kế vật lý Error! Bookmark not defined 4.1.1 Các đối tượng thiết kế vật lý Error! Bookmark not defined 4.1.2 Từ thiết kế logic tới thiết kế vật lý Error! Bookmark not defined 4.1.3 Các thành phần mơ hình vật lý Error! Bookmark not defined 4.1.4 Ý nghĩa chuẩn Error! Bookmark not defined 4.2 Các bước thiết kế vật lý Error! Bookmark not defined 4.2.1 Xây dựng tiêu chuẩn Error! Bookmark not defined 4.2.2 Lập kế hoạch tổng thể Error! Bookmark not defined 4.2.3 Xác định lược đồ phân chia liệu Error! Bookmark not defined 4.2.4 Thiết lập khả nhóm liệu Error! Bookmark not defined 4.2.5 Thiết lập cách đánh số Error! Bookmark not defined 4.2.6 Xác định cấu trúc lưu trữ Error! Bookmark not defined Footer Page of 237 Header Page of 237 4.2.7 Hồn thiện mơ hình vật lý Error! Bookmark not defined 4.3 Cấu trúc vật lý Error! Bookmark not defined 4.3.1 Cấu trúc liệu lưu trữ Error! Bookmark not defined 4.3.2 Tối ưu lữu trữ Error! Bookmark not defined 4.3.3 Sử dụng công nghệ RAID Error! Bookmark not defined 4.3.4 Dự đốn kích thước lưu trữ Error! Bookmark not defined 4.4 Đánh mục cho data warehouse Error! Bookmark not defined 4.4.1 Tổng quan mục Error! Bookmark not defined 4.4.2 Chỉ mục B-tree Error! Bookmark not defined 4.4.3 Chỉ mục Bitmap Error! Bookmark not defined 4.4.4 Chỉ mục cho bảng kiện Error! Bookmark not defined 4.4.5 Chỉ mục cho bảng chiều Error! Bookmark not defined 4.5 Các kỹ thuật cải tiến hiệu Error! Bookmark not defined 4.5.1 Phân loại liệu Error! Bookmark not defined 4.5.2 Phân cụm liệu Error! Bookmark not defined 4.5.3 Xử lý song song Error! Bookmark not defined CHƢƠNG 5: XÂY DỰNG DATA WAREHOUSE CHO EVNError! Bookmark not defined 5.1 Tổng quan hệ thống Error! Bookmark not defined 5.1.1 Giới thiệu EVN Error! Bookmark not defined 5.1.2 Mơ hình tập đồn Error! Bookmark not defined 5.1.3 Một số thống kê tình hình sản xuất Error! Bookmark not defined 5.1.4 Yêu cầu hệ thống hỗ trợ định Error! Bookmark not defined 5.1.5 Mô tả hệ thống Error! Bookmark not defined 5.2 Minh chứng số liệu EVN Error! Bookmark not defined 5.2.1 Định hướng Error! Bookmark not defined 5.2.2 Mô tả hệ thống mức khái niệm Error! Bookmark not defined 5.2.3 Mô tả hệ thống mức chi tiết Error! Bookmark not defined 5.2.4 Giới thiệu số công cụ hỗ trợ Error! Bookmark not defined 5.2.5 Kết thực Error! Bookmark not defined Footer Page of 237 Header Page of 237 CHƢƠNG 6: KẾT QUẢ VÀ BÀN LUẬN Error! Bookmark not defined 6.1 Các kết đạt Error! Bookmark not defined 6.2 Hướng nghiên cứu Error! Bookmark not defined TÀI LIỆU THAM KHẢO 18 Footer Page of 237 Header Page of 237 DANH SÁCH HÌNH VẼ Hình 1: Tính chủ đề data warehouse Error! Bookmark not defined Hình 2: Tích hợp data warehouse Error! Bookmark not defined Hình 3: Dữ liệu khơng thay đổi Error! Bookmark not defined Hình 4: Các thành phần data warehouse Error! Bookmark not defined Hình 5: Các chu kỳ nạp liệu Error! Bookmark not defined Hình 6: Thành phần phân phát thơng tin Error! Bookmark not defined Hình 7: Khối liệu đa chiều Error! Bookmark not defined Hình 8: Data warehouse OLTP Error! Bookmark not defined Hình 9: Kiến trúc data warehouse Error! Bookmark not defined Hình 10: Mơ hình data warehouse Error! Bookmark not defined Hình 11: Mơ hình data warehouse tiến trình thu thập liệuError! Bookmark not defined Hình 12: Mơ hình đầy đủ data warehouse Error! Bookmark not defined Hình 13: Hộp lập phương cho lược đồ liệu chiều Error! Bookmark not defined Hình 14: Hộp lập phương cho lược đồ liệu chiều Error! Bookmark not defined Hình 15: Mạng mơ tả liệu đa chiều Error! Bookmark not defined Hình 16: Lược đồ hình Error! Bookmark not defined Hình 17: lược đồ bơng tuyết Error! Bookmark not defined Hình 18: lược đồ chòm Error! Bookmark not defined Hình 19: Các mức phân cấp liệu Error! Bookmark not defined Hình 20: Mức phân cấp chiều thời gian Error! Bookmark not defined Hình 21: Mơ hình khối liệu Error! Bookmark not defined Hình 22: Các toán tử OLAP Error! Bookmark not defined Hình 23: Mơ hình MOLAP Error! Bookmark not defined Hình 24: Mơ hình ROLAP Error! Bookmark not defined Footer Page of 237 Header Page 10 of 237 Hình 25: Sự tương quan MOLAP ROLAP Error! Bookmark not defined Hình 26: Kiến trúc triển khai OLAP Error! Bookmark not defined Hình 28: Quy trình thiết kế Error! Bookmark not defined Hình 29: Các thành phần mơ hình vật lý Error! Bookmark not defined Hình 30: Tương quan mơ hình logic mơ hình vật lýError! defined Bookmark not Hình 27: Các bước thiết kế vật lý Error! Bookmark not defined Hình 31: Mơ hình lưu trữ liệu Error! Bookmark not defined Hình 32: Cấu trúc mục B-Tree Error! Bookmark not defined Hình 33: Cấu trúc mục Bitmap Error! Bookmark not defined Hình 34: Mơ hình tập đồn EVN Error! Bookmark not defined Hình 35: Sơ đồ tổng quan data warehouse EVN Error! Bookmark not defined Hình 36: Lược đồ liệu data warehouse EVN Error! Bookmark not defined Hình 37: chiều liệu data warehouse EVN Error! Bookmark not defined Hình 38: Ánh xạ thu thập liệu cho chiều thời gian: DTHOIGIANError! not defined Bookmark Hình 39: Ánh xạ thu thập liệu cho chiều công ty: DCONGTYError! Bookmark not defined Hình 40: Ánh xạ thu thập liệu cho bảng kiện: CMIS_CUBEError! Bookmark not defined Hình 41: Báo cáo đa chiều từ data warehouse EVN xây dựngError! Bookmark not defined Hình 42: Báo cáo đa chiều với toán tử khoan sâu cho chiều thời gianError! not defined Bookmark Hình 43: Sơ đồ đa chiều mơ tả sản lượng tiêu thụ điện điện lựcError! Bookmark not defined Hình 44: Dữ liệu sơ đồ cho báo cáo đa chiều Error! Bookmark not defined Footer Page 10 of 237 Header Page 11 of 237 DÁNH SÁCH BẢNG BIỂU Bảng 1: Data warehouse kho liệu tác nghiệp Error! Bookmark not defined Bảng 2: Data warehouse kho liệu hướng chủ đề Error! Bookmark not defined Bảng 3: Khung nhìn liệu đa chiều đơn giản Error! Bookmark not defined Bảng 4: Khung nhìn liệu đa chiều chi tiết Error! Bookmark not defined Bảng 5: Đặc trưng phân tích đa chiều Error! Bookmark not defined Bảng 6: Đặc trưng nâng cao phân tích đa chiều Error! Bookmark not defined TÀI LIỆU THAM KHẢO Tiếng Việt [1] PGS.TS Hoàng Xuân Huấn, Bài giảng môn Hệ hỗ trợ định [2] PGS.TS Hoàng Xuân Huấn (2006), Suy nghĩ chủ nghĩa xã hội đổi kinh tếxã hội nước ta: Báo quản lý kinh tế số - 3+4/2006, Viện nghiên cứu kinh tế quản lý trung ương, kế hoạch đầu tư [3] PTS Đỗ Việt Nga (1999), Thiết kế hệ thống xây dựng data warehouse hệ thống thông tin lớn [4] Tài liệu mô tả hệ thống thông tin quản lý đầu tư - Tập đoàn Điện lực Việt Nam [5] Tài liệu mô tả hệ thống thông tin quản lý khách hàng - Tập đoàn Điện lực Việt Nam [6] Tài liệu mô tả hệ thống thông tin quản lý nhà máy điện - Tập đoàn Điện lực Việt Nam [7] Tài liệu mơ tả hệ thống thơng tin tài - Điện lực Tập đoàn Việt Nam [8] Trang web EVN, http://www.evn.com.vn/ Tiếng Anh [9] Paulraj Ponniah, Data Warehousing Fundamentals: A Comprehensive Guide for IT Professionals John Wiley & Sons, Inc 2001 [10] Yuan Ji, Towards Framework for the Virtual data warehouse Course-based MS Report April 20, 2001 Footer Page 11 of 237 Header Page 12 of 237 [11] Oracle software: Oracle® Warehouse Builder 10g Release (10.1), User’s Guide Part No B12146-01 2003 [12] Oracle software: Oracle® Business Intelligence 10g Release (10.1.2.1) Concepts Guide B16378-01 2003 [13] Oracle software: Oracle® Database Data Warehousing Guide 10g Release (10.1) 2003 [14] Jiawei Han and Micheline Kamber (2001), Data Mining : Concepts Techniques, Hacours Science and Technology Company, USA and [15] Gavin Powell(2006), Beginning Database Design, Wiley Publishing, USA [16] James McGovern, Scott W Ambler, Michael E Stevens, James Linn, Vikas Sharan, Elias K Jo(2003), Practical Guide to Enterprise Architecture, Prentice Hall, USA [17] Keith Andrews (2006), Human Computer Interaction, Keith Andrews, Austria [18] Rebecca M Riordan(2005), Designing Effective Database Systems, Addison Wesley Professional, USA [19] Steve McConnell (2003), Professional Software Development: Shorter Schedules, Higher Quality Products, More Successful Projects, Enhanced, Addison Wesley, USA [20] Wendy Boggs Michael Boggs (2002), Mastering UML with Rational Rose 2002, SYBEX, USA [21] Freitas and S.H Lavington (1998), Mining very large Database with Parllel Processing Kluwer Academic Publishers [22] William H Inmon (1992), Building the Data Warehouse QED Technical Publishing Group [16] Planet Source Code, http://www.planet-source-code.com Footer Page 12 of 237  ... HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Phạm Văn Vinh THIẾT KẾ DATA WAREHOUSE VÀ ỨNG DỤNG TRONG HỆ THỐNG THÔNG TIN NGÀNH ĐIỆN Ngành: Công Nghệ thông Tin Mã số: 1.01.10 LUẬN VĂN THẠC SĨ NGƯỜI... (1999), Thiết kế hệ thống xây dựng data warehouse hệ thống thông tin lớn [4] Tài liệu mô tả hệ thống thông tin quản lý đầu tư - Tập đoàn Điện lực Việt Nam [5] Tài liệu mô tả hệ thống thông tin quản... khách hàng - Tập đoàn Điện lực Việt Nam [6] Tài liệu mô tả hệ thống thông tin quản lý nhà máy điện - Tập đoàn Điện lực Việt Nam [7] Tài liệu mô tả hệ thống thông tin tài - Điện lực Tập đồn Việt