Nghiên cứu và xây dựng kho dữ liệu sản phẩm tại Ngân hàng TMCP Đại Dương dựa trên nền tảng hệ quản trị CSDL Oracle 10g

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC BÌNH NGHIÊN CỨU VÀ XÂY DỰNG KHO DỮ LIỆU SẢN PHẨM TẠI NGÂN HÀNG TMCP ĐẠI DƯƠNG TRÊN NỀN TẢNG HỆ QUẢN TRỊ CSDL ORACLE 10G LUẬN VĂN THẠC SĨ Hà Nội - 2014 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC BÌNH NGHIÊN CỨU VÀ XÂY DỰNG KHO DỮ LIỆU SẢN PHẨM TẠI NGÂN HÀNG TMCP ĐẠI DƯƠNG TRÊN NỀN TẢNG HỆ QUẢN TRỊ CSDL ORACLE 10G Ngành: Công nghệ thông tin Chuyên ngành: Công nghệ phần mềm Mã số: 60.48.10 LUẬN VĂN THẠC SĨ Cán bộ hướng dẫn khoa học: GS.TS. Vũ Đức Thi. Hà Nội - 2014 LỜI CẢM ƠN Trước hết, em xin gửi lời cảm ơn trân trọng nhất tới GS.TS. Vũ Đức Thi, Viện CNTT, Viện KH&CN VN, người đã trực tiếp hướng dẫn, giúp em định hướng , tận tình chỉ bảo và hỗ trợ em trong suốt quá trình nghiên cứu và thực hiện luận văn. Em xin gửi lời cám ơn tới các thầy cô trong khoa Công Nghệ Thông Tin cùng toàn thể các thầy cô trường Đại học Công Nghệ đã tận tình dạy dỗ và dìu dắt chúng em trong suốt thời gian học tập tại trường. Em xin gửi lời cảm ơn tới Ngân hàng TMCP Đại Dương đã tạo môi trường để em nghiên cứu và cài đặt thử nghiệm hệ thống thành công. Cuối cùng em xin gửi lời cám ơn tới gia đình, bạn bè, những người luôn luôn bên cạnh và tạo mọi điều kiện thuận lợi nhất để em có thể hoàn thành tốt luận văn. Hà Nội, tháng 10 năm 2014 Sinh viên : Nguyễn Đức Bình Lớp K18 Khoa Công Nghệ Thông tin, Trường Đại Học Công Nghệ LỜI CAM ĐOAN Tôi xin cam đoan kết quả đạt được trong luận văn là sản phẩm nghiên cứu, tìm hiểu của riêng cá nhân tôi. Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân tôi hoặc là được ổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Tôi xin hoàn chịu trách nhiệm và chịu mọi hình thức kỷ luật theo quy định cho lời cam đoan của mình. MỤC LỤC PHẦN MỞ ĐẦU. 1 CHƯƠNG 1: LÝ THUYẾT KHO DỮ LIỆU 4 1.1. Tổng quan về kho dữ liệu. 4 1.1.1. Lịch sử phát triển của kho dữ liệu: 4 1.1.2. Định nghĩa. 5 1.2. Đặc trưng kho dữ liệu 5 1.2.1. Tính bền vững. 5 1.2.2. Biến thời gian. 5 1.2.3. Hướng chủ đề. 6 1.2.4. Tính tích hợp. 7 1.3. Sự khác nhau giữa hệ thống OLTP và kho dữ liệu 7 1.4. Kiến trúc kho dữ liệu. 9 1.4.1. Kiến trúc kho dữ liệu cơ bản 9 1.4.2. Kiến trúc kho dữ liệu với vùng đệm. 9 1.4.3. Kiến trúc kho dữ liệu với vùng đệm và kho dữ liệu cục bộ. 10 1.5. Thiết kế kho dữ liệu 10 1.5.1. Thiết kế logic và thiết kế vật lý trong kho dữ liệu 10 1.5.2. Thiết kế logic. 11 1.6. Lược kho dữ liệu. 12 1.6.1. Lược đồ sao. 12 1.6.2. Lược đồ bông tuyết. 12 1.6.3. So sánh lược đồ sao và bông tuyết. 13 1.6.4. Lược đồ khác. 14 1.7. Thiêt kế vật lý. 14 1.7.1. Chuyển thiết kế logic thành thiết kế vật lý. 14 1.7.2. Tạo thiết kế vật lý 14 1.8. Đối tượng trong kho dữ liệu. 15 1.8.1. Sự kiện và bảng sự kiện. 15 1.8.2. Chiều và bảng chiều. 15 1.8.3. Khối dữ liệu. 15 1.9. Chiến lược xây dựng kho dữ liệu: 18 1.9.1. Chiến lược từ trên xuống. 18 1.9.2. Chiến lược từ dưới lên 19 1.9.3. So sánh 02 phương pháp thiết kế 20 1.9.4. Chiết xuất dữ liệu. 22 1.9.5. Chuyển đổi dữ liệu. 22 1.9.6. Nạp dữ liệu. 23 1.10. Kho dữ liệu cục bộ. 28 CHƯƠNG 2: XÂY DƯNG KHO DỮ LIỆU SẢN PHẨM 30 2.1. Giới thiệu. 30 2.1.1. Ngân hàng TMCP Đại Dương. 30 2.1.2. Hệ thống CORE BANKING. 31 2.1.3. Thực trạng hệ thống. 33 2.2. Xây dựng kho dữ liệu 34 2.2.1. Đặc tả các thông tin cơ bản của dự án: 34 2.2.2. Phân tích nghiệp vụ. 35 2.2.3. Xây dựng kho dữ liệu trung tâm. 39 2.2.4. Xây dựng kho dữ liệu cục bộ. 47 CHƯƠNG 3: CÀI ĐẶT, THỬ NGHIỆM 49 3.1. Giới thiệu về công cụ Oracle Warehouse Builder. 49 3.2. Môi trường cài đặt và các thành phần: 50 3.3. Cài đặt với Oracle Warehouse Builder 50 3.3.1. Xây dựng bảng chiều. 50 3.3.2. Xây dựng cube 52 3.3.3. Thiết lập nguồn, chiết xuất và xử lý dữ liệu. 53 3.3.4. Triển khai. 55 3.3.4. Nạp dữ liệu vào kho dữ liệu. 56 3.4. Báo cáo dựa trên kho dữ liệu. 50 KẾT LUẬN VÀ ĐỊNH HƯỚNG. 60 TÀI LIỆU THAM KHẢO 61 Danh mục các ký hiệu, chữ viết tắt Ký hiệu Chuỗi văn bản gốc Mô tả 3NF Third Normal Form Chuẩn hóa 3NF Client/Server OLAP Client/Server Online Analytical Processing Xử lý phân tích trực tuyến khách/chủ CNTT Information Technology Công nghệ thông tin CSDL Database Cơ sở dữ liệu DDL Data Define Language Ngôn ngữ định nghĩa dữ liệu OWB Oracle Warehouse Build Công cụ xây dụng kho dữ liệu DBMS Database Management System Hệ quản trị cơ sở dữ liệu DF Datafile Tệp dữ liệu DWH Data Warehouse Kho dữ liệu DSS Decision Support System Hỗ trợ quyết định ETL Extraction, Transportation, Loading Trích suất, Trao đổi, Tải ID ID Định danh NN NOT NULL Khác rỗng OD Oracle Designer Sản phẩm OLAP On Line Analytical Processing Xử lý phân tích trực tuyến OLTP On Line Transaction Processing Xử lý tác nghiệp trực tuyến DANH MỤC HÌNH VẼ ĐỒ THỊ Hinh 1. 1: Sơ đồ luồng dữ liệu 4 Hinh 1. 2: Tính bền vững của DWH. 5 Hinh 1. 3: Đặc trưng biến thời gian. 6 Hinh 1. 4: Đặc trưng hướng chủ đề 6 Hinh 1. 5: Đặc trưng tính tích hợp. 7 Hinh 1. 6: So sánh OLTP với DWH. 8 Hinh 1. 7: Kiến trúc kho dữ liệu cơ bản. 9 Hinh 1. 8: Kiến trúc kho dữ liệu vùng đệm. 9 Hinh 1. 9: Kiến trúc DWH với vùng đệm, DM. 10 Hinh 1. 10: Lược đồ ngôi sao. 12 Hinh 1. 12: So sánh 2 lược đồ bông tuyết và ngôi sao. 13 Hinh 1. 11: Lược đồ hình bông tuyết. 13 Hinh 1. 13: So sánh thiết kế logic với thiết kế vật lý. 14 Hinh 1. 14: Khối dữ liệu 3 chiều. 16 Hinh 1. 15: Phép cắt dữ liệu. 17 Hinh 1. 16: Phép khoan dữ liệu. 17 Hinh 1. 17: Phép quay dữ liệu. 18 Hinh 1. 18: Chiến lược xây dựng DWH. 18 Hinh 1. 19: Kiển trúc Inmon 19 Hinh 1. 20: Kiến trúc Kimball 19 Hinh 1. 21: So sánh 2 cách Kimball và Inmon. 21 Hinh 1. 22: Quá trình ETL. 21 Hinh 1. 23: Cấu trúc chiều cơ bản. 23 Hinh 1. 24: Chiều thời gian. 25 Hinh 1. 25: Quá trình hợp nhất các chiều phụ thuộc. 26 Hinh 1. 26: Kiến trúc kho dữ liệu cục bộ độc lập. 28 Hinh 1. 27: Kiến trúc Kho dữ liệu cục bộ phụ thuộc. 29 Hình 2. 1: Giới thiệu Ocean Bank. 30 Hình 2. 2: Mô tả core banking. 32 Hình 2. 3: Sơ đồ hệ thống dữ liệu tại Ocean Bank. 33 Hình 2. 4: Luồng nghiệp vụ huy động. 35 Hình 2. 5: Luồng nghiệp vụ cho vay. 35 Hình 2. 6: Mô hình thực thể của nghiệp vụ huy động & cho vay trên core. 37 Hình 2. 7: Mô hình CSDL quan hệ của nghiệp vụ huy động trên core. 38 Hình 2. 8: Kiến trúc kho dữ liệu Ocean Bank. 40 Hình 2. 9: Mô hình giải pháp luồng dữ liệu. 41 Hình 2. 10: Bảng danh sách thực thể dữ liệu cho kho và nguồn. 41 Hình 2. 11: Bảng danh sách dữ liệu tham khảo đẩy vào kho dữ liệu. 42 Hình 2. 12: Bảng danh sách dữ liệu chiều thay đổi theo thời gian. 42 Hình 2. 13: Thêm thành phần thời gian vào dữ liệu. 43 Hình 2. 14: Bảng dữ liệu chính trong kho. 43 Hình 2. 15: Tạo thêm dữ liệu tính toán, tổng hợp. 45 Hình 2. 16: Danh sách các chiều và phân cấp. 45 Hình 2. 17: Thiết kế CSDL của kho dữ liệu. 47 Hình 2. 18: Lược đồ khối dữ liệu cục bộ về huy động. 48 Hình 3. 1: Các thành phần của OWB. 49 Hình 3. 2: Bảng chiều thời gian. 51 Hình 3. 3: Phân cấp bảng chiều thời gian. 51 Hình 3. 4: Bảng chiều loại hình tiền gửi . 51 Hình 3. 5: Phân cấp chiều loại hình tiền gửi. 52 Hình 3. 6: Bảng chiều khách hàng. 52 Hình 3. 7: Phân cấp bảng chiều khách hàng. 52 Hình 3. 8: Khối cube huy động. 53 Hình 3. 9: Đơn vị đo Cube. 53 Hình 3. 10: Chiều của cube. 53 Hình 3. 11: Thiết lập nguồn dữ liệu. 54 Hình 3. 12: Chiết xuất và xử lý dữ liệu chiều thời gian. 54 Hình 3. 13: Chiết xuất và xử lý dữ liệu chiều loại hình tiền gửi. 54 Hình 3. 14: Chiết xuất và xử lý chiều phân loại khách hàng. 54 Hình 3. 15: Giao diện triển khai thiết kế logic. 55 Hình 3. 16: Giao diện thiết kế kịch bản nạp dữ liệu vào kho. 56 Hình 3. 17: Thông tin về tiến trình nạp dữ liệu. 56 Hình 3. 18: Mã nguồn nạp dữ liệu vào kho. 57 Hình 3. 19: Dữ liệuchiều loại hình tiền gửi . 57 Hình 3. 20: Dữ liệu cube. 58 1 PHẦN MỞ ĐẦU. 1. ĐẶT VẤN ĐỀ. Hệ thống giao dịch Ngân hàng là một hệ thống với số lượng giao dịch cực lớn hàng ngày được thực hiện trải dài trên các phần mềm nghiệp vụ như core bank, Internet Banking, Mobi Banking, Smart Banking… Qua đó tại ra một khối dữ liệu khổng lồ lưu trữ trải dài trên nhiều hệ thống nghiệp vụ và không nhất quán. Gây khó khăn việc xử lý và khai thác thông tin hữu ích một cách nhanh chóng để giúp nhà quản trị, lãnh đạo đưa ra các quyết sách đúng đắn, kịp thời và hiệu quả cho cơ quản, tổ chức của mình. Ví dụ: thông qua việc nghiên cứu thói quen mua sắm của các khách hàng thì eBay, Amazon có biết chính xác các sản phẩm bạn muốn mua là gì để đưa ra gợi ý. Điều ngày giúp cho khách hàng tiết kiệm thời gian, doanh nghiệp bán được nhiều hàng hơn. Với hệ thống dữ liệu tổ chức dữ liệu tốt có thể giúp doanh nghiệp xây dựng các mô hình dự báo như một công ty viễn thông có thể dự đoán tốt hơn về việc khách hàng rời mạng. Hay Wal-Mal có thể dự đoán sản phẩm nào sẽ được bán ra. Đặc biệt với lĩnh vực dịch vụ có số lượng lớn giao dịch như tài chính, hàng không, viễn thông… nhu cầu về việc tổ chức dữ liệu lớn để đáp ứng yêu cầu phân tích dự báo là vô cùng cần thiết. Cuộc khủng hoảng kinh tế năm 2010 đã khiến các tổ chức tài chính phải nhìn nhận lại định hướng phát triển bền vững thông qua công tác dự báo nhằm quản lỷ rủi ro mức thấp nhất và nâng cao chất lượng phục vụ khách hàng dựa trên việc nâng cấp hệ thống phần mềm hoạt động ôn định, dựa trên nhu cầu của khách hàng. Hệ thống nghiệp vụ liên tục bị quá tải phần lớn là do tài nguyên dành cho việc thực hiện các báo cáo, các báo cáo nhằm nghiên cứu nhu cầu khách hàng không thể thực hiện hoặc mất quá nhiều thời gian. Để giải quyết vấn đề trên, tôi đề xuất xây dựng kho dữ liệu theo phương pháp tiếp cận phù hợp để giải quyết bái toán. Kho dữ liệu sẽ là nền tảng cho việc triển khai hệ thống báo cáo phân tích tách biệt với hệ thống giao dịch nghiệp vụ. [...]... để tổ chức dữ liệu phù hợp  Xây dựng kho dữ liệu với chủ đề sản phẩm dựa trên nền tảng công nghệ Oracle và thiết lập công cụ khai thác dữ liệu từ kho dữ liệu để chứng mình tính khả thi và đáp ứng yêu cầu của kho dữ liệu đã xây dựng 2 4 Nội dung luận văn Luận văn được thực hiện dựa trên nhu cầu thực tế tại Ngân hàng TMCP Ocean Bank Và dựa trên quá tính tìm hiểu thực tế nhu cầu và nghiên cứu, đánh giá... luận văn Trên cơ sở tính cấp thiết và tính thực tiễn của việc triể khai xây dựng một hệ thống phục vụ báo cáo phân tích tách biệt với hệ thống giao dịch nghiệp vụ Tôi đã nghiên cứu và tìm hiểu, chọn đề tài luận văn là Nghiên cứu và xây dựng kho dữ liệu sản phẩm tại Ngân hàng TMCP Đại Dương dựa trên nền tảng hệ quản trị CSDL Oracle 10g Đây là một vấn đề lớn và khó khăn, tôi bước đầu đã tìm hiểu và làm... đó xây dựng các kho dữ liệu cục bộ  Thực hiện từ dưới lên (Bottom-up): Xây dựng các kho dữ liệu cục bộ Sau đó tích hợp các kho dữ liệu cục bộ thành kho dữ liệu trung tâm  Tổ hợp của 2 cách tiếp cận trên: Xây dựng kho dữ liệu trung tâm cho kho dữ liệu cụ bộ đầu tiên Sau đó xây dựng kho dữ liệu cục bộ thứ 2 và tích hợp với kho dữ liệu trung tâm Hinh 1 18: Chiến lược xây dựng DWH 1.9.1 Chiến lược từ trên. .. tin: Oracle warehouse build, Oracle Business Intelligence Discover  Nghiên cứu giải pháp xây dựng kho dữ liệu phù hợp với thực trạng về nhân lực, chi phí tại Ngân hàng TMCP Đại Dương  Tìm hiểu các kiến thức cơ bản về nghiệp vụ ngân hàng thương mại và cách tổ chức dữ liệu tại hệ thống giao dịch nghiệp vụ tại Ngân hàng TMCP Đại Dương  Tìm hiểu về nhu cầu dữ liệu tri thức từ Ban Điều hành để tổ chức dữ. .. tách các kho dữ liệu cục bộ từ kho dữ liệu chiều  Trong kho dữ liệu chiều của Kimball, phân tích hệ thống có thể truy cập dữ liệu trực tiếp Trong khi trong kiến trúc của Inmon, hệ thống phân tích chỉ có thể truy cập dữ liệu trong kho dữ liệu doanh nghiệp thông qua các kho dữ liệu cục bộ So sánh Kimball và Inmon trong cách tiếp cận xây dựng kho dữ liệu  Bill Inmon đề nghị xây dựng kho dữ liệu theo phương... công nghệ Luận được tổ chức thành các nội dung chính như sau: Mở đầu: Đặt vấn đề, mục tiêu và phạm vi nghiên cứu của luận văn Chương 1: Cơ sở lý thuyết - Trình báy về kiến trúc kho dữ liệu gồm các khái niêm cơ bản: Định nghĩa kho dữ liệu, kiến truc kho dữ liệu, đặc trưng kho dữ liệu phương pháp xây dựng kho dữ liệu, phương pháp khai thác dữ liệu theo mô hình OLAP Chương 2: Xây dựng giải pháp kho dữ liệu. .. kho dữ liệu - Nghiên cứu thực trạng hệ thống và giải pháp xây dựng kho dữ liệu sản phẩm phù hợp với thực trạng tại Ngân hàng TMCP Đại Dương Chương 3: Cài đặt, thử nghiệm và đánh giá – Cài đặt kho dữ liệu với công cụ hỗ trợ Oracle Warehouse Build trên nền tảng Oracle 10g Kết luận, định hướng: Tổng kết lại kết quả luận văn đã đạt được, kinh nghiệm từ được trong quá trình thực hiện luận văn Và đưa định... chiều đến sau và sửa lỗi dữ liệu: Dữ liệu đến sau là những dữ liệu thay đổi sau khi đã xây dựng DW Dữ liệu này phân ra làm 2 loại:  Dữ liệu cần sửa đổi: do phát hiện sai sót (về thời gian) trong quá trình xây dựng DW  Dữ liệu cập nhật theo thời gian thực: do tính chất thời gian thực, dữ liệu đang được truy vấn là dữ liệu cũ, và dữ liệu được cập nhật là dữ liệu mới nhưng chưa được nạp vào hệ thống Các... được kiến thức về kiến trúc kho dữ liệu Mục đích của luận văn là nghiên cứu lý thuyết và áp dụng kiến thức theo cách phù hợp để tiến hành xây dựng kho dữ liệu tại Ngân hàng TMCP Đại Dương đáp ứng nhu cầu sử dụng hiện tại và làm nền tảng cho việc triển khai hệ thống Business Intelligence 3 Phương pháp và phạm vi nghiên cứu luận văn Đây là đề tài lớn mang tính áp dụng công nghệ và tính đặc thù của từng... ghi  Dữ liệu lịch sử: Kho dữ liệu có thể dữ liệu với thời gian dài như 5 năm, 10 năm… nhằm mục đích hỗ trợ quá trình phân tích OLTP chỉ lưu dữ liệu trong thời gian ngắn Đó là những dữ liệu cần thiết để 8 1.4 Kiến trúc kho dữ liệu 1.4.1 Kiến trúc kho dữ liệu cơ bản Với kiến trúc cơ bản, người sử dụng cuối cùng nhận được dữ liệu từ các hệ thống nguồn thông qua kho dữ liệu Hinh 1 7: Kiến trúc kho dữ liệu . ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC BÌNH NGHIÊN CỨU VÀ XÂY DỰNG KHO DỮ LIỆU SẢN PHẨM TẠI NGÂN HÀNG TMCP ĐẠI DƯƠNG TRÊN NỀN TẢNG HỆ QUẢN TRỊ CSDL ORACLE. pháp xây dựng kho dữ liệu, phương pháp khai thác dữ liệu theo mô hình OLAP. Chương 2: Xây dựng giải pháp kho dữ liệu - Nghiên cứu thực trạng hệ thống và giải pháp xây dựng kho dữ liệu sản phẩm. cầu dữ liệu tri thức từ Ban Điều hành để tổ chức dữ liệu phù hợp.  Xây dựng kho dữ liệu với chủ đề sản phẩm dựa trên nền tảng công nghệ Oracle và thiết lập công cụ khai thác dữ liệu từ kho dữ