Kho dữ liệu và ứng dụng xây dựng hệ thống dữ liệu trợ giúp quyết định về chính sách tiền tệ quốc gia

Header Page of 27 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ KIM OANH KHO DỮ LIỆU VÀ ỨNG DỤNG XÂY DỰNG HỆ THỐNG DỮ LIỆU TRỢ GIÚP QUYẾT ĐỊNH VỀ CHÍNH SÁCH TIỀN TỆ QUỐC GIA Ngành: CÔNG NGHỆ THÔNG TIN Chuyên ngành: CÔNG NGHỆ PHẦN MỀM Mã số: 60 48 10 LUẬN VĂN THẠC SĨ Người hướng dẫn khoa học PGS.TS NGUYỄN VĂN VỴ HÀ NỘI – 2009 MỤC LỤC Footer Page of 27 Header Page of 27 MỞ ĐẦU Chương I KHÁI NIỆM VỀ KHO DỮ LIỆU 1.1 Khái niệm kho liệu 1.1.1 Định nghĩa 1.1.2 Các tính chất Data Warehouse 1.1.2.1 Hướng chủ đề 1.1.2.2 Tính ổn định 1.1.2.3 Được tích hợp 1.1.2.4 Gắn với thời gian 1.1.3 Cơ sở liệu tác nghiệp kho liệu 1.2 Kiến trúc thành phần Data Warehouse 1.2.1 Các loại kiến trúc Data Warehouse 1.2.2 Các thành phần kiến trúc Data Warehouse 10 1.2.3 Các lược đồ liệu Data Warehouse 11 1.2.3.1 Lược đồ hình 11 1.2.3.2 Lược đồ tuyết 13 1.3 Các mơ hình thiết kế sở liệu 14 1.3.1 Mơ hình liệu lơgíc 14 1.3.2 Mơ hình liệu vật lý 15 1.4 Kho liệu chuyên đề 16 1.4.1 Khái niệm kho liệu chuyên đề 17 1.4.2 Sự khác Data Warehouse Data Mart 17 1.4.3 Các dạng Data Mart 17 Chương II CÔNG CỤ ORACLE TRỢ GIÚP PHÁT TRIỂN DATA WAREHOUSE VÀ DATAMART 20 2.1 Kiến trúc Warehouse Builder 20 2.1.1 Môi trường thiết kế 20 2.1.2 Môi trường vận hành 22 2.2 Các chức Warehouse Builder 22 2.3 Các thành phần Warehouse Builder 23 2.3.1 Ứng dụng phía khách Warehouse Builder Client Application 23 2.3.2 Dịch vụ vận hành Warehouse Builder 23 2.3.3 Kho lưu trữ thiết kế Warehouse Builder 23 2.3.4 Kho lưu trữ vận hành Warehouse Builder 24 2.3.5 Trình duyệt báo cáo kiểm toán 24 2.3.6 Trình duyệt báo cáo siêu liệu 24 2.4 Các đối tượng Warehouse Builder 24 2.5 Các bước sử dụng Warehouse Builder 25 2.5.1 Định nghĩa đối tượng nguồn đích 25 2.5.2 Định nghĩa đối tượng để trích lọc, chuyển đổi tải liệu 25 2.5.3 Thẩm định sinh mã 25 2.5.4 Triển khai thực thi 26 Footer Page of 27 Header Page of 27 2.6 Những ưu điểm bật sử dụng Warehouse Builder 26 2.6.1 Nắm bắt thay đổi liệu 26 2.6.2 Các bảng ngoại, hàm bảng, chế đường ống lệnh MERGE 27 2.6.3 Khung nhìn làm tư liệu làm tươi nhanh liệu 28 Chương III ỨNG DỤNG DATA WAREHOUSE XÂY DỰNG HỆ THỐNG BÁO CÁO THỐNG KÊ CHO NGÂN HÀNG NHÀ NƯỚC 29 3.1 Mơ hình nghiệp vụ hệ thống Báo cáo thống kê NHNN 29 3.1.1 Sơ đồ luồng thông tin hệ thống Báo cáo thống kê 29 3.1.2 Hệ thống tiêu Báo cáo thống kê 30 3.1.3 Hệ thống tài khoản kế toán 32 3.1.4 Nội dung báo cáo thống kê 33 3.1.5 Nội dung báo cáo Tài Error! Bookmark not defined 3.1.6 Hoạt động nghiệp vụ số đơn vị NHNNError! Bookmark not defin 3.1.7 Yêu cầu nghiệp vụ hệ thống khai thác báo cáoError! Bookmark not define 3.1.7.1 Yêu cầu cụ thể hệ thống báo cáoError! Bookmark not defined 3.1.7.2 Các loại báo cáo cần phát triển Error! Bookmark not defined 3.2 Xây dựng kho liệu Data Warehouse phục vụ cho việc khai thác báo cáo Error! Bookmark not defined 3.2.1 Xây dựng sở liệu theo chuẩn Data WarehouseError! Bookmark not defin 3.2.1.1 Kiến trúc Data Warehouse Báo cáo thống kêError! Bookmark not defi 3.2.1.2 Kết cấu Data Warehouse Báo cáo thống kêError! Bookmark not defin 3.2.1.3 Các bước cài đặt vật lý data warehouseError! Bookmark not defined 3.2.2 Xây dựng qui trình tích hợp liệu cho Data WarehouseError! Bookmark not 3.2.2.1 Xây dựng giải pháp tích hợp liệu vào kho liệu Báo cáo thống kê Error! Bookmark not defined 3.2.2.2 Các bước thực q trình tích hợp liệuError! Bookmark not defined Chương IV TỔ CHỨC KHAI THÁC BÁO CÁO VỚI KHO DỮ LIỆUError! Bookmark not defined 4.1 Giải pháp xây dựng hệ thống khai thác báo cáoError! Bookmark not defined 4.2 Chiến lược xây dựng hệ thống báo cáo Error! Bookmark not defined 4.3 Các bước xây dựng báo cáo Error! Bookmark not defined 4.4 Mô hình khai thác báo cáo Error! Bookmark not defined 4.5 Cài đặt hệ thống Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 34 PHỤ LỤC Footer Page of 27 Header Page of 27 BẢNG CÁC CHỮ VIẾT TẮT Viết tắt Footer Page of 27 Tên đầy đủ BCTK Báo cáo thống kê BO Bussiness Object CNTH Công nghệ tin học CSDL Cơ sở liệu (database) DBA Quản trị Database DM Data Mart DWH Data Warehouse EDW Enterprise Data Warehouse ETL Extraction-Transformation-Load ETT Extraction-Transformation-Transportation NHNN Ngân hàng Nhà nước Việt nam NHTW Ngân hàng Trung ương ODS Operational Data Store OLAP Online Analytical Processing OLTP Online Transaction Processing TCTD Tổ chức tín dụng Header Page of 27 DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1 Tính ổn định liệu Data Warehouse Hình 1.2 Kiến trúc đơn giản DW Hình 1.3 Kiến trúc DW với vùng gắn nhãn (Staging area) Hình 1.4 Kiến trúc DW với vùng gắn nhãn DM 10 Hình 1.5 Lược đồ hình DW 12 Hình 1.6 Lược đồ tuyết DW 13 Hình 1.7 Kho liệu chuyên đề phụ thuộc 18 Hình 1.8 Kho liệu chuyên đề độc lập 18 Hình 2.1 Sơ đồ phát triển hệ thống theo Warehouse Builder 21 Hình 2.2 Các đối tượng Warehouse Builder 25 Hình 3.1 Sơ đồ mô tả luồng thông tin báo cáo hệ thống NHNN 30 Hình 3.2 Kiến trúc DWH BCTK Error! Bookmark not defined Hình 3.3 Sơ đồ tổng qt q trình tích hợp liệu vào kho liệu BCTK Error! Bookmark not defined Hình 3.4 Sơ đồ chi tiết q trình tích hợp liệu vào kho liệu BCTK Error! Bookmark not defined Hình 3.5 Các bước trình tích hợp liệu vào kho liệu BCTK Error! Bookmark not defined Hình 3.6 Quá trình tải liệu từ nguồn vào Staging Error! Bookmark not defined Hình 3.7 Quá trình tải liệu từ Staging vào bảng T_ATOMIC_DATA Error! Bookmark not defined Hình 3.8 Quá trình tải liệu từ bảng T_ATOMIC_DATA sang bảng fact Error! Bookmark not defined Hình 3.9 Quá trình cập nhật liệu cho bảng dimension Error! Bookmark not defined Hình 4.1 Môi trường tổ chức khai thác báo cáo BO Error! Bookmark not defined Hình 4.2 Kiến trúc BO với tầng ngữ nghĩa Error! Bookmark not defined Hình 4.3 Các thành phần BO Repository Error! Bookmark not defined Footer Page of 27 Header Page of 27 Hình 4.4 Mơ hình khai thác báo cáo Error! Bookmark not defined Footer Page of 27 Header Page of 27 MỞ ĐẦU Tính cấp thiết đề tài Trong điều kiện chế thị trường, sách tiền tệ điều hành vĩ mơ tài tiền tệ có ý nghĩa định đến phát triển kinh tế đất nước cách ổn định lành mạnh Trong năm gần đây, số ngân hàng nước tăng lên nhanh Thêm vào có tham gia ngân hàng 100% vốn nước ngồi Số vốn ngân hàng có quy mô ngày lớn, dịch vụ mà ngân hàng cung cấp ngày phong phú Khối lượng thông tin mà Ngân hàng Nhà nước quản lý ngày nhiều: tăng theo số lượng ngân hàng hoạt động quy mô vốn ngân hàng dịch vụ mà chúng cung cấp Trên thực tế, Ngân hàng Nhà nước tổ chức hệ thống sở liệu lớn gồm báo cáo thường xuyên từ ngân hàng tổ chức tài với số lượng trung bình từ 10-20 nghìn tiêu/ngày, đặc biệt vào ngày cuối tháng số lượng lên tới hàng trăm nghìn tiêu Cục Công nghệ tin học Ngân hàng Nhà nước đơn vị có nhiệm vụ thu thập tổng hợp báo cáo Cục trang bị hệ thống mạng máy tính mạnh sử dụng hệ quản trị sở liệu Oracle để quản lý khai thác liệu Tuy nhiên, việc khai thác báo cáo sở liệu tác nghiệp có số nhược điểm khơng hỗ trợ báo cáo đột xuất theo yêu cầu; chưa tổng hợp số liệu theo nhiều chiều, nhiều dạng báo cáo khác biểu đồ, đồ thị,…; chưa tổng hợp liệu từ nhiều hệ thống nghiệp vụ khác nhau; việc khai thác báo cáo phải thực máy tính có cài đặt chương trình Do vậy, yêu cầu cấp bách đặt là: có kho liệu tập trung với số liệu đầy đủ, tổng hợp xác toàn ngành ngân hàng cách nhanh để phục vụ việc điều hành vĩ mô nhà nước tiền tệ cách hiệu Vì đề tài “Kho liệu ứng dụng xây dựng hệ thống liệu trợ giúp định sách tiền tệ quốc gia” chọn làm đề tài luận văn tốt nghiệp Mục tiêu đề tài Vận dụng sở lý thuyết Data Warehouse để xây dựng hệ thống liệu Báo cáo thống kê tập trung Ngân hàng Nhà nước phục vụ cho việc trợ giúp định sách tiền tệ quốc gia Đối tượng phạm vi nghiên cứu Đối tượng: Footer Page of 27 Header Page of 27 − Bộ mã tiêu báo cáo thống kê Ngân hàng Nhà nước ban hành − Hệ thống tài khoản kế toán Ngân hàng Nhà nước − Hệ thống thu thập thông tin Báo cáo thống kê, Báo cáo tài Phạm vi: Đề tài có quy mơ lớn, luận văn tập trung vào nghiên cứu việc thiết kế kho liệu Báo cáo thống kê hai nguồn liệu sở liệu tác nghiệp Báo cáo thống kê Báo cáo tài chính, đưa giải pháp tích hợp liệu liệu báo cáo theo mã tiêu qui định tổ chức triển khai việc khai thác báo cáo số Vụ, Cục Ngân hàng Trung ương Trong đó, tận dụng tối đa cơng cụ sẵn có Oracle sở cơng nghệ thơng tin có Ngân hàng Nhà nước để tổ chức vận hành, khai thác kho liệu Nhiệm vụ nghiên cứu − Nghiên cứu lý thuyết Data Warehouse − Thiết kế kho liệu Báo cáo thống kê theo kiến trúc Data Warehouse − Tổ chức, khai thác thông tin từ kho liệu Báo cáo thống kê Phương pháp nghiên cứu Nghiên cứu thực tiễn: nghiên cứu yêu cầu người sử dụng Vụ, Cục Ngân hàng Trung ương nhu cầu sử dụng thông tin báo cáo thống kê Phương pháp nghiên cứu lý thuyết: nghiên cứu tài liệu Data Warehouse Phương pháp tiếp cận hệ thống: đối tượng nghiên cứu có quan hệ chặt chẽ với hệ thống thông tin khác có sẵn Kết cấu luận văn Nội dung luận văn gồm chương: Chương 1: Những khái niệm kho liệu kho liệu chuyên đề Chương 2: Các công cụ Oracle trợ giúp việc phát triển Data Warehouse Footer Page of 27 Header Page of 27 Chương 3: Ứng dụng Data Warehouse xây dựng hệ thống Báo cáo thống kê cho Ngân hàng Nhà nước Chương 4: Tổ chức khai thác báo cáo với kho liệu Cuối kết luận hướng phát triển đề tài Footer Page of 27 Header Page 10 of 27 Chương I KHÁI NIỆM VỀ KHO DỮ LIỆU Ngày nay, thông tin trở thành nguồn tài nguyên quan trọng cần quản lý khai thác hiệu Hơn hết, tất tổ chức kinh doanh giới tập trung phát triển hệ thống thông tin nguồn lực chủ chốt việc tạo ưu cạnh tranh tăng khả đáp ứng thị trường biến động không ngừng Chính vậy, u cầu phương tiện có khả lưu trữ liệu khối lượng lớn, xử lý thông tin nhanh dẫn đến đời kho liệu Những dự án kho liệu xây dựng từ năm 19841988 Cho đến năm 1994, nước phát triển, dự án xây dựng kho liệu phát triển mạnh mẽ Lúc đầu, dự án phát triển tổ chức lớn Cùng với nhu cầu phát triển kho liệu, nhiều công cụ trợ giúp cho việc phát triển kho liệu đời khơng ngừng hồn thiện: Nhiều hệ quản trị sở liệu (CSDL) bổ sung thêm công nghệ công cụ cho việc phát triển khai thác kho liệu Trong số hãng phát triển hệ quản trị CSDL truyền thống Oracle, DB2, Microsoft SQL server,…Oracle hãng hàng đầu giới lĩnh vực hệ quản trị CSDL có cơng nghệ xây dựng kho liệu tiên tiến (theo báo cáo Gartner thị phần hệ quản trị CSDL, Oracle chiếm tới 47,1% thị phần năm 2006) Đặc biệt Oracle 11g có nhiều tính tiên tiến cho việc xây dựng khai thác CSDL lớn như: khả nén phân vùng liệu hiệu quả, tự động hóa nhiều hoạt động phân vùng mở rộng phương pháp phân vùng khác nhau, hoàn thiện công cụ phân vùng, nén xử lý liệu có cấu trúc phi cấu trúc, … [16] 1.1 Khái niệm kho liệu 1.1.1 Định nghĩa Kho liệu (Data Warehouse – DWH) khái niệm định nghĩa theo nhiều cách khác nhau, khó định nghĩa chuẩn xác Theo nghĩa kho liệu xem CSDL lớn tập trung liệu từ nhiều nguồn doanh nghiệp Việc sử dụng DWH tạo đồng thông tin doanh nghiệp từ kho liệu doanh nghiệp nhận tiêu phân tích hay dùng công cụ hỗ trợ để theo dõi tiêu cần quan tâm Vì thế, kho liệu xem mơi trường có cấu trúc hệ thống thông tin, cung cấp cho Footer Page 10 of 27 Header Page 28 of 27 22 Ngoài ra, trình phát triển đánh giá siêu liệu, ln có trang web báo cáo môi trường siêu liệu Những báo cáo môi trường cho phép người phát triển người sử dụng hiển thị kiểm tra thành phần hệ thống mà không cần sử dụng công cụ thiết kế Một thành phần quan trọng môi trường báo cáo thành phần Các khả phân tích tương tác (Impact Analysis capabilities) Nó cho phép nhận dạng tương tác lẫn thay đổi hệ thống trước chúng thực thi Báo cáo cho phép việc điều khiển thay đổi tốt việc lập kế hoạch thực thi thay đổi tốt 2.1.2 Môi trường vận hành Người sử dụng sau thiết kế hệ thống ETL mức logic cần phải chuyển vào môi trường liệu vật lý Trước làm công việc này, thông tin môi trường vật lý cần đưa thêm vào thiết kế logic môi trường đích cấu hình cho việc triển khai Sau hồn tất việc cấu hình, mã sinh Warehouse Builder sinh mã để trích lọc liệu cho trình ETL câu lệnh định nghĩa đối tượng (DDL) cho CSDL đặt tệp hệ thống CSDL Việc thực tiến trình ETL dùng Warehouse Builder Deployment Manager Warehouse Builder công cụ khác Oracle Enterprise Manager Phần có đoạn chương trình kiểm tra để báo cáo trình lấy liệu, sinh mã Có thể nắm bắt thơng tin hệ thống chạy việc sử dụng Runtime Audit Browser 2.2 Các chức Warehouse Builder Warehouse Builder có chức sau: − Định nghĩa liệu nguồn − Thiết kế tạo lược đồ kho liệu đích − Định nghĩa việc chuyển dịch liệu liệu nguồn kho liệu đích − Định nghĩa phụ thuộc tiến trình ETL − Định nghĩa việc quản lý cập nhật liệu Footer Page 28 of 27 Header Page 29 of 27 23 − Triển khai, nâng cấp quản lý lược đồ đích − Thiết kế tạo môi trường OLAP − Thiết kế tạo môi trường công cụ truy vấn 2.3 Các thành phần Warehouse Builder 2.3.1 Ứng dụng phía khách Warehouse Builder Client Application Ứng dụng phía khách Warehouse Builder (Warehouse Builder Client Application) cung cấp giao diện dễ sử dụng cho phép định nghĩa, thiết kế triển khai hệ thống Hai thành phần Bộ sinh mã (Code Generator) Bộ quản lý phát triển (Deployment Manager) giúp cho q trình kiểm sốt việc tạo quản lý hệ thống tốt Bộ sinh mã: thành phần sinh script DDL, PL/SQL dựa siêu liệu kho Các script sinh cung cấp thực tối ưu cho hệ thống CSDL Oracle Bộ quản lý phát triển: thành phần quản lý mặt trình triển khai đối tượng triển khai 2.3.2 Dịch vụ vận hành Warehouse Builder Dịch vụ vận hành Warehouse Builder (Warehouse Builder Runtime Platform Service) thành phần máy dịch vụ Nó cung cấp dịch vụ quản lý việc thực thi ánh xạ luồng tiến trình Nó đảm bảo việc thực thi triển khai liệu lưu kho lưu trữ vận hành (Runtime Repository) Với thực từ xa, nối với Oracle Enterprise Manager's Management Server Dịch vụ vận hành gọi thơng qua cơng việc CSDL Nó tự động làm việc CSDL khởi tạo tự động kết thúc CSDL tắt 2.3.3 Kho lưu trữ thiết kế Warehouse Builder Kho lưu trữ thiết kế Warehouse Builder (Warehouse BuilderDesign Repository) lưu trữ siêu liệu cho tất đối tượng sử dụng Warehouse Builder Đây nơi mà tất thông tin thiết kế cho hệ thống đích lưu trữ Có thể truy cập vào siêu liệu thông qua giao diện người sử dụng, qua script tiện dụng Warehouse Builder Footer Page 29 of 27 Header Page 30 of 27 24 2.3.4 Kho lưu trữ vận hành Warehouse Builder Kho lưu trữ vận hành Warehouse Builder (Warehouse Builder Runtime Repository) lưu trữ tất liệu triển khai liệu việc ánh xạ liệu vào luồng tiến trình Đây nơi lưu trữ thơng tin mơi trường đích dùng cho hệ thống nghiệp vụ thơng minh Nó bao gồm thơng tin kết nối tất trạm triển khai 2.3.5 Trình duyệt báo cáo kiểm tốn Trình duyệt báo cáo kiểm toán (Audit Reporting Browser) cho phép xem xét việc triển khai thực thông tin từ ứng dụng web Nguồn liệu báo cáo lấy từ Runtime Repository 2.3.6 Trình duyệt báo cáo siêu liệu Trình duyệt báo cáo siêu liệu (Metadata Reporting Browser) cho phép xem xét siêu liệu lưu trữ kho thiết kế từ ứng dụng web cung cấp thông tin cho người quan tâm 2.4 Các đối tượng Warehouse Builder Bảng kiện (fact table) bảng chiều (dimension table) hai kiểu đối tượng thường sử dụng lược đồ WH (hình 2.2) Bảng kiện bảng lớn DWH chứa thước đo nghiệp vụ doanh nghiệp Nó chứa khóa ngồi đến bảng chiều Bảng chiều bảng nhìn vào (lookup) tham chiếu chứa liệu tĩnh để qui chiếu DWH Nó chứa thơng tin thường sử dụng câu lệnh truy vấn Bảng chiều cấu trúc, chứa nhiều cấp để phân hạng liệu Footer Page 30 of 27 Header Page 31 of 27 25 Hình 2.2 Các đối tượng Warehouse Builder Sự phân cấp (Hierarchies) cấu trúc logic để xếp thứ tự mức việc tổ chức liệu Như với bảng chiều thời gian phân cấp với mức tháng, quý năm Các mối quan hệ mức (Level Relationships) rõ trật tự từ xuống mức từ thông tin chung đến riêng, chúng định nghĩa quan hệ cha – mức phân cấp 2.5 Các bước sử dụng Warehouse Builder 2.5.1 Định nghĩa đối tượng nguồn đích Sau hồn tất trình thu thập yêu cầu cho kho liệu, kho liệu chuyên đề, cần thiết kế đối tượng nguồn, nơi cung cấp liệu (chúng CSDL, tệp ứng dụng) đối tượng đích, nơi chứa liệu dùng cho mục đích dự án 2.5.2 Định nghĩa đối tượng để trích lọc, chuyển đổi tải liệu Sau tạo định nghĩa đối tượng lấy liệu Warehouse Builder, phải định nghĩa hoạt động trích lọc, chuyển đổi tải liệu từ đối tượng nguồn đến đối tượng đích 2.5.3 Thẩm định sinh mã Thẩm định việc định nghĩa đối tượng liệu đối tượng ETL nhận dạng vấn đề lỗi nẩy sinh trình triển khai Nếu đối tượng chưa hợp lệ việc sinh mã triển khai khơng thể thực Chúng ta kiểm tra đối tượng việc sinh script thời điểm trình triển khai Footer Page 31 of 27 Header Page 32 of 27 26 2.5.4 Triển khai thực thi Sau thẩm định định nghĩa thiết kế, ta tiến hành vận hành thực việc bảo trì cần thiết hệ thống 2.6 Những ưu điểm bật sử dụng Warehouse Builder Việc tải liệu vào bảng thường thông qua bước tiến trình ETL Ở liệu trích lọc từ liệu gốc đưa vào vùng trung gian làm sạch, kiểm tra lỗi trước đưa vào kho liệu Các liệu tổng hợp tạo hay cập nhật Q trình tốn từ vài đến nhiều ngày đòi hỏi hàng GB đĩa cứng để lưu phiên khác liệu trình xử lý Do thời gian để thực tiến trình ETL tương đối dài nên liệu DWH thường bị trễ, không đáp ứng biến đổi tức thời liệu Để có kho liệu tức thời hay gần tức thời, cần thực công việc sau: Giảm hay loại bỏ thời gian để lấy liệu thay đổi từ hệ thống nguồn Loại bỏ hay giảm thiểu thời gian cần để làm sạch, chuyển đổi tải liệu Giảm thiểu thời gian để cập nhật liệu tổng hợp Từ phiên 9i trở lên, Oracle đưa tính để hỗ trợ kho liệu có tính tức thời Đó là:  Nắm bắt thay đổi liệu (Change Data Capture)  Bảng (External table), hàm bảng (table function), chế đường ống, lệnh MERGE khung nhìn làm tư liệu (materialized view) để làm tươi nhanh liệu 2.6.1 Nắm bắt thay đổi liệu Chức dùng để thực công việc chuyển liệu từ hệ thống nguồn vào DWH (nghĩa phải lấy lại tồn liệu dù có thay đổi hay khơng thay đổi, dù thay đổi hay nhiều) Trước phải tìm cột đánh dấu ghi tạo hay cập nhật lấy ghi sau lần lấy liệu gần Nhưng từ phiên 9i trở đi, Oracle có cách làm tốt gọi “Change Data Capture” Cơ chế cho phép tự động đẩy ghi có thay đổi sang kho liệu Change Data Capture hoạt động nhờ Footer Page 32 of 27 Header Page 33 of 27 27 trigger bảng liệu nguồn Các trigger đẩy thay đổi từ lệnh insert, delete, update vào bảng thay đổi để từ cập nhật vào kho liệu Chính Change Data Capture lấy liệu thay đổi thông qua trigger Phương thức Change Data Capture không đồng xảy với thời gian trễ nhỏ, nên coi gần tức thời Dù việc nắm bắt thay đổi liệu thực đồng hay không đồng bộ, chúng dựa mơ hình phát hành/đăng ký, phát hành nắm bắt thay đổi liệu đăng ký đọc tất hay phần tập thay đổi 2.6.2 Các bảng ngoại, hàm bảng, chế đường ống lệnh MERGE Tính bảng ngoại cho phép nhúng tệp điều khiển SQL*Loader DDL script; tệp tận dụng lợi chế xử lý song song, nối dùng làm đầu vào cho lênh MERGE, để thêm hay cập nhật liệu sang bảng khác câu lênh DML Ngồi việc khơng phải chạy nhiều tiến trình SQL*Loader khác nhau, bảng ngoại giúp đỡ phải tải liệu vào bảng trung gian trình xử lý Các hàm bảng (Table function) dùng q trình làm chuyển đổi liệu thủ tục PL/SQL hay Java Các hàm xử lý liệu riêng lẻ hay liệu từ bảng trả bảng liệu Điều thú vị bảng đầu vào bảng ngoại hay bảng liệu nguồn bị thay đổi, nhờ chuyển dạng liệu theo thời gian thực Ngồi ra, “đường ống hóa” hàm bảng (cơ chế đường ống Oracle cho phép trả ghi từ đầu, trước trình xử lý kết thúc) để kết nối hàm với nhau, buộc chúng chuyển tiếp ghi cho tiến trình tiếp theo, khơng chờ tiến trình kết thúc khởi động tiến trình Sau làm chuyển hóa liệu, bước cập nhật bảng đa chiều Trước đây, điều thực tập hợp lệnh INSERT UPDATE Với Oracle 9i, thực điều bước với lệnh MERGE Hơn thế, gộp tồn q trình chuyển hóa liệu vào lệnh MERGE cách tham chiếu tới bảng ngoại hàm bảng Footer Page 33 of 27 Header Page 34 of 27 28 Ba tính Oracle 9i giúp giảm đáng kể thời gian cần để tải liệu vào kho liệu giảm độ trễ bước nhận liệu nguồn với bước cập nhật bảng đa chiều 2.6.3 Khung nhìn làm tư liệu làm tươi nhanh liệu Trước đây, DBA tạo bảng liệu tổng hợp đơn lẻ để tăng thời gian phản hồi cho lệnh truy vấn người dùng bảng liệu tổng hợp phải xóa tạo lại có liệu tải vào DWH Vì thế, người dùng khơng thể truy cập liệu tổng hợp lúc tiến trình tạo lại thực Với khung nhìn làm tư liệu (Materialized View) Oracle 9i, DBA tạo snapshot table dựa câu lệnh truy vấn đến bảng chi tiết DWH với chế chuẩn bị sẵn nhằm làm tươi snapshot liệu sở thay đổi Khi khung nhìn làm tư liệu gặp số điều kiện, cập nhật snapshot với liệu thay đổi không cần tạo lại từ đầu Điều giảm đáng kể thời gian làm tươi kết tổng hợp cho phép người dùng nhận chúng sớm Footer Page 34 of 27 Header Page 35 of 27 29 Chương III ỨNG DỤNG DATA WAREHOUSE XÂY DỰNG HỆ THỐNG BÁO CÁO THỐNG KÊ CHO NGÂN HÀNG NHÀ NƯỚC Hiện Ngân hàng Nhà nước Việt Nam (NHNN) có hệ thống thu thập thơng tin từ Tổ chức tín dụng (TCTD) bao gồm Ngân hàng, tổ chức tài (cơng ty tài chính, cơng ty bảo hiểm, cơng ty chứng khoán,…) Theo định kỳ (năm, quý, tháng, ngày), TCTD gửi liệu báo cáo Cục Công nghệ Tin học (CNTH) NHNN phần mềm Báo cáo Thống kê (BCTK) Báo cáo tài (BCTC) Cục CNTH nơi tổng hợp liệu, tạo báo cáo nghiệp vụ phục vụ cho Vụ, Cục Ngân hàng Trung ương (NHTW) khai thác Nhu cầu có kho liệu với đặc điểm như: tổ chức liệu đa chiều, quán, xác tích luỹ theo thời gian cho phép đơn vị sử dụng truy xuất thông tin cố định đột xuất cách dễ dàng thuận lợi để cung cấp thông tin hỗ trợ định NHNN cấp thiết Vì vậy, xây dựng kho liệu (DWH) tập trung NHTW, trước hết tránh tản mát liệu, tập hợp khai thác cách triệt để hiệu nguồn thơng tin có NHNN qua mạng cục truy nhập từ xa qua mạng WAN NHNN dựa WEB giải pháp thích hợp Đây sở cung cấp thông tin đầy đủ cho quản lý, điều hành NHTW chi nhánh NHNN 3.1 Mơ hình nghiệp vụ hệ thống Báo cáo thống kê NHNN 3.1.1 Sơ đồ luồng thông tin hệ thống Báo cáo thống kê Các tổ chức tham gia vào hệ thống thông tin BCTK NHNN mô tả hình 3.1 Trong bao gồm: − Ngân hàng Trung Ương − Cục Công nghệ thông tin − Các chi nhánh Ngân hàng Nhà nước − Các chi nhánh hội sở Tổ chức tín dụng Footer Page 35 of 27 Header Page 36 of 27 30 Theo định kỳ (năm, quý, tháng ngày), Tổ chức tín dụng hội sở Tổ chức tín dụng cần gửi số liệu báo cáo thống kê chi nhánh NHNN Các chi nhánh NHNN tập hợp báo cáo gửi Cục CNTH thông qua phần mềm BCTK có theo mã tiêu phần mềm Báo cáo tài theo hệ thống tài khoản văn NHNN qui định Tại Cục CNTH tiến hành tổng hợp liệu theo yêu cầu nghiệp vụ đặt để Vụ, Cục đơn vị trực thuộc MHTW khai thác, sử dụng Cục Cơng nghệ Tin học NHTW Chi nhánh NHNN Chi nhánh & Hội sở TCTD Chi nhánh NHNN Chi nhánh & Hội sở TCTD Hình 3.1 Sơ đồ mơ tả luồng thơng tin báo cáo hệ thống NHNN 3.1.2 Hệ thống tiêu Báo cáo thống kê a Khái quát hệ thống tiêu Các tiêu hệ thống báo cáo thống kê xây dựng mã hóa thống tồn ngành Đó hệ thống phân cấp theo hoạt động nghiệp vụ: mã tiêu phân chia thành lĩnh vực, lĩnh vực lại gồm nhiều nhóm tiêu khác nhau, nhóm lại chia thành phân nhóm phân nhóm bao gồm tiêu cụ thể [3] (xem bảng phụ lục III) Footer Page 36 of 27 Header Page 37 of 27 31 − Có 13 nhóm tiêu nghiệp vụ nhóm tiêu cho hoạt động tín dụng, huy động vốn, kho quỹ,… Mỗi nhóm ký hiệu bắt đầu chữ A, B, C … − Mỗi nhóm chia thành phân nhóm khơng q 05 ký tự phân nhóm A0101, phân nhóm G01, H01… − Mỗi phân nhóm gồm nhiều tiêu báo cáo Một loạt tiêu khác liên quan đến hoạt động quản lý (xem bảng phụ lục), danh mục (loại tiền tệ, loại tài sản, loại hình tổ chức danh mục, ), kỳ báo cáo, Các loại tiêu nghiệp vụ sử dụng cho báo cáo để thu thập thông tin từ sở Các tiêu liên quan đến hoạt động quản lý chủ yếu dùng cho báo cáo tổng hợp từ tổ chức quản lý tài liệu phân tích phục vụ cho việc định b Cấu trúc mã tiêu Bộ mã tiêu chia làm ba loại:  Loại 1: mã tiêu độc lập  Không phụ thuộc vào mã số thống kê mã số phát sinh TCTD  Giá trị tiêu số Ví dụ:  E010102: Số lượng tổ chức kinh tế làm đại lý chi trả ngoại tệ kiều hối địa bàn  A050510: Dư nợ tín dụng hạn VND đảm bảo giá trị theo vàng  Loại 2: mã tiêu phụ thuộc vào mã số thống kê  Mã tiêu phụ thuộc vào mã số thống kê  Giá trị tiêu số Các tiêu loại cấu trúc theo cách:  Các mã số thống kê ghép vào cuối mã tiêu như: Footer Page 37 of 27 Header Page 38 of 27 32 A010111xxyyyy: dư nợ tín dụng ngắn hạn hạn loại tiền xx ngành kinh tế yyyy  Các mã số thống kê chèn vào mã tiêu như: K0101xxxxyy0006: tổng giá trị giấy tờ có giá loại xxxx theo tiền yy nắm giữ  Loại 3: mã tiêu phụ thuộc vào mã số thống kê mã số phát sinh  Phụ thuộc vào mã số thống kê mã phát sinh  Giá trị khác số Các tiêu loại cấu trúc theo cách:  Mã số thống kê ghép vào cuối mã tiêu L0101: mã số tiêu xử lý tài sản đảm bảo L010601xxxx: tên khách hàng thứ xxxx có tài sản đảm bảo xử lý L010602xxxx: địa khách hàng thứ xxxx có tài sản đảm bảo xử lý … L010605xxxx: giá trị tài sản khách hàng thứ xxxx ghi biên nhận tài sản đảm bảo  Mã số thống kê ghép vào mã tiêu K0102xxxxyyzz01: Mã hệ thống TCTD bán giấy tờ có giá loại xxxx theo loại tiền yy zz 3.1.3 Hệ thống tài khoản kế toán Tài khoản kế toán (TKKT) phương pháp đặc trưng kế tốn nhằm phân loại hệ thống hóa nghiệp vụ kinh tế phát sinh theo nội dung kinh tế Trên sở đó, kế tốn dễ dàng thực cung cấp thông tin theo yêu cầu người sử dụng thông tin Hệ thống TKKT danh mục TKKT sử dụng đơn vị kế toán hướng dẫn hạch toán tài khoản Hệ thống tài khoản kế tốn TCTD gồm tài khoản bảng cân đối kế toán tài khoản ngồi bảng cân đối kế tốn [7,8], bố trí thành loại: Footer Page 38 of 27 Header Page 39 of 27 33 − Các tài khoản bảng cân đối kế toán gồm loại (từ loại đến loại 8) − Các tài khoản ngồi bảng cân đối kế tốn có loại (loại 9) Các tài khoản bảng cân đối kế tốn tài khoản ngồi bảng cân đối kế tốn bố trí theo hệ thống số thập phân nhiều cấp, từ tài khoản cấp I đến tài khoản cấp III, ký hiệu từ đến chữ số − Tài khoản cấp I ký hiệu chữ số từ 10 đến 99 Mỗi loại tài khoản bố trí tối đa 10 tài khoản cấp I − Tài khoản cấp II ký hiệu chữ số, hai số đầu (từ trái sang phải) số hiệu tài khoản cấp I, số thứ số thứ tự tài khoản cấp II tài khoản cấp I, ký hiệu từ đến - Tài khoản cấp III ký hiệu chữ số, ba số đầu (từ trái sang phải) số hiệu tài khoản cấp II, số thứ số thứ tự tài khoản cấp III tài khoản cấp II, ký hiệu từ đến Các tài khoản cấp I, II, III tài khoản tổng hợp Thống đốc Ngân hàng Nhà nước quy định, dùng làm sở để hạch tốn kế tốn Tổ chức tín dụng 3.1.4 Nội dung báo cáo thống kê Theo định kỳ, đơn vị sở gửi Cục CNTH báo cáo theo nội dung quy định cho đối tượng Đối với liệu thống kê gửi từ đơn vị lên Cục CNTH lưu vào bảng TBLTHONGKE [4] CSDL BCTK Cấu trúc bảng TBLTHONGKE sau: − MADONVI: mã đơn vị báo cáo − CHITIEUID: Mã tiêu (theo qui định NHNN theo phụ lục bên dưới) − NGAYSL: Ngày số liệu − DINHKYBC: Định kỳ báo cáo Footer Page 39 of 27 Header Page 40 of 27 34 − GIATRI: Giá trị tiêu báo cáo − NGAYNHAP: ngày cập nhật Tệp báo cáo có đặc trưng sau đây: a Tên tệp BCyymmdd.Axxxxxxxx Ý nghĩa thành phần thuộc tên tệp TT Ký tự Ý nghĩa BC Tệp báo cáo yymmdd Ngày tháng năm gửi Ví dụ 30/11/2004 => 041130 TÀI LIỆU THAM KHẢO Tiếng Việt Vũ Đức Thi, Lê Hải Khôi (1999) “Một số nguyên lý hoạt động kho liệu”, Tạp chí: Tin học điều khiển học, 2:15, tr 27-32 Ngân hàng Nhà nước Việt Nam (2004), Quyết định số 477/2004/QĐ-NHNN ngày 28/4/2004 Thống đốc Ngân hàng Nhà nước Về việc ban hành Chế độ báo cáo thống kê áp dụng đơn vị thuộc Ngân hàng Nhà nước tổ chức tín dụng Ngân hàng Nhà nước Việt Nam (2004), Công văn 507/CV-THNH ngày 20 tháng 07 năm 2004 Cục CNTH việc Hệ thống bảng mã tiêu Ngân hàng Nhà nước Việt Nam (2004), Công văn 507/CV-THNH ngày 20 tháng 07 năm 2004 Cục CNTH việc Hệ thống qui định cấu trúc file BCTK Ngân hàng Nhà nước Việt Nam (2004), Tập báo cáo thống kê hướng dẫn cách lập báo cáo theo định 477 Footer Page 40 of 27 Header Page 41 of 27 35 Ngân hàng Nhà nước Việt Nam (2005), Quyết định 1747/2005/QĐ-NHNN về việc sửa đổi, bổ sung số điều Chế độ báo cáo thống kê áp dụng đơn vị thuộc Ngân hàng Nhà nước tổ chức tín dụng Ngân hàng Nhà nước Việt Nam (2006), Công văn 881/CV-CNTH Hệ thống qui định tên file định dạng liệu cân đối Ngân hàng Nhà nước Việt Nam (2004), Quyết định số 479/2004/QĐ-NHNN việc ban hành Hệ thống tài khoản kế toán tổ chức tín dụng Nguyễn Anh Tuấn (2007), “Triển khai kho liệu tức thời với Oracle 10g”, http://www.sbv.gov.vn Tiếng Anh 10 Barry Devlin (1997) Data Warehouse From Architecturre to Implementation, Addison Wesley 11 DIEGO CALVANESE, GIUSEPPE DE GIACOMO, MAURIZIO LENZERINI, DANIELE NARDI and RICCARDO ROSATI (2001), Data integration in Data Warehousing, International Journal of Cooperative Information Systems 12 Matthias Jarke, Maurizio Lenzerini, Yannis Vassiliou, and Panos Vassiliadis (2000), Fundamentals of Data Warehouses, Springer 13 Paulraj ponniah (2001), Data warehousing fundamentals: A compprehensive Guide for IT Professionals, John Wiley & Sons, INC 14 W H Inmon (2002), Building the Data Warehouse, Wiley Computer Publishing 15 Oracle Corporation (2003), Oracle Warehousse Builder Guide 9i Release 2, USA 16 Oracle Corporation (2007), Oracle Warehousse Builder Guide 11g Release 1, USA Footer Page 41 of 27 Header Page 42 of 27 Footer Page 42 of 27 36 ... vĩ mô nhà nước tiền tệ cách hiệu Vì đề tài Kho liệu ứng dụng xây dựng hệ thống liệu trợ giúp định sách tiền tệ quốc gia chọn làm đề tài luận văn tốt nghiệp Mục tiêu đề tài Vận dụng sở lý thuyết... chuyển vào kho liệu sau đưa vào CSDL ứng dụng trước đưa vào CSDL kho liệu 1.1.2.4 Gắn với thời gian Đối với kho liệu, yếu tố thời gian gắn liền với liệu Điều nghĩa liệu ghi lại theo thời gian lưu... với thời gian ổn định thiết kế cho việc hỗ trợ trình định người quản lý”[10] Về chất, kho liệu hướng vào việc cung cấp kiến trúc, công cụ để phát triển liệu hệ thống hỗ trợ định Dữ liệu phát