3.2.4.4 Nạp dữ liệu
Quá trình nạp dữ liệu từ các 5 nguồn dữ liệu vào kho dữ liệu được thực hiện thông qua việc thiết kế các ánh xạ dữ liệu. Các anh xạ dữ liệu này thoả mãn các luật dữ liệu đã được thiết kế ở trên.
3.2.5 Lược đồ quan hệ giữa các bảng trong kho dữ liệu
Sau thao tác trích chọn, làm sạch chuyển đổi và nạp dữ liệu ta đã có một kho dữ liệu chứa dữ liệu sạch về thông tin khách hàng, thông tin thuê bao, thông tin về hoá đơn cước, thông tin về chấm xoá nợ và thông tin về đối soát cước với các doanh nghiệp viễn thông khác. Lược đồ quan hệ giữa các bảng trong kho dữ liệu thể hiện như hình 22:
Hình 22. Lược đồ quan hệ giữa các bảng trong kho dữ liệu Các bảng dữ liệu trên đã được chuẩn hoá theo chuẩn 3NF. Các bảng dữ liệu trên đã được chuẩn hoá theo chuẩn 3NF.
3.2.6 Xây dựng kho dữ liệu chủ đề
Từ kho dữ liệu chung này sẽ tách ra các kho dữ liệu chủ đề phục vụ báo cáo:
Chủ đề phát triển thuê bao
Chủ đề đối soát cước
Cấu trúc các kho dữ liệu chủ đề như hình 23:
Hình 23. Cấu trúc các kho dữ liệu chủ đề
3.2.7 Xây dựng khối dữ liệu nhiều chiều
Xuất phát từ nhu cầu báo cáo kinh doanh của Công ty, trong luận văn sẽ thiết kế các bảng dữ liệu chiều và các bảng sự kiện.
Trong cửa số chính, tạo một bảng chiều mới của module đích:
Kho dữ liệu chung
Thuê bao Doanh thu Công nợ Đối soát Kho dữ liệu chủ đề Khối dữ liệu nhiều chiều
Hình 24. Tạo đối tượng chiều Tạo đối tượng chiều: KIEUTHANHTOAN Tạo đối tượng chiều: KIEUTHANHTOAN
Hình 25. Tạo đối tượng chiều KIEUTHANHTOAN Chọn kiểu lưu trữ: Chọn kiểu lưu trữ:
Hình 26. Chọn kiểu lưu trữ Khai báo các thuộc tính: Khai báo các thuộc tính:
Hình 27. Khai báo thuộc tính cho đối tượng chiều Hoàn thành quá trình tạo đối tượng chiều KIEUTHANHTOAN: Hoàn thành quá trình tạo đối tượng chiều KIEUTHANHTOAN:
Hình 28. Hoàn thành bước tạo đối tượng chiều Tương tự như vậy, ta tạo các đối tượng chiều: Tương tự như vậy, ta tạo các đối tượng chiều:
DOITAC (ID,ma_doitac, ten_doitac )
DONVIQL (ID, ma_donvi, ten_donvi, ma_donvicaptren) LOAITB (ID, ma_loaitb, ten_loaitb)
TRANGTHAI (ID, ma_trangthai, ten_trangthai) TIME(day, month, quarter, year)
Trong module đích tạo các khối dữ liệu: PHATTRIEN_THUEBAO, DOANHTHU, CONGNO, THANHKHOAN:
Hình 29. Tạo các khối dữ liệu
Khối phân tích tình hình phát triển thuê bao PHATTRIEN_THUEBAO bao gồm đơn vị đo lường ‘so_luong’ và các chiều DONVIQL, LOAITB, TRANGTHAI và chiều TIME. Khối này cho phép người dùng phân chia số lượng thuê bao theo các tiêu chí về đơn vị quản lý thuê bao, loại thuê bao, trạng thái thuê bao và thời gian. Quan hệ giữa các bảng chiều trong khối này được thể hiện bằng lược đồ hình sao:
Hình 30. Lược đồ hình sao khối phattrien_thuebao
Khối phân tích tình hình phát triển doanh thu DOANHTHU bao gồm đơn vị đo lường ‘doanhthu’ và các chiều DONVIQL, LOAITB và chiều TIME. Khối này cho phép người dùng phân chia doanh thu theo các tiêu chí về đơn vị quản lý thuê bao, loại thuê bao và thời gian. Quan hệ giữa các bảng chiều trong khối này được thể hiện bằng
lược đồ hình
sao:
Hình 31. Lược đồ hình sao khối doanhthu
Khối phân tích tình hình công nợ CONGNO bao gồm các đơn vị đo lường ‘dt_dauky’, ‘dt_phaithu’, ‘dt_dathu’ và các chiều DONVIQL và TIME. Khối này cho
phép người dùng phân chia công nợ theo các tiêu chí về đơn vị quản lý thuê bao và thời gian. Quan hệ giữa các bảng chiều trong khối này được thể hiện bằng lược đồ hình sao:
Hình 32. Lược đồ hình sao khối congno
Khối phân tích doanh thu đối soát cước của EVNTelecom và các doanh nghiệp viễn thông khác: THANHKHOAN bao gồm đơn vi đo lường ‘dt_thanhkhoan’ và các chiều DOITAC, KIEUTHANHTOAN, TIME.Quan hệ giữa các bảng chiều trong khối này được thể hiện bằng lược đồ hình sao:
3.3 Khai thác kho dữ liệu
Để khai thác kho dữ liệu em thực hiện xây dựng “Hệ thống báo cáo trực tuyến”kết nối vào kho dữ liệu xuất ra các báo cáo tình hình kinh doanh của Công ty.
Trong thời gian giới hạn của luận văn, hiện nay hệ thống em xây dựng xuất được các loại báo cáo sau:
Báo cáo tình hình tăng trưởng doanh thu cước
Báo cáo số lượng thuê bao phát sinh mới
Báo cáo số lượng thuê bao tạm ngưng, khôi phục, cắt, thanh lý, chặn 1 chiều nợ cước
Báo cáo tăng giảm số liệu thuê bao, số hoá đơn/số tiền chuyển đơn vị quản lý
Báo cáo tăng giảm doanh thu chấm nợ cước
Báo cáo tăng giảm tỷ lệ thu nợ cước; số tiền chuyển nợ khó đòi
Báo cáo tăng giảm doanh thu nhận/trả các doanh nghiệp viễn thông khác
a. Giao diện chính của chương trình
b. Báo cáo tăng trường thuê bao CDMA
Hình 35. Báo cáo tăng trưởng thuê bao CDMA
c. Báo cáo tăng trưởng doanh thu CDMA
d. Báo cáo tăng trưởng thuê bao 3G
Hình 37. Báo cáo tăng trưởng thuê bao 3G
e. Báo cáo tăng trưởng doanh thu 3G
f. Báo cáo so sánh doanh thu giữa các tháng
Hình 39. Báo cáo so sánh doanh thu giữa các tháng
g. Báo cáo công nợ
KẾT LUẬN
Bài toán xây dựng kho liệu là một đề tài không mới, tuy nhiên bài toán này đã đáp ứng được yêu cầu thực tế tại Công ty Thông tin Viễn thông Điện lực. Trong quá làm luận văn em đã nghiên cứu được mô hình, kiến trúc của kho dữ liệu, các bước xây dựng kho dữ liệu và nghiên cứu các phương pháp làm sạch dữ liệu.
Các lý thuyết trên em áp dụng vào xây dựng kho dữ liệu cước khách hàng, tích hợp từ 5 nguồn dữ liệu khác nhau tại Công ty. Như đã đề cập ở trên, quá trình làm sạch dữ liệu rất quan trọng và đòi hỏi phải tập trung rất nhiều thời gian, công sức, kinh nghiệm và chi phí. Trong thời gian làm luận văn em đã tìm hiểu những giải pháp làm sạch dữ liệu điển hình và nghiên cứu công nghệ Warehouse Builder của Oracle, một bộ công cụ trực quan, có kèm giao diện Web cho quá trình xây dựng và duy trì hệ thống. Đồng thời, khai thác những hỗ trợ mà Oracle cung cấp cho bài toán làm sạch dữ liệu từ đó xây dựng kho dữ liệu chủ đề với cấu trúc đa chiều phục vụ cho việc xây dựng các báo cáo.
Phần khai thác kho dữ liệu, em đã xây dựng hệ thống báo cáo kết nối đến kho dữ liệu chủ đề, trích xuất ra các báo cáo về tình hình tăng trưởng thuê bao, doanh thu…Căn cứ vào các báo cáo này ban Giám độc và phòng Kinh doanh có thể ra các chiến lược kinh doanh hiệu quả.
Do hạn chế về thời gian làm luận văn nên kho dữ liệu cước hiện tại mới tích hợp được 5 nguồn dữ liệu là các cơ sở dữ liệu quan hệ. Hướng phát triển trong tương lai, kho dữ liệu cước khách hàng sẽ tích hợp các nguồn dữ liệu đa dạng khác như: cước internet, số liệu quản lý thiết bị, thông tin quản lý điều hành mạng…Ngòai ra còn tích hợp các kiểu dữ liệu khác như kiểu file,…
TÀI LIỆU THAM KHẢO
[1]Bùi Thị Thu Hồng (2009), Kỹ thuật làm sạch dữ liệu và sử dụng bộ công cụ Oracle Warehouse Builder để xây dựng một hệ thống làm sạch thông qua quá trình ETL, Đồ án tốt nghiệp khoa Công nghệ thông tin, trường Đại học Bách Khoa Hà Nội, tr 23-29, tr. 54-59
[2]Hà Quang Thụy (2010), Kho dữ liệu và khai phá dữ liệu. Bài giảng môn học khoa Công nghệ thông tin, trường Đại học Công nghệ, Chương 3.
[3]John Wiley (2001), Data warehousing fundamentals, Wiley-Interscience Publication, pp.19-60
[4]Jiawei Han and Micheline Kamber (2006), Data Mining: Concepts and Techniques, Morgan Kaufmann Publishers, pp.130-134
[5]Teh Ying Wah, Ng Hooi Peng, and Ching Sue Hok (2007), Building Data Warehouse, Department of Information Science University Malaya, pp. 5.2-5.3 [6]Erhard Rahm (2005), Data Cleaning: Problems and Current Approaches,
University of Leipzig Germany, pp. 2-5
[7]Jenny Tsai (2007), Business Intelligence Standard Edition One Tutorial, Oracle, pp. A.1-A.4
[8]http://www.oracle.com/technetwork/developer-
tools/warehouse/downloads%20/ %20software/index.html, Warehouse Builder Documentation, Oracle.