Thiết kế và triển khai kho dữ liệu khách hàng sử dụng dịch vụ viễn thông của tổng công ty bưu chính viễn thông việt nam (VNPT)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN TRUNG THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG CỦA TỔNG CÔNG TY BƯU CHÍNH VIỄN THÔNG VIỆT NAM (VNPT) LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2008 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN TRUNG THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG CỦA TỔNG CÔNG TY BƯU CHÍNH VIỄN THÔNG VIỆT NAM (VNPT) Chuyên ngành: Công nghệ thông tin Mã số: 1 01 10 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Người hướng dẫn khoa học: PGS.TS. Đặng Hữu Đạo HÀ NỘI - 2008 1 MỤC LỤC MỤC LỤC 1 DANH SÁCH HÌNH VẼ 3 CÁC THUẬT NGỮ VÀ VIẾT TẮT 5 MỞ ĐẦU 6 Chƣơng 1: TỔNG QUAN 8 1.1. Thị trường viễn thông 8 1.2. Dữ liệu ngành viễn thông 9 1.3. Mục tiêu của luận văn 10 1.4. Phạm vi của luận văn 10 1.5. Công cụ thực hiện 10 1.6. Phương pháp xây dựng kho dữ liệu 12 Chƣơng 2: TỔNG QUAN VỀ DATA WAREHOUSE 15 2.1. Định nghĩa kho dữ liệu 15 2.2. Đặc tính của kho dữ liệu 16 2.3. Kho dữ liệu và các cơ sở dữ liệu 17 2.4. Lợi ích của kho dữ liệu 18 2.5. Kho dữ liệu hiện nay 18 2.6. Xu hướng tương lai của kho dữ liệu 20 2.7. Kiến trúc của kho dữ liệu 22 2.7.1. Nguồn dữ liệu 23 2.7.2. Công cụ trích xuất chuyển đổi và nạp dữ liệu (ETL) 24 2.7.3. Siêu dữ liệu 24 2.7.4. Kho dữ liệu chủ đề 25 2.7.5. Các công cụ truy vấn, tạo báo cáo, phân tích dữ liệu 26 2.8. Tổ chức dữ liệu lôgíc 26 2.8.1. Lược đồ kho dữ liệu 26 2.8.2. Mô hình dữ liệu đa chiều 28 2.8.3. Bảng sự kiện 29 2.8.4. Bảng chiều 30 2.8.5. Bảng sự kiện tổng hợp 30 2.9. Tổ chức dữ liệu vật lý 31 2.9.1. Phân vùng 31 2.9.2. Chỉ mục 31 Chƣơng 3: PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG 33 3.1. Phân tích 33 3.1.1. Tìm hiểu hệ thống nguồn CCBS 33 3.1.2. Xác định yêu cầu phân tích 37 3.2. Thiết kế 42 3.2.1. Kiến trúc của kho dữ liệu 43 3.2.2. Thiết kế mô hình dữ liệu 45 2 3.2.2. Thiết kế mô hình vật lý 72 3.2.4. Thiết kế trích xuất chuyển đổi nạp dữ liệu 84 3.2.5. Thiết kế công cụ báo cáo, tra cứu động 92 3.2.6. Thiết kế công cụ quản trị hệ thống 99 3.3. Cài đặt, triển khai 101 3.3.1. Cài đặt hệ thống 101 3.3.2. Triển khai 101 Chƣơng 4: KẾT QUẢ VÀ HƢỚNG PHÁT TRIỂN 103 4.1. Kết quả 103 4.2. Giao diện chương trình 103 4.3. Báo cáo phân tích 107 4.4. Hướng phát triển của đề tài 115 KẾT LUẬN VÀ KIẾN NGHỊ 117 TÀI LIỆU THAM KHẢO 118 Phụ lục 1: SƠ ĐỒ CSDL BẢNG SỰ KIỆN CỦA DWH 119 Phụ lục 2: LỆNH SCRIPT CỦA CÁC ÁNH XẠ ETL SẢN SINH TỪ OWB 125 Phụ lục 3: CÂU LỆNH SQL LẤY DỮ LIỆU CỦA CÁC BÁO CÁO PHÂN TÍCH131 3 DANH SÁCH HÌNH VẼ Hình 1. Mô hình thác nước với thiết lập cơ sở hạ tầng và quản lý dự án 12 Hình 2. Định nghĩa DWH 15 Hình 3. Kiến trúc DWH cơ bản 22 Hình 4. Kiến trúc DWH với Staging Area 23 Hình 5. Kiến trúc kho dữ liệu với Staging Area và Data Mart 23 Hình 6. Lược đồ hình sao 27 Hình 7. Lược đồ bông tuyết rơi 28 Hình 8. Mô hình đa chiều 28 Hình 9. Hệ thống CCBS tổng thể 34 Hình 10. Kiến trúc của DWH thử nghiệm 43 Hình 11. Sơ đồ kho dữ liệu Bán hàng 46 Hình 12. Chiều thời gian 47 Hình 13. Phân cấp thời gian 48 Hình 14. Chiều dịch vụ viễn thông 48 Hình 15. Chiều khách hàng 49 Hình 16. Chiều kênh giao tiếp 50 Hình 17. Chiều điểm giao dịch 51 Hình 18. Phân cấp điểm giao dịch 51 Hình 19. Chiều địa chỉ 52 Hình 20. Phân cấp địa chỉ 52 Hình 21. Chiều kiểu yêu cầu 53 Hình 22. Chiều khuyến mãi 53 Hình 23. Sơ đồ kho dữ liệu Phát triển thuê bao 54 Hình 24. Chiều thuê bao 55 Hình 25. Chiều đơn vị quản lý 56 Hình 26. Chiều đối tượng khách hàng 56 Hình 27. Sơ đồ kho dữ liệu chủ đề Điều hành thi công 57 Hình 28. Chiều hướng giao 57 Hình 29. Sơ đồ kho dữ liệu Khiếu nại 58 Hình 30. Chiều nhóm khiếu nại 58 Hình 31. Sơ đồ kho dữ liệu Xử lý khiếu nại 59 Hình 32. Chiều kết quả khiếu nại 60 Hình 33. Sơ đồ kho dữ liệu Cước khách hàng 60 Hình 34. Chiều mã vùng 61 Hình 35. Chiều kiểu dịch vụ 62 Hình 36. Chiều đối tượng khách hàng 63 Hình 37. Sơ đồ kho dữ liệu tổng hợp cước khách hàng 63 Hình 38. Chiều thanh toán 64 Hình 39. Chiều khoản mục cước 65 Hình 40. Sơ đồ kho dữ liệu thanh toán nợ khách hàng 65 Hình 41. Chiều hình thức thanh toán 66 Hình 42. Sơ đồ kho dữ liệu nợ cước khách hàng 66 Hình 43. Sơ đồ kho dữ liệu nhắc nợ cước khách hàng 67 Hình 44. Sơ đồ kho dữ liệu khóa mở nợ cước 67 Hình 45. Sơ đồ kho dữ liệu xử lý nợ cước 68 Hình 46. Chiều hình bước xử lý nợ 68 4 Hình 47. Sơ đồ kho dữ liệu báo hỏng 69 Hình 48. Chiều tình trạng 69 Hình 49. Sơ đồ kho dữ liệu xử lý báo hỏng 70 Hình 50. Chiều nguyên nhân 70 Hình 51. Sơ đồ kho dữ liệu sử dụng dịch vụ viễn thông 71 Hình 52. Sơ đồ kho dữ liệu sử dụng dịch vụ gia tăng 71 Hình 53. Kiến trúc vật lý kho dữ liệu viễn thông 72 Hình 54. Mô hình quan hệ bán hàng 74 Hình 55. Bảng thống kê cuộc gọi theo giờ bắt đầu. 79 Hình 56. Bảng thống kê cuộc gọi theo dịch vụ. 80 Hình 57. Bảng thống kê cuộc gọi theo mã vùng. 80 Hình 58. Bảng thống kê doanh thu 80 Hình 59. Bảng thống kê tiền nợ cước 81 Hình 60. Bảng thống kê tiền thanh toán 81 Hình 61. Bảng tổng hợp cước sử dụng khách hàng 82 Hình 62. Bảng tổng hợp tiền nợ khách hàng 82 Hình 63. Bảng tổng hợp tiền thanh toán khách hàng 82 Hình 64. Sơ đồ ánh xạ DICHVU_VT_MAP 85 Hình 65. Sơ đồ ánh xạ DIACHI_MAP 86 Hình 66. Sơ đồ ánh xạ KIEU_YC_MAP 86 Hình 67. Sơ đồ ánh xạ KHACHHANG_MAP 86 Hình 68. Sơ đồ ánh xạ THANHTOAN_MAP 87 Hình 69. Sơ đồ ánh xạ THUEBAO_MAP 87 Hình 70. Sơ đồ ánh xạ DANGKY_DVVT_MAP 87 Hình 71. Sơ đồ ánh xạ PHATTRIEN_TB_MAP 88 Hình 72. Sơ đồ ánh xạ DIEUHANH_TC_MAP 88 Hình 73. Sơ đồ ánh xạ KHIEUNAI_MAP 89 Hình 74. Sơ đồ ánh xạ XL_KHIEUNAI_MAP 89 Hình 75. Sơ đồ ánh xạ BAOHONG_MAP 89 Hình 76. Sơ đồ ánh xạ XL_BAOHONG_MAP 90 Hình 77. Sơ đồ ánh xạ CT_CUOC_KH_MAP 90 Hình 78. Sơ đồ ánh xạ TH_CUOC_KH_MAP 90 Hình 79. Sơ đồ ánh xạ CT_NO_KH_MAP 91 Hình 80. Sơ đồ ánh xạ CT_TTNO_KH_MAP 91 Hình 81. Sơ đồ ánh xạ SUDUNG_DVVT_MAP 91 Hình 82. Mô hình báo cáo truyền thống 92 Hình 83. Mô hình báo cáo từ xa sử dụng Webservice 93 Hình 84. Kiến trúc và công nghệ hệ thống báo cáo, tra cứu 94 Hình 85. Mô hình cở sở dữ liệu của hệ thống báo cá, tra cứu 95 Hình 86. Mô hình cở sở dữ liệu của công cụ quản trị hệ thống 100 Hình 87. Giao diện chính 104 Hình 88. Giao diện định nghĩa báo cáo và tra cứu 104 Hình 89. Giao diện chung hiển thị báo cáo 104 Hình 90. Giao diện tra cứu động 105 Hình 91. Giao diện cấu hình form nhập dữ liệu từ điển 105 Hình 92. Giao diện chung nhập dữ liệu từ điển 106 Hình 93. Giao diện định nghĩa quyền 106 Hình 94. Giao diện phân quyền cho nhóm người dùng 107 5 CÁC THUẬT NGỮ VÀ VIẾT TẮT  BI (Business Intelligence): Quản trị doanh nghiệp thông minh.  CCBS (Customer Care and Billing System): Hệ thống Tính cước và Chăm sóc khách hàng.  CDI (Customer Data Integration): Tích hợp dữ liệu khách hàng.  CSDL: Cơ sở dữ liệu.  CRM (Customer relationship management): Quản lý mối quan hệ với khách hàng.  DM (Data mart): Kho dữ liệu chủ đề.  DOLAP (Database Online Analytical Processing): Xử lý phân tích trực tuyến CSDL.  DWH (Data Warehouse): Kho dữ liệu.  EIS (Executive Information System): Hệ thống thông tin điều hành.  ETL (Extract Transform Load): Trích xuất chuyển đổi dữ liệu.  HOLAP (Hybric Online Analytical Processing): Xử lý phân tích trực tuyến kết hợp.  MDM (Master Data Management): Quản lý dữ liệu chủ.  MOLAP (Multi dimensional Online Analytical Processing): Xử lý phân tích trực tuyến đa chiều.  ODS (Operational data store): Kho dữ liệu vận hành.  OLTP (Online Transaction Processing): Xử lý giao dịch trực tuyến.  OLAP (Online Analytical Processing): Xử lý phân tích trực tuyến.  OWB (Oracle Warehouse Builder): Công cụ xây dựng kho dữ liệu của Oracle.  SOA (Service-Oriented Architecture): Kiến trúc hướng dịch vụ.  ROLAP (Relational Online Analytical Processing): Xử lý phân tích trực tuyến quan hệ  VNPT (Vietnam Posts and Telecommunications Group): Tập đoàn Bưu chính Viễn thông Việt nam.  VLDB (Very large DB): Cơ sở dữ liệu rất lớn. [...]... chuyển dữ liệu chính tới những hệ thống khác  Tích hợp dữ liệu khách hàng: Tích hợp dữ liệu khách hàng (CDI- Customer Data Integration) là MDM cho dữ liệu khách hàng CDI là một quá trình chiết, làm sạch, lưu trữ, duy trì, và phân phối dữ liệu của khách hàng CDI hệ thống chiết dữ liệu khách hàng từ hệ thống OLTP, làm sạch nó, lưu trữ trong một kho dữ liệu khách hàng chính, duy trì dữ liệu của khách hàng, ... toán nợ, quá trình sử dụng các dịch vụ, thu nhập Thông thường dữ liệu khách hàng phải được kết hợp với các dữ liệu khác, (ví dụ như dữ liệu chi tiết cuộc gọi) trong khi sử dụng data mining 1.3 Mục tiêu của luận văn Xây dựng và triển khai DWH khách hàng sử dụng dịch vụ viễn thông cho Viễn thông tỉnh dựa trên việc tìm hiểu và phân tích hệ thống nguồn CCBS mà các viễn thông tỉnh đang sử dụng nhằm hỗ trợ... lớn (large) và tĩnh (static) 33 Chƣơng 3: PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG Tóm lược nội dung: Nội dung chính của chương này bao gồm: Tìm hiểu hệ thống nguồn CCBS; xác định yêu cầu phân tích; thiết kế mô hình dữ liệu dựa trên yêu cầu phân tích và CSDL của hệ thống nguồn CCBS; thiết kế mô hình vật lý; thiết kế trích xuất chuyển đổi và nạp số liệu từ hệ... Siêu dữ liệu  Khái niệm o Siêu dữ liệu (metadata) là thành phần cơ bản để xây dựng và quản lí một kho dữ liệu o Trước khi một kho dữ liệu có thể được truy cập một cách có hiệu quả, thực sự là cần thiết để hiểu, dữ liệu gì sẵn có trong kho dữ liệu, và chúng lưu trữ ở đâu o Dữ liệu miêu tả quá trình xây dựng, quản lí và hoạt động của kho dữ liệu 25 o Siêu dữ liệu được lưu trữ trong một kho chứa và được... tất cả các thành phần của kho dữ liệu  Sự quan trọng của siêu dữ liệu o Rất quan trọng trong kho dữ liệu o Không phải là dữ kiện phân tích o Là chìa khóa quyết định sự thành công của kho dữ liệu o Là thành phần luôn được thay đổi, cấp nhật theo sự phát triển của kho dữ liệu o Dùng để quản lý, điều khiển kho dữ liệu  Sự hình thành siêu dữ liệu o Trong quá trình xây dựng kho dữ liệu  Sản sinh một cách... trong kho dữ liệu được tập trung theo thời gian và thể hiện một khung nhìn của một chủ đề trong một giai đoạn  Chỉ đọc Dữ liệu trong kho là dữ liệu chỉ đọc và chỉ có thể tra cứu, không được sửa đổi bởi người sử dụng cuối  Không biến động Tính không biến động của kho dữ liệu được hiểu theo nghĩa: dữ liệu được lưu trữ lâu dài trong kho dữ liệu Mặc dù có thêm dữ liệu mới nhập vào nhưng dữ liệu cũ trong kho. .. đặc biệt là DWH viễn thông là một quá trình lâu dài với nhiều công việc Trong luận văn này, dữ liệu DWH được xây dựng chủ yếu tập trung vào dữ liệu khách hàng và dữ liệu chi tiết cuộc gọi (Dữ liệu từ hệ thống nguồn CCBS) Quy mô hệ thống thử nghiệm được xây dựng áp dụng cho một Viễn Thông Tỉnh của Tập Đoàn Bưu Chính Viễn Thông Việt Nam VNPT Mỗi Viễn Thông Tỉnh coi như mô hình thu nhỏ của VNPT, là nơi... cho phép cung cấp thông tin về một kho ng thời gian dài, cung cấp đủ số liệu cần thiết cho các mô hình nghiệp vụ phân tích, dự báo  Dữ liệu tổng hợp và chi tiết Dữ liệu chi tiết là thông tin mức thấp nhất được lưu trữ trong kho dữ liệu Dữ liệu tác nghiệp chính là thông tin mức thấp nhất Dữ liệu tổng hợp được tích hợp lại qua nhiều giai đoạn khác nhau 2.3 Kho dữ liệu và các cơ sở dữ liệu DWH về bản chất... thu hút khách hàng về với doanh nghiệp mình Chính vì thế sự cạnh trang quyết liệt này sẽ còn diễn ra không chỉ trên mặt trận giá cước mà còn cả về chất lượng của dịch vụ 1.2 Dữ liệu ngành viễn thông Ngành công nghiệp viễn thông lưu trữ một khối lượng dữ liệu khổng lồ, bao gồm chi tiết cuộc gọi, thông tin cảnh báo trình trạng của hệ thống mạng viễn thông và thông tin dữ liệu về khách hàng: - Dữ liệu chi... trình xây dựng kho dữ liệu o Ứng dụng:  Miêu tả kho dữ liệu và các thành phần  Tạo điều kiện cho việc truy cập kho dữ liệu ở mọi cấp o Bảo trì:  Phục vụ cho các mục đích bảo mật  Lưu trữ thông tin về người dùng  Các bước tạo lập siêu dữ liệu o Định nghĩa các chức năng chính của siêu dữ liệu trong hệ thống kho dữ liệu o Xác định các vấn đề trong tích hợp dữ liệu o Xác định siêu dữ liệu có thể được . TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN VĂN TRUNG THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG CỦA TỔNG CÔNG TY BƯU CHÍNH VIỄN THÔNG VIỆT NAM (VNPT) . kho dữ liệu 12 Chƣơng 2: TỔNG QUAN VỀ DATA WAREHOUSE 15 2.1. Định nghĩa kho dữ liệu 15 2.2. Đặc tính của kho dữ liệu 16 2.3. Kho dữ liệu và các cơ sở dữ liệu 17 2.4. Lợi ích của kho dữ liệu. sự kiện tổng hợp 30 2.9. Tổ chức dữ liệu vật lý 31 2.9.1. Phân vùng 31 2.9.2. Chỉ mục 31 Chƣơng 3: PHÂN TÍCH, THIẾT KẾ VÀ TRIỂN KHAI KHO DỮ LIỆU KHÁCH HÀNG SỬ DỤNG DỊCH VỤ VIỄN THÔNG 33