1. Trang chủ
  2. » Luận Văn - Báo Cáo

NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT

26 890 5

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 26
Dung lượng 1,18 MB

Nội dung

NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT Chương 1: Tổng quan về Data Warehouse Chƣơng này trình bày các khái niệm, các thành phần, chức năng trong kho dữ liệu Data Warehouse, các ứng dụng cũng nhƣ những mô hình kho dữ liệu. Tổng quan về các kỹ thuật phân tích và tích hợp thông tin trong mô hình kho dữ liệu Data Warehouse. Chương 2: Ứng dụng trong lĩnh vực di động cho VNPT Chương này tập trung vào phân tích, thiết kế một số tính năng chính tổ chức trong hệ thống kho dữ liệu di động, đồng thời ứng dụng kỹ thuật OLAP để đƣa ra một phân tích ứng dụng trong phân tích kinh doanh di động của VNPT. Chương 3: Kết quả xây dựng ứng dụng trong lĩnh vực di động cho VNPT. Chƣơng cuối cùng của luận văn trình bày một số kết quả đã đạt đƣợc trong chƣơng 2

Trang 1

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

-PHẠM ĐỨC TÚ

NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG

PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT

Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01

TÓM TẮT LUẬN VĂN THẠC SĨ

HÀ NỘI -2013

Trang 2

Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học: TS NGUYỄN DUY PHƯƠNG

Phản biện 1: ………

Phản biện 2: ………

Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông

Vào lúc: giờ ngày tháng năm

Có thể tìm hiểu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

Trang 3

MỞ ĐẦU

Với sự phát triển nhanh chóng của ngành viễn thông, các doanh nghiệp viễn thông hiện nay đang phải đối mặt với việc điều hành và lưu trữ một khối lượng dữ liệu khổng lồ gồm hàng tỷ bản tin chi tiết cước, thông tin của hàng trăm triệu khách hàng với rất nhiều dịch vụ của các nhà mạng đang ngày một đa dạng và phát triển nhanh chóng

Trước một khối lượng thông tin khổng lồ theo lịch sử thời gian như vậy, các doanh nghiệp viễn thông biết khai thác, phân tích, chọn lọc các thông tin có giá trị sẽ cung cấp được các dịch vụ tốt hơn làm hài lòng khách hàng và đồng thời tăng khả năng cạnh tranh trên thị trường viễn thông vốn đã rất khốc liệt

Từ đó yêu cầu đặt ra là cần phải xây dựng được một kho dữ liệu tập trung về di động nhằm hỗ trợ phân tích kinh doanh và hỗ trợ lãnh đạo ra quyết định

Bằng việc cung cấp các thông tin có được từ kho dữ liệu về khách hàng, nhà cung cấp, hoạt động, hiệu suất… giải pháp Data Warehouse và phân tích dữ liệu dựa trên nền tảng BI sẽ giúp doanh nghiệp:

 Phân tích được bức tranh toàn cảnh về tình hình kinh doanh di động hiện nay trên thị trường

 Đặc biệt tích hợp các nguồn thông tin dữ liệu phân tán khác nhau tạo nên một kho

dữ liệu đầy đủ để phân tích theo nhiều chiều

 Phân tích, dự báo được các nhu cầu của thị trường trong thời gian tới

Mục đích nghiên cứu

 Nắm được Tổng quan chung về lĩnh vực BI

 Nắm bắt được mô hình tổ chức lưu trữ dữ liệu Data Warehouse

 Nắm bắt được một số thông tin về tổ chức dữ liệu tính cước di động của VNPT

 Nắm bắt được kỹ thuật phân tích dữ liệu OLAP, từ đó xây dựng cấu trúc Data Warehouse ứng dụng phân tích dữ liệu di động của VNPT

Đối tượng và phạm vi nghiên cứu

Nghiên cứu Data Warehouse ứng dụng cho lĩnh vực phân tích dữ liệu di động của VNPT

Phương pháp nghiên cứu

 Nghiên cứu về các chuẩn tổ chức dữ liệu Data Warehouse

 Nghiên cứu các giải pháp phân tích cơ sở dữ liệu lớn

Trang 4

 Áp dụng để phân tích dữ liệu di động của VNPT

Việc xây dựng một kho dữ liệu Data Warehouse chiếm tỷ trọng tương đối lớn, khoảng 50%-60% trong toàn bộ dự án, được coi là xây dựng nền tảng hạ tầng cho toàn bộ

hệ thống phân tích kinh doanh.Việc đánh giá đúng vai trò quan trọng của Data Warehouse

sẽ giúp cho việc mô hình hóa, phân tích và thiết kế một hệ thống BI toàn diện và tối ưu

Hiện nay VNPT đang sở hữu hai mạng di động là Vinaphone và Mobifone chiếm tỉ trọng lớn trên toàn bộ thị trường viễn thông, với việc phân tích giá trị trong toàn bộ khối lượng thông tin vô cùng lớn và quý giá này sẽ giúp ích rất lớn cho lãnh đạo VNPT và các đơn vị thành viên trong công tác định hướng quy hoạch và tăng khả năng cạnh tranh với các đối thủ trên thị trường

Nhận thức được tầm quan trọng đặc biệt của Data Warehouse, tôi xin chọn đề tài

“Nghiên cứu Data Warehouse và ứng dụng trong lĩnh vực phân tích di động cho VNPT”

Cấu trúc của luận văn

Luận văn được cấu trúc thành 3 chương:

Chương 1: Tổng quan về Data Warehouse

Chương này trình bày các khái niệm, các thành phần, chức năng trong kho dữ liệu Data Warehouse, các ứng dụng cũng như những mô hình kho dữ liệu Tổng quan về các kỹ thuật phân tích và tích hợp thông tin trong mô hình kho dữ liệu Data Warehouse

Chương 2: Ứng dụng trong lĩnh vực di động cho VNPT

Chương này tập trung vào phân tích, thiết kế một số tính năng chính tổ chức trong hệ thống kho dữ liệu di động, đồng thời ứng dụng kỹ thuật OLAP để đưa ra một phân tích ứng dụng trong phân tích kinh doanh di động của VNPT

Chương 3: Kết quả xây dựng ứng dụng trong lĩnh vực di động cho VNPT

Chương cuối cùng của luận văn trình bày một số kết quả đã đạt được trong chương 2

Trang 5

CHƯƠNG 1 TỔNG QUAN VỀ DATA WAREHOUSE

Nội dung chính của chương: Chương này học viên tập trung vào việc nghiên cứu các khái niệm, vai trò và các kiến trúc, mô hình triển khai BI đã đem lại hiệu quả cho doanh nghiệp ứng dụng, đồng thời học viên tập trung vào các mô hình và nguyên tắc xây dựng Data warehouse và một số giải pháp tích hợp và phân tích thông tin đa chiều OLAP làm nền tảng lý thuyết cho việc xây dựng ứng dụng kho dữ liệu Data warehouse cho doanh nghiệp viễn thông

1.1 Mục đích và nhu cầu

Việc xác định được rõ ràng mục đích và nhu cầu thực tế của việc triển khai hệ thống

BI cho doanh nghiệp là một vấn đề cực kỳ quan trọng trong quá trình phát triển doanh nghiệp Phần này học viên tập trung vào việc phân tích khó khăn và xác định mục đích của việc tạo ra kho dữ liệu Data warehouse

1.1.1 Mục đích và nhu cầu thực tiễn

Vậy mục đích kho dữ liệu Data Warehouse sinh ra nhằm phục vụ tập trung dữ liệu của các hệ thống theo lịch sử thời gian dùng trong việc tập hợp, phân tích dữ liệu và báo cáo

hỗ trợ các quyết định trong kinh doanh

1.1.2 Xác định phạm vi nghiên cứu

Nội dung nghiên cứu về Data warehouse là rất lớn, trong phạm vi luận văn tôi xin được xác định phạm vi nghiên cứu tổng quan về Data warehouse và ứng dụng để tổ chức một phần hệ thống data warehouse dùng phân tích kinh doanh di động của VNPT

1.2 Tổng quan về BI

Phần này học viên tập trung vào việc giới thiệu chung về BI, các thành phần của BI, phân tích những ưu nhược điểm của BI đem lại khi triển khai trong doanh nghiệp

1.2.1 Giới thiệu chung về BI

Nhưng ưu điểm khi áp dụng BI trong doanh nghiệp

Doanh nghiệp của bạn có thể thu được được những lợi ích to lớn khi quyết định mua và triển khai một Giải pháp quản trị doanh nghiệp thông minh Có thể kể ra:

 Cải thiện khả năng truy cập và tích hợp các dữ liệu sản xuất kinh doanh từ nhiều nguồn riêng biệt

Trang 6

 Có được cái nhìn toàn cảnh tất cả các hoạt động trong doanh nghiệp

 Chia sẻ thông tin nhanh chóng trên qui mô toàn doanh nghiệp

 Kiểm soát nhanh và chính xác hơn các xu hướng có tác động tích cực cũng như tiêu cực đến hoạt động sản xuất kinh doanh

1.2.2 Kiến trúc tổng thể của BI

Hệ thống BI đơn giản có thể được xem là sự kết hợp của 3 thành phần chính như sau:

Data Warehouse (Kho dữ liệu): Chứa dữ liệu tổng hợp của doanh nghiệp

Data Mining (Khai phá dữ liệu): Các kỹ thuật dùng để khai phá dữ liệu và phát hiện

tri thức như phân loại (Classification), phân nhóm (clustering), phát hiện luật kết hợp (Association Rule), Dự đoán (Prediction)…

Business Analyst (Phân tích kinh Doanh): Các nhà lãnh đạo Doanh nghiệp đưa ra

những quyết định chiến lược đối với hoạt động kinh doanh của doanh nghiệp

1.3 Kiến trúc tổng thế Data Warehouse

Phần này học viên tập trung vào việc giới thiệu các đặc trưng của kho dữ liệu, các thành phần cơ bản trong kho dữ liệu Data warehouse Đồng thời học viên phân tích đi sâu vào các mô hình thông dụng của DW như hình sao hay bông tuyết mà hiện nay rất nhiều giải pháp đang triển khai Học viên cũng nghiên cứu các phương pháp thiết kế Data marts trong mô hình của Data warehouse Cuối cùng để thể hiện được những khả năng phân tích thông tin thì học viên tập trung nghiên cứu các phương pháp xử lý đa chiều OLAP dùng trong phân tích dữ liệu trong kho dữ liệu Data warehouse

1.3.1 Giới thiệu chung

Data warehouse là tập hợp dữ liệu tương đối ổn định, không hay thay đổi, cập nhật theo thời gian, được tích hợp theo hướng chủ đề nhằm hỗ trợ quá trình tạo quyết định về mặt quản lý Một data warehouse điển hình sẽ:

 Chứa 1 số lượng lớn dữ liệu có liên quan tới các giao dịch trong quá khứ

 Được tối ưu hóa cho các thao tác đọc trong các yêu cầu truy vấn dữ liệu Điều này đối lập với các cơ sở dữ liệu trong các hệ thống xử lý tác vụ (OLTP) được thiết kế để

hỗ trợ cả các thao tác thêm, xóa, sửa dữ liệu luôn

 Được nạp các dữ liệu mới hoặc dữ liệu được cập nhật 1 cách định kỳ

 Là nguồn dữ liệu cơ bản cho các ứng dụng BI mức doanh nghiệp

Trang 7

1.3.2 Các đặc trưng của kho dữ liệu

1.3.3 Các thành phần cơ bản của Data Warehouse

Data Warehouse là một cơ sở dữ liệu quan hệ được xây dựng cho mục đích truy vấn

và phân tích dữ liệu mang tính lịch sử, nó không phải là loại cơ sở dữ liệu giao dịch

(OLTP)

Hình 1.1 Các thành phần cơ bản của Data warehouse

Khác với cơ sở dữ liệu giao dịch thông thường, Data Warehouse được bổ sung thêm

bộ công cụ kết xuất, chuyển đổi và tích hợp dữ liệu (Extraction, Transformation, Loading – ETL), bộ phân tích dữ liệu trực tuyến (Online Analyst Processing – OLAP), và các công cụ quản trị các tiến trình thu thập dữ liệu Đặc biệt Data Warehouses được tổ chức nâng cao theo các chủ đề Data Mart

1.3.4 Các loại mô hình dữ liệu trong Data Warehouse

Lược đồ hình sao

Trang 8

Trong mô hình dữ liệu này,phạm vi dữ liệu được tổ chức trong các bảng chiều, mỗi chiều ứng với một đặc trưng của dữ liệu (khách hàng, sản phẩm , bán hàng, thời gian…), các bảng sự kiện biểu diễn các sự kiện xảy ra và các thông tin chi tiết về các sự kiện đó

Lược đồ hình bông tuyết

Đây là mô hình tương tự mô hình sao tuy nhiên nó mở rộng hơn mô hình sao , trong

mô hình này một chiều của dữ liệu có thể gồm nhiều bảng, và trong đó có 1 bảng sự kiện ,

bảng sự kiện này chính là một chiều trong mô hình lớn hơn

Lược đồ chòm sao sự kiện (fact constellation)

Các ứng dụng phức tạp có thể đòi hỏi nhiều bảng sự kiện cùng chia sẻ các bảng chiều Loại lược đồ này có thể được xét như một tập hợp các lược đồ hình sao Và vì thế, nó được gọi là lược đồ chòm sao sự kiện

1.3.5.Tổng quan về Data Mart

1.3.5.1 Giới thiệu Data Mart

Data Mart là một dạng thu nhỏ của kho dữ liệu, nếu kho dữ liệu mô tả thông tin của một tổ chức thương mại thì Data Mart mô tả thông tin cho từng phòng ban của tổ chức đó (như phòng kinh doanh, phòng nhân sự,…)

1.3.5.2 Các kiểu Data Mart

 Data mart phụ thuộc (Dependent Data Mart)

Chứa những dữ liệu được lấy từ DW và những dữ liệu này sẽ được trích lọc và tinh chế, tích hợp lại ở mức cao hơn để phục vụ một chủ đề nhất định của Datamart

Data mart độc lập (Independent Data Marts)

Không giống như Data Mart phụ thuộc, Data mart độc lập được xây dựng trước DW

và dữ liệu được trực tiếp lấy từ các nguồn khác nhau

 Data Mart lai (Hybrid Data Mart)

Một Data Mart lai cho phép kết hợp các đầu vào từ các nguồn khác hơn so với một kho dữ liệu duy nhất Điều này có thể hữu ích trong nhiều tình huống, đặc biệt là khi cần tích hợp đặc biệt, chẳng hạn như sau khi một nhóm mới hoặc sản phẩm được bổ sung cho tổ chức

Trang 9

1.3.6 Trình bày kỹ thuật OLAP

1.3.6.1 Giới thiệu OLAP

OLAP là một phương pháp tiếp cận để trả lời nhanh chóng các truy vấn phân tích đa chiều OLAP là một phần của business intelligence, một lĩnh vực bao hàm relational reporting và data mining

1.3.6.2 Các mô hình của OLAP

 Mô hình Multidimensional OLAP

MOLAP là dạng cổ điển của OLAP và đôi khi được xem đơn giản như là OLAP MOLAP lưu giữ những dữ liệu này trong một mảng lưu trữ đa chiều được tối ưu hóa, thay

vì trong cơ sở dữ liệu quan hệ Do đó chúng đòi hỏi tính toán trước và lưu trữ thông tin trong khối, hoạt động được gọi là xử lý(processing)

 Mô hình Relational OLAP

ROLAP làm việc trực tiếp với cơ sở dữ liệu quan hệ Dữ liệu cơ bản và các bảng chiều được lưu trữ như các bảng quan hệ và các bảng mới được tạo để giữ các thông tin kết hợp Tùy thuộc vào một thiết kế sơ đồ được đặc trưng hóa

 Mô hình Hybrid OLAP

Không có sự đồng thuận rõ ràng trong công nghiệp về HOLAP, trừ việc một cơ sở

dữ liệu sẽ phân chia dữ liệu giữa lưu trữ quan hệ và chuyên biệt

1.4 Các giải pháp tích hợp các nguồn dữ liệu khác nhau trong kho dữ liệu Data Warehouse

Thu thập và tích hợp các nguồn thông tin đa dạng khác nhau luôn là một vấn đề quan trọng làm đau đầu đối với các nhà triển khai hệ thống Data warehouse Trong phần này học viên tập trung vào các phương pháp tích hợp tiếp cận theo hướng Data warehouse

1.4.1 Giải pháp tích hợp thông tin

1.4.1.3 Một số giải pháp tích hợp và nhân bản dữ liệu

Oracle hiện có rất nhiều giải pháp liên quan tới lĩnh vực tích hợp và nhân bản dữ liệu, trong phạm vi luận văn tôi chỉ đề cập tới giải pháp tiên tiến nhất Golden Gate của Oracle hiện nay:

Trang 10

 Active Data Guard: GoldenGate: giải pháp tích hợp và nhân bản số liệu của hãng GoldenGate (đã được Oracle mua lại)

 Oracle Data Integrator-ODI: Giair pháp toàn diên trong để giải quyết tất cả các yêu cầu tích hợp dữ liệu đòi hỏi tốc độ cao, số liệu lớn, và trên nhiều nguồn dữ liệu khác nhau

 Materialized Views: Có khả năng nhân bản các dữ liệu phục vụ báo cáo thống kê (hiện nay nhóm đang ứng dụng trong công tác nhân bản dữ liệu các báo cáo thống kê cho hệ thống phân tích kinh doanh di động của Tập đoàn VNPT)

 Database Link: liên kết giữa các cơ sở dữ liệu khác nhau có thể cùng nguồn Oracle hoặc các hệ quản trị cơ sở dữ liệu khác nhau như SQL Server, DB2…

 Oracle data loader: giải pháp load dữ liệu từ các nguồn vào data warehouse của Oracle

 Oracle data warehouse builder: công cụ xây dựng data warehouse kèm theo giải pháp tích hợp dữ liệu từ các nguồn thông tin khác

1.4.2 Công cụ tích hợp thông tin trong Data Warehouse

Hệ thống ETL (Extract-Transform-Load) là nền tảng của kho dữ liệu Một hệ thống ETL được thiết kế cho việc trích xuất dữ liệu từ các hệ thống nguồn, chuyển đổi dữ liệu đảm bảo các nguồn độc lập có thể tích hợp, và cuối cùng dữ liệu sau chuyển đổi được đưa vào kho dữ liệu phục vụ mục đích phát triển ứng dụng

Giải pháp GoldenGate của Oracle

GoldenGate được thiết kế như một chuẩn tích hợp dữ liệu và cho nhiều mục đích sử dụng khác nhau như khắc phục thảm họa, bảo vệ dữ liệu, báo cáo, real time cho BI, nhân bản dữ liệu…

1.5 Kết luận chương

Chương này tác giả đã nêu tổng quan về BI và Data warehouse, đồng thời cũng phân tích các đặc chưng của giải pháp Đồng thời cũng đã đặt vấn đề nghiên cứu chung về OLAP, các mô hình tổ chức Data Mart…Tuy nhiên đây sẽ là nền tảng lý thuyết mà tác giả

sẽ áp dụng một phần trong nội dung chương 2 và chương 3 của luận văn

Trang 11

CHƯƠNG 2 ỨNG DỤNG TRONG LĨNH VỰC DI ĐỘNG CHO VNPT

Nội dung chính của chương này bao gồm: Tìm hiểu về dữ liệu hệ thống, xác định yêu cầu đặt ra, thiết kế mô hình kho dữ liệu dựa trên yêu cầu đã phân tích và dữ liệu hệ thống nguồn, sử dụng kỹ thuật OLAP của Oracle để xây dựng các cơ sở dữ liệu nhiều chiều phục

vụ việc phân tích số liệu kinh doanh di động

2.1 Vấn đề tích hợp thông tin di động

2.1.1 Mục tiêu của vấn đề tích hợp thông tin di động

Những năm gần đây, tập đoàn VNPT đang chuyển mình trong định hướng phát triển chung của ngành Sau một giai đoạn phát triển theo định hướng mở rộng các loại hình kinh doanh, đến này tập đoàn VNPT đã có nhiều mảng dịch vụ như: thoại (cố định và di dộng), truyền dữ liệu, vệ tinh, truyền thông và công nghệ thông tin

Tuy nhiên với ứng dụng công nghệ thông tin tại các đơn vị kinh doanh hiện đang không đồng bộ và phân tán, gây khó khăn nhiều trong công tác báo cáo thông kê, hỗ trợ các cấp lãnh

với các nguồn dữ liệu phi chuẩn đã đưa ra nhiều kết quả khác nhau của cùng một yêu cầu thông tin đã gây ra sự bối rối khi ra quyết định kinh doanh của các cấp lãnh đạo

Hình 2.1 Hiện trạng xử lý thông tin

Vì vậy trong giai đoạn tới tập đoàn VNPT cần một hệ thống có khả năng tích hợp được một số nguồn dữ liệu thống nhất mà nơi đó các dữ liệu kết quả sản xuất kinh doanh của các đơn vị chủ lực như Vinaphone, Mobifone, VDC, VTN, VTI và 63 đơn vị viễn thông tỉnh được lưu trữ được tổ chức có hệ thống và liên kết với nhau, được theo dõi theo chu kỳ thời gian Từ hệ thống đó lãnh đạo tập đoàn và lãnh đạo các đơn vị có thể khai thác báo cáo

Trang 12

thống kê chính xác nhất, chi tiết, nhanh chóng và thuận tiện nhất nhằm hỗ trợ nhanh nhất việc ra quyết định kinh doanh khi mà các đối thủ của VNPT đang liên tục phát triển nhanh chóng trong môi trường cạnh tranh khốc liệt

Mục tiêu của bài toán là xây dựng kho dữ liệu tích hợp các dữ liệu di động của VNPT dùng cho phân tích các bài toán kinh doanh để đảm bảo các tiêu chí:

 Nâng cao chất lượng dịch vụ hiện VNPT đang cung cấp

 Kiểm soát được tình hình phát triển các dịch vụ

 Toàn bộ thông tin di động được tập trung và thống nhất cho thời gian dài từ 5 đến 10 năm

 Các hệ thống thông tin được tích hợp chặt chẽ với nhau

 Phân tích nắm bắt được hành vi, thói quen của người tiêu dùng để nâng cao việc chăm sóc khách hàng

 Đo lường được sự hiệu quả của các đợt quảng cáo, khuyến mại

 Đặc biệt xác định được tương đối chính xác thị phần của đối thủ cạnh tranh

 Hỗ trợ lãnh đạo ra quyết định nhanh và chính xác trong kinh doanh

2.1.2 Xác định yêu cầu đối với ứng dụng

Một số yêu cầu đối với việc triển khai kho dữ liệu:

 Yêu cầu của doanh nghiệp

- Doanh nghiệp cần xác định rõ mục đích cũng như nhu cầu thực tế của doanh nghiệp

- Doanh nghiệp cần chuẩn hóa các quy trình nghiệp vụ thống nhất trước khi triển khai dự án

- Doanh nghiệp cần xác định được năng lực đầu tư tài chính cho hệ thống khi triển khai vì hệ thống đầy đủ sẽ có chi phí rất lớn

- Doanh nghiệp cũng cần xác định tổng thời gian cần thiết để triển khai dự án cũng như xác định rõ từng giai đoạn triển khai để đảm bảo dự án được triển khai thành công

 Yêu cầu phát triển và mở rộng hệ thống

- Đảm bảo dễ dàng tích hợp với các nguồn dữ liệu khác nhau đang được tổ chức phân tán

Trang 13

- Dữ liệu phải được lưu trữ trong một thời gian dài từ 5-10 năm với khối lượng lưu trữ hàng Petabyte

- Do khối lượng dữ liệu lưu trong thời gian dài và có khối lượng rất lớn, chi tiết từng bản tin di động nên hệ thống yêu cầu cần tốc độ query cao

- Hệ thống có thể dễ dàng mở rộng được khi có thay đổi

- Đảm bảo tính đúng đắn về mặt số liệu được phân tích so với hệ thống dữ liệu nguồn được đưa vào hệ thống

- Đảm bảo tuân thủ các nguyên tắc tổ chức của kho dữ liệu

 Yêu cầu của người sử dụng

- Hệ thống trực quan, dễ sử dụng

- Hệ thống có thể cung cấp cho người dùng các khung nhìn tổng quan thông qua hệ thống phân tích đa chiều OLAP

2.1.3 Xác định phạm vi của bài toán

 Nguồn dữ liệu di động giả lập của VMS

 Xây dựng một vài data mart dùng để phân tích sản lượng di động của VMS

 Ứng dụng kỹ thuật OLAP để xây dựng khối dữ liệu phân tích sản lượng di động của VMS theo hướng đa chiều

2.2 Phân tích bài toán

2.2.1 Mô hình hóa các yêu cầu của bài toán

2.2.1.1 Phân tích về mô hình quản lý dữ liệu hiện tại của MobiFone

- FLEXI chứa dữ liệu kết nối dịch vụ từ các tổng đài internet của VMS Các dịch

vụ trong dữ liệu FLEXI gồm truy cập internet không dây

Ngày đăng: 22/10/2014, 22:11

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[8] Building the Data warehouse, W.H.Inmon, Copyright © 2005 John Wiley & Sons, Inc Sách, tạp chí
Tiêu đề: Data warehouse, W.H.Inmon
[1] Evelson, Boris (21 November 2008). "Topic Overview: Business Intelligence&#34 Khác
[2] M. Kaya and R. Alhajj. Fuzzy OLAP association rules mining based novel approach for multiagent cooperative learning. In Int. Conf. on Industrial & Engin. Appl. of AI & Expert Syst., pages 56–65, 2004 Khác
[3] Data warehouse from architecture to implementation, Barry Devlin Khác
[4] 11 Steps in Data Warehousing (Sanjay Raizada-Nortwest operation, Syntel) Khác
[5] (Rud, Olivia (2009). Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy. Hoboken, N.J: Wiley & Sons. ISBN 978-0-470- 39240-9) Khác
[6] Oracle 11gr2 Data warehousing Guide Release 2 Khác
[7] Oracle GoldenGate Windows and UNIX 11g Release 1 (11.1.1) E18173-01 Khác
[9] Data Warehousing Fundamentals: AComprehensive Guide for IT Professionals. Paulraj Ponniah, Copyright © 2001 John Wiley & Sons, Inc Khác

HÌNH ẢNH LIÊN QUAN

Hình 1.1. Các thành phần cơ bản của Data warehouse - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 1.1. Các thành phần cơ bản của Data warehouse (Trang 7)
Hình 2.1. Hiện trạng xử lý thông tin - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.1. Hiện trạng xử lý thông tin (Trang 11)
Hình 2.2. Tổng quan về quy trình lấy và phân tích dữ liệu di động của VMS - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.2. Tổng quan về quy trình lấy và phân tích dữ liệu di động của VMS (Trang 14)
Hình 2.3. Tổng quan về các chức năng phân tích dữ liệu của VMS - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.3. Tổng quan về các chức năng phân tích dữ liệu của VMS (Trang 15)
Hình 2.4. Kiến trúc đa tầng hệ thống Data Warehouse - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.4. Kiến trúc đa tầng hệ thống Data Warehouse (Trang 15)
Hình 2.5. Kiến trúc triển khai hệ thống - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.5. Kiến trúc triển khai hệ thống (Trang 16)
Hình 2.6. Mô hình xử lý dữ liệu hệ thống - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.6. Mô hình xử lý dữ liệu hệ thống (Trang 17)
Hình 2.7. Lược đồ kho dữ liệu chi tiết sản lượng - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.7. Lược đồ kho dữ liệu chi tiết sản lượng (Trang 18)
Hình 2.8. Lược đồ kho dữ liệu chủ đề tổng hợp Sản lượng - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.8. Lược đồ kho dữ liệu chủ đề tổng hợp Sản lượng (Trang 18)
Hình 2.9. Lược đồ kho dữ liệu chi tiết Flexi - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.9. Lược đồ kho dữ liệu chi tiết Flexi (Trang 19)
Hình 2.10. Lược đồ kho dữ liệu chủ đề tổng hợp Flexi  2.4. Thiết kế một số tính năng phân tích dữ liệu - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 2.10. Lược đồ kho dữ liệu chủ đề tổng hợp Flexi 2.4. Thiết kế một số tính năng phân tích dữ liệu (Trang 19)
Hình 3.1. Các chiều dữ liệu - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.1. Các chiều dữ liệu (Trang 22)
Hình 3.2. Cube sản lượng theo tỉnh - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.2. Cube sản lượng theo tỉnh (Trang 22)
Hình 3.3. Cube sản lượng theo nhà cung cấp dịch vụ - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.3. Cube sản lượng theo nhà cung cấp dịch vụ (Trang 23)
Hình 3.4. Cube Flexi theo đơn vị - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.4. Cube Flexi theo đơn vị (Trang 23)
Hình 3.5. Cube lưu lượng sử dụng dịch vụ - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.5. Cube lưu lượng sử dụng dịch vụ (Trang 24)
Hình 3.6. Cube kích hoạt nạp thẻ - NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG  PHÂN TÍCH THÔNG TIN DI ĐỘNG CHO VNPT
Hình 3.6. Cube kích hoạt nạp thẻ (Trang 24)

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w