HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG - PHẠM ĐỨC TÚ NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG PHÂN TÍCH THƠNG TIN DI ĐỘNG CHO VNPT Chun ngành: Khoa học máy tính Mã số: 60.48.01 TĨM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI -2013 Luận văn đƣợc hoàn thành tại: HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG Ngƣời hƣớng dẫn khoa học: TS NGUYỄN DUY PHƢƠNG Phản biện 1: ………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn đƣợc bảo vệ trƣớc Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bƣu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thƣ viện Học viện Cơng nghệ Bƣu Viễn thông MỞ ĐẦU Với phát triển nhanh chóng ngành viễn thơng, doanh nghiệp viễn thơng phải đối mặt với việc điều hành lƣu trữ khối lƣợng liệu khổng lồ gồm hàng tỷ tin chi tiết cƣớc, thông tin hàng trăm triệu khách hàng với nhiều dịch vụ nhà mạng ngày đa dạng phát triển nhanh chóng Trƣớc khối lƣợng thơng tin khổng lồ theo lịch sử thời gian nhƣ vậy, doanh nghiệp viễn thơng biết khai thác, phân tích, chọn lọc thơng tin có giá trị cung cấp đƣợc dịch vụ tốt làm hài lòng khách hàng đồng thời tăng khả cạnh tranh thị trƣờng viễn thông vốn khốc liệt Từ yêu cầu đặt cần phải xây dựng đƣợc kho liệu tập trung di động nhằm hỗ trợ phân tích kinh doanh hỗ trợ lãnh đạo định Bằng việc cung cấp thơng tin có đƣợc từ kho liệu khách hàng, nhà cung cấp, hoạt động, hiệu suất… giải pháp Data Warehouse phân tích liệu dựa tảng BI giúp doanh nghiệp: Phân tích đƣợc tranh tồn cảnh tình hình kinh doanh di động thị trƣờng Đặc biệt tích hợp nguồn thơng tin liệu phân tán khác tạo nên kho liệu đầy đủ để phân tích theo nhiều chiều Phân tích, dự báo đƣợc nhu cầu thị trƣờng thời gian tới Mục đích nghiên cứu Nắm đƣợc Tổng quan chung lĩnh vực BI Nắm bắt đƣợc mơ hình tổ chức lƣu trữ liệu Data Warehouse Nắm bắt đƣợc số thông tin tổ chức liệu tính cƣớc di động VNPT Nắm bắt đƣợc kỹ thuật phân tích liệu OLAP, từ xây dựng cấu trúc Data Warehouse ứng dụng phân tích liệu di động VNPT Đối tượng phạm vi nghiên cứu Nghiên cứu Data Warehouse ứng dụng cho lĩnh vực phân tích liệu di động VNPT Phương pháp nghiên cứu Nghiên cứu chuẩn tổ chức liệu Data Warehouse Nghiên cứu giải pháp phân tích sở liệu lớn Áp dụng để phân tích liệu di động VNPT Việc xây dựng kho liệu Data Warehouse chiếm tỷ trọng tƣơng đối lớn, khoảng 50%-60% toàn dự án, đƣợc coi xây dựng tảng hạ tầng cho toàn hệ thống phân tích kinh doanh.Việc đánh giá vai trị quan trọng Data Warehouse giúp cho việc mô hình hóa, phân tích thiết kế hệ thống BI toàn diện tối ƣu Hiện VNPT sở hữu hai mạng di động Vinaphone Mobifone chiếm tỉ trọng lớn toàn thị trƣờng viễn thơng, với việc phân tích giá trị tồn khối lƣợng thông tin vô lớn quý giá giúp ích lớn cho lãnh đạo VNPT đơn vị thành viên công tác định hƣớng quy hoạch tăng khả cạnh tranh với đối thủ thị trƣờng Nhận thức đƣợc tầm quan trọng đặc biệt Data Warehouse, xin chọn đề tài “Nghiên cứu Data Warehouse ứng dụng lĩnh vực phân tích di động cho VNPT” Cấu trúc luận văn Luận văn đƣợc cấu trúc thành chƣơng: Chƣơng 1: Tổng quan Data Warehouse Chƣơng trình bày khái niệm, thành phần, chức kho liệu Data Warehouse, ứng dụng nhƣ mơ hình kho liệu Tổng quan kỹ thuật phân tích tích hợp thơng tin mơ hình kho liệu Data Warehouse Chƣơng 2: Ứng dụng lĩnh vực di động cho VNPT Chƣơng tập trung vào phân tích, thiết kế số tính tổ chức hệ thống kho liệu di động, đồng thời ứng dụng kỹ thuật OLAP để đƣa phân tích ứng dụng phân tích kinh doanh di động VNPT Chƣơng 3: Kết xây dựng ứng dụng lĩnh vực di động cho VNPT Chƣơng cuối luận văn trình bày số kết đạt đƣợc chƣơng CHƢƠNG TỔNG QUAN VỀ DATA WAREHOUSE Nội dung chƣơng: Chƣơng học viên tập trung vào việc nghiên cứu khái niệm, vai trò kiến trúc, mơ hình triển khai BI đem lại hiệu cho doanh nghiệp ứng dụng, đồng thời học viên tập trung vào mơ hình ngun tắc xây dựng Data warehouse số giải pháp tích hợp phân tích thơng tin đa chiều OLAP làm tảng lý thuyết cho việc xây dựng ứng dụng kho liệu Data warehouse cho doanh nghiệp viễn thông 1.1 Mục đích nhu cầu Việc xác định đƣợc rõ ràng mục đích nhu cầu thực tế việc triển khai hệ thống BI cho doanh nghiệp vấn đề quan trọng trình phát triển doanh nghiệp Phần học viên tập trung vào việc phân tích khó khăn xác định mục đích việc tạo kho liệu Data warehouse 1.1.1 Mục đích nhu cầu thực tiễn Vậy mục đích kho liệu Data Warehouse sinh nhằm phục vụ tập trung liệu hệ thống theo lịch sử thời gian dùng việc tập hợp, phân tích liệu báo cáo hỗ trợ định kinh doanh 1.1.2 Xác định phạm vi nghiên cứu Nội dung nghiên cứu Data warehouse lớn, phạm vi luận văn xin đƣợc xác định phạm vi nghiên cứu tổng quan Data warehouse ứng dụng để tổ chức phần hệ thống data warehouse dùng phân tích kinh doanh di động VNPT 1.2 Tổng quan BI Phần học viên tập trung vào việc giới thiệu chung BI, thành phần BI, phân tích ƣu nhƣợc điểm BI đem lại triển khai doanh nghiệp 1.2.1 Giới thiệu chung BI Nhƣng ƣu điểm áp dụng BI doanh nghiệp Doanh nghiệp bạn thu đƣợc đƣợc lợi ích to lớn định mua triển khai Giải pháp quản trị doanh nghiệp thơng minh Có thể kể ra: Cải thiện khả truy cập tích hợp liệu sản xuất kinh doanh từ nhiều nguồn riêng biệt Có đƣợc nhìn tồn cảnh tất hoạt động doanh nghiệp Chia sẻ thơng tin nhanh chóng qui mơ tồn doanh nghiệp Kiểm sốt nhanh xác xu hƣớng có tác động tích cực nhƣ tiêu cực đến hoạt động sản xuất kinh doanh 1.2.2 Kiến trúc tổng thể BI Hệ thống BI đơn giản đƣợc xem kết hợp thành phần nhƣ sau: Data Warehouse (Kho liệu): Chứa liệu tổng hợp doanh nghiệp Data Mining (Khai phá liệu): Các kỹ thuật dùng để khai phá liệu phát tri thức nhƣ phân loại (Classification), phân nhóm (clustering), phát luật kết hợp (Association Rule), Dự đoán (Prediction)… Business Analyst (Phân tích kinh Doanh): Các nhà lãnh đạo Doanh nghiệp đƣa định chiến lƣợc hoạt động kinh doanh doanh nghiệp 1.3 Kiến trúc tổng Data Warehouse Phần học viên tập trung vào việc giới thiệu đặc trƣng kho liệu, thành phần kho liệu Data warehouse Đồng thời học viên phân tích sâu vào mơ hình thơng dụng DW nhƣ hình hay tuyết mà nhiều giải pháp triển khai Học viên nghiên cứu phƣơng pháp thiết kế Data marts mơ hình Data warehouse Cuối để thể đƣợc khả phân tích thơng tin học viên tập trung nghiên cứu phƣơng pháp xử lý đa chiều OLAP dùng phân tích liệu kho liệu Data warehouse 1.3.1 Giới thiệu chung Data warehouse tập hợp liệu tƣơng đối ổn định, không hay thay đổi, cập nhật theo thời gian, đƣợc tích hợp theo hƣớng chủ đề nhằm hỗ trợ trình tạo định mặt quản lý Một data warehouse điển hình sẽ: Chứa số lƣợng lớn liệu có liên quan tới giao dịch khứ Đƣợc tối ƣu hóa cho thao tác đọc yêu cầu truy vấn liệu Điều đối lập với sở liệu hệ thống xử lý tác vụ (OLTP) đƣợc thiết kế để hỗ trợ thao tác thêm, xóa, sửa liệu Đƣợc nạp liệu liệu đƣợc cập nhật cách định kỳ Là nguồn liệu cho ứng dụng BI mức doanh nghiệp 1.3.2 Các đặc trưng kho liệu Hƣớng chủ đề Tính tích hợp Tính bền vững Gắn với thời gian Dữ liệu tổng hợp 1.3.3 Các thành phần Data Warehouse Data Warehouse sở liệu quan hệ đƣợc xây dựng cho mục đích truy vấn phân tích liệu mang tính lịch sử, khơng phải loại sở liệu giao dịch (OLTP) Hình 1.1 Các thành phần Data warehouse Khác với sở liệu giao dịch thông thƣờng, Data Warehouse đƣợc bổ sung thêm cơng cụ kết xuất, chuyển đổi tích hợp liệu (Extraction, Transformation, Loading – ETL), phân tích liệu trực tuyến (Online Analyst Processing – OLAP), cơng cụ quản trị tiến trình thu thập liệu Đặc biệt Data Warehouses đƣợc tổ chức nâng cao theo chủ đề Data Mart 1.3.4 Các loại mơ hình liệu Data Warehouse Lƣợc đồ hình Trong mơ hình liệu này,phạm vi liệu đƣợc tổ chức bảng chiều, chiều ứng với đặc trƣng liệu (khách hàng, sản phẩm , bán hàng, thời gian…), bảng kiện biểu diễn kiện xảy thơng tin chi tiết kiện Lƣợc đồ hình bơng tuyết Đây mơ hình tƣơng tự mơ hình nhiên mở rộng mơ hình , mơ hình chiều liệu gồm nhiều bảng, có bảng kiện , bảng kiện chiều mơ hình lớn Lƣợc đồ chòm kiện (fact constellation) Các ứng dụng phức tạp địi hỏi nhiều bảng kiện chia sẻ bảng chiều Loại lƣợc đồ đƣợc xét nhƣ tập hợp lƣợc đồ hình Và thế, đƣợc gọi lƣợc đồ chòm kiện 1.3.5.Tổng quan Data Mart 1.3.5.1 Giới thiệu Data Mart Data Mart dạng thu nhỏ kho liệu, kho liệu mô tả thông tin tổ chức thƣơng mại Data Mart mơ tả thơng tin cho phịng ban tổ chức (nhƣ phịng kinh doanh, phòng nhân sự,…) 1.3.5.2 Các kiểu Data Mart Data mart phụ thuộc (Dependent Data Mart) Chứa liệu đƣợc lấy từ DW liệu đƣợc trích lọc tinh chế, tích hợp lại mức cao để phục vụ chủ đề định Datamart Data mart độc lập (Independent Data Marts) Không giống nhƣ Data Mart phụ thuộc, Data mart độc lập đƣợc xây dựng trƣớc DW liệu đƣợc trực tiếp lấy từ nguồn khác Data Mart lai (Hybrid Data Mart) Một Data Mart lai cho phép kết hợp đầu vào từ nguồn khác so với kho liệu Điều hữu ích nhiều tình huống, đặc biệt cần tích hợp đặc biệt, chẳng hạn nhƣ sau nhóm sản phẩm đƣợc bổ sung cho tổ chức 1.3.6 Trình bày kỹ thuật OLAP 1.3.6.1 Giới thiệu OLAP OLAP phƣơng pháp tiếp cận để trả lời nhanh chóng truy vấn phân tích đa chiều OLAP phần business intelligence, lĩnh vực bao hàm relational reporting data mining 1.3.6.2 Các mơ hình OLAP Mơ hình Multidimensional OLAP MOLAP dạng cổ điển OLAP đƣợc xem đơn giản nhƣ OLAP MOLAP lƣu giữ liệu mảng lƣu trữ đa chiều đƣợc tối ƣu hóa, thay sở liệu quan hệ Do chúng địi hỏi tính tốn trƣớc lƣu trữ thơng tin khối, hoạt động đƣợc gọi xử lý(processing) Mơ hình Relational OLAP ROLAP làm việc trực tiếp với sở liệu quan hệ Dữ liệu bảng chiều đƣợc lƣu trữ nhƣ bảng quan hệ bảng đƣợc tạo để giữ thông tin kết hợp Tùy thuộc vào thiết kế sơ đồ đƣợc đặc trƣng hóa Mơ hình Hybrid OLAP Khơng có đồng thuận rõ ràng công nghiệp HOLAP, trừ việc sở liệu phân chia liệu lƣu trữ quan hệ chuyên biệt 1.4 Các giải pháp tích hợp nguồn liệu khác kho liệu Data Warehouse Thu thập tích hợp nguồn thông tin đa dạng khác vấn đề quan trọng làm đau đầu nhà triển khai hệ thống Data warehouse Trong phần học viên tập trung vào phƣơng pháp tích hợp tiếp cận theo hƣớng Data warehouse 1.4.1 Giải pháp tích hợp thơng tin 1.4.1.3 Một số giải pháp tích hợp nhân liệu Oracle có nhiều giải pháp liên quan tới lĩnh vực tích hợp nhân liệu, phạm vi luận văn đề cập tới giải pháp tiên tiến Golden Gate Oracle nay: Active Data Guard: GoldenGate: giải pháp tích hợp nhân số liệu hãng GoldenGate (đã đƣợc Oracle mua lại) Oracle Data Integrator-ODI: Giair pháp toàn diên để giải tất u cầu tích hợp liệu địi hỏi tốc độ cao, số liệu lớn, nhiều nguồn liệu khác Materialized Views: Có khả nhân liệu phục vụ báo cáo thống kê (hiện nhóm ứng dụng cơng tác nhân liệu báo cáo thống kê cho hệ thống phân tích kinh doanh di động Tập đoàn VNPT) Database Link: liên kết sở liệu khác nguồn Oracle hệ quản trị sở liệu khác nhƣ SQL Server, DB2… Oracle data loader: giải pháp load liệu từ nguồn vào data warehouse Oracle Oracle data warehouse builder: công cụ xây dựng data warehouse kèm theo giải pháp tích hợp liệu từ nguồn thông tin khác 1.4.2 Công cụ tích hợp thơng tin Data Warehouse Hệ thống ETL (Extract-Transform-Load) tảng kho liệu Một hệ thống ETL đƣợc thiết kế cho việc trích xuất liệu từ hệ thống nguồn, chuyển đổi liệu đảm bảo nguồn độc lập tích hợp, cuối liệu sau chuyển đổi đƣợc đƣa vào kho liệu phục vụ mục đích phát triển ứng dụng Giải pháp GoldenGate Oracle GoldenGate đƣợc thiết kế nhƣ chuẩn tích hợp liệu cho nhiều mục đích sử dụng khác nhƣ khắc phục thảm họa, bảo vệ liệu, báo cáo, real time cho BI, nhân liệu… 1.5 Kết luận chƣơng Chƣơng tác giả nêu tổng quan BI Data warehouse, đồng thời phân tích đặc chƣng giải pháp Đồng thời đặt vấn đề nghiên cứu chung OLAP, mơ hình tổ chức Data Mart…Tuy nhiên tảng lý thuyết mà tác giả áp dụng phần nội dung chƣơng chƣơng luận văn 11 thống kê xác nhất, chi tiết, nhanh chóng thuận tiện nhằm hỗ trợ nhanh việc định kinh doanh mà đối thủ VNPT liên tục phát triển nhanh chóng môi trƣờng cạnh tranh khốc liệt Mục tiêu tốn xây dựng kho liệu tích hợp liệu di động VNPT dùng cho phân tích tốn kinh doanh để đảm bảo tiêu chí: Nâng cao chất lƣợng dịch vụ VNPT cung cấp Kiểm sốt đƣợc tình hình phát triển dịch vụ Tồn thơng tin di động đƣợc tập trung thống cho thời gian dài từ đến 10 năm Các hệ thống thơng tin đƣợc tích hợp chặt chẽ với Phân tích nắm bắt đƣợc hành vi, thói quen ngƣời tiêu dùng để nâng cao việc chăm sóc khách hàng Đo lƣờng đƣợc hiệu đợt quảng cáo, khuyến mại Đặc biệt xác định đƣợc tƣơng đối xác thị phần đối thủ cạnh tranh Hỗ trợ lãnh đạo định nhanh xác kinh doanh 2.1.2 Xác định yêu cầu ứng dụng Một số yêu cầu việc triển khai kho liệu: Yêu cầu doanh nghiệp - Doanh nghiệp cần xác định rõ mục đích nhƣ nhu cầu thực tế doanh nghiệp - Doanh nghiệp cần chuẩn hóa quy trình nghiệp vụ thống trƣớc triển khai dự án - Doanh nghiệp cần xác định đƣợc lực đầu tƣ tài cho hệ thống triển khai hệ thống đầy đủ có chi phí lớn - Doanh nghiệp cần xác định tổng thời gian cần thiết để triển khai dự án nhƣ xác định rõ giai đoạn triển khai để đảm bảo dự án đƣợc triển khai thành công Yêu cầu phát triển mở rộng hệ thống - Đảm bảo dễ dàng tích hợp với nguồn liệu khác đƣợc tổ chức phân tán 12 - Dữ liệu phải đƣợc lƣu trữ thời gian dài từ 5-10 năm với khối lƣợng lƣu trữ hàng Petabyte - Do khối lƣợng liệu lƣu thời gian dài có khối lƣợng lớn, chi tiết tin di động nên hệ thống yêu cầu cần tốc độ query cao - Hệ thống dễ dàng mở rộng đƣợc có thay đổi - Đảm bảo tính đắn mặt số liệu đƣợc phân tích so với hệ thống liệu nguồn đƣợc đƣa vào hệ thống - Đảm bảo tuân thủ nguyên tắc tổ chức kho liệu Yêu cầu ngƣời sử dụng - Hệ thống trực quan, dễ sử dụng - Hệ thống cung cấp cho ngƣời dùng khung nhìn tổng quan thơng qua hệ thống phân tích đa chiều OLAP 2.1.3 Xác định phạm vi toán Nguồn liệu di động giả lập VMS Xây dựng vài data mart dùng để phân tích sản lƣợng di động VMS Ứng dụng kỹ thuật OLAP để xây dựng khối liệu phân tích sản lƣợng di động VMS theo hƣớng đa chiều 2.2 Phân tích tốn 2.2.1 Mơ hình hóa u cầu tốn 2.2.1.1 Phân tích mơ hình quản lý liệu MobiFone Hệ thống địa máy chủ VMS Mobifone tổ chức lƣu trữ liệu tổng đài theo hệ thống file Dữ liệu từ nguồn tổng đài đƣợc tập trung lƣu trữ File Server đặt VMS Các loại liệu - IN liệu tính cƣớc online cho dịch vụ trả trƣớc nhƣ: thoại, tin nhắn, truy cập internet thuê bao trả trƣớc - MSC chứa liệu kết nối dịch vụ từ tổng đài chuyển mạch VMS Các dịch vụ liệu MSC gồm thoại, tin nhắn - FLEXI chứa liệu kết nối dịch vụ từ tổng đài internet VMS Các dịch vụ liệu FLEXI gồm truy cập internet không dây 13 - CARD chứa liệu kích hoạt thẻ nạp từ gateway VMS Các loại liệu gồm thuê bao trả trƣớc kích hoạt thẻ nạp, thuê bao trả sau kích hoạt thẻ nạp, hãng thứ sử dụng thẻ nạp để toán dịch vụ - CELL_ID chứa liệu quản lý BTS VMS, gồm thông tin vị trí theo cấu trúc tổ ong mạng di động Khảo sát, phân tích việc nhận liệu MobiFone Các tổng đài quy tắc ghi file: dung lƣợng tới hạn 10 phút lần; theo điều kiện tới trƣớc Riêng liệu quản lý BTS, hệ thống quản lý VMS xuất lần ngày vào khoảng 2h sáng đến 5h sáng ngày 2.2.1.2 Quy trình hoạt động hệ thống phân tích kinh doanh Mobifone Tồn liệu di động VMS đƣợc chuyển sang trung tâm liệu tập trung (Data Center) VNPT đƣợc phân tích theo quy trình khép kín theo sơ đồ sau: Server VMS Dữ liệu: - Nạp thẻ - Tiêu thụ - Sản lượng - Chất lượng FTP server (VNPT) Conver Upload liệu Đẩy liệu thô Nhận liệu thô vào database từ bên VMS Database tính tốn (VNPT) Lưu trữ liệu thơ & tính tốn số liệu phục vụ sản xuất kinh doanh Database trình diễn (VNPT) Dữ liệu tính tốn Portal (VNPT) Trình diễn liệu online Hình 2.2 Tổng quan quy trình lấy phân tích liệu di động VMS Toàn liệu di động VMS đƣợc chuyển Data Center VNPT Dữ liệu đƣợc làm đƣợc chuyển vào Data warehouse để tính tốn số liệu Sau tính tốn xong theo u cầu đƣợc đồng hóa với hệ thống phân tích lớp trình diễn 2.2.1.3 Mơ hình phân cấp khối chức hệ thống Đối với hệ thống tổ chức liệu VMS đƣợc tổ chức thành khối chức năng: Khối nạp thẻ: khối chức tính tốn phân tích tình hình kích hoạt thẻ hệ thống toàn quốc Khối hệ thống tiêu thụ trả trƣớc (IN): Khối chức tính tốn phân tích hệ thống tiêu thụ trả trƣớc VMS Khối hệ thống sản lƣợng (MSC): khối chức tính tốn phân tích sản lƣợng di động 14 Khối hệ thống lƣu lƣợng, chất lƣợng mạng (KPI): khối chức phân tích chất lƣợng mạng Hệ thống phân tích kinh doanh Mobiphone Nạp thẻ Vat Sản lượng (MSC) Tiêu thụ Voice SMS Vinaphone Data Voice SMS Lưu lượng Data Vas Lưu lượng Hình 2.3 Tổng quan chức phân tích liệu VMS 2.3 Thiết kế Data Warehouse ứng dụng cho lĩnh vực di động VNPT 2.3.1 Kiến trúc đa tầng Hình 2.4 Kiến trúc đa tầng hệ thống Data Warehouse Sau phân tích thấy đƣợc nhiều ƣu điểm hệ thống Data warehouse, định chọn mô hình sau để tổ chức sở liệu dƣới dạng data warehouse Sử dụng mơ hình Data Warehouse Star để lƣu trữ liệu kinh doanh VNPT Data warehouse đƣợc thiết kế hƣớng chủ đề liệu Data mart để lƣu trữ liệu nhƣ chủ đề sản lƣợng, chủ đề tiêu thụ, chủ đề nạp thẻ… 15 Sử dụng kỹ thuật OLAP, tạo Cube, dimention để phục vụ phân tích kinh doanh đa chiều theo chiều nhƣ thời gian, vị trí, dịch vụ, nhà cung cấp… Sử dụng giải pháp hãng Oracle phiên 11gR2 để thực 2.3.2 Mơ hình triển khai VNPT Hình 2.5 Kiến trúc triển khai hệ thống Hệ thống liệu nguồn hãng di động đƣợc tổ chức phân tán đơn vị thành viên Hệ thống Data Center VNPT đặt trụ sở thực công tác thu thập xử lý số liệu trƣớc đƣa vào kho liệu dùng chung Các hệ thống server VNPT đƣợc tính tốn phân tán theo loại liệu nhà cung cấp dịch vụ Toàn liệu phân tích kinh doanh đƣợc tích hợp với cổng thơng tin Potal tập đoàn đƣợc trang bị kỹ thuật SSO, OTP để đảm bảo an toàn hệ thống 2.3.3 Chuẩn hóa liệu Chuẩn hóa quy ƣớc tên, thuộc tính, đơn vị đo lƣờng…của liệu (thẻ nạp, sản lƣơng, lƣu lƣợng, gọi trả trƣớc, SMS, Data) MobiFone 2.3.4 Thiết kế data mart chủ đề liệu Thiết kế số chủ đề liệu kho liệu: Chủ đề liệu sản lƣợng di động 16 Chủ đề liệu Flexi (data) Hình 2.6 Mơ hình xử lý liệu hệ thống Thiết kế chủ đề liệu sản lượng di động Đây kho liệu lƣu giữ tổng hợp sản lƣợng dịch vụ theo tiêu chí: tỉnh thành phố, đầu số, nhóm dịch vụ, mạng viễn thơng, loại th bao…trong ngày - Các liệu chiều: Chiều thời gian: gồm trục thời gian theo đơn vị nhƣ ngày, tuần, tháng, năm Chiều dịch vụ: Service_Type: gồm dịch vụ nhƣ Voice, SMS, VAS… Chiều nhà cung cấp (hƣớng dịch vụ): Owner_Ex, bao gồm liệu nhà cung cấp dịch vụ nhƣ Vinaphone, Mobifone, Vietel, Gtel… Chiều vị trí (location): Bao gồm vị trí CELL_ID, LAC_ID xác định đƣợc tọa độ trạm BTS xác định đƣợc thuộc đơn vị quản lý - Bảng liệu kiện: MSC_CDR_DATA Bao gồm toàn kiện phát sinh nhƣ Voice, SMS…cả chiều đến chiều hệ thống sản lƣợng MSC hệ thống di động nguồn 17 Hình 2.7 Lược đồ kho liệu chi tiết sản lượng - Bảng tổng hợp liệu sản lƣợng: bao gồm liệu đƣợc tổng hợp tính tốn Hình 2.8 Lược đồ kho liệu chủ đề tổng hợp Sản lượng Thiết kế chủ đề liệu Flexi (data) Lƣợc đồ bao gồm: Chiều thời gian: gồm trục thời gian theo đơn vị nhƣ ngày, tuần, tháng, năm Chiều dịch vụ: Service_Type: gồm dịch vụ nhƣ 2G, 3G… Chiều vị trí (location): Bao gồm vị trí CELL_ID, LAC_ID xác định đƣợc tọa độ trạm BTS xác định đƣợc thuộc đơn vị quản lý 18 Hình 2.9 Lược đồ kho liệu chi tiết Flexi - Bảng liệu kiện: MSC_FLEXI_DATA bao gồm toàn kiện phát sinh nhƣ liệu Upload, download hệ thống quản lý liệu phát sinh data Hình 2.10 Lược đồ kho liệu chủ đề tổng hợp Flexi 2.4 Thiết kế số tính phân tích liệu 2.4.1 Thiết kế chiều dimension - Xây dựng Dimension vị trí tỉnh/thành phố: Provinces - Xây dựng Dimension thời gian: Time_calendar_dim - Xây dựng Dimension nhà cung cấp viễn thông: nhƣ Vinaphone, Mobifone, Vietel… - Xây dựng Dimension dịch vụ: Services 19 2.4.2 Thiết kế Cube OLAP 2.4.2.1 Cube sản lƣợng Cube xây dựng nhằm mục đích phân tích tình hình sử dụng dịch vụ SMS, Voice…của ngƣời tiêu dùng theo chiều nhƣ thời gian, địa điểm sử dụng dịch vụ, hƣớng sử dụng dịch vụ 2.4.2.2 Cube nạp thẻ Cube nạp thẻ đƣợc xây dựng nhằm mục đích phân tích đƣợc tình hình kích hoạt thẻ nạp điện thoại ngƣời tiêu dùng theo thời điểm, địa điểm kích hoạt mệnh giá thẻ 2.4.2.3 Cube Flexi Cube Flexi đƣợc xây dựng nhằm mục đích phân tích tình hình sử dụng dịch vụ Data ngƣời tiêu dùng, dịch vụ bao gồm 2G 3G 2.4.2.4 Cube lƣu lƣợng Cube liệu chủ đề lƣu lƣợng nhằm phân tích đƣợc lƣu lƣợng dịch vụ nhƣ Voice, SMS…trong ngày thời điểm đƣợc sử dụng hiệu để nhằm giúp phận kinh doanh nắm đƣợc thói quen ngƣời tiêu dùng sử dụng dịch vụ 2.4.3 Xây dựng tiêu phân tích nâng cao OLAP cung cấp phép tính, phân tích nâng cao: - Số học Cơ bản: Cộng, trừ, nhân chia, sử dụng hai phép đo phép đo - Số học nâng cao: Cumulative, index, percent markup, rank, share, variance… 2.5 Kết luận chƣơng Trong chƣơng học viên tập trung vào phân tích tốn phân tích liệu kinh doanh di động VMS, đồng thời xây dựng thiết kế số DM kho liệu di động Bằng việc áp lý thuyết OLAP chƣơng một, tác giả thiết kế xây dựng số Cube kiến trúc OLAP để phục vụ cơng tác phân tích kinh doanh đa chiều tốn phân tích kinh doanh di động VNPT Tuy nhiên hệ thống di động thƣờng chứa liệu lớn nên q trình hồn thiện học viên cần nâng cấp, tối ƣu hệ thống để đảm bảo khả triển khai đƣợc khả thi 20 CHƢƠNG KẾT QUẢ XÂY DỰNG ỨNG DỤNG TRONG LĨNH VỰC DI DỘNG CHO VNPT Chƣơng học viên trình bày số kết nghiên cứu, phát triển triển khai thử nghiệm hệ thống VNPT 3.1 Cài đặt hệ thống 3.1.1 Tập hợp nguồn liệu cho toán Do hệ thống sử dụng liệu di động công ty VMS để nghiên cứu, để đảm bảo nguyên tắc an tồn bảo mật thơng tin cơng ty VNPT, học viên sử dụng mẫu liệu giả lập để nhằm phục vụ công tác nghiên cứu, mô thử nghiệm phạm vi luận văn - Nguồn liệu sản lƣợng VMS - Nguồn liệu Flexi VMS 3.1.2 Cài đặt thử nghiệm - Hệ thống máy chủ đặt Data Center VNPT - Hệ quản trị sở liệu Oracle 11gR2 - Hệ thống đƣợc triển khai thử nghiệm tảng hạ tầng đƣợc ứng dụng công nghệ Clustering đảm bảo khả tính tốn khối lƣợng số lƣợng lớn số liệu - OLAP server sử dụng giải pháp hãng Oracle phiên 11gR2 - Hệ điều hành Window Server 2008 3.2 Một số kết đạt đƣợc Một số kết liệu chiều: 21 Hình 3.1 Các chiều liệu Một số kết phân tích CUBE: Hình 3.2 Cube sản lượng theo tỉnh 22 Hình 3.3 Cube sản lượng theo nhà cung cấp dịch vụ Hình 3.4 Cube Flexi theo đơn vị 23 Hình 3.5 Cube lưu lượng sử dụng dịch vụ Hình 3.6 Cube kích hoạt nạp thẻ 3.3 Kết luận chƣơng Trong chƣơng ba học viên trình bày số kết quả, hình ảnh số chức kho liệu đạt đƣợc hệ thống triển khai thử nghiệm Data Center VNPT 24 KẾT LUẬN Luận văn nghiên cứu “NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG PHÂN TÍCH THƠNG TIN DI ĐỘNG CHO VNPT” đƣợc hoàn thành Nghiên cứu lý thuyết, mơ hình tổng quan BI doanh nghiệp Nghiên cứu phân tích đƣợc mơ hình triển khai DW doanh nghiệp Thực xây dựng kho liệu DW thử nghiệm từ hệ thống nguồn liệu kinh Mobifone Tuy nhiên thời gian thực luận văn có giới hạn nên luận văn dừng lại với việc xây dựng số DM hệ thống di động nhƣ chủ đề sản lƣợng chủ đề flexi Thực xây dựng số Cube sở lý thuyết OLAP để phục vụ công tác phân tích kinh doanh theo nhiều chiều phục vụ cơng tác hỗ trợ định Trong tƣơng lai học viên đề xuất thiết kế phát triển tiếp DM chủ đề tiêu thụ tài khoản thuê bao trả trƣớc VMS Đặc biệt tích hợp thêm nhiều nguồn thông tin từ hệ thống di động mạng Vinaphone từ phân tích đƣợc tồn cảnh thị trƣờng di động Việt Nam Qua đó, khẳng định xây dựng kho liệu kinh doanh di động doanh nghiệp cần thiết doanh nghiệp VMS nhƣ VNPT Việc hiểu đƣợc tầm quan trọng phƣơng pháp xây dựng hệ thống Data warehous đóng vai trị định việc xây dựng hệ thống BI doanh nghiệp viễn thông 25 TÀI LIỆU THAM KHẢO [1] Evelson, Boris (21 November 2008) "Topic Overview: Business Intelligence" [2] M Kaya and R Alhajj Fuzzy OLAP association rules mining based novel approach for multiagent cooperative learning In Int Conf on Industrial & Engin Appl of AI & Expert Syst., pages 56–65, 2004 [3] Data warehouse from architecture to implementation, Barry Devlin [4] 11 Steps in Data Warehousing (Sanjay Raizada-Nortwest operation, Syntel) [5] (Rud, Olivia (2009) Business Intelligence Success Factors: Tools for Aligning Your Business in the Global Economy Hoboken, N.J: Wiley & Sons ISBN 978-0-47039240-9) [6] Oracle 11gr2 Data warehousing Guide Release [7] Oracle GoldenGate Windows and UNIX 11g Release (11.1.1) E18173-01 [8] Building the Data warehouse, W.H.Inmon, Copyright © 2005 John Wiley & Sons, Inc [9] Data Warehousing Fundamentals: AComprehensive Guide for IT Professionals Paulraj Ponniah, Copyright © 2001 John Wiley & Sons, Inc ... thuật phân tích liệu OLAP, từ xây dựng cấu trúc Data Warehouse ứng dụng phân tích liệu di động VNPT Đối tượng phạm vi nghiên cứu Nghiên cứu Data Warehouse ứng dụng cho lĩnh vực phân tích liệu di động. .. văn nghiên cứu “NGHIÊN CỨU VÀ ỨNG DỤNG DATA WAREHOUSE TRONG PHÂN TÍCH THƠNG TIN DI ĐỘNG CHO VNPT? ?? đƣợc hồn thành Nghiên cứu lý thuyết, mơ hình tổng quan BI doanh nghiệp Nghiên cứu phân tích. .. động VNPT Phương pháp nghiên cứu Nghiên cứu chuẩn tổ chức liệu Data Warehouse Nghiên cứu giải pháp phân tích sở liệu lớn 3 Áp dụng để phân tích liệu di động VNPT Việc xây dựng kho liệu Data