NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH OBI CHO PHÂN TÍCH DỰ BÁO SỐ LIỆU KINH DOANH TRONG DOANH NGHIỆP VIỄN THÔNG Chương 1: Kinh doanh thông minh. Cung cấp cái nhìn tổng quát về hệ thống quản trị bao gồm khái niệm của hệ thống, vai trò của hệ thống đối với doanh nghiệp, thành phần và kiến trúc của hệ thống trong tổng thể kiến trúc của doanh nghiệp. Chương 2: Giới thiệu mô hình OBI. Cung cấp cái nhìn tổng quát về hệ thống OBI bao gồm kiến trúc và các thành phần của hệ thống. Chương 3: Đề xuất giải pháp hệ thống OBI cho dữ liệu lưu lượng và dịch vụ trong doanh nghiệp Viễn thông
HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG NGUYỄN MINH TUẤN NGHIÊN CỨU ỨNG DỤNG MÔ HÌNH OBI CHO PHÂN TÍCH DỰ BÁO SỐ LIỆU KINH DOANH TRONG DOANH NGHIỆP VIỄN THÔNG Chuyên ngành: Khoa học máy tính Mã số: 60.48.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI -2013 1 Luận văn được hoàn thành tại: HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG Người hướng dẫn khoa học: TS TRỊNH ANH TUẤN Phản biện 1: ………………………………………………………………………… Phản biện 2: ………………………………………………………………………… Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông Vào lúc: giờ ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện của Học viện Công nghệ Bưu chính Viễn thông 2 MỞ ĐẦU Khi DN hoạt động hiệu quả thì việc mở rộng phạm vi trên nhiều tỉnh thành, hay nhiều quốc gia là nhu cầu tất yếu. Song song với việc phát triển như thế, thì ban quản trị cũng vấp phải rất nhiều khó khăn trong quản lý. Dữ liệu của công ty, tập đoàn nằm rải rác ở nhiều nơi và dưới nhiề u hình thức khác nhau. Do đó, bất cứ nhu cầu truy vấn, phân tích hay so sánh giữa các vùng với nhau đều tiêu tốn rấ t nhiều thời gian và công sức. Với Data Warehouse (Kho dữ liệu) của BI, những dữ liệu quan trọng nằm rải rác nhiều nơi, dưới nhiều định dạng khác nhau của DN sẽ được trích xuất đều đặn và được tập hợp lại thành một cấu trúc thống nhất. Qua đó những báo cáo từ chi tiết đến tổng quát của toàn DN đều luôn đảm bảo được tính chính xác và kịp thời. “Kho dữ liệu” đã được rất nhiều tập đoàn lớn nhìn nhận là một phần quan trọng trên bước đường toàn cầu hóa của họ. BI là giải pháp công nghệ mà các tổ chức dùng để thu thập, lưu trữ, phân tích và xử lý dữ liệu nhằm giúp các nhà quả n lý đưa ra các quyết định hiệu quả hơn. BI cung cấp một cách nhìn toàn cảnh hoạt động của tổ chức từ quá khứ, đến hiện tại cũng như các dự đoán trong tương lai. Việc đó giúp cho các doanh nghiệp đưa ra các quyết định kinh doanh hiệu quả hơn: Xác định được vị trí và sức cạnh tranh của DN Phân tích thói quen sử dụng dịch vụ của khách hàng Xác định mục đích và chiến lược Marketing Dự đoán tương lai của doanh nghiệp Xây dựng chiến lược kinh doanh Giữ được khách hàng có giá trị và dự đoán khách hành tiềm năng Các nhà cung cấp dịch vụ Viễn thông hàng đầu ở Việt Nam. Trong những năm gần đây, luôn chú trọng công tác cung cấp dịch vụ, đảm bảo dịch vụ, nâng cao chất lượng sản phẩm tới khách hàng một cách nhanh chóng và thuận tiện. Để thực hiện việc đó, các thành phần và kiến trúc của công nghệ BI được nghiên cứu ứng dụng hỗ trợ doanh nghiệp trong việc ra quyết định hiệu quả và kịp thời. Trước thực trạng một số hạn chế như hiện nay, học viên đề xuất việc “xây dựng hệ thống phân tích và dự báo số kinh doanh trong doanh nghiệp viễn thông” dựa trên kiến trúc của hệ thống (BI) áp dụng mô hình Oracle Business Intelligence (OBI). 3 Nội dung và mục tiêu của luận văn gồm 3 phần chính: Chương 1: Kinh doanh thông minh. Cung cấp cái nhìn tổng quát về hệ thống quản trị bao gồm khái niệm của hệ thống, vai trò của hệ thống đối với doanh nghiệp, thành phần và kiến trúc của hệ thống trong tổng thể kiến trúc của doanh nghiệp. Chương 2: Giới thiệu mô hình OBI. Cung cấp cái nhìn tổng quát về hệ thống OBI bao gồm kiến trúc và các thành phần của hệ thống. Chương 3: Đề xuất giải pháp hệ thống OBI cho dữ liệu lưu lượng và dịch vụ trong doanh nghiệp Viễn thông: xây dựng và thiết kế cơ sở dữ liệu áp dụng giải pháp ở trên để xây dựng các báo cáo phân tích, biểu đồ kinh doanh thông minh trong dữ liệu lưu lượ ng và dịch vụ của doanh nghiệp Viễn thông, Đề xuất mô hình cài đặt và triển khai thử nghiệm, đánh giá kết quả của việc thử nghiệm. 4 CHƯƠNG 1. TỔNG QUAN VỀ ETL TRONG KHO DỮ LIỆU 1.1 Giới thiệu 1.1.1 Business Intelligence là gì ? Hệ hỗ trợ quản trị kinh doanh thông minh (BI) là qui trình và công nghệ mà các doanh nghiệp dùng để kiểm soát dữ liệu, khai phá tri thức giúp cho các doanh nghiệp có thể đưa ra các quyết định hiệu quả hơn trong hoạt động kinh doanh của mình. Công nghệ BI (BI technology) cung cấp một cách nhìn toàn cảnh hoạt động của doanh nghiệp từ quá khứ, hiệ n tại và các dự đoán tương lai. Mục đích của BI là hỗ trợ cho doanh nghiệp ra quyết định tốt hơn. 1.1.2 Vấn đề cốt lõi đối với BI Hệ thống BI đơn giản có thể được xem là sự kết hợp của 3 thành phần chính như sau: Hình 1.1.2-1 Cơ bản về hệ thống BI Trong đó: - Data Warehouse (Kho dữ liệu): Chứa dữ liệu tổng hợp của doanh nghiệp. - Data Mining (Khai phá dữ liệu): Các kỹ thuật dùng để khai phá dữ liệu và phát hiện tri thức như phân loại (Classification), phân nhóm (Clustering), phát hiện luật kết hợp (Association Rule), dự đoán (Predcition),… Business Analyst (Phân tích kinh Doanh): Các nhà lãnh đạo doanh nghiệp đưa ra những quyết định chiến lược đối với hoạt động kinh doanh của doanh nghiệp. Phân tích nghiệp vụ Khai phá dữ liệu Kho dữ liệu Hệ hỗ trợ kinh doanh thông minh 5 1.1.3 Lịch sử phát triển công nghệ Business Intelligence BI Hệ thống kinh doanh thông minh trên thế giới đã có một lịch sử khá lâu đời. Năm 1958, một chuyên gia nghiên cứu của IBM đã đưa ra thuật ngữ “Business Intelligence” và định nghĩa nó như là “khả năng nhìn nhận những mối quan hệ hiện có để rồi đề ra các hành động nhằm đạt được mục tiêu”. Năm 1989, Howard Dresner (sau này là chuyên gia phân tích của Gartner Group) đề xuất “kinh doanh thông minh” như là một lớp vỏ bọc để miêu tả “các khái niệm và phương pháp để cải thiện việc ra quyết định trong kinh doanh bằng cách sử dụng các hệ thống hỗ trợ trên thực tế”. Cho đến cuối những năm 1990, BI đã được sử dụng rộng rãi. Business Intelligence hiện nay vẫn giữ nguyên ý nghĩa của nó nhưng được phát triển rộng khắp trên nhiều lĩnh vực. Mặc dù chúng ta gọi là BI nhưng khái niệm và các kỹ thuật của BI có thể dùng được cho hầu hết các lĩnh vực như: kinh doanh, viễn thông(Telecom), giáo dục (Education), chính phủ (Government), chăm sóc sức khỏe (health care)…. 1.1.4 Vai trò của hệ thống BI trong doanh nghiệp Đối với các tổ chức kinh doanh luôn đặt tiêu chí hàng đầu “Thời gian chính là tiền bạc”, do đó họ không chỉ đơn thuần quả n lý hiệu quả hoạt động kinh doanh qua các chỉ tiêu tài chính, kinh doanh, sản xuất, hệ thống phân phối mà còn quản lý thông qua một ma trận các chỉ số hiệu suất chính (Key Performance Index - KPI) của tập hợp nhiều bộ phận với nhau trong toàn bộ chuỗi cung ứng và hoạt động của doanh nghiệp. 1.2 Khái niệm về mô hình BI 1.2.1 Khái niệm hệ hỗ trợ ra quyết định BI Khác với hệ hỗ trợ quản trị thông thường, mục đính chính của hệ thống hỗ trợ ra quyết định BI là cung cấp cho các chuyên gia có tri thức công cụ và phương pháp cho phép họ quyết đưa ra những quyết định hiệu quả và đúng thời gian. Quyết định hiệu quả: Một quyết định hiệu quả là một quyết định có tác động tích cực đến hoạt động sản xuất, kinh doanh, bán hàng hay quản lý của doanh nghiệp. Ngoài ra, các kết quả tích cực đạt đ ượ c từ việc ra quyết định cũng phải tương xứng với sự đầu tư cho chiến dịch thực hiện quyết định đó. 6 Quyết định đúng thời điểm: Các doanh nghiệp hoạt động trong môi trường kinh tế cạnh tranh cao và năng động. Như một hệ quả, khả năng phản ứng nhanh chóng với các hoạt động của đối thủ cạnh tranh và với điều kiện mới của thị trường chính là nhân tốt cố t yếu trong sự thành công và thậm chí là sự sống của doanh nghiệp. 1.2.2 Dữ liệu, thông tin và tri thức Hệ hỗ trợ quản trị không dựa trên khái niệm duy nhất là dữ liệu mà đề cập đến các khái niệm theo mức độ giá trị của dữ liệu: đó là dữ liệu, thông tin và tri thức. Dữ liệu : Dữ liệu có trong hệ thống thông tin của các tổ chức, doanh nghiệp. Các dữ liệu được sinh ra từ các giao dịch, các hoạt động quản trị, bán hàng và có thể từ nhiều nguồn khác nhau từ bên ngoài. Thông tin: là kết quả của hoạt động trích lọc và xử lý thông tin trên dữ liệu, và nó xuất hiện một cách có ý nghĩa cho những đối tượng nhận trong những lĩnh vực cụ thể. Tri thức: Thông tin được chuyể n thành tri thức khi nó được sử dụng để ra quyết định hay phát triển những hành động tương ứng. 1.2.3 Mục tiêu và nhiệm vụ của hỗ trợ quyết định BI Mục đích của hệ thống BI đượ c là giải pháp biến đổi dữ liệu từ kho dữ liệu hoặc dữ liệu chủ đề thành thông tin và tri thức, từ cách tổ ng hợp, phân tích các thông tin đó doanh nghiệp có được các tư duy chiến lược, hành động hiệu quả hoặc giá trị của hệ thống BI mang đến sự đúc kết các ý tưởng đem lại các hợp tác mới, khách hàng mới, tạo ra các thị trường mới, cung cấp các sản phẩm mới, dịch vụ mới cho khách hàng 1.3 Kiến trúc và thành phần mô hình BI 1.3.1 Kho dữ liệu (Datawarehouse) Kho dữ liệu (Data Warehouse) là tập hợp của các CSDL tích hợp, hướng chủ đề, được thiết kế để hỗ trợ cho chức năng trợ giúp quyết định mà mỗi đơn vị dữ liệu đều liên quan tới một khoảng thời gian cụ thể 1.3.1.1 Một data warehouse thường có các tính chất sau : - Dữ liệu có tính tích hợp - Dữ liệu gắn thời gian và có tính lịch sử - Dữ liệu tổng hợp và chi tiết 7 - Lưu trữ lâu dài - Bất biến theo thời gian - Dữ liệu chỉ đọc 1.3.1.2 Các lớp kiến trúc của một Data Warehouse thông thường - Data Source Layer (Lớp dữ liệu nguồn) - Data Extraction Layer - Staging Area - ETL Layer - Data Storage Layer 1.3.1.3 Kho dữ liệu chủ đề (Datamart) Kho dữ liệu chủ đề (Datamart - DM) là CSDL có những đặc điểm giống với kho dữ liệu nhưng với quy mô nhỏ hơn và lưu trữ dữ liệu về một lĩnh vự c, một chuyên ngành. Các Datamart có thể được hình thành từ một tập con dữ liệu của kho dữ liệu hoặc cũng có thể được xây dựng độc lập và sau khi xây dựng xong các Datamart có thể được kết nối, tích hợp lại với nhau tạo thành kho dữ liệu. Có thể chia Datamart ra làm 2 loại: Datamart độc lập và Datamart phụ thuộc 1.3.2 Xử lý dữ liệu trực tuyến (Online Analysis Processing - OLAP) 1.3.2.1 Khái niệm OLAP là mộ t kỹ thuật sử dụng các biểu diễn dữ liệu đa chiều gọi là các khối (cube) nhằm cung cấp khả năng truy xuất nhanh đến dữ liệu của kho dữ liệu. Tạo khối (cube) cho dữ liệu trong các bảng chiều (dimension table) và bảng sự kiện (fact table) trong kho dữ liệu và cung cấp khả năng thực hiện các truy vấn tinh vi và phân h cho các ứng dụng client 1.3.2.2 Ưu điểm của OLAP OLAP là kỹ thuật cho phép các ứng dụng client truy xuất hiệu quả dữ liệu này. OLAP cung cấp nhiều lợi ích cho người phân tích như: - Cung cấp mô hình dữ liệu đa chiều trực quan cho phép dễ dàng lựa chọn, định hướng và khám phá dữ liệu - Cung cấp một ngôn ngữ truy vấn phân tích, cung cấp sức mạnh để khám phá các mối quan hệ trong dữ liệu kinh doanh phức tạp. 8 - Dữ liệu được tính toán trước đối với các truy vấ n thường xuyên nhằm làm cho thời gian trả lời rất nhanh đối với các truy vấn đặc biệt - Cung cấp các công cụ mạnh giúp người dùng tạo các khung nhìn mới của dữ liệu dựa trên một tập các hàm tính toán đặc biệt 1.3.3 Khai phá dữ liệu(Datamining) Khai phá dữ liệu là quá trình khám phá các tri thức mới và các tri thức có ích tiề m ẩn trong nguồn dữ liệu đã có. Hiện nay, ngoài thuật ngữ khai phá dữ liệu, người ta còn dùng một số thuật ngữ khác có ý nghĩa tương tự như: khai phá tri thức từ CSDL (Knowlegde Mining from Databases), trích lọc dữ liệu (Knowlegde Extraction), phân tích dữ liệu/mẫu (data/pattern analysis), khảo cổ dữ liệu (Data Archaeology), nạo vét dữ liệu (Data Dredging). Diễn giải các bước trong quá trình khai phá dữ liệu : Bước 1: Làm sạch dữ liệu (data cleaning): là bước loại bỏ nhiễu hoặc các dữ liệu không thích hợp. Bước 2: Tích hợp dữ liệu (data integration): là bước tích hợp dữ liệu từ các nguồn khác nhau. Bước 3: Chọn dữ liệu (data selection): ở bước này, những dữ liệu liên quan đến nhiệm vụ sẽ được thu thập từ CSDL. Bước 4: Chuyển đổi dữ liệu (data transformation): trong bước này, dữ liệu sẽ được chuyển đổi về dạng phù hợp cho việc khai phá bằng cách thực hiện các thao tác nhóm hoặc tập hợp. Bước 5: Khai phá dữ liệu (data mining): là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp dụng để trích xuất ra các mẫu dữ liệu. Bước 6: Đánh giá mẫu (pattern evaluation): đánh giá sự hữu ích của các mẫu biểu diễn tri thức dựa vào một số phép đo. Bước 7: Trình diễn dữ liệu (knowlegde presentation): sử dụng các kĩ thuật trình diễn và trực quan hoá dữ liệu để biểu diễn tri thức khai phá được cho người sử dụng. 9 CHƯƠNG 2. MÔ HÌNH OBI 2.1 Giới thiệu 2.2 Các thành phần chính của mô hình OBI OBI là hệ thố ng cung cấp các tính năng rất mạnh hỗ trợ cho các ứng dụng BI trong doanh nghiệp. Một hệ thống OBI bao gồm các thành phần: Oracle Business Intelligence Enterprise Edition 11g, Oracle BI Publisher, Oracle Essbase, Oracle Scorecard and Strategy Management, và Oracle Essbase Analytics Link (EAL). Dưới đây là cái nhìn tổng thể về các thành phần chính trong hệ thống này 2.2.1 Các thành phần của Server OBI Server là hệ thống server phục vụ cho việc truy vấn, lập báo cáo và phân tích dữ liệu một cách nhanh chóng và hiệu quả. Hệ thống này cung cấp các dịch vụ cho các thành phần khác của hệ thống BI như các ứng dụng phân tích số liệu, các bảng điều khiển, các ứng dụng khai phá dữ liệu. Hình 0-1 – Kiến trúc tổng quát của hệ thống OBI Common Enterprise Information Model: mô hình mứ c ngữ cả nh của hệ thống OBI. Nó được truy cập thông qua một API mở, do đó tích hợp được với các kênh dữ liệu cả dưới dạng Oracle hoặc không phải Oracle. [...]... tiêu và nhiệm vụ mà học viên sẽ phải đạt được trong luận văn Đọc xong chương này, người đọc đã có thể có một cái nhìn tổng quan có tính hệ thống về đề tài đang được thực hiện 12 CHƯƠNG 3 ĐỀ XUẤT GIẢI PHÁP HỆ THỐNG PHÂN TÍCH VÀ DỰ BÁO SỐ LIỆU KINH DOANH TRONG DOANH NGHIỆP VIỄN THÔNG DỰA TRÊN MÔ HÌNH OBI 3.1 Đặt vấn đề VNPT là doanh nghiệp cung cấp dịch vụ viễn thông hàng đầu của Việt Nam với thị phần rất... dữ liệu cơ bản 3.3.2 Mục tiêu xa - Xây dựng được hệ thống BI dựa trên nền tảng công nghệ OBI cho các dịch vụ của VNPT - Có đầy đủ các mức độ báo cáo trong hệ thống từ báo cáo chung tới các báo cáo đa chiều, các báo cáo dự báo, dự đoán, phân tích - Các báo cáo là realtime, việc thu thập và phân tích thông tin là hoàn toàn tự động - Chuẩn hóa được tất cả các dữ liệu cần có phục vụ các bài toán kinh doanh, ... liệu mẫu Cài đặt kho siêu dữ liệu, thiết kế các chiều dữ liệu, chuẩn bị các đối tượng phục vụ thiết kế báo cáo Hình 0-1 Oracle BI Administrator Hình 0-2 Quản trị hệ thống OBI server 21 Hình 0-3 Thiết kế báo cáo 3.5.3 Biểu đồ và mẫu báo cáo phân tích và dự báo dựa trên công nghệ OBI Trong phần này tác giả sẽ demo một số báo cáo tổng hợp và phân tích lưu lượng và dịch vụ Báo cáo có các chiều xem: Thời... dịch vụ VPN và VoIP: VTN Trong phạm vi đề tài này tác giả lựa chọn dịch vụ (NP, VoIP SP, VPN SP) của công ty hạ tầng VTN để phân tích lưu lượng và dịch vụ 3.2.2 Phân tích biểu mẫu báo cáo và chỉ tiêu phục vụ phân tích và dự báo Hệ thống báo cáo số liệu, biểu đồ phân tích hiện tại của đơn vị Viễn thông được xây dựng dựa trên nhu cầu thực tế của người dùng, và chỉ cung cấp được thông tin theo một chiều... phép người quản trị hệ thống OBI quản lý nhiều hệ thống server khác nhau trên một giao diện 2.3 Các đặc điểm của hệ thống OBI OBI được thiết kế nhằm đưa ra các giải pháp cho các yêu cầu phân tích số liệu sản xuất kinh doanh của doanh nghiệp Nó bao gồm một loạt các tính năng như truy vấn và phân tích dữ liệu, đưa ra các bảng điều khiển, scorecard, lập báo cáo, cảnh báo, phân tích từ xa… Hệ thống được thiết... Oracle BI Server: server phục vụ cho việc phân tích và trích xuất dữ liệu có khả năng mở rộng và hiệu năng rất cao Nó có khả năng tích hợp dữ liệu từ rất nhiều nguồn khác nhau Oracle Essbase: server hỗ trợ việc xử lý phân tích trực tuyến (OLAP), cung cấp môi trường cho việc phát triển các ứng dụng phân tích đặc thù cũng như các ứng dụng quản lý hiệu năng của doanh nghiệp Oracle Essbase Analytics Link:... chương Trong chương 3 học viên đã thiết kế mô hình triển khai hệ thống thử nghiệm, xây dựng cấu trúc cơ sở dữ liệu theo chủ đề nhằm mục đích phân loại các lưu lượng và dịch vụ, từ đó xây dựng các tiêu chí báo cáo để xác định các nhu cầu sử dụng lưu lượng và dịch vụ Bên cạnh đó cũng chỉ ra một số hạn chế trong việc phân tích dữ liệu và tổng hợp các thông tin Từ việc phân tích các hạn chế đó, dựa trên... Không cần nhân sự cho việc báo cáo cho việc thu thập thống kế báo cáo cho thực hiện các báo cáo lãnh đạo Đôi khi số liệu không được tin cậy Định dạng các báo cáo Txt, excel, word Hiển thị số liệu trên Web, biểu đồ tăng giảm Khả năng thay đổi các Cần nhân sự thực hiện Người theo dõi, quản lý có thể báo cáo tự xây các báo cáo theo nhu cầu riêng Độ tin cậy của thông Tùy thuộc người xây dựng báo cáo Chính... Khối báo cáo: gồm các báo cáo dạng trực tuyến, báo cáo đồ họa và báo cáo theo định dạng chuẩn của VNPT được cài đặt trên webserver Server thứ 2 có chức năng thu thập số liệu, phân tích các số liệu trong cơ sở dữ liệu cung cấp cho các đối tượng quản lý để có cái nhìn tổng quát và đa chiều về các thông tin về đơn vị thuê và lưu lượng sử dụng vào cách thức điều hành nội bộ và phối hợp các đơn vị trong. .. vậy việc cần có một hệ thống BI để phục vụ cho các nhu cầu quản lý, điều hành, nhu cầu phân tích thị trường, phân tích dịch vụ, phân tích khách hàng và hàng loạt những nhu cầu khác là rất cấp thiết 3.2 Mô tả bài toán thử nghiệm 3.2.1 Lựa chọn nguồn dữ liệu Dựa trên khảo sát thực tế tác giả xây dựng bảng tổng hợp các nguồn dữ liệu được đưa ra dựa trên việc phân tích các hệ thống phục vụ công tác quản lý . Kho dữ liệu Hệ hỗ trợ kinh doanh thông minh 5 1.1.3 Lịch sử phát triển công nghệ Business Intelligence BI Hệ thống kinh doanh thông minh trên thế giới đã có một lịch sử khá lâu đời là giai đoạn thiết yếu, trong đó các phương pháp thông minh sẽ được áp dụng để trích xuất ra các mẫu dữ liệu. Bước 6: Đánh giá mẫu (pattern evaluation): đánh giá sự hữu ích của các mẫu biểu. VARCHAR2 (50 Byte) Bảng 0-4: Bảng dữ liệu dịch vụ S TT Tên Trường Kiểu dữ liệu 1 ID NUMBER 2 NAME VARCHAR2 Bảng 0-5: Bảng dữ liệu thiết bị S TT Tên Trường Kiểu dữ liệu 1 ID NUMBER 2