Giải pháp hỗ trợ báo cáo trong hệ thống BI

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG Ngô Thế Anh Hào GIẢI PHÁP HỖ TRỢ BÁO CÁO TRONG HỆ THỐNG BI LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG Ngô Thế Anh Hào GIẢI PHÁP HỖ TRỢ BÁO CÁO TRONG HỆ THỐNG BI Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS. Hoàng Đỗ Thanh Tùng Thái Nguyên - 2012 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành tới Trường Đại học Công nghệ thông tin và truyền thông – Đại học Thái Nguyên, Viện Công nghệ Thông tin thuộc Viện Khoa học và Công nghệ Việt Nam, nơi các thầy, các cô đã tận tình truyền đạt các kiến thức quý báu cho tôi trong suốt quá trình học tập. Xin cảm ơn Ban chủ nhiệm khoa và các cán bộ khoa đã tạo điều kiện tốt nhất cho tôi học tập và hoàn thành đề tài tốt nghiệp của mình. Đặc biệt, tôi xin gửi lời cảm ơn tới TS. Hoàng Đỗ Thanh Tùng, thầy đã tận tình chỉ bảo tôi trong suốt quá trình thực hiện luận văn tốt nghiệp. Tôi xin bày tỏ lòng biết ơn tới gia đình, bạn bè, đồng nghiệp và những người thân đã động viên khích lệ tinh thần và giúp đỡ tôi hoàn thành luận văn này. Thái Nguyên, ngày 10 tháng 10 năm 2012 Ngô Thế Anh Hào Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn LỜI CAM ĐOAN Tôi xin cam đoan luận văn này do tôi tự tìm hiểu và tổng hợp từ nhiều nguồn tài liệu khác nhau. Luận văn tốt nghiệp là kết quả của quá trình học tập, và thực hiện hoàn toàn nghiêm túc, trung thực của bản thân. Tất cả các tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp. Phần mã nguồn của chương trình do tôi thiết kế và xây dựng, trong đó có sử dụng một số thư viện chuẩn và các thuật toán được các tác giả xuất bản công khai và miễn phí trên mạng Internet. Tôi xin hoàn toàn chịu trách nhiệm về nội dung và sự trung thực trong luận văn tốt nghiệp Thạc sĩ của mình. Người cam đoan Ngô Thế Anh Hào i Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỤC LỤC MỤC LỤC i DANH MỤC CÁC TỪ VIẾT TẮT iii DANH MỤC CÁC BẢNG iv DANH MỤC CÁC HÌNH v MỞ ĐẦU 1 CHƯƠNG 1. TỔNG QUAN VỀ HỆ THỐNG BI 2 1.1. BI nhu cầu và thực trạng 2 1.2. Khảo sát hệ thống BI triển khai ở Việt Nam 5 1.3. Lịch sử và xu hƣớng phát triển của BI 7 1.4. BI và các vấn đề trọng tâm 13 CHƯƠNG 2. CÔNG NGHỆ VÀ BÁO CÁO CHO HỆ THỐNG BI 17 2.1. Nền tảng công nghệ cho BI 17 2.2. Data Warehouse cho BI 20 2.3. An ninh và Internet với BI 24 2.4. Giải pháp thúc đẩy phát triển BI thời gian thực 27 2.4.1. Hiệu quả hoạt động đáp ứng thời gian thực 27 2.4.2. Kiến trúc và công nghệ của RTBI 28 2.5. Tổ chức các dạng báo cáo trong hệ thống BI 33 CHƯƠNG 3. CÀI ĐẶT VÀ TRIỂN KHAI THUẬT TOÁN TRUY VẤN LIÊN TỤC HỖ TRỢ CHO BÁO CÁO TRONG HỆ THỐNG BI 40 3.1. Thuật toán truy vấn liên tục hỗ trợ báo cáo trong hệ thống BI 40 3.1.1. Động cơ thúc đẩy 40 3.1.2. Tìm hiểu luồng dữ liệu và báo cáo liên tục 41 3.1.3. Thuật toán truy vấn liên tục 42 3.1.4. Các tình huống xử lý truy vấn 46 3.1.5. Ý tưởng của đề tài 46 3.2. Microsoft StreamInsight và báo cáo trong BI 48 3.2.1. Mục tiêu và lợi ích của StreamInsight với báo cáo BI 49 ii 3.2.2. Mô tả cấu trúc dữ liệu trong StreamInsight 51 3.2.3. Thành phần hoạt động của máy chủ StreamInsight 55 3.3. Cài đặt và thử nghiệm báo cáo Dashboard với StreamInsight 59 3.3.1. Cấu trúc của chương trình 59 3.3.2. Cấu trúc và giao diện báo cáo 60 3.3.3. Kết quả thử nghiệm 62 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 65 TÀI LIỆU THAM KHẢO 66 iii DANH MỤC CÁC TỪ VIẾT TẮT TỪ VIẾT TẮT NGHĨA TIẾNG ANH BAM Bacteriological Analytical Manual CEP Centre for Economic Performance CRM Customer relationship management DW Data warehouse ETL Extract, transform, load ERP Enterprise resource planning KPI Key performance indicator LINQ Language-Integrated Query OLAP OnLine Analysis Processing OPM Operational performance measure RTBI Real-time business intelligence SDK Software Development Kits SO Strategic objective SOA Society of Actuaries iv DANH MỤC CÁC BẢNG Bảng 3.1: Cấu trúc sự kiện Insert 53 Bảng 3.2: Sự kiện khoảng thời gian 54 Bảng 3.3: Mô hình điểm sự kiện 54 Bảng 3.4: Sự kiện cạnh 55 v DANH MỤC CÁC HÌNH Hình 1.1: Truyền thông giữa hệ thống giao dịch và ứng dụng phân tích 8 Hình 1.2: Mô hình phát triển của BI 9 Hình 2.1: Nền tảng công nghệ BI 17 Hình 2.2: Mô hình BI đơn giản 20 Hình 2.3: Data Warehouse trong mô hình BI 23 Hình 2.4: Tầm nhìn cho RTBI 29 Hình 2.5: Ba lớp RTBI 30 Hình 2.6: Các lớp báo cáo của BI 33 Hình 2.7: Ví dụ báo cáo tĩnh - Doanh thu theo khách hàng 34 Hình 2.8: Ví dụ báo cáo động 35 Hình 2.9: Ví dụ dạng báo cáo Drill-down 36 Hinh 2.10: Ví dụ dạng báo cáo drill-through 36 Hình 2.11: Ví dụ của báo cáo Dashboard 37 Hình 2.12: Ví dụ dạng báo cáo Ad-hoc Dashboard 38 Hình 3.1: Báo cáo thời gian thực của Google Analystic 40 Hình 3.2: Kiến trúc truy vấn liên tục trong luồng dữ liệu 43 Hình 3.3: Mô hình kiến trúc xử lý truy vấn liên tục 44 Hình 3.4: Kiến trúc tạo báo cáo BI sử dụng thuật toán truy vấn liên tục 47 Hình 3.5: Nền tảng ứng dụng StreamInsight 48 Hình 3.6: Truy vấn ràng buộc 59 Hình 3.7: Cấu trúc chương trình 60 Hình 3.8: Lớp dự án DataPublisher 60 Hình 3.9: Lớp dự án WebOutputAdapter 61 Hình 3.10: Lớp dự án EventReceiver.WinUI 61 Hình 3.11: Mẫu báo cáo Dashboard 62 Hình 3.12: Báo cáo theo dòng 63 Hình 3.13: Báo cáo Dashboard qua biểu đồ 63 1 Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn MỞ ĐẦU BI (Business Intelligence) đã được sử dụng rộng rãi trên thế giới, đặc biệt là ở châu Âu từ nhiều năm nay. Ở Việt Nam hiện nay vẫn còn đang ở dạng sơ khai, mặc dù thị trường này cũng đã có sự góp mặt của nhiều “đại gia” như Microsoft, Oracle, Cognos, Business Objects, Sap nhưng các tổ chức doanh nghiệp tại Việt Nam vẫn đang trong giai đoạn chuẩn hóa hệ thống thông tin, bao gồm nhiều vấn đề dưới nhiều góc độ khác nhau trong hệ thống quản trị tổ chức. Vì thế hệ thống quản trị thông minh cho doanh nghiệp là giải pháp toàn diện giúp tổ chức chuẩn hóa hệ thống cơ sở dữ liệu quan hệ ở tầng ứng dụng trên nhiều nền tảng, tích hợp dữ liệu vào Data Warehouse, phân tích và tích hợp tri thức nghiệp vụ để khai thác thông tin kinh doanh, thể hiện trên hệ thống báo cáo đa tương tác, nhằm giúp đội ngũ nhân viên kinh doanh, ban giám đốc có thể tính chính xác, kịp thời khai thác và quyết đoán, tập hợp và phân tích thông tin khách hàng hiệu quả, ra quyết định và triển khai các giải pháp kinh doanh kịp thời, hỗ trợ nâng cao tầm nhìn của nhà quản trị cả về bề rộng và chiều sâu trong môi trường kinh doanh đầy cạnh tranh ngày nay. Trong thời đại thông tin bùng nổ, thông tin có nhiều vô số, thị trường cạnh tranh khốc liệt, các đối thủ cạnh tranh nhau ở từng sản phẩm, từng khách hàng. Vấn đề sống còn ở đây không những đưa ra được giai đoạn hợp lý mà còn phải kịp thời và tốn ít thời gian, nguồn lực và chi phí. Tuy nhiên giải pháp xử lý luồng dữ liệu liên tục cũng như giải pháp dành cho báo cáo thời gian thực trong kinh doanh chưa được nghiên cứu nhiều ở Việt Nam. Đó cũng là lý do mà tôi chọn đề tài “Giải pháp hỗ trợ báo cáo trong hệ thống BI ” với hi vọng góp phần nâng cao khả năng cạnh tranh và phát triển mạnh mẽ, bền vững hơn cho các doanh nghiệp thương mại Việt Nam. [...]... với giải pháp BI 17 CHƢƠNG 2 CÔNG NGHỆ VÀ BÁO CÁO CHO HỆ THỐNG BI 2.1 Nền tảng công nghệ cho BI Tất cả giải pháp BI bất kể hãng nào đều phải tuân theo nguyên lí tổng quan gồm có 5 tầng chính, ngắm đến mục đích cuối cùng là ra quyết định Tùy vào hiện trạng của doanh nghiệp mà giải pháp sẽ được tùy bi n sao cho phù hợp để đáp ứng được yêu cầu 05 tầng chính của một giải pháp BI gồm: Khả năng hỗ trợ quyết... dữ liệu thường được khai thác trong thời gian ngắn Khi máy tính được sử dụng rộng rãi hơn, hệ thống giao dịch và hệ thống phân tích phát triển mạnh Theo cách tiếp cận truyền thống, các thông tin liên lạc giữa hai loại hệ thống (hệ thống giao dịch và hệ thống phân tích) theo một hướng, bởi vì hệ thống phân tích được đồng bộ hóa với dữ liệu từ các hệ thống giao dịch Hệ thống phân tích cung cấp thông... dùng doanh nghiệp, đặc bi t là các nhà quản lý trung và cao cấp Nhờ những giải pháp này mà họ đã có được các công cụ cho phép tự nhận báo cáo không cần qua các phân tích viên hay chuyên gia công nghệ thông tin Họ tự do lựa chọn các báo cáo, kể cả cách trình bày các báo cáo đó (theo đồ thị, bi u đồ, ) Khảo sát của Gartner trong ba năm trở lại đây cho thấy giải pháp BI luôn đứng đầu trong thứ tự ưu tiên... càng nhiều, cũng như lãnh đạo sẽ càng có ít thời gian hơn trong việc xây dựng quản lý, do đó họ cần một giải pháp để giúp đưa ra các báo cáo số liệu một cách nhanh chóng thuận tiện Đó là một trong những lý do khiến cho nhu cầu đầu tư lớn vào hệ thống thông tin doanh nghiệp, đặc bi t là đầu tư vào DW và BI Giải pháp tổng thể: Một giải pháp DW và BI tổng thể thường bao gồm các quá trình sau: Tổng hợp và... cho giải pháp BI tối ưu Với các doanh nghiệp đã triển khai ERP và các hệ thống quản lý thông tin tác nghiệp đặc thù như ngân hàng, bảo hiểm, bệnh viện, chứng khoán… thì BI sẽ tự động móc nối vào các hệ quản lý tác nghiệp nói trên để tự động thống kê, phân tích, báo cáo phục vụ quá trình quản lý và ra quyết định tức thời BI vừa là đầu ra cuối cùng của hệ thống ERP, CRM, … vừa là đầu vào cho chính các hệ. .. kiến trúc điện toán mà các hệ thống BI xây dựng trên đó Trong vòng mười năm gần đây, các nhà phát triển BI đã cố gắng nối kết chúng với những đổi mới về công nghệ và kiến trúc, từ SOA, kiến trúc cổng thông tin và công nghệ ảo hoá, các giải pháp di động, Nay các nhà sản xuất hệ thống BI đang cố gắng tích hợp chúng vào môi trường và kiến trúc đám mây Tuy nhiên, những giải pháp đó sẽ chiếm vị trí nào... CHƢƠNG 1 TỔNG QUAN VỀ HỆ THỐNG BI 1.1 BI nhu cầu và thực trạng Thông thường, khi ban lãnh đạo của tổ chức cần các thông tin để thống kê, phân tích đưa ra những quyết định trong quản lý doanh nghiệp của mình, phương pháp truyền thống là họ sẽ yêu cầu các bộ phận hỗ trợ (thường là các phòng, ban tài chính) để đưa ra các báo cáo Công việc này thường sẽ mất rất nhiều thời gian để tạo lập báo cáo, đôi khi các... có nhiều dữ liệu hơn trong data warehouse đơn giản bởi vì nó cung cấp rất nhiều lựa chọn và hỗ trợ ra quyết định khá tốt BI là giải pháp sử dụng các kỹ năng, quy trình, công nghệ, ứng dụng để hỗ trợ ra quyết định, các công cụ BI nâng cao khả năng trợ giúp để đưa ra các quyết định mang tính chiến lược, chiến thuật và đem lại hiệu quả trong kinh doanh BI cho phép doanh nghiệp hiểu bi t về quá khứ và dự... tốt hơn với điều kiện thay đổi trên thị trường [6] Quá trình phát triển của BI được thể hiện qua mô hình 1.2 9 Mô hình trưởng thành của BI – Báo cáo Sơ Khai Thời kì đầu Thời kì thứ 3 Thời kỳ thứ 4 Thời kỳ thứ 5 Hoàn thiện Báo cáo Báo cáo tĩnh Truy vấn đặc bi t Tham số hóa báo cáo điều khiển điểm Dự báo kế hoạch, mô hình Báo cáo diện rộng Phân tích Làm bằng tay Bảng tính Olap Phân tích trực quan Đoán... một hay nhiều đối tượng trong tổ chức, đơn vị kinh doanh tùy theo mô hình được thiết kế xây dựng Tạo báo cáo (Reporting): Các báo cáo, thống kê, phân tích được xây dựng sử dụng cấu trúc từ Data Marts, phục vụ cho việc hiển thị dữ liệu báo cáo tới người sử dụng Hình 2.3: Data Warehouse trong mô hình BI Giải pháp Kho dữ liệu Data Warehouse: Có nhiều phương thức để đánh giá các giải pháp DW hiện tại trên . trúc và công nghệ của RTBI 28 2.5. Tổ chức các dạng báo cáo trong hệ thống BI 33 CHƯƠNG 3. CÀI ĐẶT VÀ TRIỂN KHAI THUẬT TOÁN TRUY VẤN LIÊN TỤC HỖ TRỢ CHO BÁO CÁO TRONG HỆ THỐNG BI 40 3.1. Thuật. 2. CÔNG NGHỆ VÀ BÁO CÁO CHO HỆ THỐNG BI 17 2.1. Nền tảng công nghệ cho BI 17 2.2. Data Warehouse cho BI 20 2.3. An ninh và Internet với BI 24 2.4. Giải pháp thúc đẩy phát triển BI thời gian. lạc giữa hai loại hệ thống (hệ thống giao dịch và hệ thống phân tích) theo một hướng, bởi vì hệ thống phân tích được đồng bộ hóa với dữ liệu từ các hệ thống giao dịch. Hệ thống phân tích cung