Xây dựng kho dữ liệu cho hệ thống tổng hợp thông tin kinh tế - xã hội

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Thị Thu Hằng XÂY DỰNG KHO DỮ LIỆU CHO HỆ THỐNG TỔNG HỢP THÔNG TIN KINH TẾ - XÃ HỘI Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60.48.05 LUẬN VĂN THẠC SĨ NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Tuệ Hà Nội – 2009 MỤC LỤC LỜI CẢM ƠN ERROR! BOOKMARK NOT DEFINED LỜI CAM ĐOAN ERROR! BOOKMARK NOT DEFINED MỤC LỤC BẢNG CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU MỞ ĐẦU CHƢƠNG – LÝ THUYẾT XÂY DỰNG KHO DỮ LIỆU 10 1.1 Các khái niệm kho liệu 10 1.1.1 Kho liệu – data warehouse 10 1.1.2 Các loại liệu Data Warehouse 12 1.2 Thiết kế kho liệu 13 1.2.1 Các giai đoạn thiết kế kho liệu 13 1.2.2 Mô hình liệu 14 CHƢƠNG – MÔ TẢ, ĐÁNH GIÁ, PHÂN TÍCH QUY TRÌNH NGHIỆP VỤ CỦA HỆ THỐNG TỔNG HỢP KINH TẾ - XÃ HỘI 18 2.1 Quy trình xác định, tạo lập, lƣu trữ, cung cấp thông tin tổng hợp KTXH 18 2.1.1 Quy trình xác định, tạo lập lƣu trữ thông tin tổng hợp KTXH đơn vị trực thuộc Bộ XD 18 2.1.2 Quy trình cung cấp tổ chức khai thác thông tin tổng hợp KTXH đơn vị trực thuộc Bộ XD 19 2.2 Quy trình cung cấp tổ chức khai thác thông tin tổng hợp KTXH 20 2.2.1 Xác định nội dung hình thức cung cấp, khai thác thông tin 20 2.2.2 Cung cấp thông tin tới địa cần thiết qua đƣờng truyền mạng 20 2.2.3 Cung cấp thông tin tổng hợp KTXH phục vụ công tác điều hành quản lý 20 2.3 Qui trình thực chế độ thông tin báo cáo 21 2.3.1 Quy trình nghiệp vụ tổng quát 21 2.3.2 Quy trình làm báo cáo tại Bộ Xây dựng 22 2.4 Mô tả thông tin liệu 23 2.4.1 Mô hình liệu 23 2.4.2 Hệ thống tiêu tổng hợp chung Bộ Xây Dựng 24 2.4.3 Hệ thống tiêu tổng hợp đơn vị Error! Bookmark not defined CHƢƠNG - XÂY DỰNG KHO DỮ LIỆU THỬ NGHIỆM ERROR! BOOKMARK NOT DEFINED 3.1 Giới thiệu công cụ OLAP SQL Server 2005 Error! Bookmark not defined 3.1.1 Giới thiệu OLAP Error! Bookmark not defined 3.1.2 Giới thiệu dịch vụ OLAP Microsoft SQL Server Error! Bookmark not defined 3.1.3 Các mô hình lƣu trữ Error! Bookmark not defined 3.1.4 Kiến trúc khối (cube) OLAP Error! Bookmark not defined 3.1.5 Mô hình kiến trúc dịch vụ OLAP Error! Bookmark not defined 3.2 Thiết kế sở liệu Error! Bookmark not defined 3.2.1 Dữ liệu nguồn Error! Bookmark not defined 3.2.2 Thiết kế chiều lƣu trữ liệu Error! Bookmark not defined 3.3 Cài đặt kho liệu thử nghiệm Error! Bookmark not defined 3.3.1 Khởi tạo cài đặt Project Error! Bookmark not defined 3.3.2 Khai thác kho liệu Error! Bookmark not defined KẾT LUẬN ERROR! BOOKMARK NOT DEFINED TÀI LIỆU THAM KHẢO 35 BẢNG CÁC KÝ HIỆU VÀ TỪ VIẾT TẮT Từ viết tắt Từ tiếng anh Từ cụm từ BMSL Biểu mẫu số liệu CNTT Công nghệ thông tin CSDL Database Cơ sở liệu DM Data Mart Kho liệu cục DW Data Warehouse Kho liệu EDM Enterprise Data Model Mô hình liệu mức xí nghiệp HTTT Hệ thống thông tin TT THDL Trung tâm tổng hợp liệu KTXH Kinh tế - Xã hội LAN Local Area Network Mạng cục OLAP On-Line Analytical Processing Xử lý phân tích trực tuyến SA Subject Area Vùng chủ đề VP Văn phòng XD Xây dựng DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Danh mục hình vẽ Hình 1.1 – Mô sơ đồ hình CDSL 18 Hình 1.2 – Mô sơ đồ tuyết rơi (mở rộng sơ đồ hình sao) 19 Hình 1.3 – Mô chiều kinh doanh 20 Hình 2.1 – Quy trình xác định, tạo lập, lƣu trữ thông tin cấp sở 23 Hình 2.2 – Quy trình thu thập số liệu cấp Bộ 24 Hình 2.3 – Mô hình tạo báo cáo văn phòng Bộ XD 27 Hình 2.4 – Mô hình tổ chức liệu Hệ thống cấp Bộ 28 Hình 3.1 – Mối quan hệ nhiều loại công nghệ Analysis Services (dịch vụ phân tích) SQL Server 2005 55 Hình 3.2 – Kiến trúc dịch vụ OLAP 56 Hình 3.3 – Mô hình Multidimensional OLAP 57 Hình 3.4 – Mô hình Relation OLAP 58 Hình 3.5 – Mô hình Hybird OLAP 59 Hình 3.6 – Mô hình kiến trúc dịch vụ OLAP 61 Hình 3.7 – Kiến trúc thành phần Server 62 Hình 3.8 – Kiến trúc thành phần Client 63 Hình 3.9 – Mô hình Data Mart hệ thống TH KT-XH 66 Hình 3.10 – Khung nhìn liệu Data Mart hệ thống 67 Hình 3.11 – Cấu trúc khối (cube) TH_KTXH.cube 67 Hình 3.12 – Kết triển khai project TH_KTXH Analysis Service 68 Hình 3.13 – Báo cáo tình hình thực quản lý quy hoạch phát triển vật liệu xây dựng phạm vi nƣớc Vụ Vật liệu xây dựng từ năm 2000 đến 2008 69 Hình 3.14 – Báo cáo quản lý quy hoạch phát triển vật liệu xây dựng phạm vi nƣớc Vụ Vật liệu xây dựng từ năm 2000 đến 2008 – sử dụng dịch vụ Reporting Services 70 Hình 3.15 – Báo cáo sản lƣợng Xi măng loại từ năm 2000 đến 2008 – sử dụng dịch vụ Reporting Services 71 Hình 3.16 – Báo cáo sản lƣợng sản xuất Cát xây dựng doang nghiệp quốc doanh từ năm 2000 đến 2008, so sánh số liệu thực số liệu ƣớc 72 Danh mục bảng biểu Bảng 2.1 Thống kê mẫu báo cáo tình trạng cung cấp thông tin hệ thống tiêu tổng hợp 30 Bảng 2.2 Hệ thống tiêu tổng hợp dùng chung Bộ XD 32 MỞ ĐẦU Thế kỷ 21 thời đại kinh tế trí thức Mọi hoạt động muốn đạt hiệu cao, giành đƣợc thắng lợi cạnh tranh gay gắt thiết phải có phƣơng pháp để có đƣợc thông tin, tri thức cần thiết cách nhanh xác Việc áp dụng công nghệ thông tin vào thực tiễn sản xuất nghiệp vụ mang lại hiệu lợi ích to lớn Công nghệ ngày đƣợc phát triển, hoàn thiện để đáp ứng yêu cầu ngày cao thực tế nghiên cứu, quản lý sản xuất nghiệp vụ Sự mở rộng qui mô áp dụng từ ứng dụng đơn lẻ đến hệ thống thông tin cỡ lớn dẫn đến thành công vƣợt bậc nghiệp vụ Các hệ thống thông tin từ chỗ giải xử lý công việc hàng ngày tiến tới đáp ứng đƣợc yêu cầu mức độ cao Các nhà quản lý điều hành biết đƣợc công việc diễn nhƣ mà biết xảy sau đó, có nghĩa thông tin mang tính phân tích hệ thống thông tin có khả hỗ trợ định Hiện nay, phƣơng pháp xây dựng kho liệu phát triển lý thuyết nhƣ thực tế Lý thuyết xây dựng kho liệu đƣợc hình thành rõ nét, bên cạnh nhà cung cấp phần mềm đƣa công cụ để xây dựng, lƣu trữ, trì phát triển kho liệu Một kho liệu giúp đỡ nhà quản lý, doanh nghiệp … có khả quản lý liệu, khai thác thông tin để đƣa định nhanh chóng phù hợp Quá trình tìm hiểu thực tế việc tin học hóa quán lý hành nhà nƣớc cho thấy việc tổng hợp quản lý thông tin kinh tế - xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lƣợc hỗ trợ định” nhu cầu thiết ngƣời quản lý, thách thức, toán thực tế đƣợc tìm hƣớng giải Đề tài dựa lý thuyết, phƣơng pháp luận, công cụ xây dựng kho liệu, từ triển khai xây dựng kho liệu thực tế, nhằm hƣớng tới giải yêu cầu toán nói Luận văn gồm chƣơng: Chương 1: Lý thuyết xây dựng kho liệu Chƣơng trình bày khái niệm cô đọng Data warehouse bƣớc thiết kế kho liệu cho Hệ thống Chương Mô tả, đánh giá, phân tích quy trình nghiệp vụ Hệ thống Tổng hợp thông tin kinh tế - xã hội phục vụ điều hành cho Bộ Xây Dựng Chương Xây dựng kho liệu thử nghiệm Chƣơng trình bày việc xây dựng kho liệu thử nghiệm dựa SQL Server 2005 Giới thiệu toán Xây dựng kho liệu cho Hệ thống tổng hợp thông tin kinh tế - xã hội Tổng hợp Kinh tế - Xã hội (KTXH) hệ thống thông tin đƣợc xây dựng nhằm góp phần tin học hóa quản lý hành nhà nƣớc “Thông tin tổng hợp KTXH” đƣợc hiểu thông tin phản ánh diễn biến KTXH đƣợc tổng hợp từ tƣợng KTXH phát sinh đơn vị kinh tế sở để phục vụ công tác đạo điều hành hệ thống quan hành nhà nƣớc Đơn vị kinh tế sở gồm: Cơ quan nhà nƣớc, đơn vị nghiệp, đơn vị thuộc lực lƣợng vũ trang nhân dân, tổ chức trị, tổ chức trị - xã hội, tổ chức trị xã hội - nghề nghiệp, tổ chức xã hội, tổ chức xã hội - nghề nghiệp, doanh nghiệp đơn vị trực thuộc doanh nghiệp thuộc thành phần kinh tế, hợp tác xã, tổ hợp tác, hộ kinh doanh cá thể, hộ gia đình, cá nhân, tổ chức khác Việt Nam nƣớc, nƣớc tổ chức, cá nhân nƣớc hoạt động lãnh thổ Việt Nam Quá trình tìm hiểu thực tế cho thấy Ủy ban nhân dân tỉnh bộ, ngành có nhu cầu nắm bắt, tổng hợp quản lý thông tin kinh tế - xã hội hàng ngày, để cung cấp thông tin cho “quá trình phân tích, hoạch định chiến lƣợc hỗ trợ định” Hệ thống Tổng hợp thông tin kinh tế xã hội đƣợc tìm hiểu, khảo sát triển khải thử nhiều địa phƣơng nhƣ Thanh Hóa, Hà Nam, Lạng Sơn … ngành nhƣ Xây dựng … Từ khảo sát thực tế bất cấp việc thu thập lƣu trữ thông tin kinh tế xã hội hàng ngày UBND, các ngành Việc thu thập thông tin thủ công, thông tin đƣợc lƣu file tài liệu rời rạc CSDL riêng biệt, gây khó khăn cho việc tổng hợp số liệu, thống kê số liệu, dẫn đến việc phân tích thông tin, hỗ trợ định chiến lƣợc cấp lãnh đạo chƣa thực nhanh chóng hiệu Để giải bất cập đáp ứng nhu cầu thực tế, có nhiều đề án cụ thể đƣợc đƣa xem xét, số đề án giải hạn chế nêu xây dựng kho liệu Khối lƣợng công việc lớn, có phạm vi rộng thời gian thực khéo dài Do vậy, toán luận án tìm hiểu, sâu xây dựng kho liệu cho HTTT tổng hợp KTXH phục vụ điều hành Bộ Xây Dựng HTTT tổng hợp KTXH phục vụ điều hành quản lý Bộ XD có nhiệm vụ xác định, tạo lập, lƣu trữ, xử lý quản lý thông tin tổng hợp liên quan đến tất lĩnh vực hoạt động KTXH nhƣ kinh tế tổng hợp, kinh tế ngành, tổ chức cán bộ, Bộ XD, từ hình thành kho liệu số liệu tiêu tổng hợp KTXH thông tin báo cáo, nhằm:  Cung cấp thông tin tổng hợp phục vụ đạo điều hành lãnh đạo, hoạt động chuyên môn, nghiệp vụ phận chuyên viên văn phòng Bộ XD, cục, vụ, viện, đơn vị trực thuộc Bộ XD (kể sở XD thuộc tỉnh/ thành phố nƣớc)  Phục vụ việc thực chế độ thông tin báo cáo từ đơn vị lên văn phòng Bộ XD từ Bộ lên Chính phủ Mục tiêu Việc xây dựng kho liệu cho HTTT tổng hợp KTXH phải đảm bảo đƣợc yêu cầu bản:  Xác định đầy đủ nội dung thông tin tổng hợp KTXH  Chuẩn hoá hệ thống tiêu, hệ thống mẫu biểu số liệu (BMSL), thống loại số liệu, thông tin danh mục dùng chung;  Có khả trích lọc, chuyển đổi, kết xuất, tích hợp liệu từ CSDL chuyên ngành đơn vị (nếu có) vào Kho liệu thông tin tổng hợp KTXH  Lƣu trữ, quản lý toàn số liệu tiêu, liệu báo cáo đơn vị cấp cục, vụ, viện Bộ, hình thành kho liệu số liệu tiêu, thông tin báo cáo, đƣợc phân loại cách có hệ thống thống Các kho liệu đƣợc tổ chức theo mô hình thống để tích hợp chúng với cách thuận tiện dễ dàng  Trên sở kho liệu thông tin tổng hợp KTXH, tổ chức hình thức khai thác thông tin dƣới dạng thông tin kết xuất theo khuôn dạng định sẵn dạng thông tin kết xuất động theo yêu cầu, cung cấp công cụ thống kê, phân tích, dự báo liên quan đến lĩnh vực KTXH để hỗ trợ định, xuất thông tin lên Phạm vi thực Bài toàn xây dựng kho liệu cho hệ thống thông tin tổng hợp kinh tế - xã hội đƣợc cụ thể hóa việc xây dựng kho liệu thử nghiệm cho hệ thống thông tin tổng hợp KT – XH phục vụ điều hành Bộ Xây dựng Bài toán tìm hiểu phân tích quy trình xác định, tạo lập, lƣu trữ khai thác thông tin hệ thống tổng hợp KTXH, tìm hiểu loại, kiểu liệu đƣợc lƣu trữ để từ xây dựng sở liệu cho kho liệu Công cụ sử dụng việc xây dựng kho liệu đƣợc sử dụng toán hệ quản trị sở liệu Microsoft SQL Server 2005 CHƢƠNG – LÝ THUYẾT XÂY DỰNG KHO DỮ LIỆU 1.1 Các khái niệm kho liệu 1.1.1 Kho liệu – data warehouse 1.1.1.1 Định nghĩa kho liệu – data warehouse Kho liệu (Data Warehouse - DW) tuyển tập sở liệu tích hợp, hƣớng chủ đề, đƣợc thiết kế để hỗ trợ cho chức trợ giúp định, mà đơn vị liệu liên quan tới khoảng thời gian cụ thể Công nghệ “Kho liệu” (Data Warehouse Technology) tập phƣơng pháp, kỹ thuật công cụ kết hợp, hỗ trợ để cung cấp thông tin cho ngƣời sử dụng sở tích hợp từ nhiều nguồn liệu, nhiều môi trƣờng khác (Theo John Ladley) Công nghệ DW đời nhằm đáp ứng yêu cầu thông tin ngƣời sử dụng, hỗ trợ để nhân viên "tổ chức" thực tốt, hiệu công việc minh, nhƣ có định hợp lý, nhanh bán đƣợc nhiều hàng hơn, sản cao hơn, thu đƣợc lợi nhuận cao hơn, v.v Giúp cho tổ chức, xác định, quản lý điều hành dự án, nghiệp vụ cách hiệu xác, DW tích hợp liệu siêu liệu từ nhiều nguồn khác Kho liệu thƣờng lớn tới hàng trăm GB hay chí hàng Terabyte Kho liệu đƣợc xây dựng để tiện lợi cho việc truy cập theo nhiều nguồn, nhiều kiểu liệu khác cho kết hợp đƣợc ứng dụng công nghệ đại kế thừa đƣợc từ hệ thống có sẵn từ trƣớc [1] 1.1.1.2 Đặc tính kho liệu Dữ liệu DW có đặc tính sau:  Hƣớng chủ đề (Object Oriented) Dữ liệu đƣợc tập hợp, phân lớp, lƣu trữ xử lý theo chủ đề, để dễ dàng xác định đƣợc thông tin cần thiết hoạt động Các liệu chủ đề tổ chức đƣợc liên kết với khóa đại diện đƣa vào vị trí  Tích hợp (Integrated) Một tổ chức có nhiều liệu từ nhiều hệ thống khác Dữ liệu tập hợp kho liệu đƣợc thu thập từ nhiều nguồn trộn ghép với tạo thành thể thống nhất.Việc hợp liệu trở thành tập hợp liệu có nghĩa cho việc phân tích khó khăn Dữ liệu tích hợp phải đảm bảo tính quán, chấp nhận dƣ thừa liệu để tăng hiệu truy vấn  Tính ổn định, không biến động (non- volatility)  Phục vụ việc tra cứu, xem, in, chép báo cáo quan cấp sở gửi Bộ XD báo cáo Bộ XD gửi Chính phủ  Phục vụ việc tra cứu, tìm kiếm số liệu tiêu có kho liệu tổng hợp KTXH theo tiêu thức, từ in, chép số liệu  Tạo lập biểu đồ, đồ thị phục vụ cho phân tích KTXH  Cung cấp công cụ thống kê, phân tích, dự báo liên quan đến lĩnh vực KTXH để hỗ trợ định Nội dung thông tin tổng hợp KTXH bao gồm:  Báo cáo định kỳ  Phân theo thời gian kỳ báo cáo  Phân theo quan báo cáo  Phân theo lĩnh vực/ngành  Báo cáo nhanh, báo cáo đột xuất, không định kỳ  Số liệu tiêu tổng hợp KTXH  Tra cứu số liệu tiêu theo tiêu thức  Lập bảng số liệu động (chọn dòng tiêu cột số liệu)  Lập biểu đồ, đồ thị 2.3 Qui trình thực chế độ thông tin báo cáo 2.3.1 Quy trình nghiệp vụ tổng quát Nhìn chung, quy trình lập báo cáo gồm bƣớc sau đây:  Bƣớc 1: Xác định nội dung, yêu cầu báo cáo Bƣớc quan yêu cầu báo cáo chuẩn bị Xuất phát từ nhu cầu thông tin phục vụ công tác quản lý, điều hành, quan chủ thể quản lý quy định chế độ báo cáo đối tƣợng thuộc phạm vi quản lý, quy định rõ nội dung, yêu cầu thời gian báo cáo  Bƣớc 2: Chuẩn bị dự thảo báo cáo: Bƣớc quan báo cáo thực Sau nhận đƣợc yêu cầu báo cáo, đơn vị lập báo cáo (thƣờng giao cho phận tổng hợp) tổ chức thu thập thông tin, nắm bắt tình hình (có thể đƣợc tích lũy trình công tác), tính toán, phân tích tổng hợp thông tin xây dựng dự thảo báo cáo  Bƣớc 3: Lấy ý kiến tham gia Sau hoàn thành dự thảo báo cáo, phận xây dựng báo cáo gửi lấy ý kiến tham gia lãnh đạo quan, phận chuyên môn khác hoàn chỉnh lại dự thảo  Bƣớc 4: Trình ngƣời có thẩm quyền ký ban hành Trong bƣớc này, báo cáo phải bổ sung sửa đổi theo yêu cầu ngƣời ký báo cáo  Bƣớc 5: Phát hành lƣu báo cáo Sau đƣợc ngƣời có thẩm quyền ký, gửi cho Cơ quan yêu cầu báo cáo quan, đơn vị liên quan; đồng thời đƣợc lƣu trữ quan lập báo cáo 2.3.2 Quy trình làm báo cáo tại Bộ Xây dựng Bộ phận Tổng hợp Văn phòng tạo báo cáo dự thảo dựa liệu tổng hợp từ đơn vị khác gửi đến Trung tâm tích hợp liệu, tuỳ theo hình thức báo cáo mà quy trình phê duyệt báo cáo khác  Đối với báo cáo tuần, đột xuất sau phòng tổng hợp làm báo cáo dự thảo gửi lên cho Chánh văn phòng phê duyệt, ký ban hành báo cáo  Đối với báo cáo tháng sau phòng Tổng hợp dự thảo báo cáo lấy ý kiến Chánh văn phòng, sở ý kiến phòng Tổng hợp chỉnh sửa lại báo cáo trình lên cho Lãnh đạo Bộ phụ trách tổng hợp xem xét lại lần cuối, ký báo cáo ban hành  Đối với báo cáo quý, tháng, tháng, năm quy trình gần giống nhƣ báo cáo tháng, báo cáo sau đƣợc phòng tổng hợp dự thảo đƣợc trình lên ban lãnh đạo Bộ để lấy ý kiến, dựa vào phòng Tổng hợp chỉnh sửa báo cáo trƣớc trình lên Lãnh đạo Bộ XD phê duyệt lần cuối ký báo cáo cho ban hành  Đối với báo cáo chuyên đề, sau đơn vị gửi báo cáo chuyên đề VP Bộ, phòng Tổng hợp dự thảo báo cáo gửi lên cho Chánh văn phòng phụ trách tổng hợp để lấy ý kiến; sau hoàn chỉnh báo cáo, phòng Tổng hợp trình lên ban Lãnh đạo Bộ XD phê duyệt, ký báo cáo cho ban hành Các cán lãnh đạo khác Bộ (4) Xin góp ý Ban hành Lãnh đạo Bộ XD (3) Ký Góp ý Góp ý Góp ý Kho mẫu biểu Báo cáo dùng chung Chánh, phó chánh VP Bộ XD (2) Xin ý kiến Phòng Tổng hợp thuộc VP Bộ XD (1) Hình 2.3 Mô hình tạo báo cáo văn phòng Bộ XD 2.4 Mô tả thông tin liệu 2.4.1 Mô hình liệu Bài toán xây dựng kho liệu tổng hợp cấp Bộ trung tâm tổng hợp liệu nhằm mục tiêu lƣu trữ thƣ viện danh mục tiêu, danh mục địa bàn, danh mục đơn vị,…toàn Bộ, số liệu tổng hợp cấp sở, số liệu tổng hợp đơn vị trực thuộc, số liệu tổng hợp phòng ban VP Bộ XD, Cục, Vụ, Viện đơn vị trực thuộc Bộ thu thập cung cấp Kho liệu lƣu nhiều nguồn liệu tổng hợp gửi từ sở đơn vị trực thuộc Khi làm báo cáo tổng hợp, phòng tổng hợp văn phòng Bộ XD chọn nhiều phƣơng án lựa chọn tiêu theo số liệu sở XD, Cục, Vụ, Viện, đồng thời lƣu tiêu kế hoạch kỳ báo cáo Bộ Ngoài lƣu báo cáo tổng hợp từ đơn vị gửi tới báo cáo Bộ XD tạo MÔ HÌNH TỔ CHỨC CSDL TỔNG HỢP KTXH TẠI VP BỘ XD NGUỒN DỮ LIỆU Kho liệu tổng hợp KTXH Các CSDL tổng hợp KTXH từ quan cấp sở /ĐV trực thuộc khác VP Bộ CSDL tổng hợp KTXH Trung tâm THDL Metadata Công cụ khai thác, lập BC Lưu BC Tiếp nhận, xử lý, chuyển đổi, tổng hợp, cậpnhật liệu Các nguồn liệu Dữ liệu tổng hợp BC gửi Chính phủ địa liên quan Công cụ Tiếp nhận, hợp Metadata Các nguồn liệu khác VP Bộ Hình 2.4 Mô hình tổ chức liệu Hệ thống cấp Bộ Nhƣ vậy, tổ chức lƣu trữ liệu hệ thống TH KTXH phục vụ điều hành Bộ XD vừa phân tán vừa tập trung:  Tại đơn vị có kho liệu phục vụ công tác điều hành đơn vị, thí dụ CSDL sở XD đƣợc xây dựng phần mềm dùng chung triển khai cấp tỉnh (2005)  Đồng thời liệu tổng hợp đơn vị đƣợc chuyển vào kho liệu dùng chung Bộ XD TT TH DL Việc đƣa liệu tổng hợp đơn vị vào kho liệu dùng chung Bộ XD giải đƣợc khó khăn thời: tránh đƣợc tệ nạn cát liệu cách cung cấp liệu trực tiếp từ TT THDL cho đơn vị cần; dễ dàng tạo phân tích, so sánh đơn vị với nhau; tạo báo cáo liên ngành hỗ trợ cho công tác điều hành Bộ XD đơn vị,… Ngoài việc lƣu trữ tập trung TT THDL có ƣu điểm hỗ trợ bảo quản liệu tổng hợp Hệ thống tốt 2.4.2 Hệ thống tiêu tổng hợp chung Bộ Xây Dựng Trong tổng hợp thông tin KTXH, hệ thống tiêu tổng hợp đóng vai trò quan trọng.Chỉ có thông qua số liệu tiêu tổng hợp đƣa định phục vụ cho công tác điều hành cấp Chính lẽ đó, cần xây dựng chuẩn hóa hệ thống tiêu tổng hợp chung cho Bộ Hiện tại, Bộ XD chƣa có hệ thống tiêu tổng hợp chung cho toàn ngành mà có tiêu tổng hợp phục vụ riêng cho đơn vị cấp Vụ, Viện VP Bộ thông qua báo cáo tổng hợp đơn vị cấp sở gửi lên Bộ XD Do Bộ XD chƣa có đƣợc CSDL lƣu trữ số liệu tiêu tổng hợp để phục vụ cho công tác điều hành cấp Bộ 2.4.2.1 Giới thiệu báo cáo Bộ XD không chuẩn hóa hệ thống tiêu tổng hợp dùng chung cho đơn vị trực thuộc Bộ mà chuẩn hóa báo cáo Công việc không cho phép Bộ có đƣợc kho số liệu tổng hợp dùng chung cho Bộ đơn vị trực thuộc Đến năm 2005 sở liệu Báo cáo Bộ Xây dựng lƣu trữ đƣợc 2100 báo cáo tƣơng đƣơng 2,5 GB Các tiêu tổng hợp bị lẫn lộn với thuộc tính quản lý CSDL chuyên ngành nhƣ “Quản lý dự án đầu tƣ”, “Quản lý đề tài nghiên cứu khoa học”, “Kế toán chủ đầu tƣ”,… Có thể xẩy thống kê chồng chéo, ví dụ, sản lƣợng xi măng có tiêu tổng hợp cho sở XD đồng thời có tiêu cho nhà máy xi măng định nhà máy xi măng phải địa bàn Có nhiều tiêu tổng hợp xuất báo cáo đơn vị khác nhau, nhiên xác định đƣợc tính đắn phải so sánh chúng Bảng báo cáo đƣợc chuẩn hóa dƣới dạng đƣợc phân tích để tiến đến xây dựng hệ thống tiêu TH cho Bộ XD STT Loại mẫu biểu báo cáo Đơn vị cung cấp số liệu I Nhóm báo cáo KH-TK vật liệu xây dựng Tình hình thực đầu tƣ từ nguồn Các đơn vị trực thuộc sở vốn ngân sách nhà nƣớc năm … XD Giá trị sản xuất kinh doanh tháng Các đơn vị thuộc Bộ … Và ….tháng đầu năm … tổng công ty xi măng Tình hình cung cấp xi măng toàn Các đơn vị thuộc Bộ ngành tổng công ty xi măng Một số sản phẩm CN&VLXD chủ Các đơn vị thuộc Bộ yếu tổng công ty xi măng, sở XD Giá trị xuất nhập Ƣớc thực Các đơn vị thuộc Bộ tháng … Và … tháng đầu tổng công ty xi măng năm… Báo cáo tình hình thực Công Sở XD tác quy hoạch xây dựng đô thị khu công nghiệp … tháng đầu năm … Báo cáo tình hình thực dự Sở XD án cấp thoát nƣớc vệ sinh môi trƣờng … tháng đầu năm … Hiện trạng, sản xuất sử dụng nƣớc Sở XD tỉnh, thành phố … tháng đầu năm… Báo cáo thực tiêu kế Sở XD; Vụ Kế hoạch, Thống hoạch Kê 10 Tình hình cổ phần hóa doanh Sở XD nghiệp 11 Báo cáo phân loại cấp quản lý đô Sở XD thị, kế hoạch vốn năm … 12 Ƣớc thực tiêu chủ yếu Sở XD; Vụ Kế hoạch, Thống … tháng đầu năm … Kê 13 Ƣớc thực tiêu chủ yếu Các đơn vị xây lắp & Sản xuất … tháng đầu năm … áp dụng cho vật liệu xây dựng đơn vị xây lắp & Sản xuất vật liệu xây dựng 14 Dự kiến giá trị sản xuất doanh Các đơn vị xây lắp thu xây lắp … tháng đầu năm (áp dụng cho đơn vị có thi công công trình) 15 Ƣớc thực tiêu chủ yếu Các đơn vị Xuất bản, Báo chí … tháng đầu năm … áp dụng cho đơn vị Xuất bản, Báo chí 16 Ƣớc thực giá trị sản phẩm vật Các đơn vị sản xuất vật liệu liệu xây dựng ….tháng năm xây dựng, sở XD 17 Ƣớc thực vốn đầu tƣ xây dựng Sở XD, đơn vị thi công … tháng năm… 18 Lao động khoản thu nhập Các tổng công ty ngƣời lao động 19 Báo cáo thực tiêu Các sở XD năm… II Kinh tế - Tài 20 21 Bảng cân đối kế toán Do chƣơng trình Kế toán sinh Các tiêu bảng cân đối kế Do chƣơng trình Kế toán sinh toán III Xây lắp 22 Cấp giấy phép xây dựng 23 Chứng hành nghệ xây dựng 24 Cấp phép cho nhà thầu nƣớc IV Quản lý nhà Tự xây dựng hệ thống tiêu 25 Quỹ nhà ở, hình thức sở hữu nhà, Xây dựng lại cấp quản lý nhà ở, cấp quyền sử dụng, Chính sách ngƣời có công 26 Phát triển nhà 27 Quản lý nhà công sở, công vụ cấp Bảng 2.1 Thống kê mẫu báo cáo tình trạng cung cấp thông tin HT tiêu tổng hợp 2.4.2.2 Hệ thống tiêu tổng hợp chung Trong luận án sử dụng tiêu tổng hợp báo cáo để xây dựng minh họa hệ thống tiêu tổng hợp cho Bộ XD Việc sử dụng hệ thống tiêu tổng hợp hay không phụ thuộc vào quan có thẩm quyền Bộ XD định Có thể mô tả sơ qua hệ thống tiêu tổng hợp nhƣ sau:  Hệ thống tiêu tổng hợp đƣợc chia thành nhóm theo ngành mã hóa nhóm ngành  Hệ thống gồm khoảng 300 tiêu tổng hợp đủ để mô tả liệu kho liệu TH KTXH  Hệ thống tiêu đƣợc mã hóa có tính đến việc thêm ngành mới, nhóm thuộc ngành thêm tiêu cụ thể đến cấp n tùy ý Mã Chỉ tiêu CT01 CT01.1 Giá trị SX xây lắp Tổng Trong đó: - Quốc doanh ĐV tính Đơn vị cung cấp Triệu đồng Sở XD, đơn vị xây lắp trực thuộc Bộ XD Đơn vị khai thác Sở XD, Vụ Xây lắp, TT THDL Bộ, Vụ Kế hoạch Thống kê, Vụ Thanh tra XD - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT01.2 Giá trị SX VLXD Triệu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Khảo sát thiết kế, Vụ Vật liệu Xây dựng Triệu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế Tài chính, Vụ Khoa học Công nghệ Triệu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Khảo sát, thiết kế Tổng Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT01.3 Tổng số nộp ngân sách Tổng Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT01.4 Giá trị Tƣ vấn XD xây dựng Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT01.5 Tổng vốn đầu tƣ XDCB Trong đó: Triệu đồng Vụ Kế hoạch Thống kê, Vụ Xây lắp, Thanh tra xây dựng - Vốn ngân sách - Vốn vay tín dụng - Vốn vay nƣớc CT01.6 Giá trị SX KD Các tổng Công ty/công ty đơn vị trực thuộc Bộ XD Cục XL&CN, Bộ XD, Vụ Kế hoạch Thống kê CT01.6 GTSX xây lắp (kể KL Triệu bên A cấp vật tƣ) đồng Chia ra: - Giá trị CT nhà - Giá trị CT nhà kho, nhà xƣởng - ……………… CT01.6.2 GTSXCN.VLXD 1CT01.6.3.GT Khảo sát-Thiết kếQHXD CT01.6 Giá trị sản xuất KD khác CT01.7 Tổng doanh thu Triệu Sở XD, Vụ Tổng CT hoạch Kế đồng đơn Thống kê, vị trực Vụ Kinh tế, thuộc Bộ tài CT01.8 Tổng số nộp ngân sách Triệu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế, tài CT01.9 Lợi nhuận trƣớc thuế Triệu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế, tài CT01.10 Tỷ suất lợi nhuận/Doanh Triệu thu đồng Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế, tài CT01.11 Tỷ suất lợi nhuận/tổng tài Triệu sản đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế, tài CT01.12 Tỷ suất lợi nhuận sau thuế Triệu nguồn vốn sở hữu đồng Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Kinh tế, tài chính, VP Bộ CT01.13 Đầu tƣ xây dựng Triệu đồng CT01.13.1 Tổng số (Bao gồm Triệu Vụ Kế hoạch Thống kê, VP Bộ nguồn vốn) đồng Chia ra: - Vốn NSNN - Vốn tín dụng - Vốn nƣớc - Vốn đầu tƣ thƣơng mại - Vốn tự có - Vốn khác CT01.13.2 Đầu tƣ mua sắm TSCĐ Triệu dùng cho SX thông qua XDCB đồng CT01.13.3 Đầu tƣ sửa chữa lớn Triệu TSCĐ đồng CT01.13.4 Đầu tƣ vốn lƣu động bổ Triệu sung đồng CT01.13.5 Vốn đầu tƣ phát triển Triệu khác đồng CT01.13.6 Phân chia theo lĩnh vực - Các dự án PT HT KT đô thị Tổng hợp Đầu tƣ (mẫu biểu 5-KH06THĐT) Triệu đồng - Các dự án phát triển nhà CT01.13.7 Tổng số dự án CT02 Dự án Lao động thu nhập CT02.1 Lao động bình quân ngành Ngƣời Sở XD, Tổng CT đơn vị trực thuộc Bộ Vụ Kế hoạch Thống kê, Vụ Tổ chức cán bộ, Vụ Kinh tế tài XD kỳ báo cáo Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT02.2 Lao động không bố trí đƣợc Ngƣời việc làm Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT02.3 Thu nhập bình quân Triệu ngƣời/1 tháng kỳ báo cáo đồng Trong đó: - Quốc doanh - Ngoài Quốc doanh CT02.3 Lao động bình quân (kể Ngƣời HĐ) CT02.4 Thu nhập bình quân ngƣời/tháng Triệu đồng CT02.5 Số lƣợng cổ phần hóa doanh nghiệp - Số lƣợng doanh nghiệp cổ phần hóa Doan h nghiệ p - Số lƣợng phận DN cổ phần hóa Bộ phận CT02.6 Đào tạo, Ytế, Nghiên cứu khoa học Sở XD, Tổng CT (CT, đơn vị trực thuộc) CT03 CT02.6 Đào tạo Học sinh CT02.6 Ytế Giƣờn g bệnh CT02.6 Nghiên cứu khoa học Đề tài Sản phẩm VLXD sản xuất CT03.1 Xi măng loại Sở XD, Tổng CT đơn vị trực thuộc Bộ Tấn Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.2 Tấm lợp Trong đó: 1000 m2 - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.3 Gạch xây (quy chuẩn 220x60x105) Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc Triệu viên Vụ VLXD, Vụ Kế hoạch Thống kê , TT THDL Bộ CT03.4 Gạch tuynen: Trong đó: Triệu viên - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.5 Ngói đất nung (quy 22v/m2) Trong đó: 1000 viên - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.6 Đá xây dựng Trong đó: 1000 m2 - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.7 Vôi xây dựng Tấn Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.8 Đá ốp lát Trong đó: 1000 m2 - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.9 Đá khối Trong đó: - Quốc doanh M3 - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc CT03.10 Sứ vệ sinh Trong đó: - Quốc doanh - Ngoài Quốc doanh - Doanh nghiệp đầu tƣ nƣớc TÀI LIỆU THAM KHẢO Tiếng Việt Lê Hoàng Dũng, OLAP (On-line Analytical Processing), tr – 13, Đặng Văn Ninh (2004), Xây dựng kho liệu (Data Warehouse), tr 6, 17, 37 – 42, Luận văn thạc sĩ Công nghệ Thông tin, trƣờng Đại học Công Nghệ Hà Nội Văn phòng Bộ Xây dựng (2006), tài liệu hƣớng dẫn "Giải pháp khả thi Hệ thống thông tin tổng hợp kinh tế- xã hội phục vụ điều hành Bộ XD", tr 12 – 21, 37 – 55 Tiếng Anh Barry Devlin (1997), Data Warehouse from Architecture to Implementation, Addision, pp 42 - 55 Vincent Rainardi (2008), Building a Data Warehouse with examples in SQL.Server, Apress, pp 71 – 75, 329 – 413 W.H Inmon (2002), Building a Data Warehouse, John Wiley & Sons, pp 81 – 113 Internet MSDN – SQL Server Help Center, Analysis Services http://msdn.microsoft.com/en-us/library/ms166552%28SQL.90%29.aspx Tutorials, WebMediaBrands Corporate Info, An Introduction to OLAP in SQL Server 2005, http://www.devx.com/dbzone/Article/21410/0 ... vic xõy dng kho d liu th nghim da trờn SQL Server 2005 Gii thiu bi toỏn Xõy dng kho d liu cho H thng tng hp thụng tin kinh t - xó hi Tng hp Kinh t - Xó hi (KTXH) l mt h thng thụng tin c xõy dng... nh, xut bn thụng tin lờn Phm vi thc hin Bi ton xõy dng kho d liu cho h thng thụng tin tng hp kinh t - xó hi s c c th húa bng vic xõy dng kho d liu th nghim cho h thng thụng tin tng hp KT XH... v qun lý cỏc thụng tin v kinh t - xó hi hng ngy, cung cp thụng tin cho quỏ trỡnh phõn tớch, hoch nh chin lc v h tr quyt nh H thng Tng hp thụng tin kinh t xó hi ó c tỡm hiu, kho sỏt v trin th