TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN TÊN ĐỀ TÀI Giải pháp tích hợp quản lý siêu dữ liệu và dữ liệu thống kê ứn[.]
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN TÊN ĐỀ TÀI Giải pháp tích hợp quản lý siêu liệu liệu thống kê ứng dụng mơ hình SDMX Sinh viên thực : Lê Thanh Hòa Lớp Tin Pháp - K48 Giáo viên hướng dẫn: Th/s Thạc Bình Cường Hà nội 6-2008 Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Định hướng đề tài tốt nghiệp Tìm hiểu tốn quản lý ,trao đổi siêu liệu liệu thống kê số nước ta , nghiên cứu giải pháp sử dụng kỹ thuật SDMX(Statistical Data and Metadata Exchange) Đưa giải pháp xây dựng hệ thống quản lý, tích hợp liệu thống kê ứng dụng kỹ thuật Các nhiệm vụ cụ thể ĐATN Nghiên cứu thực trạng ,và yêu cầu quản lý liệu siêu liệu thống kê nước ta Nghiên cứu kỹ thuật SDMX (Statistical Data and Metadata Exchange) Khảo sát phân tích vấn đề liệu vụ thẩm định giám sát đầu tư thuộc Kế hoạch đầu tư Tìm hiểu đưa giải pháp hệ thống ứng dụng kỹ thuật SDMX Tìm hiểu chương trình hỗ trợ ứng dụng kỹ thuật SDMX Lời cam đoan sinh viên: Tôi – Lê Thanh Hịa - cam kết ĐATN cơng trình nghiên cứu thân hướng dẫn ThS.Thạc Bình Cường Các kết nêu ĐATN trung thực, khơng phải chép tồn văn cơng trình khác Hà Nội, ngày 24 tháng năm 2008 Xác nhận giáo viên hướng dẫn Tác giả ĐATN Lê Thanh Hòa Sinh viên thực : Lê Thanh Hịa-TinPháp-K48 TĨM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Đồ án tốt nghiệp đại học với đề tài “Giải pháp tích hợp quản lý siêu liệu liệu thống kê ứng dụng mơ hình SDMX” đề cập đến vấn đề cấp thiết số ban ngành nước ta Mỗi quan lại bao gồm nhiều đơn vị hoạt động khơng hồn tồn độc lập , với u cầu tích hợp quản lý liệu thống từ đến đơn vị Dữ liệu chủ yếu lại liệu “bản ghi-đơn vị” mà thông tin tổng hợp dạng tập hợp thống kê Mơ hình SDMX(Statistical Data and Metadata Exchange)- Mơ hình trao đố siêu liệu liệu thống kê đưa phát triển năm 2002 ,được xây dựng phát triển nhóm tổ chức quốc tế OECD(Tổ chức Hợp tác Phát triển Kinh tế) , IMF(Quỹ tiền tệ quốc tế) , ECB(Ngân hàng trung ương châu âu) với hỗ trợ từ tổ chức thống kê quốc gia(như ABS) Các tổ chức gặp phải vấn đề tương tự SDMX sử dụng lược đồ XML để trao đổi lưu trữ liệu siêu liệu , với tiêu chí kỹ thuật cho dịch vụ lưu trữ ,tìm kiếm, truy xuất siêu liệu u cầu liệu.Đó tiêu chí quan trọng mơ hình SDMX mơ hình tiêu chuẩn Bản thân có cơng cụ để thực việc lưu trữ trao đổi tuân thủ theo SDMX Tuy nhiên nhiều ứng dụng tiến hành nhiều tổ chức , quốc gia phạm vi quốc tế nhằm xây dựng cơng cụ hỗ trợ cho mơ hình Tại nước ta , việc xây dựng hệ thống ứng dụng mô hình SDMX chưa tìm hiểu Tuy nhiên việc ứng dụng khả thi cho dự án xây dựng hệ thống tin học tích hợp quản lý liệu số Vụ KH&ĐT Trong Vụ thẩm định giám sát đầu tư bước đầu thực xây dựng hệ thống quản lý thông tin “ giám sát đánh giá đầu tư” Nội dung đồ án phân tích chi tiết khái niệm ,những tiêu chuẩn mơ hình SDMX Thực tìm hiểu phân tích yêu cầu liệu vụ thẩm định giám sát đầu tư Tuy chưa thể phân tích thiết kế hệ thống hoàn chỉnh bước đầu phân tích đưa đề xuất hệ thống ứng dụng mơ hình SDMX cho vụ thẩm định giám sát đầu tư , với giới thiệu nhiệm vụ công cụ hỗ trợ cần thiết cho việc xây dựng hệ thống Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 ABSTRACT OF THESIS The Subject “A solution for unifying , managing metadata and statistical data apply SDMX model ” This subject discusses to present-day imperativeness problem at a number of phyletic ministry of departments in VietNam These agencies have large number of semi-independent units, each with their own functions, it is difficult to generalise safely about the sorts of data involved The collection data is not collect large amounts of “unit-record” information from individual entities Much of this is in the form of statistical (or similar) compilations SDMX –(Statistical Data and Metadata eXchange) model has been developed over the past several years (starting in about 2002) by a consortium of international agencies – the OECD, the IMF, Eurostat, the European Central Bank (ECB), the Bank for International Settlements (BIS), the World Bank (WB) and the United Nations Statistical Division (UNSD) – with the general support of most national statistical organisations (such as the ABS) As was mentioned above, these organisations face very similar issues to above SDMX specifies XML schemas for exchange and storage of data and metadata, along with the specification for services for storing, searching, and retrieving metadata and requesting data, and initially these were seen as its most important aspects However, the model itself is now being seen as a major aspect of SDMX SDMX is a model and a standard, of itself, have only a few limited tools to actually implement SDMX-compliant storages and exchanges Many applications apply SDMX can developer by international agencies At our country, model application systems SDMX construction not already is fathomed However apply will feasibly give integrated computer science and data management to projects build systems very much at Ministry of Planning and Investment Department of Investment Appraisal and Supervision(DIAS) are as a first step implementting " superintendence and valuation of investment " management information system construction Subject contents parsed is quite detailed concepts basic and standard of SDMX model Study and analyse DIAS’s data Though not already did a début system perfect but form analyst that design decompose and send out model Application system SDMX offer for DIAS And introduce tasks and tool supports #PP is necessary that give system to construction Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 LỜI CẢM ƠN Đồ án tốt nghiệp hoàn thành tới tay thầy thực kết q trình nghiên cứu, làm việc nghiêm túc thân sinh viên thực Bên cạnh hướng dẫn, động viên giúp đỡ tận tình từ phía thầy cơ, gia đình bạn bè Vì cho phép em dành lời luận văn tốt nghiệp cho lời cảm ơn chân thành: Trước hết, em xin gửi lời cảm ơn chân thành sâu sắc tới giáo viên hướng dẫn: ThS, GVC Thạc Bình Cường, khoa Cơng nghệ thơng tin, trường Đại học Bách Khoa Hà Nội Thầy người cho em hướng dẫn, bảo tận tình với quan tâm động viên vô hữu ích suốt q trình em thực đồ án Em xin gửi lời cám ơn chân thành tới thầy cô giáo môn Công nghệ phần mềm, khoa Cơng nghệ thơng tin nói riêng tồn thể thầy giáo trường Đại học Bách Khoa Hà Nội nói chung Các thầy tận tình với giảng, với tận tâm công tác giảng dạy, cho em kiến thức, học vơ bổ ích chun mơn đạo đức suốt năm năm học vừa qua Những kiến thức mà thầy cô truyền dạy khơng giúp em hồn thành tốt đồ án tốt nghiệp mà chắn cịn giúp ích cho em nhiều tương lai Em xin gửi lời cám ơn sâu sắc tới ban dự án DAT5 KH&ĐT, công ty hệ thống thông tin FPT Information System, nơi tạo điều kiện cho em thực tập, học hỏi kỹ công nghệ, mô hình triển khai thực tế để áp dụng cho đồ án Em xin chân thành cảm ơn Hà Nội, tháng năm 2008 Sinh viên: Lê Thanh Hòa Lớp Tin Pháp K48, Khoa CNTT, Trường Đại học Bách Khoa Hà Nội Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 MỤC LỤC LỜI CẢM ƠN MỤC LỤC DÁNH SÁCH HÌNH VẼ- BẢNG BIỂU .9 LỜI NÓI ĐẦU .11 BỐ CỤC ĐỒ ÁN 12 CHƯƠNG :Vấn đề liệu thống kê 13 1.1 Thực trạng liệu 13 1.2 Bảng Siêu liệu bảng 15 1.2.1 Bảng 15 1.2.2 “Họ” bảng 22 1.2.3 Siêu liệu bảng 23 1.3 Yêu cầu .24 1.4 Giải pháp 24 CHƯƠNG : Kỹ thuật SDMX 26 2.1 Sơ lược SDMX 26 2.1.1 SDMX 26 2.1.2 Mục tiêu SDMX 26 2.1.3 Siêu liệu trao đổi SDMX .28 2.2 Mơ hình SDMX 28 2.2.1 Các khái niệm 29 2.2.2 Các khái niệm chủ đề khái niệm (Concepts – Concept Scheme) .30 2.2.3 Danh sách mã (codelists) danh mục phân loại (classifications) .31 2.2.4 Các chủ đề phân nhóm (category schemes) 32 2.2.5 Định dạng cấu trúc (Structure Definitions-Key Families) 33 2.2.6 Các đơn vị tổ chức 33 2.2.7 Bộ liệu (Datasets) 33 2.2.8 Các thuộc tính cấu trúc (structural attributes) Siêu liệu tham khảo(Reference Metadata) 34 2.3 Định dạng cấu trúc liệu - Data structure definitions .34 2.3.1 Phân nhóm liệu- Grouping data .34 2.3.2 Các mức độ đính kèm- Attachment Levels 36 2.3.3 Khóa- Keys 37 2.3.4 Danh sách mã trình bày khác (Code lists - Other representations) 39 Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 2.3.5 Sơ đồ tổng kết .40 2.3.6 Các cấu trúc liệu chéo (Cross-sectional data structures ) 41 2.4 Sơ đồ bậc cao .43 2.5 SDMX Registry\Reposity 45 2.5.1 SDMX Registries .45 2.5.2 Đăng ký công nghệ chung: 46 2.5.3 Các lớp SDMX Registries 48 2.5.4 Chức SDMX Registry/Repository .49 2.6 XML SDMX-ML 50 2.6.1 Công nghệ XML sử dụng cho SDMX 51 2.6.2 Cấu trúc hóa liệu dạng file SDMX-ML 53 2.6.3 Các loại thông điệp SDMX 57 CHƯƠNG : Hệ thống ứng dụng SDMX 61 3.1 Bộ kế hoạch & đầu tư - Vụ thẩm định & giám sát đầu tư 61 3.1.1 Các chức nhiệm vụ 61 3.1.2 Vụ thẩm định giám sát đầu tư 62 3.2 Nhiệm vụ quy trình giám sát đánh giá đầu tư 62 3.2.1 Nhiệm vụ đánh giá đầu tư 62 3.2.2 Quy trình giám sát đánh giá đầu tư .64 3.3 Mơ hình nghiệp vụ vụ thẩm định giám sát đầu tư 65 3.4 Giải pháp ứng dụng SDMX – cho vụ Giám sát thẩm đinh đầu tư KH&ĐT 67 3.4.1 Các kịch ứng dụng phổ biến 67 3.4.2 Đề xuất giải pháp ứng dụng SDMX cho hệ thống 68 3.5 Nhiệm vụ công cụ hỗ trợ phục vụ đề xuất hệ thống quản lý DIAS 72 3.5.1 Tạo định dạng cấu trúc liệu (Data Structure Definition: DSD) 72 3.5.2 Tạo lược đồ XML cho định dạng cấu trúc liệu cụ thể - Hỗ trợ 79 3.5.3 Tạo file SDMX-ML liệu .80 3.5.4 Thông báo, thu thập trao đổi liệu hệ thống- Data Exchange 81 3.5.5 Phổ biến / công bố liệu 84 3.5.6 Sử dụng liệu phổ biến/công bố 85 CHƯƠNG 4: TỔNG KẾT 86 * Về mặt lý thuyết 86 * Về mặt ứng dụng 86 * Hướng phát triển 86 PHẦN : PHỤ LỤC 87 Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 PHỤ LỤC A: DANH SÁCH CÁC THUẬT NGỮ 87 PHỤ LỤC B : TÀI LIỆU THAM KHẢO 87 Sinh viên thực : Lê Thanh Hịa-TinPháp-K48 DÁNH SÁCH HÌNH VẼ- BẢNG BIỂU Hình 1: Bảng liệu 15 Hình 2: Bảng liệu –Các giá trị 16 Hình 3:Bảng liệu –Các chiều 17 Hình 4: Bảng liệu –Đơn vị đo 18 Hình : Bảng liệu –Các mã 19 Hình 6:Bảng liệu –Mơ tả mã 20 Hình 7:Bảng liệu –Danh sách mã 21 Hình 8:Bảng liệu –danh mục phân loại 22 Hình 9:Các họ bảng 23 Hình 10:Sơ đồ 29 Hình 11:Mơ hình 30 Hình 12:Danh mục phân loại .32 Hình 13:Dataset 34 Hình 14:Cấu trúc Dataset .37 Hình 15:Phân tích dataset 38 Hình 16:Khái niệm danh sách mã 39 Hình 17:Dimension – Atribute - Measure 41 Hình 18:Sơ đồ tổng kết DSD 41 Hình 19:Sơ đồ bậc cao -1 .43 Hình 20:Sơ đồ bậc cao-2 44 Hình 21:Đăng ký DataSet 47 Hình 22:SDMX Registry/Repository 50 Hình 23: Thơng điệp chuẩn cho liệu siêu liệu cấu trúc 57 Hình 24:Sự tương đương thơng điệp SDMX-ML dựa mơ hình 60 Hình 25:Sơ đồ chức .63 Hình 26:Quy trình giám sát đánh giá giám sát dự án quan trọng quốc gia nhóm A 64 Hình 27:Quy trình giám sát đánh giá tổng thể đầu tư 65 Hình 28:Mơ hình nghiệp vụ vụ thẩm định giám sát đầu tư .66 Hình 29: Các loại báo cáo 67 Hình 30:Quy trình xử lý liệu 69 Hình 31:Kho siêu liệu trung tâm(dùng chung KH&ĐT) 69 Hình 32:Mơ hình xử lý ứng dụng SDMX 70 Hình 33:Key Family Database .73 Hình 34:Bảng liệu 73 Hình 35:Tạo “Agency” 74 Hình 36:Tạo khái niệm 74 Sinh viên thực : Lê Thanh Hịa-TinPháp-K48 Hình 37:Tạo danh sách mã 75 Hình 38:Tạo CL_TANSO 76 Hình 39:Tạo Key Family 77 Hình 40:Dimensions 77 Hình 41:Atributes 78 Hình 42:Measure 78 Hình 43:Sơ đồ tạo DSD .79 Hình 44:Excel Tool 80 Hình 45:Dữ liệu biểu diễn qua HTML 81 Hình 46:Thơng báo ,thu thập liệu 82 Hình 47:SDMX offline Tool 83 Sinh viên thực : Lê Thanh Hòa-TinPháp-K48 10