Luận văn tốt nghiệp mô hình sdmx và ứng dụng xây dựng hệ thống dữ liệu dùng chung cho bộ kế hoạch và đầu tư – việt nam

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI KHOA CÔNG NGHỆ THÔNG TIN ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CƠNG NGHỆ THƠNG TIN Mơ hình SDMX ứng dụng xây dựng hệ thống liệu cho Bộ Kế hoạch Đầu tư – Việt Nam Sinh viên thực hiện: Giáo viên hướng dẫn: Nguyễn Việt Anh Lớp CNPM - K48 ThS.Thạc Bình Cường Hà Nội, 6-2008 Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Mục đích nội dung ĐATN Tìm hiểu mơ hình SDMX - Statistical Data and Metadata Exchange ứng dụng xây dựng hệ thống liệu dùng chung cho Bộ Kế hoạch Đầu tư – Việt Nam Các nhiệm vụ cụ thể ĐATN  Tìm hiểu mơ hình SDMX  Tìm hiểu liệu nhu cầu Bộ Kế hoạch Đầu tư – Việt Nam  Áp dụng mơ hình SDMX, đưa giải pháp xây dựng hệ thống liệu dùng chung cho Bộ Kế hoạch Đầu tư – Việt Nam Lời cam đoan sinh viên: Tôi – Nguyễn Việt Anh - cam kết ĐATN cơng trình nghiên cứu thân hướng dẫn ThS.Thạc Bình Cường Các kết nêu ĐATN trung thực, khơng phải chép tồn văn cơng trình khác Hà Nội, ngày 17 tháng 05 năm 2008 Tác giả ĐATN Nguyễn Việt Anh Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ: Hà Nội, ngày tháng năm Giáo viên hướng dẫn ThS Thạc Bình Cường Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM LỜI CẢM ƠN Đồ án tốt nghiệp hoàn thành tới tay thầy thực kết q trình nghiên cứu, làm việc nghiêm túc thân sinh viên thực Bên cạnh hướng dẫn, động viên giúp đỡ tận tình từ phía thầy cơ, gia đình bạn bè Vì cho phép em dành lời luận văn tốt nghiệp cho lời cảm ơn chân thành: Trước hết, em xin gửi lời cảm ơn chân thành sâu sắc tới giáo viên hướng dẫn: ThS.Thạc Bình Cường, khoa Cơng nghệ thơng tin, trường Đại học Bách Khoa Hà Nội Thầy người cho em hướng dẫn, bảo tận tình với quan tâm động viên vơ hữu ích suốt trình em thực đồ án Em xin gửi lời cám ơn sâu sắc tới công ty phát triển phần mềm FPT Information System tới ban dự án Bộ Kế hoạch Đầu tư – Việt Nam, nơi tạo điều kiện cho em thực tập, học hỏi kỹ công nghệ để áp dụng cho đồ án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình thân yêu, tới anh chị bạn bè thân thiết bên cạnh động viên, giúp đỡ Em xin chân thành cảm ơn! Hà Nội, ngày 21 tháng 06 năm 2008 Sinh viên: Nguyễn Việt Anh Lớp Công nghệ phần mềm K48, Khoa CNTT Trường Đại học Bách Khoa Hà Nội Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM TĨM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Đồ án tốt nghiệp đại học với đề tài “Mơ hình SDMX ứng dụng xây dựng hệ thống liệu dùng chung cho Bộ Kế hoạch Đầu tư – Việt Nam” đề cập đến vấn đề cấp thiết số ban ngành nước ta Mỗi quan lại bao gồm nhiều đơn vị hoạt động khơng hồn tồn độc lập, với u cầu tích hợp quản lý liệu thống từ đến đơn vị Dữ liệu chủ yếu lại liệu “bản ghi-đơn vị” mà thông tin tổng hợp dạng tập hợp thống kê Đồ án tốt nghiệp nghiên cứu tìm hiểu mơ hình SDMX SDMX thiết kế để hỗ trợ việc quản lý phân tán/kết hợp, cụm từ “phân tán” sử dụng cấp quan, đơn vị SDMX phương pháp phù hợp để đáp ứng nhu cầu quản lý chia sẻ dạng liệu đơn vị Đồ án đưa giải pháp thiết kế hệ thống liệu cho Bộ Kế hoạch Đầu Tư – Việt Nam dựa mơ hình SDMX mà cụ thể cho Vụ Tổng hợp kinh tế quốc dân Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM ABSTRACT OF THESIS This thesis with subject “SDMX model and apply to construct database system for Viet Nam Ministry of Planning and Investment” to be concerned with an imperative problem in some organizations or industries in Viet Nam In each organization have several units which operate independence with require: Managerment unity database from Ministry to units Main data isn’t “record – units” data, its set of statistical data This thesis researchs about SDMX model SDMX is designed to support distributed/federated management of metadata and data Here, “distributed”, is used in an organizational SDMX is an approach that can meet the needs of most departments like managering and sharing data The thesis provides a solution to design database for Vietnam Ministry of Planning and Investment base on SDMX model - The Department of National Economic Issues Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM MỤC LỤC LỜI CẢM ƠN TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP ABSTRACT OF THESIS .4 MỤC LỤC Danh sách hình vẽ Danh mục thuật ngữ .9 Mở đầu 10 Chương Tổng quan toán 12 1.1 Vấn đề liệu Bộ Kế hoạch Đầu tư – Việt Nam 12 1.2 Các nhu cầu quản lý liệu Bộ 13 1.3 Giải pháp đề 16 Chương Mơ hình SDMX 19 2.1 Sơ lược SDMX 19 2.1.1 SDMX 19 2.1.2 Vậy SDMX dùng 20 2.1.3 Siêu liệu trao đổi SDMX 21 2.1.4 Với SDMX, siêu liệu trao đổi 21 2.2 Mơ hình SDMX 23 2.2.1 Mơ hình sở nhân tố SDMX 23 2.2.2 Mơ hình bậc cao SDMX 29 2.3 Định dạng cấu trúc liệu .31 2.3.1 Định dạng cấu trúc liệu gì? 31 2.3.2 Grouping data (phân nhóm liệu) 32 2.3.3 Các mức độ đính kèm - Attachment Levels 34 2.3.4 Keys .35 2.3.5 Danh sách mã trình bày khác (Code lists-Other representations) 38 2.3.6 Các cấu trúc liệu chéo (Cross-sectional data structures) 38 2.3.7 Tổng kết DSD 40 2.4 SDMX Registry/Reposity 42 2.4.1 SDMX Registries gì? 42 Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM 2.4.2 Một suy diễn 42 2.4.3 Đăng ký công nghệ chung 43 2.4.4 Các lớp SDMX Registries 45 2.5 XML SDMX-ML 50 2.5.1 Giới thiệu .50 2.5.2 Cấu trúc hóa liệu dạng file SDMX-ML .53 2.6 Các loại thông điệp SDMX 57 2.6.1 Thông điệp định dạng cấu trúc (Structure Definition Message) 58 2.6.2 Thông điệp liệu chung (Generic Data message) 58 2.6.3 Thông điệp liệu Compact (Compact Data Message) .59 2.6.4 Thơng điệp liệu tiện ích (Utility Data Message) 59 2.6.5 Thông điệp liệu chéo (Cross-Sectional Data Message) 59 2.6.6 Thông điệp truy vấn (Query Message) 60 CHƯƠNG 3: Hệ thống ứng dụng SDMX 62 3.1 Yêu cầu 62 3.2 Các dạng mơ hình hệ thống 62 3.2.1 Mơ hình luồng liệu 63 3.2.2 Mơ hình nghiệp vụ .67 3.2.3 Hệ thống tiêu phân tổ 71 3.2.4 Mơ hình chức .72 3.2.5 Mơ hình liệu 74 3.2.6 Kiến trúc hệ thống 75 3.3 Tìm hiểu số tool hỗ trợ hệ thống 75 3.3.1 Key Family Database Tool 75 3.3.2 SDMX Excel Data Tool .78 3.3.2 SDMX Toolsuite 82 Chương 4: Tổng kết .83 4.1 Tổng kết .83 4.2 Hướng phát triển .83 Chương 5: Phụ lục .84 Phụ lục A: Tài liệu tham khảo 84 Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM Danh sách hình vẽ HÌNH Mơ hình sở thành phần SDMX 26 HÌNH Danh sách phân loại 28 HÌNH Mơ hình bậc cao SDMX 31 HÌNH Mơ hình bậc cao chi tiết SDMX 32 HÌNH Bảng liệu 33 HÌNH Cấu trúc Dataset 36 HÌNH Bảng phân tích liệu 38 HÌNH Định nghĩa cấu trúc 38 HÌNH Bảng phân tích chi tiết cấu trúc dataset 42 HÌNH 10 Ba lớp tảng Registry 45 HÌNH 11 SDMX Registry/Repository 49 HÌNH 12 Hệ thống trao đổi liệu cũ 49 HÌNH 13 Hệ thống ứng dụng SDMX 50 HÌNH 14 Sự tương đương thông điệp SDMX-ML dựa mô hình 61 HÌNH 15 Mơ hình luồng liệu 64 HÌNH 16 Luồng 65 HÌNH 17 Luồng 66 HÌNH 18 Luồng 67 HÌNH 19 Luồng 68 HÌNH 20 Mơ hình nghiệp vụ 69 HÌNH 21 Giao diện Key Family Database Tool 76 HÌNH 22 Tạo concept 77 HÌNH 23 Thêm, sửa codelist 78 HÌNH 24 Tạo Key 79 HÌNH 25 Giao diện Tool SDMX Excel Data .80 HÌNH 26.Chọn lựa hiển thị ngày nhập .81 HÌNH 27 Dạng Excel để nhập liệu .82 HÌNH 28 SDMX Toolsuite 83 Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM Danh mục thuật ngữ TH KH&ĐT CMR BC KTXH CSDL SL KTQD TCTK CNTT SDMX DSD MSD XSLT MCV DNEI Tổng hợp Kế hoạch đầu tư Central Metadata Repository Báo cáo Kinh tế xã hội Cơ sở liệu Số liệu Kinh tế quốc dân Tổ chức thống kê Công nghệ thông tin Statistical Data and Metadata eXchange Data Structure Definition Meta Data Structure Definition Extensible Stylesheet Language Transformations Metadata Common Vocabulary The Department of National Economic Issues Vụ Tổng hợp kinh tế quốc dân Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM Mở đầu Hiện nay, Bộ Kế hoạch phát triển đầu tư nhiều quan, tổ chức khác Việt Nam hay giới, tồn toán: tổ chức gồm nhiều đơn vị con, đơn vị có dạng liệu khác nhau, để quản lý, tổng hợp liệu cách quán chia sẻ liệu đơn vị tổ chức Mục tiêu đồ án tốt nghiệp nghiên cứu mơ hình SDMX nhằm giải toán Đồ án mang tên “Mơ hình SDMX ứng dụng hệ thống liệu dùng chung cho Bộ Kế hoạch phát triển đầu tư – Việt Nam”, nội dung gồm phần chính: Chương 1:Bài tốn đặt ra: Đưa thực trạng liệu Bộ Kế hoạch phát triển đầu tư nhiều quan ban ngành khác, nhu cầu đặt phương hướng giải Chương 2: Mơ hình SDMX: Ở chương này, làm quen với khái niệm mơ hình SDMX thành phần cấu thành mơ hình SDMX SDMX Registry, định dạng liệu Chương 3: Hệ thống ứng dụng SDMX Chương đưa yêu cầu toán Vụ Tổng hợp kinh tế quốc dân mơ hình hệ thống mơ hình luồng liệu, mơ hình nghiệp vụ, mơ hình liệu…Cuối cùng, tìm hiểu số tool để hỗ trợ mơ hình SDMX Sinh viên thực hiện: Nguyễn Việt Anh Khóa K48 Lớp CNPM