Tiêu chuẩn Quốc gia TCVN 7981-5:2009 cung cấp thông tin về các tiêu chuẩn định dạng SDMX (SDMX-ML và SDMX-EDI) cho người thực thi và đưa ra thông tin giúp người sử dụng SDMX hiểu và thực thi các tiêu chuẩn định dạng SDMX. Mời các bạn cùng tham khảo nội dung chi tiết.
TIÊU CHUẨN QUỐC GIA TCVN 7981-5:2009 ISO/TS 17369-5:2005 TRAO ĐỔI SIÊU DỮ LIỆU VÀ DỮ LIỆU THỐNG KÊ - PHẦN 5: HƯỚNG DẪN THỰC THI TIÊU CHUẨN ĐỊNH DẠNG SDMX Statistical data and metadata exchange - Section 5: lmplementor’s guide for SDMX format standards Lời nói đầu TCVN 7981-5:2009 hồn toàn tương đương với ISO 17369-5:2005 TCVN 7981-5:2009 Ban Kỹ thuật Tiêu chuẩn quốc gia TCVN/TC 154 “Quá trình, yếu tố liệu tài liệu thương mại, cơng nghiệp hành chính” biên soạn, Tổng cục Tiêu chuẩn Đo lường Chất lượng đề nghị, Bộ Khoa học Công nghệ công bố Bộ tiêu chuẩn TCVN 7981 (ISO 17369) gồm phần sau: - TCVN 7981-1:2008 (ISO/TS 17369-1:2005); Phần 1: Khung tổng quát tiêu chuẩn SDMX - TCVN 7981-2:2008 (ISO/TS 17369-2:2005); Phần 2: Mô hình thơng tin: Thiết kế khái niệm UML - TCVN 7981-3:2009 (ISO/TS 17369-3:2005); Phần 3: Lược đồ tài liệu SDMX-ML - TCVN 7981-4:2009 (ISO/TS 17369-4:2005); Phần 4: Cú pháp tài liệu SDMX-EDI - TCVN 7981-5:2009 (ISO/TS 17369-5:2005); Phần 5: Hướng dẫn thực thi tiêu chuẩn định dạng SDMX - TCVN 7981-6:2009 (ISO/TS 17369-6:2005); Phần 6: Hướng dẫn SDMX để sử dụng dịch vụ web TRAO ĐỔI SIÊU DỮ LIỆU VÀ DỮ LIỆU THỐNG KÊ - PHẦN 5: HƯỚNG DẪN THỰC THI TIÊU CHUẨN ĐỊNH DẠNG SDMX Statistical data and metadata exchange - Section 5: lmplementor’s guide for SDMX format standards Giới thiệu Tiêu chuẩn cung cấp thông tin tiêu chuẩn định dạng SDMX (SDMX-ML SDMXEDI) cho người thực thi đưa thông tin giúp người sử dụng SDMX hiểu thực thi tiêu chuẩn định dạng SDMX Tiêu chuẩn mang tính tham khảo, khơng đưa quy tắc để sử dụng tiêu chuẩn định dạng SDMX quy định tiêu chuẩn TCVN 79813:2009; Lược đồ tài liệu SDMX-ML tiêu chuẩn TCVN 7981-4:2009; Cú pháp tài liệu SDMX-EDI Tiêu chuẩn chia thành phần sau: Hướng dẫn mơ hình thơng tin SDMX Trình bày khác biệt tính hỗ trợ định dạng cú pháp khác Quy phạm sử dụng định dạng SDMX hiệu Mơ hình thông tin SDMX cho người thực thi 2.1 Giới thiệu Mục đích điều giới thiệu mơ hình thơng tin SDMX cho người dùng quan tâm tới việc sử dụng định dạng XML EDI cho người dùng mong muốn hiểu sâu mô hình thơng tin Tài liệu mơ hình thơng tin SDMX đầy đủ, sơ đồ UML giải thích giúp cho người dùng có quan điểm đầy đủ mơ hình thơng tin SDMX Phụ lục mơ hình thơng tin SDMX cung cấp hướng dẫn hữu ích cho người dùng chưa quen với tập khóa Mơ hình thông tin SDMX mô tả cấu trúc liệu siêu liệu sử dụng định dạng liệu SDMX Có phân biệt liệu phần giao, liệu theo chuỗi thời gian siêu liệu mô tả cấu trúc liệu Mơ hình thơng tin SDMX liên quan đến liệu thống kê siêu liệu cấu trúc mơ tả Điều Cả liệu siêu liệu cấu trúc có số siêu liệu bổ sung chung, liên quan đến quản lý quản trị chúng Các khía cạnh mơ hình liệu khơng đề cập Mơ hình thơng tin phù hợp với mơ hình liệu GESMES/TS phiên 3.0, với ngoại lệ sau: Kết cấu “nhóm quan hệ” khái quát hóa phép miền liệu miền liệu đại diện, khác với mơ hình liệu GESMES/TS có tần suất đại diện đổi tên thành “nhóm” để phân biệt với “nhóm quan hệ” Tập khóa “nhóm” riêng phần cho phép phải khai báo tập khóa thuộc tính đính kèm với khóa khóa “nhóm” Hiện nay, phần biểu diễn liệu quy ước để hỗ trợ tính liên tác với thực thi cú pháp EDIFACT Các định dạng liệu phần giao tạo từ mơ hình vài tính hỗ trợ để tạo quan sát cấu trúc tập liệu đơn theo chuỗi thời gian phần giao thêm vào mô tả siêu liệu cấu trúc Rõ ràng, trùng hợp ngẫu nhiên - mục đích giúp mơ hình liệu GESMES/TS trở thành tảng khơng thơng điệp EDIFACT, mà XML sử dụng cho web phổ biến Lưu ý mô tả đây, phần văn dạng phông chữ courier, in nghiêng tên sử dụng mơ hình thơng tin (ví dụ: DataSet) 2.2 Thành phần mơ hình thông tin Thông tin thống kê SDMX chia thành hai phần - siêu liệu cấu trúc (bao gồm KeyFamily, Concept Code List liên kết) (xem phần khung tiêu chuẩn) - liệu quan sát (DataSet) Đây điều khác biệt quan trọng, với thuật ngữ cụ thể tương ứng với phần Dữ liệu điển hình tập quan sát dạng số thời điểm cụ thể - tổ chức thành tập liệu (DataSet) Các tập liệu cấu trúc theo tập khóa cụ thể (KeyFamily) mơ tả định nghĩa luồng liệu (DataFlowDefinition) Tập khóa mơ tả siêu liệu cho phép hiểu điều thể tập liệu đó, định nghĩa luồng liệu cung cấp thẻ định danh thông tin quan trọng khác (như là; thông tin định kỳ báo cáo) chung cho toàn tập liệu thành phần 2.3 Tập liệu Các tập liệu dựng sẵn số liệu theo chuỗi thời gian liệu theo phần (tổ chức quan sát liệu phần giao thời điểm riêng) Ngoài quan sát dạng số (Obsecvation) ngày tháng liên quan (TimePeriod) lõi chuỗi thời gian, có thuộc tính (AttributeValue) trạng thái quan sát đó, ví dụ: giá trị bình thường bị ngắt, v.v Các thuộc tính tùy chọn (hoặc “có điều kiện”) có giá trị mã hóa văn tùy ý Chúng gắn liền với phần tập liệu - quan sát có giá trị khác cho thuộc tính có giá trị thuộc tính riêng mơ tả tồn tập liệu chuỗi thời gian, v.v Mỗi chuỗi thời gian xác định giá trị miền liệu Dữ liệu theo chuỗi thời gian xem n-miền Một chuỗi thời gian cho trước có giá trị (KeyValue) tập giá trị cho phép cho miền miền (Dimension) tập quan sát (Observation): giá trị cho thời điểm cụ thể (TimePeriod) Một chuỗi thời gian cụ thể có miền “frequency”, “topic”, “stock or flow”, “reporting country”, vv, với giá trị đơn tương ứng cho miền Khi lấy nhau, tập giá trị định danh chuỗi thời gian tập liệu nó, gọi khóa theo chuỗi thời gian (TimeSeriesKey) Các biểu diễn liệu phần giao tạo từ tập khóa thơng qua việc lập cấu trúc biểu diễn chuỗi thời gian với điều kiện siêu liệu cấu trúc bổ sung cần thiết cung cấp Chức cho phép khai báo nhiều đơn vị đo tập khóa đó, tương ứng với giá trị biểu diễn miền Khi lập cấu trúc liệu để biểu diễn tập quan sát thời điểm riêng, “phần” - nhiều quan sát cho đơn vị đo khai báo - thay chuỗi cấu trúc liệu Mỗi đơn vị đo có miền khóa (“miền liệu đơn vị đo”) mức quan sát, khoảng thời gian đính kèm mức cao cấu trúc liệu (các mức Group (nhóm) - xem bên dưới) Phần lại khóa tìm thấy mức Section (phần) (hoặc mức trên), tương tự khoảng thời gian đính kèm mức Series (chuỗi) cho cấu trúc liệu theo chuỗi thời gian Hỗ trợ việc biểu diễn liệu phần giao không đầy đủ việc biểu diễn liệu theo chuỗi thời gian Chức mong đợi là: cho phép sử dụng tập khóa biểu diễn liệu phần giao tạo với ứng dụng Do việc biểu diễn liệu theo chuỗi thời gian áp dụng cho tập khóa có khoảng thời gian khái niệm, nên cấu trúc liệu tạo từ tập khóa Kết hai kiểu cấu trúc liệu bổ sung cung cấp: quan sát phần giao cần thiết quan sát hướng vào chuỗi thời gian hữu ích cho hệ thống khơng lập cấu hình để xử lý liệu dạng khác Tập khóa tạo để hỗ trợ việc lập cấu trúc phần giao liệu hỗ trợ phép biến đổi liệu dự đốn (vì vậy, tự động) từ cấu trúc phần giao sang cấu trúc chuỗi thời gian Các tập liệu tổ chức thành “các nhóm” chuỗi thời gian phần (GroupKey); chế đặc biệt hữu ích để đính kèm siêu liệu với liệu Nhóm gọi “nhóm quan hệ” chia sẻ giá trị miền liệu cho tất miền liệu khác, ngoại trừ miền liệu tần suất (miền liệu tần suất gọi đại diện) Trong tập khóa, nhóm hợp lệ khai báo đặt tên Tất thành viên nhóm chia sẻ giá trị khóa cho tập miền nêu rõ Các thuộc tính đính kèm mức định dạng liệu, giá trị khóa chia sẻ cho định dạng, kích cỡ thơng điệp vấn đề Trong định dạng phần giao, khoảng thời gian (một khoảng thời điểm) đính kèm mức nhóm Tập khóa mơ tả tất siêu liệu cần thiết để hiểu cấu trúc tập liệu Điều bao gồm việc định danh miền liệu (Dimensions) theo thuật ngữ thống kê tiêu chuẩn, cấu trúc khóa (KeyDescriptor), thuộc tính (MetadataAttribute) liên kết với tập liệu, danh sách mã (CodeList) liệt kê giá trị hợp lệ cho miền liệu thuộc tính mã hóa (CodedAttribute), thơng tin thuộc tính yêu cầu hay tùy chọn mã hóa hay dạng văn tùy ý Căn vào siêu liệu tập khóa đó, tất liệu tập liệu trở thành có nghĩa Có khả liên kết ghi (Annotation) với cấu trúc mơ tả tập khóa quan sát chứa tập liệu Các ghi dạng điển hình tài liệu, chúng sử dụng để mơ tả liệu - giống thuộc tính khác - sử dụng để mơ tả siêu liệu khác Ví dụ: thông tin số miền liệu cụ thể cấu trúc tập khóa, xem thích cho việc mơ tả miền liệu Các “chú thích cuối trang” hợp lệ đính kèm với liệu tài liệu biểu thị thuộc tính vị trí thích hợp tập khóa - thích tài liệu bất quy tắc cần đính kèm nhiều vị trí tập khóa tập liệu Điều sau cung cấp định nghĩa đầy đủ mơ hình thơng tin SDMX liên quan đến liệu thống kê, người thực thi cú pháp tham khảo dễ dàng 2.4 Định dạng liệu mức đính kèm Xem định dạng sẵn có phần trên: SDMX-ML SDMX-EDI có định dạng để mơ tả tập khóa, khái niệm danh sách mã Trong SDMX-EDI, có định dạng thơng điệp đơn để truyền thông điệp liên quan đến liệu Định dạng cho phép thể dạng đọng nhiều kiểu gói thơng tin khác như: liệu, tài liệu hướng dẫn, thơng điệp xóa, vv Định dạng định dạng hướng vào chuỗi thời gian Thời gian quy định dải cho tập giá trị quan sát với tần suất biết liên kết sở một-một với giá trị quan sát Trong SDMX-ML, thông điệp Generic Data (dữ liệu chung) yêu cầu tất giá trị khóa phải quy định mức Series (chuỗi) giá trị thuộc tính đính kèm mức gán tập khóa (nếu giá trị thuộc tính truyền) Đây định dạng hướng vào chuỗi thời gian yêu cầu quy định thời gian cho giá trị quan sát Trong SDMX-ML, thông điệp Compact Data (dữ liệu cô đọng) yêu cầu giá trị khóa quy định mức Series (chuỗi) Các giá trị thuộc tính quy định mức gán cho chúng tập khóa, cung cấp Đây định dạng hướng vào chuỗi thời gian, liên kết thời gian với quan sát sở một-một biểu diễn dải cho tập quan sát với tần suất xác định Trong thông điệp Utility Data (dữ liệu tiện ích) SDMX-ML, tất giá trị khóa đính kèm mức Series (chuỗi) giá trị thuộc tính đính kèm mức gán tập khóa Các giá trị thuộc tính phải cung cấp - khơng có khái niệm thơng điệp “xóa” thơng điệp phần (để cập nhật, dẫn chứng tài liệu ) cho định dạng liệu khác Đây định dạng hướng vào chuỗi thời gian yêu cầu thời gian quy định cho quan sát sở một-một Mức đính kèm thơng điệp Cross-Sectional Data (dữ liệu phần giao) SDMX-ML khác với định dạng khác Các giá trị khóa đính kèm mức tổ hợp mức khai báo tập khóa Trong trường hợp ngoại lệ thời gian ln đính kèm mức nhóm cho tập khóa sử dụng thời gian khái niệm Giá trị khóa đính kèm mức quan sát cho kiểu đơn vị đo khai báo Giá trị thuộc tính cung cấp mức gán tập khóa Đây định dạng khơng hướng vào chuỗi thời gian Trong thông điệp Query (truy vấn) SDMX-ML, vấn đề mức đính kèm khơng liên quan đến thông điệp 2.5 Khái niệm, định nghĩa, đặc tính quy tắc Điều cung cấp ngơn ngữ cấu chung để mô tả trao đổi liệu thống kê Chu kỳ (TimePeirod) tham chiếu thời gian khoảng thời gian điểm thời gian Quan sát (Observation) giá trị, chu kỳ cụ thể biến cụ thể (đôi gọi “hiện tượng quan sát”) Để trở nên hữu ích, quan sát phải có nhiều thơng tin liên quan đến có giá trị chu kỳ liên kết Thông tin quan sát gọi siêu liệu Đặc điểm quan sát tạo nên siêu liệu coi khái niệm thống kê (Concept) (ví dụ, quốc gia báo cáo) Khái niệm thống kê sử dụng tập khóa (KeyFamily) mã hóa khơng mã hóa Sử dụng khái niệm thống kê mã hóa lấy giá trị từ danh sách mã (CodeList) giá trị hợp lệ Ví dụ, tạo khái niệm thống kê mã hóa “quốc gia báo cáo”, lấy giá trị từ danh sách mã quốc gia ISO Danh sách mã cung cấp giá trị nhiều khái niệm thống kê Sử dụng khái niệm thống kê khơng mã hóa lấy giá trị từ văn dạng tùy ý (ví dụ, tiêu đề chuỗi thời gian) Chuỗi thời gian véctơ xếp theo thời gian quan sát (Observation) Nếu chuỗi thời gian có khoảng cách thời gian quan sát nó, khoảng cách thời gian xác định tần suất chuỗi thời gian Ngữ cảnh trao đổi liệu cấu gồm hai nhiều đối tác thỏa thuận về: Trao đổi nhiều tập liệu định danh thuộc tính liên quan (“chuỗi thời gian trao đổi”; ETS) Sử dụng nhiều tập khóa để phục vụ cho yêu cầu Có thể tuân thủ số thỏa thuận kinh doanh thực thi Cơ quan trì định nghĩa cấu trúc quan tạo tập khóa Chuỗi thời gian trao đổi (ETS) tập hợp định nghĩa luồng liệu, ví dụ tập liệu trao đổi (DataSet) 10 Mỗi định nghĩa luồng liệu lấy cấu trúc xác từ tập khóa (KeyFamily) 11 Thẻ định danh luồng liệu định danh định cho định nghĩa luồng liệu ETS 12 Mỗi tập khóa liên kết xác danh sách mã với việc sử dụng khái niệm thống kê mã hóa định nghĩa tập khóa 13 Mỗi tập khóa định danh quan trì định nghĩa cấu trúc cách sử dụng thẻ định danh tập khóa 14 Mỗi tập khóa có cấu trúc khóa (KeyDescriptor), cụ thể tập có thứ tự sử dụng khái niệm thống kê mã hóa mà kết hợp giá trị định danh cho chuỗi thời gian tập liệu Sử dụng khái niệm thống kê mã hóa ấn định thành viên cấu trúc tập khóa gọi miền liệu (Dimension) tập khóa Miền liệu đơn vị đo (MeasureTypeDimension) lớp đặc trưng miền liệu Các mã biểu diễn miền liệu đơn vị đo tương ứng với tập đơn vị đo phần giao (Measure) khai báo Miền liệu đơn vị đo tồn tập khóa mơ tả việc biểu diễn liệu phần giao Khơng có tập khóa phép gán sử dụng khái niệm thống kê mã hóa miền liệu lần (Tuy nhiên, danh sách mã hóa giống dùng để biểu diễn nhiều khái niệm thống kê tập khóa) Chỉ Khái niệm thống kê mã hóa phép miền liệu cấu trúc khóa Tần suất gán miền liệu (FrequencyDimension) tập khóa sử dụng khái niệm thời gian (TimeDimension) (Lưu ý phần lớn quan trung tâm tạo định nghĩa cấu trúc, để tạo điều kiện thuận lợi cho việc định dạng tần suất theo phương thức đồng để xác định tần suất miền liệu cấu trúc khóa Mỗi chuỗi thời gian lấy giá trị (KeyValue) cho miền liệu tập khóa chứa chuỗi Ý nghĩa gắn với giá trị miền liệu thuộc tính khơng phép phụ thuộc vào giá trị miền liệu khác, ngoại trừ miền liệu “đơn vị đo” thuộc tính “đơn vị” mơ tả Danh sách giá trị định danh chuỗi thời gian tập liệu gọi khóa chuỗi thời gian (TimeSeriesKey) Trong ETS, chuỗi thời gian định danh thẻ định danh tập liệu kết hợp với khóa chuỗi thời gian (Lưu ý mơ hình thông tin, thẻ định danh tập liệu thẻ định danh luồng liệu rõ thời gian) Trong tập liệu, quan sát định danh khóa chuỗi thời gian (TimeSeriesKey) kết hợp với khoảng thời gian (TimePeirod) 15 Trong tập liệu, khóa tập chuỗi thời gian khác với giá trị lấy miền liệu tần suất gọi nhóm quan hệ Trong ETS, nhóm quan hệ định danh thẻ định danh tập liệu kết hợp với khóa mật mã nhóm quan hệ (GroupKey) Các khóa tập chuỗi thời gian khác với số giá trị miền liệu giá trị gọi nhóm 16 Thêm vào miền liệu, tập khóa gán tập gồm cách sử dụng khái niệm thống kê rõ quan sát tập khóa Các thành viên tập sử dụng khái niệm thống kê gọi thuộc tính (MetadataAttribute) tập khóa Khơng tập khóa phép gán cách sử dụng khái niệm thống kê thuộc tính lần Cách sử dụng không theo khái niệm thống kê gán thuộc tính miền liệu tập khóa Mỗi tập khóa có đặc tính cho thuộc tính nhằm xác định xem: - Thuộc tính lấy giá trị độc lập cho quan sát tập liệu - Thuộc tính lấy giá trị độc lập cho chuỗi thời gian tập liệu - Thuộc tính lấy giá trị độc lập cho nhóm quan hệ tập liệu - Thuộc tính cung cấp giá trị đơn cho tồn tập liệu Đặc tính định danh mức gán thuộc tính cho tập khóa Trong tập khóa, thuộc tính đánh giá bắt buộc có điều kiện (thuộc tính có điều kiện thuộc tính mà giá trị cung cấp dựa điều kiện mở rộng quan hệ hình thức mơ tả tập khóa: chức năng, giá trị lựa chọn) o Thuộc tính bắt buộc thuộc tính phải lấy giá trị không quan sát tương ứng liên quan đến thuộc tính khơng đánh giá đầy đủ ý nghĩa (ví dụ: “trạng thái” quan sát đơn vị biểu diễn toàn chuỗi thời gian) o Trong tập khóa, thuộc tính có điều kiện phép lấy giá trị trống Chú thích (Annotation) tài liệu khơng hợp lệ đính kèm nhiều vị trí tập khóa tập liệu 17 Mỗi tập khóa có đặc tính sau: Thẻ định danh: Cung cấp định danh tập khóa quan trì định nghĩa cấu trúc quy định Tên: Đây thẻ định danh trực quan thẻ định danh thường Mơ tả: Mơ tả mục đích miền bao hàm tập khóa 18 Mỗi tập liệu có đặc tính sau: Thẻ định danh: Cung cấp định danh ETS (trong mơ hình thơng tin, thẻ định danh DataFlowDefinition) Mơ tả: Mơ tả mục đích miền bao hàm tập liệu (trong mô hình thơng tin, mơ tả phần DataFlowDefinition) Tập khóa: Tập khóa mơ tả cấu trúc tập liệu 19 Mỗi khái niệm thống kê (Concept) có đặc tính sau đây: Thẻ định danh: Cung cấp định danh tập khái niệm thống kê quan trì định nghĩa cấu trúc quy định Tên: Đây thẻ định danh không trực quan thẻ định danh thường Mô tả: Mô tả ý nghĩa mục đích khái niệm thống kê 20 Sử dụng khái niệm thống kê khơng mã hóa có đặc tính sau: Kiểu: Chữ, vừa chữ vừa số, số Độ dài tối đa: Số lượng ký tự tối đa giá trị văn khái niệm Số thập phân: Số lượng số xuất sau dấu phẩy số thập phân 21 Mỗi danh sách mã có đặc tính sau: Thẻ định danh: Cung cấp định danh tập danh sách mã quan trì định nghĩa cấu trúc quy định Tên: Đây thẻ định danh không trực quan thẻ định danh thường Mơ tả: Mơ tả mục đích danh sách mã Độ dài giá trị mã hóa: Số lượng xác tối đa ký tự kiểu (ví dụ số, số chữ) phải quy định 22 Mỗi mã danh sách mã có đặc tính sau: Thẻ định danh: Cung cấp định danh danh sách mã quan trì định nghĩa cấu trúc quy định Tên: Đây thẻ định danh không trực quan thẻ định danh thường Mô tả: Mô tả giá trị mã hóa So sánh chức khả biểu diễn SDMX-ML SDMX-EDI SDMX đề xuất số định dạng tương đương để mô tả liệu siêu liệu cấu trúc sử dụng ứng dụng khác Mặc dù tất định dạng bắt nguồn trực tiếp từ mơ hình thơng tin SDMX, tương đương với nhau, cú pháp sử dụng để thực lại nảy sinh số hạn chế sử dụng Đồng thời, tối ưu hóa khác cung cấp khả khác Điều mơ tả khác biệt cung cấp số quy tắc cho ứng dụng cần hỗ trợ nhiều định dạng cú pháp SDMX 3.1 Tối ưu định dạng khác biệt Điều sau cung cấp cách nhìn khái quát khác biệt định dạng SDMX khác nhau: Định nghĩa cấu trúc Thông điệp cấu trúc SDMX-ML hỗ trợ sử dụng thích cho cấu trúc khơng cú pháp SDMX-EDI hỗ trợ Thông điệp cấu trúc SDMX-ML cho phép tập khóa phụ thuộc vào cấu trúc - nghĩa danh sách mã khái niệm thông điệp tham chiếu theo thông điệp chứa tập khóa Cú pháp XML thiết kế để thúc đẩy URI chế tham khảo dựa internet chế sử dụng thông điệp SDMX-ML Lựa chọn khơng có giá trị sử dụng thông điệp cấu trúc SDMX-EDI Kiểm tra tính hợp lệ SDMX-EDI giống thơng điệp cú pháp EDIFACT - bỏ qua việc kiểm tra tính hợp lệ ứng dụng dành riêng (“kiểm tra tính hợp lệ” kiểm tra cú pháp, định kiểu liệu gắn kết thông điệp liệu với cấu trúc mô tả định nghĩa cấu trúc) Thông điệp Generic Data (dữ liệu chung) SDMX-ML bỏ qua việc kiểm tra tính hợp lệ mức cú pháp XML ứng dụng Dữ liệu cô đọng SDMX-ML thông điệp Cross-Sectional Data (dữ liệu phần giao) cho phép việc kiểm tra tính hợp lệ cú pháp XML việc định kiểu liệu thực với phân tích cú pháp XML chung tuân theo thỏa thuận định nghĩa cấu trúc liệu cấp độ vừa phải với công cụ Thông điệp Utility Data (dữ liệu tiện ích) SDMX-ML tác động đến trình phân tách XML chung để thực đầy đủ cấp độ hợp lệ tất mức (lưu ý phụ thuộc miền liệu mã hóa giá trị thuộc tính khơng có định nghĩa cấu trúc, chúng ln ứng dụng thơng qua Cập nhật, xóa thơng điệp thơng điệp tài liệu Thơng điệp Utility Data (dữ liệu tiện ích) SDMX-ML phải luôn cung cấp cập nhật tập liệu đầy đủ khơng sử dụng để xóa Ngồi ra, khơng sử dụng để gửi tài liệu khơng có liệu tương ứng Tất thông điệp liệu SDMX khác cho phép xóa thơng điệp chứa liệu tài liệu Mã hóa ký tự Tất thơng điệp SDMX-ML sử dụng mã hóa UTF-8, SDMX - EDI sử dụng ISO 8879-1 để mã hóa ký tự UTF có khả thể nhiều số tập ký tự (xem [Tham khảo phụ lục SDMX-EDI đính kèm văn này]) Nhiều dụng cụ biến đổi cho phép trường hợp XML mã hóa UTF-8 thể tiêu chuẩn mã hóa ký tự ISO 8879-1 chuyển UTF-8 thành ISO 8879-1 Các dụng cụ sử dụng chuyển thông điệp SDMX-ML thành thông điệp SDMX-EDI ngược lại Định kiểu liệu Cú pháp XML cú pháp EDIFACT có chế định kiểu liệu khác Điều cung cấp tập quy ước quan sát hỗ trợ thông điệp hai cú pháp 3.2 Kiểu liệu Cú pháp XML có chế khác việc định kiểu liệu so với cú pháp EDIFACT, khác tạo số khó khăn cho ứng dụng mà hỗ trợ định dạng liệu SDMX dựa EDIFACT XML Điều cung cấp tập hợp quy ước thể liệu tất định dạng làm rõ liên tác chúng Lưu ý điều không xác định địa mã hóa ký tự - người ta thừa nhận phần mềm quy ước bao gồm việc sử dụng biến đổi ánh xạ mã hóa định dạng SDMX-EDI mã hóa UTF-8 định dạng SDMX-ML (ISO 8879-1) Lưu ý rằng: quy ước sau tn theo tính khơng ràng buộc liên tác việc biểu diễn EDIFAXCT biểu diễn XML liệu siêu liệu Với thực thi khơng có biến đổi cú pháp EDIFACT XML biết trước Các hạn chế không cần áp dụng 23 Các thẻ định danh là: Tối đa 18 ký tự; Bất kỳ ký tự từ A đến Z (các chữ hoa bảng chữ cái), (các số từ đến 9), dấu _(gạch dưới); Ký tự bảng chữ 24 Tên là: Tối đa 70 ký tự Từ tập ký tự ISO 8859-1 (bao gồm ký tự có trọng âm) 25 Mơ tả là: Tối đa 350 ký tự; Từ tập ký tự ISO 8859-1 26 Giá trị mã là: Tối đa 18 ký tự; Bất kỳ ký tự từ A đến Z (các chữ hoa bảng chữ cái), (các số từ đến 9), _(đường gạch từ ngữ), / (dấu gạch chéo), = (dấu bằng), - (dấu gạch nối); Tuy nhiên, giá trị mã cung cấp giá trị cho miền liệu sử dụng ký tự sau: A Z (Các chữ hoa từ A đến Z), (các số từ đến 9), _ (đường gạch từ ngữ) 27 Giá trị quan sát: Các số thập phân (được ký hiệu số mang giá trị âm) Số lượng tối đa số quan trọng là: - 15 số số dương - 14 số số thập phân dương số nguyên âm - 13 số số thập phân âm Ký pháp sử dụng 28 Giá trị văn khái niệm thống kê khơng mã hóa Tối đa 1050 ký tự; Từ tập ký tự ISO 8859-1 29 Khóa chuỗi thời gian: Về nguyên tắc, độ dài tối đa cho phép khóa chuỗi thời gian sử dụng trao đổi liệu không bị giới hạn Tuy nhiên, mục đích cơng việc, người cố gắng giới hạn độ dài tối đa 35 ký tự; độ dài này, vị trí phân tách tất giá trị miền liệu nhau; điều có nghĩa độ dài tối đa cho phép khóa chuỗi 35 ký tự Ký tự phân tách sử dụng dấu hai chấm “:” Quy phạm hiệu SDMX-ML SDMX-EDI 4.1 Hướng dẫn thông báo phổ biến 4.1.1 Cơ quan trung tâm vai trò chúng trao đổi liệu thống kê Cơ quan trung tâm tổ chức mà quan đối tác báo cáo số liệu thống kê Các số liệu thống kê quan trung tâm sử dụng để biên tập khối tập hợp và/hoặc đặt chúng với theo cách thức giống (trực tuyến CD-ROM hay thông qua việc truyền tệp tin) Do đó, quan trung tâm nhận liệu từ quan khác “phổ biến” liệu đến cá nhân và/hoặc tổ chức Trong quốc gia, NSI ngân hàng trung ương quốc gia, đóng vai trò quan trung tâm tập hợp liệu từ quan khác phổ biến thông tin thống kê đến người sử dụng Trong SDMX, vai trò quan trung tâm quan trọng: thông điệp thống kê dựa định nghĩa cấu trúc (khái niệm thống kê, danh sách mã, tập khóa) quan cụ thể tạo ra, thông thường quan trung tâm Cơ quan đóng vai trò “cơ quan trì định nghĩa cấu trúc” cho thông điệp trao đổi tương ứng Tất nhiên, hai quan trao đổi liệu liên quan đến thông tin cấu trúc nhận từ quan thứ ba - Các quan trung tâm đóng vai trò kép - Tập hợp phổ biến thống kê; - Tạo định nghĩa cấu trúc để trao đổi liệu 4.1.2 Định nghĩa tập khóa Các hướng dẫn sau gợi ý cho việc tạo dựng tập khóa Tuy nhiên, tiêu chuẩn quan trung tâm xem xét tạo định nghĩa tập khóa Tránh miền liệu khơng thích hợp với tất chuỗi thời gian tập khóa Nếu có số miền liệu khơng thích hợp cho chuỗi cần xem xét di chuyển chuỗi đến tập khóa mới, miền liệu đưa khỏi khóa cấu trúc Tránh miền liệu hỗn hợp: Mỗi miền liệu đáp ứng đặc tính riêng liệu, không đáp ứng kết hợp đặc tính Tránh tạo danh sách mã tồn danh sách mã Tuyệt đối lưu ý định nghĩa cấu trúc danh sách mã phải phù hợp với hệ phương pháp chuẩn quốc tế trường hợp có tồn chúng, ví dụ hệ thống kế tốn quốc gia năm 1993; bảng cân đối chi tiêu, phiên thứ 5, thống kê tài tiền tệ, thống kê tài phủ v.v Khi thiết lập giá trị trao đổi liệu mới, ưu tiên thứ tự sau xem xét sử dụng danh sách mã: o Danh sách mã chuẩn quốc tế; o Danh sách mã quốc tế quan quốc tế và/hoặc khu vực bổ sung; o Danh sách chuẩn quan quốc tế sử dụng; o Các danh sách mã thỏa thuận quan quốc tế khu vực; o Các danh sách mã mới; o Danh sách mã giống sử dụng cho số khái niệm thống kê tập khóa thơng qua tập khóa Định nghĩa tập khóa Các mục sau phải quy định thông qua quan trì định nghĩa cấu trúc xác định tập khóa Định danh tập khóa: o Thẻ định danh tập khóa o Tên tập khóa Danh sách khái niệm thống kê mã hóa gán theo miền liệu tập khóa Đối với mỗi: o Thẻ định danh khái niệm thống kê o Tên khái niệm thống kê o Số thứ tự miền liệu cấu trúc khóa o Thẻ định danh danh sách mã Danh sách khái niệm thống kê gán thuộc tính cho tập khóa Đối với mỗi: o Thẻ định danh khái niệm thống kê o Tên khái niệm thống kê o Thẻ định danh danh sách mã khái niệm mã hóa o Trạng thái gán: bắt buộc có điều kiện o Mức đính kèm o Độ dài văn tối đa khái niệm khơng mã hóa o Độ dài mã tối đa cho khái niệm mã hóa Danh mục danh sách mã sử dụng tập khóa Đối với mỗi: Trong trường hợp khơng tạo tập khóa riêng phải tạo lập chuỗi thời gian cho miền liệu không liên quan, giá trị “không áp dụng”, “không xác định”, “tất cả” “tổng số” phải gán cho miền liệu o Thẻ định danh danh sách mã o Tên danh sách mã o Giá trị mã hóa mơ tả Xác định định nghĩa luồng liệu: Hai (hoặc nhiều) đối tác thực trao đổi liệu trường hợp cụ thể cần thống sau: o Danh sách thẻ định danh tập liệu chúng sử dụng; o Đối với luồng liệu: Nội dung mơ tả Xác định tập khóa liên quan Thuộc tính bắt buộc Khi định cấu trúc khóa tập khóa, tập thuộc tính bắt buộc tập khóa phải xác định Nói chung, số khái niệm thống kê cần thơng qua tất tập khóa để rõ thơng tin bao hàm Các ví dụ sau: o Phạm vi tham chiếu o Tần suất (luôn tần suất) o Tiêu đề mơ tả (xem thích bên dưới) o Bộ sưu tập (ví dụ kết thúc chu kỳ, trung bình tổng số qua chu kỳ) o Đơn vị (tên tiền tệ) o Chia đơn vị (ở vị trí hàng triệu) o Tính sẵn có (một chuỗi sẵn có cho quan sử dụng) o Số thập phân (ví dụ: số lượng số thập phân sử dụng chuỗi thời gian) o Trạng thái quan sát (ví dụ: đánh giá, tạm thời, thơng thường) Do đó, khái niệm khơng phải miền liệu tập khóa phải thực tập khóa thuộc tính bắt buộc Ngồi ra, thuộc tính bổ sung coi bắt buộc xác định tập khóa cụ thể 4.1.3 Thời gian tần suất Một tập khóa khơng u cầu thiết kế để cung cấp việc biểu diễn liệu phần giao có khái niệm Time liên kết với liệu mơ tả, trường hợp gặp Đối với tất tập khóa sử dụng khái niệm thời gian, tần suất khái niệm sử dụng tập khóa miền liệu Trong điều không quan trọng số nhà công bố phổ biến số liệu thống kê, việc thiếu tần suất gây khó khăn cho nhiều hệ thống biểu diễn xử lý số liệu thống kê Theo quy ước, tần suất miền liệu khóa Tần suất giá trị điển hình danh sách sau đây, việc sử dụng cần phải bổ sung thêm vào danh sách: A Thường liên B Công việc (thường không hỗ trợ) D Hàng ngày E Sự kiện (thường không hỗ trợ) H Bán thường niên M Hàng tháng Q Hàng quý W Hàng tuần Đối với lý liên quan đến việc tương thích ngược với hệ thống có, có khái niệm “TIME_FORMAT” tương ứng, khái niệm cần thiết định dạng để mô tả cách thức định dạng thời gian TIME_FORMAT bao gồm tập khóa giống thuộc tính mức chuỗi Tuy nhiên, định nghĩa tập khóa xuất SDMX-EDI, TIME_FORMAT khai báo miền liệu (trong chuỗi, đặt sau miền liệu thời gian), khơng phải thuộc tính Trong SDMX-ML, khai báo xác định tập khóa (ví dụ: thuộc tính mức chuỗi) Khi biểu diễn XML, TIME_FORMAT giá trị lấy từ danh sách sau (nghĩa chúng định nghĩa ISO 8601): P1Y - Thường niên P6M - Bán thường niên P3M - Hàng quý P1M - Hàng tháng P7D - Hàng tuần P1D - Hàng ngày PT1M - Từng phút Đối với SDMX-EDI, có danh sách cú pháp cụ thể mã liên quan lấy từ danh sách mã liên kết với UN/EDIFACT TDID phần tử liệu 2379 - Mã định dạng ngày thời gian chu kỳ Các ứng dụng xử lý thời gian SDMX-EDI SDMX-ML phải hiểu cách thức lặp thời gian, ví dụ hiểu biết năm nhuận năm có 53 tuần Tính tốn tuần tuân theo ISO 2017 (cho biết tuần năm tuần có thứ năm năm đó) Dải thời gian biểu diễn SDMX-ML đơn giản hóa cách bỏ giá trị thời gian từ quan sát cho tất quan sát ngoại trừ quan sát (chỉ hỗ trợ thông điệp CompactData (dữ liệu cô đọng)) Trong SDMX-EDI, khoảng thời gian diễn tả dải thời gian cách tuyên bố bắt đầu kết thúc chu kỳ Điều sử dụng để xác nhận việc kiểm tra tính hợp lệ tất quan sát dành cho chuỗi thời gian Khi SDMXML khai báo chu kỳ đầu, người ta khuyến cáo khoảng thời gian có mặt quan sát cuối để thực việc kiểm tra tính hợp lệ tương đồng Các thuộc tính bổ sung quy định mục liệu khoảng thời gian quy định chu kỳ bắt đầu hay chu kỳ kết thúc, v.v Ví dụ, chuỗi hàng tháng chứa quan sát vào thời điểm bắt đầu, cuối tháng, quan trọng siêu liệu đinh kèm thuộc tính Nếu tập khóa sử dụng thời gian mà không sử dụng khái niệm tần suất, khơng thể sử dụng đặc tính riêng định dạng (ví dụ việc biểu diễn dải thời gian SDMXEDI thông điệp CompactData (dữ liệu cô đọng) SDMX- ML.) 4.1.4 Trao đổi thuộc tính 4.1.4.1 Thuộc tính mức chuỗi, mức tập liệu mức quan hệ Đặc tính tĩnh o Sau tạo chuỗi, người gửi phải cung cấp cho người nhận giá trị thuộc tính bắt buộc Trong trường hợp giá trị có sẵn, giá trị cho thuộc tính điều kiện phải cung cấp Trong thơng tin bước đầu cung cấp phương tiện khác mà thông điệp SDMX-ML SDMX-EDI (ví dụ giấy tờ, điện thoại) với mong muốn quan đối tác cung cấp thông tin định dạng SDMX-ML SDMX-EDI o Một trung tâm thỏa thuận với đối tác trao đổi thủ tục đặc biệt cho phép thiết lập giá trị ban đầu thuộc tính o Giá trị thuộc tính mức tập liệu thiết lập trì trung tâm quản lý tập liệu trao đổi Phương tiện thông báo thay đổi đến trung tâm o Sau tạo chuỗi, người gửi không cần thơng báo lại giá trị thuộc tính với điều kiện chúng khơng thay đổi o Nếu có thay đổi giá trị thuộc tính chuỗi (hoặc nhóm quan hệ), quan thông báo cần thông báo tất giá trị thuộc tính lần (đây lựa chọn đề nghị) giá trị thuộc tính thay đổi Điều áp dụng cho thuộc tính bắt buộc thuộc tính điều kiện Ví dụ, phải thông báo cho trung tâm giá trị thơng báo trước thuộc tính điều kiện khơng hợp lệ o Một trung tâm thỏa thuận với đối tác trao đổi thủ tục đặc biệt cho phép sửa đổi giá trị thuộc tính Phương tiện thơng tin thuộc tính mức quan sát “trạng thái quan sát”, “tính bảo mật quan sát”, “quan sát trước dừng” o Trong SDMX-EDI, thuộc tính mức quan sát “trạng thái quan sát” phần cú pháp cố định đoạn ARR sử dụng để thông báo quan sát Bất kỳ quan sát trao đổi, trạng thái quan sát tương ứng phải trao đổi kèm theo quan sát đó, khơng quan tâm đến liệu có thay đổi trao đổi liệu trước hay khơng Ngun tắc áp dụng cho việc sử dụng định dạng ML-SDMX, cú pháp không yêu cầu o Nếu “trạng thái quan sát” thay đổi mà quan sát khơng thay đổi, hai thành phần phải thông báo o Tập khóa xác định thuộc tính mức quan sát “tính bảo mật quan sát” “quan sát trước dừng”, quy tắc áp dụng cho thuộc tính: quan nhận từ quan khác quan sát với thuộc tính trạng thái quan sát kèm theo, có nghĩa tính bảo mật quan sát liên quan thuộc tính quan sát trước dừng không tồn chúng khơng có giá trị cho quan sát này2 4.2 Quy phạm hiệu cho trao đổi liệu theo lô Trao đổi liệu theo lô - việc trao đổi trì tồn sở liệu bên tương ứng hoạt động thường xuyên sử dụng định dạng SDMX-EDI sử dụng CompactDataMessage (thông điệp Compact Data (dữ liệu cô đọng)) SDMX-ML Các điểm áp dụng cho hai định dạng 4.2.1 Nhiều quan trung tâm liên quan đến trao đổi liệu Trong đoạn thảo luận vai trò quan trung tâm, đề cập đến việc quan trung tâm quản lý trao đổi tập liệu dựa định nghĩa cấu trúc tạo Có thể có trường hợp khác, định nghĩa cấu trúc quan thứ ba sử dụng trao đổi liệu Trong trường hợp này, quan trung tâm quản lý tập liệu cần ý (có thể hợp tác với quan trì định nghĩa cấu trúc tương ứng) định nghĩa cấu trúc quen thuộc với đối tác trao đổi liệu liên quan thông điệp định nghĩa cấu trúc SDMX tương ứng cần trì cập nhật cần thiết SDMX tạo điều kiện cho quan thành viên thiết kế hệ thống trao đổi liệu chung có xét đến vai trò quan trung tâm đưa định nghĩa cấu trúc Về nguyên tắc, quan cần thiết kế hệ thống theo cách ứng phó với mơi trường tồn nhiều quan trì định nghĩa cấu trúc Ví dụ: hình vẽ sau mơ tả cách thức tổ chức định nghĩa Tuy nhiên logic khơng áp dụng cho thuộc tính ghi quan sát Nếu khơng nhận trao đổi tồn từ trước, giá trị nhận trước giữ sở liệu người nhận (cung cấp quy tắc “cập nhật” “sửa đổi”) cấu trúc công nhận tồn ba quan trung tâm (ví dụ, BIS, ECB, Eurostat) Trên thực tế, nhiều quan trung tâm hình thành, chi nhánh xuất nhiều, chí bao gồm quan gia đình (ví dụ ngân hàng trung tâm quan thống kê), quan gia đình đóng vai trò “tạo ra” định nghĩa cấu trúc cộng đồng người sử dụng 4.2.2 Định vị miền liệu “tần suất” Vị trí miền liệu “tần suất” khơng định danh rõ ràng định nghĩa tập khóa Ngoài ra, phần lớn quan trung tâm tạo ra định nghĩa cấu trúc định gán miền liệu cho vị trí cấu trúc khóa Điều tạo điều kiện thuận lợi để định danh miền liệu, đơi cần thiết cho vai trò chủ yếu tần suất số hệ thống sở liệu thuộc tính đính kèm mức nhóm quan hệ 4.2.3 Định danh tập khóa Để tạo điều kiện dễ dàng cho việc nhận dạng quan trì định nghĩa cấu trúc xác định tập khóa, hầu hết quan trung tâm sử dụng ký tự thẻ định danh tập khóa để định danh quan họ: ví dụ BIS_MACRO, EUROSTAT_BOP01, ECB_BOP1, v.v 4.2.4 Định danh tập liệu Để tạo điều kiện dễ dàng cho việc nhận dạng quan quản lý tập liệu, nhiều quan trung tâm sử dụng ký tự thẻ định danh tập liệu để định danh quan họ: ví dụ BIS_MACRO, ECB_BOP1, ECB_BOP1T, v.v 4.2.5 Cung cấp đặc biệt 4.2.5.1 Cung cấp liên quan đến “tần suất” Tần suất đặc biệt Việc công bố liệu tập hợp dải thời gian đặc biệt (theo quy luật khơng theo quy luật) tần suất hàng ngày (ví dụ 24 36 48 quan sát năm, vào ngày không theo quy luật năm), điều không thảo luận cụ thể Tuy nhiên, mục đích trao đổi liệu: o Các liệu ánh xạ đến chuỗi với tần suất hàng ngày; chuỗi hàng ngày nắm giữ quan sát cho kiện diễn ngày đó; o Nếu dải thời gian tập hợp giá trị bổ sung theo quy luật cho (các) danh sách mã tần suất có bổ sung tương lai Đánh dấu liệu Việc cung cấp liệu tập hợp dải thời gian khơng theo quy luật có tần suất cao tần suất hàng ngày (ví dụ: liệu phân thời gian) không đề cập Tuy nhiên, mục đích trao đổi liệu, chuỗi trao đổi định dạng SDMX-EDI cách sử dụng lựa chọn để gửi quan sát với tem thời gian liên kết MỤC LỤC Lời nói đầu Giới thiệu Mơ hình thơng tin SDMX cho người thực thi 2.1 Giới thiệu 2.2 Thành phần mơ hình thơng tin 2.3 Tập liệu 2.4 Định dạng liệu mức đính kèm 2.5 Khái niệm, định nghĩa, đặc tính quy tắc So sánh chức khả biểu diễn SDMX-ML SDMX-EDI 3.1 Tối ưu định dạng khác biệt 3.2 Kiểu liệu Quy phạm hiệu SDMX-ML SDMX-EDI 4.1 Hướng dẫn thông báo phổ biến 4.1.1 Cơ quan trung tâm vai trò chúng trao đổi liệu thống kê 4.1.2 Định nghĩa tập khóa 4.1.3 Thời gian tần suất 4.1.4 Trao đổi thuộc tính 4.2 Quy phạm hiệu cho trao đổi liệu theo lô 4.2.1 Nhiều quan trung tâm liên quan đến trao đổi liệu 4.2.2 Định vị miền liệu “tần suất” 4.2.3 Định danh tập khóa 4.2.4 Định danh tập liệu 4.2.5 Cung cấp đặc biệt ... phép trường hợp XML mã hóa UTF-8 thể tiêu chuẩn mã hóa ký tự ISO 887 9-1 chuyển UTF-8 thành ISO 887 9-1 Các dụng cụ sử dụng chuyển thông điệp SDMX-ML thành thông điệp SDMX-EDI ngược lại Định kiểu liệu... tùy ý (ví dụ, tiêu đề chuỗi thời gian) Chuỗi thời gian véctơ xếp theo thời gian quan sát (Observation) Nếu chuỗi thời gian có khoảng cách thời gian quan sát nó, khoảng cách thời gian xác định... sách mã: o Danh sách mã chuẩn quốc tế; o Danh sách mã quốc tế quan quốc tế và/hoặc khu vực bổ sung; o Danh sách chuẩn quan quốc tế sử dụng; o Các danh sách mã thỏa thuận quan quốc tế khu vực; o Các