C. PHƯƠNG PHÁP NGHIÊN CỨ U
3.Nghiên cứu, thiết kế qui trình chuyển đổi và lưu trữ dữ liệ u
Dữ liệu sau khi được thu thập và truyền tải về lưu trữ trong các khối xử
lý dữ liệu trung gian, sẽ được chuyển đổi phù hợp với chuẩn dữ liệu trong CSDL, được xử lý, tổng hợp, tổ chức lại theo các yêu cầu sau:
1) Dữ liệu được chuẩn hóa theo các chuẩn đã được xác lập trong CSDL;
2) Dữ liệu được tổ chức lại và gán nhãn thời gian phù hợp với thiết kế
nhằm đảm bảo thuận tiện cho nhu cầu khai thác, tìm kiếm, phân tích, kết xuất thông tin và tạo lập báo cáo của CSDL ;
3) Tạo lập và lưu trữ các siêu dữ liệu liên quan đến định nghĩa dữ liệu và qui tắc chuyển đổi, lưu trữ dữ liệu;
4) Dữ liệu được kiểm tra, phê duyệt trước khi được cập nhật vào CSDL.
Đối với từng nhóm dữ liệu, qui trình chuyển đổi và lưu trữ dữ liệu sẽđược thực hiện theo các qui trình khác nhau:
A. Dữ liệu và thông tin về lĩnh vực ngành Cơ khí
Dữ liệu và thông tin sau khi được kết xuất, truyền tải về khối xử lý dữ
liệu trung gian, sẽđược tiến hành tổng hợp thành các dữ liệu theo yêu cầu của CSDL ngành cơ khí, chuyển đổi sang khuôn dạng phù hợp và sẵn sàng cho phê duyệt và cập nhật vào CSDL chính. Các nhóm dữ liệu cần được chuyển
- Thông tin, chỉ tiêu cơ bản về sản phẩm, hàng hoá ngành Cơ khí. - Thông tin, chỉ tiêu về tiềm lực ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về hạ tầng ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về phát triển và định hướng ngành cơ khí Việt Nam. - Thông tin, chỉ tiêu tham khảo và tra cứu.
Các nhóm dữ liệu này khi chuyển đổi cần thiết xác định rõ nguồn cung cấp
để xác định các qui tắc chuyển đổi và tổng hợp. Cụ thểở các nguồn chính sau: - Các đơn vị nghiệp vụ trực thuộc Bộ Công Thương,
- Các Bộ Quốc Phòng, NN&PTNT, GTVT, Xây Dựng, GD&ĐT … - Tổng Cục Thống kê
- Tổng Cục Hải quan - Tổng cục TC – ĐL – CL.
- Các tập đoàn, Tcty, doanh nghiệp - Các Sở Công Thương
- Các hiệp hội ngành nghề - Các nguồn khác
Đối với qui trình chuyển đổi lưu trữ dữ liệu CSDL, đơn vị chủ quản CSDL ngành Cơ khí là Trung tâm Thông tin chịu trách nhiệm chính thực hiện công việc này và chịu trách nhiệm về tính pháp lý khi đưa dữ liệu, thông tin vào CSDL phục vụ nhu cầu khai thác. Tuy nhiên, các vụ chuyên ngành về
lĩnh vực quản lý Ngành cơ khí như Vụ CN nặng, Vụ CN nhẹ, Vụ Năng lượng, Vụ XNK, các vụ khu vực,… sẽ có thể tham gia thực hiện việc phân tích, tổng hợp nhóm thông tin cần thiết từ các nguồn thu thập được và chuẩn hóa đưa vào CSDL. Do vậy, đối với mỗi nhóm thông tin, từ mỗi nguồn dữ liệu, qui trình chuyển đổi, lưu trữ cần được thực hiện các công việc sau:
- Phân tích và tổng hợp dữ liệu thành các dữ liệu phù hợp với nội dung CSDL
- Chuyển đổi dữ liệu về các dạng chuẩn theo chuẩn danh mục Quốc gia và quốc tế và chuẩn dữ liệu qui định trong CSDL
- Gán nhãn thời gian phù hợp với cấu trúc CSDL bao gồm năm, kỳ và số thứ tự kỳ. Kỳ có thể là tuần, 15 ngày, tháng, quí, năm.
- Gán nhãn nguồn dữ liệu cung cấp cũng như các phân tổ của giá trị dữ
liệu.
- Xác định chỉ tiêu thông tin chính thức được cung cấp từ nguồn xác định. - Phê duyệt dữ liệu sau khi đã làm sạch và chuẩn hóa từ các bước trên. - Cập nhật dữ liệu sau khi được phê duyệt vào CSDL .
Việc cập nhật có thể theo nhiều cách khác nhau tùy thuộc vào khuôn dạng lưu trữ dữ liệu, bao gồm:
- Cập nhật từ màn hình nhập liệu nếu dữ liệu trên văn bản trên giấy. - Chuyển đổi dữ liệu giữa hai CSDL với nhau ở mức CSDL sử dụng các phương pháp thủ tục chạy ngầm hoặc liên kết CSDL, hàng đợi.
Dưới đây là Quy trình nghiệp vụ chuyển đổi lưu trữ dữ liệu và thông tin về lĩnh vực ngành Cơ khí. Bắt đầu Đọc dữ liệu từ các CSDL trung gian (adsbygoogle = window.adsbygoogle || []).push({});
Đọc các thông tin tương ứng của các CSDL Chuyển đổi dữ liệu Ghi nhận Lỗi ? Gán thời gian Gán nguồn cung cấp Thẩm định kết quả Lỗi ? Sửa chữa Phê duyệt kết quả Cập nhật dữ kiệu KT Hình 11. Qui trình chuyển đổi lưu trữ dữ liệu
B. Văn bản pháp quy, chính sách, thoả thuận, hiệp định hợp tác với các nước, khu vực và tổ chức quốc tế, tiêu chuẩn chất lượng, định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành
Văn bản pháp quy, chính sách điều hành quản lý, các thoả thuận, hiệp
định hợp tác với các nước, khu vực và tổ chức quốc tế, tiêu chuẩn chất lượng,
định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành và các văn bản tham khảo về ngành cơ khí gắn liền với các chỉ tiêu thông tin được thu thập được phân loại liên quan đến các nhóm thông tin, cụ thể như sau:
- Thông tin, chỉ tiêu cơ bản về sản phẩm, hàng hoá ngành Cơ khí. - Thông tin, chỉ tiêu về tiềm lực ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về hạ tầng ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về phát triển và định hướng ngành cơ khí Việt Nam. - Thông tin, chỉ tiêu tham khảo và tra cứu.
Thông tin văn bản cũng gắn liền với các ngành kinh tế, các sản phẩm, các địa phương (cấp tỉnh, vùng), các thị trường ngoài nước, thành phần kinh tế.
Đối với lĩnh vực thông tin này, đơn vị chủ quản CSDL ngành Cơ khí là TTTT Công nghiệp và Thương mại phối hợp với Vụ Pháp chế và các đơn vị
liên quan khác tham gia thực hiện việc chuyển đổi và liên kết nhóm thông tin văn bản cần thiết phải quản lý về lĩnh vực ngành Cơ khí.
Văn bản sau khi được thu thập, sẽđược tiến hành các công việc sau: - Phân loại và chuyển đổi theo các thuộc tính quản lý của văn bản bao gồm Tên văn bản, số văn bản, loại văn bản, lĩnh vực, cơ quan ban hành,….
- Trích chọn, tóm tắt nội dung văn bản.
- Chuyển đổi về các định dạng phù hợp với lưu trữ và quản lý của CSDL.
- Xác định nguồn, gán nhãn thời gian cho văn bản.
- Liên kết với các chỉ tiêu thông tin trong CSDL bằng cách xác định nội dung văn bản liên quan chặt chẽ đến các chỉ tiêu thông tin cụ thể ở mức cao.
- Phê duyệt các thông tin dữ liệu văn bản sau khi đã làm sạch và chuẩn hóa từ các bước trên.
- Cập nhật vào CSDL và chỉ số hóa phục vụ tìm kiếm. Việc cập nhật thông tin văn bản vào CSDL tùy thuộc vào tổ chức lưu trữ dữ liệu của CSDL và có thể bao gồm:
- Cập nhật từ màn hình đăng nhập bao gồm các chi tiết về thuộc tính văn bản đã xác định và nội dung tóm tắt, toàn văn.
- Chuyển đổi dữ liệu giữa hai CSDL với nhau ở mức CSDL sử dụng các phương pháp thủ tục chạy ngầm hoặc liên kết CSDL, hàng đợi.
- Kết xuất và chuyển đổi dữ liệu từ tệp vào CSDL sử dụng các chuẩn về dữ liệu như XML, Dublin Core. Sau đây là Quy trình nghiệp vụ chuyển
Bđ Đọc văn bản tại các CSDL trung gian Chuyển đổi định dạng Ghi nhận Lỗi ? Gán thời gian Phân nhóm VBản Liên kết từ các chỉ tiêu trong CSDL Thẩm định Lỗi Hiệu chỉnh Phê duyệt KT
Hình 12. Quy trình nghiệp vụ chuyển đổi, lưu trữ thông tin dữ liệu văn bản
C. Dữ liệu về các danh mục chuẩn quốc tế và Việt Nam liên quan đến ngành cơ khí
Dữ liệu danh mục liên quan đến lĩnh vực ngành cơ khí sẽđược thu thập và xây dựng ban đầu khi xây dựng CSDL. Các dữ liệu danh mục không phải là dữ liệu thường xuyên thay đổi, và tần suất thay đổi thường là theo năm. Tuy nhiên, việc cập nhật danh mục được tính đến trong hệ thống chỉ là các
việc thay đổi cấu trúc sẽ dẫn đến thiết kế lại cấu trúc dữ liệu cũng như chuyển
đổi dữ liệu cũ tương ứng với cấu trúc danh mục mới, trong khi việc này không thể xác đinh được các qui trình hay chức năng chuẩn làm sẵn mà hoàn toàn phụ thuộc vào sự thay đổi cấu trúc cụ thể và việc thiết kế lại.
Việc cập nhật, thay đổi hạng mục của các danh mục do vậy cần thiết phải thực hiện riêng biệt đối với mỗi một danh mục
Qui trình nghiệp vụ chuyển đổi, lưu trữ dữ liệu về các danh mục chuẩn quốc tế và Việt nam về ngành nghề, sản phẩm, hàng hóa xuất nhập khẩu,… cần tuân thủ các bước sau:
- Cập nhật các hạng mục dữ liệu trong mỗi danh mục phù hợp với chuẩn quốc gia và quốc tế cũng nhưđặc thù của Bộ Công Thương (adsbygoogle = window.adsbygoogle || []).push({});
- Xác lập yếu tố chính, chủ yếu của mỗi giá trị hạng mục mà Bộ Công Thương quan tâm và cần thiết quản lý.
- Xác định mối quan hệ giữa các danh mục. Mối quan hệ này cần được phân tích, xử lý bởi các chuyên gia trong lĩnh vực thống kê kinh tế và cần thiết cho các tính toán phân tích của CSDL .
- Xác định các giá trị danh mục theo qui tắc: Nếu chuẩn Việt nam chưa có thì sẽ theo chuẩn quốc tế. Nếu chuẩn Việt nam và quốc tế chưa có, thì sẽ
xem xét xác lập đặc thù riêng của CSDL .
- Phê duyệt các thông tin dữ liệu danh mục sau khi đã làm sạch và chuẩn hóa từ các bước trên.
- Cập nhật các thông tin dữ liệu danh mục mới vào CSDL
Sau đây là mô hình qui trình nghiệp vụ chuyển đổi lưu trữ dữ liệu về
Bắt đầu Cập nhật hạng mục trong mỗi danh mục Xác lập yếu tố chính, chủ yếu Xác định mối quan hệ trong DM Xác định giá trị danh mục
Phê duyệt thông tin dữ
liệu danh mục sau khi đã làm sạch và chuẩn hóa
Chuẩn ? Hiệu chỉnh
Cập nhật danh mục mới Kết thúc
Hình 13. Qui trình chuyển đổi dữ liệu danh mục
D. Dữ liệu mô tả về thông tin, dữ liệu phục vụ cho kết xuất, chuyển đổi (siêu dữ liệu)
Quá trình lưu trữ dữ liệu mô tả về thông tin, dữ liệu phục vụ cho tổng hợp, chuyển đổi theo chuẩn (siêu dữ liệu) được thực hiện trong quá trình
pháp quy, chính sách điều hành quản lý, các thoả thuận, hiệp định hợp tác với các nước, khu vực và tổ chức quốc tế, tiêu chuẩn chất lượng, định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành và các văn bản tham khảo về ngành cơ khí gắn liền với các chỉ tiêu thông tin và dữ liệu về các danh mục chuẩn quốc tế và Việt nam về ngành nghề, sản phẩm, hàng hóa xuất nhập khẩu và dữ liệu về danh mục. Việc tạo lập qui tắc chuyển đổi dữ liệu cung cấp từ các nguồn khác nhau được phân theo từng nguồn dữ liệu bao gồm:
- Từ các đơn vị trong Bộ Công Thương bao gồm các Vụ, Cục chuyên ngành, Sở Công Thương các tỉnh thành
- Từ Tổng Cục Thống kê - Từ Tổng Cục Hải quan - Từ các hiệp hội ngành hàng - Từ các nguồn khác
Ngoài ra, siêu dữ liệu chuyển đổi còn được phân loại theo nhóm chỉ
tiêu thông tin. Qui trình tạo lập khuôn dạng dữ liệu cung cấp từ các nguồn khác nhau được thực hiện như sau:
- Trên cơ sở cấu trúc dữ liệu thu thập, kết xuất trong các khối xử lý dữ
liệu trung gian và siêu dữ liệu mô tả việc kết xuất, truyền tải, xác định siêu dữ
liệu phục vụ cho việc tổng hợp, chuyển đổi theo dạng chuẩn dữ liệu của CSDL;
- Xác định công cụ và tiện ích liên quan đến tổng hợp và chuyển đổi dữ liệu;
- Lưu trữ các mô tả dữ liệu vào CSDL xử lý trung gian phục vụ cho làm sạch và chuẩn hóa dữ liệu.
Các công việc được thực hiện tách biệt đối với từng nhóm dữ liệu, thông tin thu thập và từ mỗi nguồn dữ liệu khác nhau. Siêu dữ liệu phân tách theo các nhóm dữ liệu, thông tin thu thập bao gồm:
- Thông tin, chỉ tiêu cơ bản về sản phẩm, hàng hoá ngành Cơ khí. - Thông tin, chỉ tiêu về tiềm lực ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về hạ tầng ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về phát triển và định hướng ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu tham khảo và tra cứu. (adsbygoogle = window.adsbygoogle || []).push({});
Sau đây là Quy trình nghiệp vụ chuyển đổi lưu trữ về thông tin, dữ liệu phục vụ cho kết xuất, chuyển đổi (siêu dữ liệu):
KT Bắt đầu Cập nhật hạng mục DL trong mỗi danh mục Xác định yếu tố chủ yếu trong mỗi giá trị Xác định mối quan hệ trong mỗi danh mục Xác định giá trị danh mục theo quy tắc
Phê duyệt thông tin
Chuẩn ? Hiệu chỉnh
Cập nhật vào CSDL