C. PHƯƠNG PHÁP NGHIÊN CỨ U
1.Nghiên cứu, thiết kế qui trình kết xuất và truyền tả i
Quy trình kết xuất và truyền tải là một trong những quy trình nghiệp vụ
chính của CSDL ngành Cơ khí. Tại quy trình này, thông tin được nhận từ các nguồn khác nhau và dưới nhiều dạng khác nhau sau đó tiến hành sửa đổi dữ
liệu, làm sạch dữ liệu, tạo lập dữ liệu mô tả, lưu dữ liệu. Các dữ liệu đầu vào cần xử lý bao gồm:
• Thông tin doanh nghiệp
• Thông tin cơ bản
• Thông tin chiến lược phát triển ngành cơ khí
• Thông tin về tiềm lực ngành cơ khí
• Thông tin tra khảo và nghiên cứu
• Tin tức hoạt động trong ngành cơ khí tại Việt Nam và thế giới
A. Dữ liệu và thông tin lĩnh vực ngành Cơ khí
Dữ liệu cung cấp cho CSDL thu thập từ nhiều nguồn khác nhau:
- Các dữ liệu, thông tin liên quan đến chỉ tiêu về tiềm lực công nghiệp chế biến chế tạo và doanh nghiệp được thu thập chủ yếu từ các đơn vị nghiệp vụ Bộ Công Thương, Tổng Cục Thống kê và các Sở Công Thương, hiệp hội ngành nghề và các nguồn khác.
- Các dữ liệu, thông tin liên quan đến chỉ tiêu về phát triển công nghiệp chế biến, chế tạo được thu thập chủ yếu từ các đơn vị nghiệp vụ Bộ Công Thương và các nguồn khác.
- Các dữ liệu, thông tin liên quan đến chỉ tiêu khác liên quan đến kinh tế công nghiêp chế biến, chế tạo được thu thập chủ yếu từ Tổng Cục Thống kê và các đơn vị nghiệp vụ Bộ Công Thương. Đối với lĩnh vực thông tin này, nhiều vụ chuyên ngành về lĩnh vực quản lý ngành cơ khí như Vụ CN nặng, Vụ CN nhẹ, Vụ Năng lượng, Vụ XNK, các vụ khu vực,… tham gia với sự
phối hợp của đơn vị chủ quản CSDL ngành Cơ khí và các đơn vị liên quan thực hiện việc xác định, tạo lập và cung cấp nhóm thông tin cần thiết phải quản lý về lĩnh vực ngành Cơ khí.
- Đối với các dữ liệu từ các nguồn bên ngoài được công bố dưới dạng niên giám, tài liệu được phát hành rộng rãi hoặc trên các phương tiện thông tin đại chúng, việc thu thập sẽ dựa trên các thoả thuận giữa Bộ Công Thương và đơn vị chủ quản nguồn dữ liệu về việc cung cấp định kỳ và khuôn dạng dữ
liệu cung cấp.
- Đối với các dữ liệu từ các nguồn bên ngoài có thể cung cấp, nhưng không được công bố rộng rãi, việc thu thập sẽ dựa trên các qui định và thoả
thuận giữa Bộ Công Thương với đơn vị chủ quản nguồn dữ liệu về việc xử lý, tổng hợp điều tra bổ sung để cung cấp định kỳ và các qui khác về khuôn dạng, sử dụng, khai thác dữ liệu.
- Đối với các dữ liệu nguồn nội bộ Bộ Công Thương, việc thu thập dữ
liệu cũng sẽ dựa trên các qui định về việc cung cấp thông tin dữ liệu cho CSDL liên quan đến nội dung, khuôn dạng cung cấp, định kỳ cung cấp, về
chuẩn thông tin chung thống nhất.
Các thông tin dữ liệu sẽ được truyền tải theo định kỳ thông qua mạng Internet hoặc mạng diện rộng của Chính phủ hoặc qua đường công văn, công vụ, rồi được cập nhật vào các khối xử lý dữ liệu trung gian. Các khối xử lý dữ
liệu trung gian có được thiết kế chủ yếu dựa trên các dữ liệu đầu vào, thuận tiện cho việc thu thập nhanh chóng dữ liệu từ các nguồn khác nhau.
Việc thu thập, xử lí, truyền tải về lưu trong các khối xử lý dữ liệu trung gian bao gồm xây dựng thông tin về định nghĩa dữ liệu, qui tắc kết xuất, thu thập dữ liệu và được lưu trữ ngay trong CSDL của các khối xử lý dữ liệu hoặc trên các công cụ kết xuất, truyền tải. Các công việc được thực hiện tách biệt
đối với từng nhóm dữ liệu, thông tin thu thập và từ mỗi nguồn dữ liệu khác nhau. Các nhóm dữ liệu, thông tin thu thập bao gồm:
- Thông tin, chỉ tiêu cơ bản về sản phẩm, hàng hoá ngành Cơ khí. - Thông tin, chỉ tiêu về tiềm lực ngành cơ khí Việt Nam
- Thông tin, chỉ tiêu về hạ tầng ngành Cơ khí Việt Nam.
- Thông tin, chỉ tiêu về phát triển và định hướng ngành cơ khí Việt Nam. - Thông tin, chỉ tiêu tham khảo và tra cứu.
Sau đây là Quy trình nghiệp vụ kết xuất và truyền tải dữ liệu và thông tin về
Bắt đầu Tiếp nhận thông tin Dạng bản nhập thông tin mềm bản cứng Giải mã Mã hoá? Nhập các thông Có cấu trúc tin phi cấu trúc Đọc dữ liệu từ các trường (adsbygoogle = window.adsbygoogle || []).push({});
Kiểm tra thông tin trùng lặp dữ liệu Trùng Loại bỏ Ghi dữ liệu KT Hình 7. Qui trình kết xuất và truyền tải dữ liệu
B. Văn bản pháp quy, chính sách, thoả thuận, hiệp định hợp tác với các nước, khu vực và tổ chức quốc tế, tiêu chuẩn chất lượng, định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành
Văn bản pháp quy, chính sách điều hành quản lý, các thoả thuận, hiệp
định hợp tác với các nước, khu vực và tổ chức quốc tế, tiêu chuẩn chất lượng,
định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành và các văn bản tham khảo về ngành cơ khí gắn liền với các chỉ tiêu thông tin được thu thập từ nhiều nguồn khác nhau, cụ thể như sau:
- Văn bản pháp quy, chính sách điều hành quản lý về lĩnh vực công nghiệp chế tạo chủ yếu được thu thập từ Bộ Công Thương, Chính phủ, Quốc hội và các bộ ngành khác. Các văn bản này cũng có thể được kết xuất từ các CSDL bên ngoài rồi được truyền tải, cập nhật vào CSDL .
- Các thoả thuận, hiệp định hợp tác với các nước, khu vực và tổ chức quốc tế được thu thập chủ yếu từ Bộ Công Thương, Chính phủ, Bộ Ngoại giao. Các văn bản này cũng có thể được kết xuất từ các CSDL bên ngoài rồi
được truyền tải, cập nhật vào CSDL .
- Tiêu chuẩn chất lượng, định mức kỹ thuật của sản phẩm được thu thập từ Cục Đo lường, tiêu chuẩn, chất lượng, Bộ Công Thương, hiệp hội, viện nghiên cứu, trường đại học, cao đẳng và dạy nghề, các doanh nghiệp.
- Chiến lược, quy hoạch, kế hoạch phát triển ngành được thu thập từ
Bộ Công Thương.
- Các văn bản tham khảo về ngành cơ khí và các tài liệu liên quan khác
được thu thập từ Bộ Công Thương và các nguồn khác.
Văn bản pháp qui bao gồm các loại sau: Hiệp định, Luật, Pháp lệnh, Lệnh, Sắc lệnh, Sắc luật, Nghị quyết, Nghị định, Quyết định, Chỉ thị, Thông tư, Thông tư liên bộ, Thông tư liên tịch, Công văn, Thông báo,…
Mỗi văn bản được quản lý gồm các tiêu thức chính: - Cơ quan ban hành - Phân loại - Số - Ký hiệu - Ngày - Người ký - Trích yếu.
Cùng với thông tin quản lý gồm các tiêu thức, phần nội dung toàn văn của văn bản cần bao gồm các tệp đính kèm dạng HTML, DOC, RTF, XLS, PDF, ODF,...
Hệ thống Công báo của Chính phủ, các bộ ngành liên quan đến lĩnh vực cơ khí cũng có thể xem xét là nguồn thông tin đầu vào của CSDL ngành
Cơ khí. Hiện nay, hệ thống Công báo của Chính phủ, các bộ ngành đã từng bước được các cơ quan đưa lên mạng, đáng kể nhất là Hệ thống văn bản pháp quy trên Trang tin điện tử của Chính phủ, một số bộ, ngành và có thể thực hiện việc kết xuất trực tuyến qua mạng Internet. Đối với lĩnh vực thông tin này, Vụ Pháp chế tham gia với sự phối hợp của đơn vị chủ quản CSDL ngành cơ khí và các đơn vị liên quan thực hiện việc xác định, tạo lập và cung cấp nhóm thông tin văn bản cần thiết phải quản lý về lĩnh vực ngành Cơ khí. Việc thu thập, kết xuất và truyền tải văn bản sẽđược tiến hành các công việc sau:
- Xác định chuẩn trao đổi dữ liệu văn bản với từng nguồn cung cấp. - Thực hiện việc kết xuất các thông tin về văn bản từ các nguồn khác nhau.
- Kiểm tra nội dung thông tin văn bản, tránh trùng lắp và chính xác - Lưu trữ vào khối xử lý dữ liệu trung gian.
Sau đây là Quy trình nghiệp vụ thu thập, xử lý, quản lý, khai thác thông tin dữ
Bắt đầu Tiếp nhận văn bản Dạng bản nhập thông tin mềm bản cứng Giải mã Mã hoá? Có cấu trúc Đọc dữ liệu từ các trường
Kiểm tra thông tin trùng lặp dữ liệu
Trùng Loại bỏ
Ghi dữ liệu
KT
C. Dữ liệu về các danh mục chuẩn quốc tế và Việt nam về ngành nghề, sản phẩm…
Một trong các yêu cầu của việc xây dựng CSDL là liên kết và trao đổi, kết xuất thông tin từ các nguồn dữ liệu khác nhau trong và ngoài Bộ Công Thương cũng như hướng đến đáp ứng các trao đổi thông tin với quốc tế. Để đạt được yêu cầu này, cần thiết phải tiến hành chuẩn hóa và thống nhất các danh mục liên quan đến lĩnh vực ngành cơ khí theo cách như sau:
- Xác định nhóm các danh mục dữ liệu liên quan đến lĩnh vực công nghiệp cơ khí chế tạo như một thành phần trong thiết kế CSDL.
- Nhóm dữ liệu danh mục cần theo thiết kế mở sao cho có thể bổ sung, cập nhật theo các danh mục chuẩn cũng như các danh mục đặc thù của CSDL. - Dữ liệu danh mục cần thiết phải đầy đủ theo chuẩn Việt nam và chuẩn quốc tế. Do vậy, việc chuẩn hóa các danh mục liên quan đến lĩnh vực ngành cơ khí cần thiết tuân thủ theo CSDL phân loại và mã (CCDB - Code and Classification Database). CCDB nhằm để chuẩn hóa và hiểu thống nhất các chỉ tiêu thông tin (nội dung và mã số) theo một chuẩn, gồm 2 loại chính: (adsbygoogle = window.adsbygoogle || []).push({});
- Các phân loại chính theo tiêu chuẩn quốc gia và quốc tế lấy theo các danh mục và phân loại đã được ban hành trên giác độ quốc gia (Thủ tướng hoặc Bộ trưởng ký hoặc chưa có thì lấy phiên bản quốc tế). Các phân loại chính bao gồm: VLAD-2009, VSIC-2007, SITC, VLIP2010, HS,….
- Phân tổ riêng tự xây dựng theo yêu cầu của CSDL, phạm vi sử dụng hẹp.
Các danh mục chính trong CSDL ngành Cơ khí bao gồm:
- Danh mục cấp Tỉnh, Vùng (Danh mục các đơn vị hành chính Việt nam – VLAD-2009 (Vietnam List of Administrative Divisions);
- Danh mục Ngành cấp 1,2,3,4 (Hệ thống ngành KT Việt nam – Vietnam Standard Industrial Classification (VSIC-2007);
- Danh mục các sản phẩm Thương mại quốc tế (SITC – Standard International Trade Classification) gắn với tiêu chuẩn ngoại thương (sơ chế/tinh chế, công nghệ cao/thấp, …);
- Danh mục Thành phần kinh tế (NN, Ngoài NN, ĐTNN);
- Danh mục các sản phẩm và mặt hàng Công nghiệp (Vietnam List of Industrial Products – VLIP2010);
- Danh mục các mặt hàng xuất, nhập khẩu chủ yếu
- Danh mục mặt hàng, nhóm hàng xuất nhập khẩu (chi tiết theo mã HS 2007 (Harmonized System) từ 6,8,10 số);
- Danh mục nước, khu vực, nước xuất nhập khẩu chủ yếu (các nước
đối tác chính);
- Các Danh mục liên quan đến Văn bản pháp quy, Chính sách điều hành (Danh mục cấp ban hành, Danh mục loại văn bản);
- Loại hình doanh nghiệp (TNHH, Nhà nước, Tư nhân, ĐT), Cổ phần (Nhà nước,Tư nhân, ĐT), Tư nhân, Hợp danh;
- Quốc gia và vùng lãnh thổđối tác nhập khẩu, xuất khẩu; - Thị trường chính xuất khẩu, nhập khẩu (khu vực);
- Các danh mục khác như nguồn, đơn vị khai thác, người sử dụng, tài khoản, nhóm quyền, mức truy cập, trạng thái đối tượng trong CSDL, trạng thái tạo lập. Các danh mục được quản lý bao gồm thông tin về nội dung và mã số. Ngoài ra, cần thiết xác định thuộc tính chính hay chủ yếu của mỗi giá trị
như mặt hàng chủ yếu, thị trường chính,… do Bộ Công Thương xác định và có thể bị thay đổi hàng năm. Các danh mục cần thiết xác lập mối quan hệ giữa chúng với nhau. Ví dụ, danh mục các sản phẩm và mặt hàng Công nghiệp cơ
khí chế tạo có quan hệ với danh mục mặt hàng, nhóm hàng xuất nhập khẩu và danh mục các sản phẩm Thương mại quốc tế. Do đó, qui trình nghiệp vụ xây dựng, cập nhật dữ liệu về các danh mục chuẩn quốc tế và Việt nam về ngành nghề, sản phẩm, hàng hóa xuất nhập khẩu,… cần tuân thủ các bước sau:
- Xác định chuẩn trao đổi dữ liệu danh mục với từng loại danh mục và nguồn cung cấp.
- Thực hiện việc kết xuất thông tin và dữ liệu về các danh mục cần thiết cho CSDL. Nếu là các danh mục chuẩn Việt nam và quốc tế, cần thu thập từ các đơn vị chủ quản để có danh mục mới nhất và cập nhật theo thời gian. Nếu là danh mục đặc thù Bộ Công Thương sẽ thu thập từ các đơn vị
nghiệp vụ quản lý điều hành trong Bộ.
- Kiểm tra nội dung thông tin văn bản, đảm bảo độ chính xác và tránh trùng lắp.
- Lưu trữ vào khối xử lý dữ liệu trung gian.
Sau đây là Quy trình nghiệp vụ xác lập xây dựng, cập nhật dữ liệu về
Bắt đầu Xác định danh mục hệ thống Xác định chuẩn dữ liệu & nguồn cung câp Kết xuất thông tin về dữ liệu Loại bỏ trùng, thừa Kiểm tra bổ sung thiếu, hiệu chỉnh sai Lưu trữ vào hệ thống Cập nhật? Cập nhât thông tin KT Hình 9. Qui trình cập nhật dữ liệu về bộ danh mục
D. Dữ liệu mô tả về thông tin, dữ liệu phục vụ cho kết xuất, chuyển đổi (siêu dữ liệu)
Quá trình tạo lập dữ liệu mô tả về thông tin, dữ liệu phục vụ cho kết xuất, chuyển đổi (siêu dữ liệu) được thực hiện trong quá trình kết xuất và
vực và tổ chức quốc tế, tiêu chuẩn chất lượng, định mức kỹ thuật, chiến lược, quy hoạch, kế hoạch phát triển ngành và các văn bản tham khảo về ngành cơ
khí gắn liền với các chỉ tiêu thông tin và dữ liệu về các danh mục chuẩn quốc tế và Việt nam về ngành nghề, sản phẩm, hàng hóa xuất nhập khẩu,… Việc tạo lập khuôn dạng dữ liệu cung cấp từ các nguồn khác nhau được phân theo từng nguồn dữ liệu bao gồm:
- Từ các đơn vị trong Bộ Công Thương bao gồm các Vụ, Cục chuyên ngành, Sở Công Thương các tỉnh thành (adsbygoogle = window.adsbygoogle || []).push({});
- Từ Tổng Cục Thống kê - Từ Tổng Cục Hải quan - Từ các hiệp hội ngành hàng - Từ các nguồn khác
Ngoài ra, siêu dữ liệu còn được phân loại theo nhóm chỉ tiêu thông tin. Quy trình tạo lập khuôn dạng dữ liệu cung cấp từ các nguồn khác nhau
được thực hiện như sau:
- Xác định nhóm thông tin được kết xuất từ mỗi nguồn dữ liệu trên cơ
sở các thoả thuận giữa đơn vị đại diện Bộ Công Thương mà đơn vị chủ quản nguồn dữ liệu;
- Xác định khuôn dạng và phương thức cung cấp dữ liệu;
- Xác định công cụ và tiện ích liên quan đến kết xuất và truyền tải dữ
liệu;
- Xây dựng các phần mềm nhập liệu, tiện ích cho phép truyền tải và cập nhật dữ liệu vào các CSDL xử lý trung gian;
- Lưu trữ các mô tả dữ liệu vào CSDL xử lý trung gian phục vụ cho làm sạch và chuẩn hóa dữ liệu. Các công việc được thực hiện tách biệt đối với từng nhóm dữ liệu, thông tin thu thập và từ mỗi nguồn dữ liệu khác nhau. Siêu dữ liệu phân tách theo các nhóm dữ liệu, thông tin thu thập bao gồm:
- Thông tin, chỉ tiêu cơ bản về sản phẩm, hàng hoá ngành Cơ khí. - Thông tin, chỉ tiêu về tiềm lực ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về hạ tầng ngành cơ khí Việt Nam.
- Thông tin, chỉ tiêu về phát triển và định hướng ngành cơ khí Việt