Xây Dựng Đề Xuất Dự Án “Tích Hợp CSDL Môi Trường” Phục Vụ Quản Lý Nhà Nước Về Môi Trường Tại Tổng Cục Môi Trường

Qua kết quả đánh giá hiện trạng xây dựng cơ sở dữ liệu và phần mềm của Tổng cục Môi trường mục 10.2 cho thấy từ năm 2006 đến 2015 các đơn vị trong Tổng cục Môi trường đã trú trọng việc x

Xây dựng đề xuất dự án “Tích hợp CSDL môi trường” phục vụ quản lý

nhà nước về môi trường tại Tổng cục Môi trường

Qua kết quả đánh giá hiện trạng xây dựng cơ sở dữ liệu và phần mềm của Tổng cục Môi trường (mục 10.2) cho thấy từ năm 2006 đến 2015 các đơn vị trong Tổng cục Môi trường đã trú trọng việc xây dựng CSDL phục vụ nhu cầu quản lý của mình Nhiều CSDL đã xây dựng xong, đang được sử dụng và tiếp tục cập nhật số liệu Tuy nhiên, các cơ sở dữ liệu hiện đang nằm ở nhiều hệ thống khác nhau, trên nhiều khuôn dạng khác nhau,… việc sử dụng, tìm kiếm thông tin sẽ rất khó khăn do phải tìm kiếm trên nhiều hệ thống khác nhau cũng như dữ liệu không đồng nhất về tọa độ không gian và thông tin thuộc tính Như vậy, các đề tài, dự án thực hiện sau khó có thể thừa kế được các sản phẩm đã thực hiện, phải mất công sức và kinh phí để xây dựng lại, một chuỗi những bất cập này lặp đi lặp lại theo thời gian sẽ gây ra lãng phí về công sức cũng như tiền của Nhà nước, đồng thời cũng làm cho công cuộc BVMT không đạt được hiệu quả như mong muốn

Cho đến nay chưa có đơn vị nào tích hợp các cơ sở dữ liệu thành phần này để có được một cơ sở dữ liệu tích hợp theo một tiêu chí chung thống nhất phục vụ quản lý nhà nước về môi trường

Việc tích hợp dữ liệu theo phương pháp thiết kế một CSDL mới, tạo trường và nhập số liệu từ các cơ sở dữ liệu thành phần là khó khả thi do các cơ

sở dữ liệu thành phần được thiết kế cho mục đích quản lý chuyên môn, đối tượng được thiết kế nhiều trường thông tin Việc tích hợp như vậy có thể không đưa được hết thông tin của cơ sở dữ liệu thành phần vào cơ sở dữ liệu tích hợp

Với sự phát triển mạnh về công nghệ thông tin như hiện nay Việc tích hợp nguồn thông tin đa dạng, đa thời gian và khả năng xử lý, lưu trữ, quản lý thông tin theo một hệ thống logic là cơ sở dữ liệu, nhằm giúp cho người sử dụng

có thể khai thác, cập nhật, tổng hợp trên quy mô tổng thể cấp tỉnh, cấp vùng hay toàn quốc, đáp ứng được những yêu cầu toàn diện về thông tin

Hệ thống thông tin càng có ý nghĩa khi được quản lý tích hợp dưới dạng một cơ sở dữ liệu không gian, trên một nền địa lý thống nhất, cho phép thực hiện

phân tích các lớp dữ liệu môi trường bằng các công cụ phân tích không gian và thể hiện kết quả dưới dạng các bản đồ, bảng biểu thống kê và nhiều phương pháp thể hiện khác

Nhu cầu “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước về

môi trường tại Tổng cục Môi trường:

Nhu cầu cấp bách về một hệ thống “Tích hợp CSDL môi trường” phục vụ

quản lý nhà nước về môi trường tại Tổng cục Môi trường làm cơ sở để thực hiện các chức năng và nhiệm vụ được giao, đòi hỏi hình thành cơ chế tổ chức nhằm xây dựng, quản lý và khai thác hiệu quả những khả năng, tiện ích của hệ thống thông tin này Đây là những điều kiện cần thiết để xây dựng cơ sở dữ liệu môi trường tích hợp phục vụ quản lý nhà nước và cộng đồng; hỗ trợ phát triển ứng dụng công nghệ thông tin, cơ sở dữ liệu hệ thống thông tin môi trường dùng chung cho các tổ chức thuộc Tổng cục

Do vậy, để công tác thông tin và dữ liệu môi trường hiện nay có thể thực hiện được đúng vai trò của mình, ngoài các nhiệm vụ phục vụ quản lý tác nghiệp hàng ngày ở các cơ quan quản lý môi trường, cần phải đảm bảo được hai chức năng ở phạm vi toàn quốc sau đây:

- Thứ nhất, thông tin dữ liệu môi trường phải là một công cụ đắc lực phục vụ xây dựng, thực hiện và đánh giá các chính sách về môi trường, phục vụ công tác quản lý bảo vệ môi trường ở tất cả các cấp từ trung ương đến địa phương

- Thứ hai, thông tin dữ liệu môi trường phải là một công cụ cơ bản trong việc đảm bảo cho tất cả các thành viên trong xã hội, cá nhân hay tập thể, có thể hiểu biết về tình trạng môi trường, đồng thời nâng cao trách nhiệm của các cơ quan có nhiệm vụ bảo vệ môi trường trước công luận

Sự cần thiết đảm bảo thông tin phục vụ công tác quản lý nhà nước về môi trường theo chức năng, nhiệm vụ của Bộ TN&MT và Tổng cục Môi trường Hàng loạt các bài toán liên quan đến quản lý, khai thác tài nguyên thiên nhiên, bảo vệ môi trường đang cần sự trợ giúp của công nghệ thông tin Công nghệ thông tin luôn là một phần không thể tách rời trong mọi bài toán môi trường cả

về quản lý dữ liệu môi trường cũng như các tính toán, đánh giá vĩ mô về môi trường, công tác lập kế hoạch, ra quyết định cho các vấn đề liên quan tới môi trường

Việc xây dựng CSDL môi trường tích hợp sẽ tạo lập một hạ tầng dữ liệu hiện đại, với khả năng cung cấp thông tin đa chiều, đáp ứng các nhu cầu quản lý bảo vệ môi trường và thực hiện các quyền của cộng đồng được biết các thông tin

về môi trường

Để thực hiện tốt chức năng nhiệm vụ được giao của Tổng cục Môi trường

là cơ quan quản lý nhà nước về môi trường, cần đảm bảo việc thu thập, quản lý

và cung cấp kịp thời thông tin môi trường toàn quốc, cần tập trung xây dựng CSDL môi trường tích hợp và hệ thống thông tin kết nối đến tất cả các đơn vị, địa phương cũng như các Bộ, ngành khác trong cả nước

Theo đó để từng bước xây dựng cơ sở dữ liệu môi trường quốc gia việc đầu tiên cần thiết làm là tích hợp CSDL môi trường dùng chung cho TCMT phục vụ quản lý nhà nước về môi trường, đồng thời cũng phục vụ cho việc thu thập, quản lý, khai thác và sử dụng dữ liệu môi trường, góp phần trong công cuộc quản lý, khai thác dữ liệu tài nguyên và môi trường như Nghị định 102/2008/NĐ-CP trên cơ sở tích hợp các CSDL của các đơn vị trực thuộc TCMT đã xây dựng liên quan

Tóm tắt giải pháp cho Dự án “ Tích hợp CSDL môi trường”

CSDL tích hợp môi trường sẽ được tích hợp dữ liệu từ các nguồn thông tin bằng các biện pháp sau:

 Nhập trực tiếp qua một số ứng dụng (web) thu thập dữ liệu

 Hệ thống ứng dụng đang và sẽ được sử dụng tại các đơn vị trực thuộc qua công cụ ETL

 Dữ liệu báo cáo từ các đơn vị trực thuộc qua công cụ ETL

 Dữ liệu báo cáo liên quan đến môi trường từ các đơn vị khác qua công

cụ ETL

 Truy xuất dữ liệu từ các hệ thống thông tin dữ liệu môi trường qua dịch

vụ dữ liệu (Data as a service)

+ Dữ liệu được tích hợp, lưu trữ theo mô hình Datawarehousing Thông tin dữ liệu được chuẩn hóa, làm sạch bằng công cụ Đảm bảo chất lượng dữ liệu (Data Quality) trước khi được chuyển đổi vào DW bằng công cụ ETL

+ Thông tin, dữ liệu có cấu trúc được ứng dụng các giải pháp BI, SMAC

để lập, hiển thị, trình bày báo cáo

+ Dữ liệu phi cấu trúc (Big Data) được quản lý, tìm kiếm, khai thác bằng công cụ CMS (Content Management System)

13.3.1 Phân tích và đề xuất giải pháp đảm bảo chất lượng dữ liệu tích hợp phù hợp cho từng lĩnh vực chuyên môn (bao gồm: đa dạng sinh học, kiểm

soát ô nhiễm, thanh tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường)

Các định dạng dữ

liệu

Các hệ thống thông

tin môi trương

CSDL Tích hợp

Kho dữ liệu (DW)

CSDL danh mục chuẩn hóa

ET L

ETL

Ứng dụng tác

nghiệp

Phần mềm thu

thập dữ

liệu

Data in

Cloud

Văn bản

Báo cáo

Bản đồ

Bảng, biểu

 Measure: Định lượng số lượng và loại lỗi

 Analyze: Đánh giá bản chất và nguyên nhân lỗi dữ liệu

 Parse: Xác định và cô lập các thành phần dữ liệu trong cấu trúc dữ liệu

 Standardize: Chuẩn hóa dữ liệu và định dạng theo quy tắc của cấu trúc

dữ liệu đích

 Correct: Xác minh, sửa lỗi và bổ sung dữ liệu dựa trên bộ thuật toán phức hợp mà có thể làm việc với nguồn dữ liệu đích

 Enhance: Bổ sung thêm dữ liệu làm giàu thông tin

 Match: Đối chiếu trùng lặp dữ liệu trong đa bảng hoặc CSDL

 Consolidate: Hợp nhất các thành phần dữ liệu trùng lặp từ bảng đối chiếu ở trên thành một nguồn duy nhất

13.3.2 Xây dựng giải pháp thiết kế công cụ truy xuất, chuyển đổi dữ liệu (ETL: Extract, Transform & Load) phù hợp cho từng lĩnh vực chuyên môn (bao

gồm: đa dạng sinh học, kiểm soát ô nhiễm, thanh tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường)

ETL (Extract, Transform & Load): Công cụ truy xuất, chuẩn hóa, chuyển đổi dữ liệu

 Extraction: Trích xuất dữ liệu

 Transformation: Chuyển đổi dữ liệu

o Map data: Xác định ánh xạ dữ liệu nguồn - đích

Validate data: Kiểm tra kiểu

13.3.3 Đề xuất giải pháp kỹ thuật xây dựng công cụ hiển thị dữ liệu tích hợp (BI)

Công cụ hiển thị dữ liệu tích hợp được triển khai đáp ứng các chức năng:

 Báo cáo tĩnh: báo cáo dữ liệu tích hợp sử dụng thường xuyên, được thiết kế sẵn theo nhu cầu hiện tại

 Báo cáo động: Kết xuất báo cáo và tạo báo cáo tùy biến bằng cách kéo thả các chỉ tiêu phân tích (facts) và chiều phân tích (dimentions)

 Khai phá dữ liệu (data mining)

 Phân tích dữ liệu đa chiều:

o Thu nhỏ (roll-up): ví dụ: nhóm dữ liệu theo năm thay vì theo quý

o Mở rộng (drill-down): ví dụ: mở rộng dữ liệu, nhìn theo tháng thay vì theo quý

o Cắt lát (slice): nhìn theo từng lớp một Ví dụ: từ danh mục bán hàng hàng năm chỉ xem của Q1

o Thu nhỏ (dice): bỏ bớt một phần của dữ liệu (tương ứng thêm điều kiện vào câu lệnh WHERE trong SQL)

 Dashboard: Bảng phân tích dữ liệu theo kịch bản What-If và lưu kịch bản dữ liệu (scenario)

Kiến trúc Kho dữ liệu tổng hợp đảm bảo khả năng thay đổi cấu trúc dữ liệu trong tương lai trong các trường hợp:

 Thêm, bớt, thay đổi chi tiêu phân tích

 Thêm, bớt, thay đổi chiều thông tin phân tích

Tốc độ truy cập khi kho dữ liệu ngày càng lớn

13.3.4 Xây dựng giải pháp kết nối trang thiết bị CNTT tối ưu SMAC

(Social, Mobile, Analytics, Cloud: bao hàm các khái niệm về một loại sản phẩm

và gói dịch vụ mới mà các nhà cung cấp đang triển khai để đem lại những giải pháp hiệu quả và cơ động cho người dùng) phục vụ tích hợp dữ liệu cho các đơn

vị trong Tổng cục (14 đơn vị: Văn phòng (bao gồm cả nhu cầu của Vụ Chính sách và Pháp chế; Vụ Hợp tác quốc tế và Khoa học, Công nghệ; Vụ Kế hoạch -Tài chính; Vụ Tổ chức cán bộ), Cục Bảo tồn đa dạng sinh học Cục Kiểm soát ô nhiễm; Cục Quản lý chất thải và Cải thiện môi trường (có Chi cục Bảo vệ môi trường lưu vực sông Cầu, Chi cục Bảo vệ môi trường lưu vực sông Nhuệ - sông Đáy); Cục Thẩm định và Đánh giá tác động môi trường; Cục Kiểm soát hoạt động bảo vệ môi trường; Cục Môi trường miền Trung và Tây Nguyên; Cục Môi trường miền Nam; Trung tâm Đào tạo và Truyền thông môi trường; Trung tâm Quan trắc môi trường; Trung tâm Thông tin và Tư liệu môi trường; Trung tâm

Tư vấn và Công nghệ môi trường; Tạp chí Môi trường; Viện Khoa học môi trường)

13.3.5 Xây dựng giải pháp và thiết kế kho dữ liệu tổng hợp (Data Warehouse).

Được thiết kế tối ưu cho các ứng dụng báo cáo tổng hợp, dữ liệu trong kho dữ liệu rất lớn và không có những thao tác như sửa đổi hay tạo mới nên nó được tối ưu cho việc phân tích và báo cáo Các thao tác với dữ liệu của kho dữ liệu dựa trên cơ sở là Mô hình dữ liệu đa chiều (multidimensional data model), được mô hình hóa vào đối tượng gọi là data cube Data cube là nơi trung tâm của vấn đề cần phân tích, nó bao gồm một hay nhiều tập dữ kiện (fact) và các dữ kiện được tạo ra từ nhiều chiều dữ kiện khác nhau (dimention)

Ngoài ra, trong Kho dữ liệu tổng hợp còn chứa các bảng danh mục, cấu trúc dữ liệu dùng chung đã được chuẩn hóa cho toàn ngành

13.3.6 Đề xuất giải pháp kỹ thuật xây dựng công cụ quản lý nội dung dữ

liệu (dữ liệu phi cấu trúc)

 Thu nhận tài liệu (Capture)

o Quét (Scan) tài liệu giấy

o Nhận dạng các tài liệu dạng mẫu biểu

o ECM (Enterprise Content Management) cung cấp 2 giải pháp Document Capture:

 Document Capture (DC): Thực hiện production-level document scanning & indexing ở trung tâm

 Distributed Document Capture (DDC): Quét & gửi ảnh hồ sơ qua giao diện Web từ các địa điểm ở xa

 Cả 2 đều tích hợp đầy đủ với I/PM (Imaging and Process Management) & Content Server

 Quản lý phiên bản (Version), Lập chỉ mục (Index):

o Document Indexing

 Đánh chỉ mục (Indexing), xây dựng metadata;

 Có thể được hỗ trợ/tự động hóa nhờ Nhận dạng ký tự/tài liệu (OCR/ ICR/IDR) Soát lỗi chính tả văn bản

o Quản lý phiên bản tài liệu (version)

 Làm sạch (Cleanse), chuẩn hóa

 Lọc (Filter), phân loại:

o Xử lý tài liệu

o Liên kết các tài liệu với nhau

o Chuyển đổi định dạng

 Công bố tài liệu (Public):

o Xây dựng web khai thác tài liệu

o Xây dựng quy trình sử dụng tài liệu

o Phân quyền sử dụng tài liệu

 Tra cứu, khai thác tài liệu (Search):

o Tìm kiếm tài liệu

o Xem, in tài liệu

o Kiểm soát quyền sử dụng tài liệu

o Thu hồi tài liệu

 Lưu trữ tài liệu (Archive/Retain):

o Quản lý phiên bản, thời hạn của tài liệu

o Đưa lưu trữ tài liệu hết hạn

13.3.7 Họp tổ chuyên gia và các cán bộ kỹ thuật các đơn vị thiết kế, xây

dựng giải pháp tổng thể và xây dựng dự án “Tích hợp CSDL môi trường” khả thi (theo từng lĩnh vực bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, thanh tra, chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường, tư liệu môi trường) 10 buổi

13.3.8 Hội thảo lấy ý kiến góp ý, hoàn thiện cho việc đề xuất nội dung và

giải pháp kỹ thuật xây dựng dự án “Tích hợp CSDL môi trường” (02 lần tại Hà

Nội)

13.3.9 Tổng hợp đề xuất dự án “Tích hợp CSDL môi trường” khả thi

trình Lãnh đạo Tổng cục Môi trường xem xét phê duyệt

STT Nội dung công việc Đơn vị tính lượng Số Người thực hiện Ghi chú

VI Xây dựng đề xuất dự án “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước về môi trường tại Tổng cục Môi trường

6.1

Phân tích và đề xuất giải

pháp đảm bảo chất lượng

dữ liệu tích hợp phù hợp

cho từng lĩnh vực chuyên

môn (bao gồm: đa dạng

sinh học, kiểm soát ô

nhiễm, thanh tra, quản lý

chất thải, lưu vực sông,

quan trắc môi trường,

ĐTM, sức khỏe môi

trường, truyền thông môi

trường, tư liệu môi

trường)

Chuyên

Xây dựng giải pháp thiết

kế công cụ truy xuất,

chuyển đổi dữ liệu (ETL:

Extract, Transform &

Load) phù hợp cho từng

lĩnh vực chuyên môn

(bao gồm: đa dạng sinh

học, kiểm soát ô nhiễm,

thanh tra, quản lý chất

thải, lưu vực sông, quan

trắc môi trường, ĐTM,

sức khỏe môi trường,

truyền thông môi trường,

tư liệu môi trường)

Chuyên

6.3

Đề xuất giải pháp thiết kế

công cụ hiển thị dữ liệu

tích hợp (BI)

Chuyên

6.4

Xây dựng giải pháp kết

nối trang thiết bị CNTT

tối ưu SMAC (Social,

Mobile, Analytics, Cloud)

phục vụ tích hợp dữ liệu

cho các đơn vị trong

Tổng cục Môi trường

Chuyên

6.5

Đề xuất giải pháp kỹ

thuật tích hợp dữ liệu phi

cấu trúc

Chuyên

6.6

Đề xuất giải pháp kỹ

thuật tích hợp dữ liệu

không gian

Chuyên

6.7 Xây dựng giải pháp và thiết kế kho dữ liệu tổng

hợp (Data Warehouse)

Chuyên

6.8

Đề xuất giải pháp kỹ

thuật xây dựng công cụ

quản lý nội dung dữ liệu

(dữ liệu phi cấu trúc)

Chuyên

6.9

Đề xuất giải pháp kỹ

thuật xây dựng công cụ

quản lý nội dung dữ liệu

(dữ liệu không gian)

Chuyên

6.10

Họp tổ chuyên gia và các

cán bộ kỹ thuật các đơn

vị thiết kế, xây dựng giải

pháp tổng thể và xây

dựng dự án “Tích hợp

CSDL môi trường” khả

thi (theo từng lĩnh vực

bao gồm: đa dạng sinh

học, kiểm soát ô nhiễm,

thanh tra, chất thải, lưu

Vân+Thắm,

Quỳnh Anh, Phan chuẩn bị tài liệu