Dự Án “Tích Hợp CSDL Môi Trường” Phục Vụ Quản Lý Nhà Nước Về Môi Trường Tại Tổng Cục Môi Trường

Xây dựng đề xuất dự án “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước môi trường Tổng cục Môi trường Qua kết đánh giá trạng xây dựng sở liệu phần mềm Tổng cục Môi trường (mục 10.2) cho thấy từ năm 2006 đến 2015 đơn vị Tổng cục Môi trường trú trọng việc xây dựng CSDL phục vụ nhu cầu quản lý Nhiều CSDL xây dựng xong, sử dụng tiếp tục cập nhật số liệu Tuy nhiên, sở liệu nằm nhiều hệ thống khác nhau, nhiều khuôn dạng khác nhau,… việc sử dụng, tìm kiếm thông tin khó khăn phải tìm kiếm nhiều hệ thống khác liệu không đồng tọa độ không gian thông tin thuộc tính Như vậy, đề tài, dự án thực sau khó thừa kế sản phẩm thực hiện, phải công sức kinh phí để xây dựng lại, chuỗi bất cập lặp lặp lại theo thời gian gây lãng phí công sức tiền Nhà nước, đồng thời làm cho công BVMT không đạt hiệu mong muốn Cho đến chưa có đơn vị tích hợp sở liệu thành phần để có sở liệu tích hợp theo tiêu chí chung thống phục vụ quản lý nhà nước môi trường Việc tích hợp liệu theo phương pháp thiết kế CSDL mới, tạo trường nhập số liệu từ sở liệu thành phần khó khả thi sở liệu thành phần thiết kế cho mục đích quản lý chuyên môn, đối tượng thiết kế nhiều trường thông tin Việc tích hợp không đưa hết thông tin sở liệu thành phần vào sở liệu tích hợp Với phát triển mạnh công nghệ thông tin Việc tích hợp nguồn thông tin đa dạng, đa thời gian khả xử lý, lưu trữ, quản lý thông tin theo hệ thống logic sở liệu, nhằm giúp cho người sử dụng khai thác, cập nhật, tổng hợp quy mô tổng thể cấp tỉnh, cấp vùng hay toàn quốc, đáp ứng yêu cầu toàn diện thông tin Hệ thống thông tin có ý nghĩa quản lý tích hợp dạng sở liệu không gian, địa lý thống nhất, cho phép thực phân tích lớp liệu môi trường công cụ phân tích không gian thể kết dạng đồ, bảng biểu thống kê nhiều phương pháp thể khác Nhu cầu “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước môi trường Tổng cục Môi trường: Nhu cầu cấp bách hệ thống “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước môi trường Tổng cục Môi trường làm sở để thực chức nhiệm vụ giao, đòi hỏi hình thành chế tổ chức nhằm xây dựng, quản lý khai thác hiệu khả năng, tiện ích hệ thống thông tin Đây điều kiện cần thiết để xây dựng sở liệu môi trường tích hợp phục vụ quản lý nhà nước cộng đồng; hỗ trợ phát triển ứng dụng công nghệ thông tin, sở liệu hệ thống thông tin môi trường dùng chung cho tổ chức thuộc Tổng cục Do vậy, để công tác thông tin liệu môi trường thực vai trò mình, nhiệm vụ phục vụ quản lý tác nghiệp hàng ngày quan quản lý môi trường, cần phải đảm bảo hai chức phạm vi toàn quốc sau đây: - Thứ nhất, thông tin liệu môi trường phải công cụ đắc lực phục vụ xây dựng, thực đánh giá sách môi trường, phục vụ công tác quản lý bảo vệ môi trường tất cấp từ trung ương đến địa phương - Thứ hai, thông tin liệu môi trường phải công cụ việc đảm bảo cho tất thành viên xã hội, cá nhân hay tập thể, hiểu biết tình trạng môi trường, đồng thời nâng cao trách nhiệm quan có nhiệm vụ bảo vệ môi trường trước công luận Sự cần thiết đảm bảo thông tin phục vụ công tác quản lý nhà nước môi trường theo chức năng, nhiệm vụ Bộ TN&MT Tổng cục Môi trường Hàng loạt toán liên quan đến quản lý, khai thác tài nguyên thiên nhiên, bảo vệ môi trường cần trợ giúp công nghệ thông tin Công nghệ thông tin phần tách rời toán môi trường quản lý liệu môi trường tính toán, đánh giá vĩ mô môi trường, công tác lập kế hoạch, định cho vấn đề liên quan tới môi trường Việc xây dựng CSDL môi trường tích hợp tạo lập hạ tầng liệu đại, với khả cung cấp thông tin đa chiều, đáp ứng nhu cầu quản lý bảo vệ môi trường thực quyền cộng đồng biết thông tin môi trường Để thực tốt chức nhiệm vụ giao Tổng cục Môi trường quan quản lý nhà nước môi trường, cần đảm bảo việc thu thập, quản lý cung cấp kịp thời thông tin môi trường toàn quốc, cần tập trung xây dựng CSDL môi trường tích hợp hệ thống thông tin kết nối đến tất đơn vị, địa phương Bộ, ngành khác nước Theo để bước xây dựng sở liệu môi trường quốc gia việc cần thiết làm tích hợp CSDL môi trường dùng chung cho TCMT phục vụ quản lý nhà nước môi trường, đồng thời phục vụ cho việc thu thập, quản lý, khai thác sử dụng liệu môi trường, góp phần công quản lý, khai thác liệu tài nguyên môi trường Nghị định 102/2008/NĐ-CP sở tích hợp CSDL đơn vị trực thuộc TCMT xây dựng liên quan Tóm tắt giải pháp cho Dự án “ Tích hợp CSDL môi trường” CSDL tích hợp môi trường tích hợp liệu từ nguồn thông tin biện pháp sau: • Nhập trực tiếp qua số ứng dụng (web) thu thập liệu • Hệ thống ứng dụng sử dụng đơn vị trực thuộc qua công cụ ETL • Dữ liệu báo cáo từ đơn vị trực thuộc qua công cụ ETL • Dữ liệu báo cáo liên quan đến môi trường từ đơn vị khác qua công cụ ETL • Truy xuất liệu từ hệ thống thông tin liệu môi trường qua dịch vụ liệu (Data as a service) Phần mềm thu thập liệu Ứng dụng tác nghiệp CSDL danh mục chuẩn hóa ET L Các hệ thống thông tin môi trương Data in Cloud Kho liệu (DW) ETL Các định dạng liệu CSDL Tích hợp + Dữ liệu tích hợp, lưu trữ theo mô hình Datawarehousing Thông tin liệu chuẩn hóa, làm công cụ Đảm bảo chất lượng liệu (Data Quality) trước chuyển đổi vào DW công cụ ETL + Thông tin, liệu có cấu trúc ứng dụng giải pháp BI, SMAC để lập, hiển thị, trình bày báo cáo + Dữ liệu phi cấu trúc (Big Data) quản lý, tìm kiếm, khai thác công cụ CMS (Content Management System) 13.3.1 Phân tích đề xuất giải pháp đảm bảo chất lượng liệu tích hợp phù hợp cho lĩnh vực chuyên môn (bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường) • Measure: Định lượng số lượng loại lỗi • Analyze: Đánh giá chất nguyên nhân lỗi liệu • Parse: Xác định cô lập thành phần liệu cấu trúc liệu • Standardize: Chuẩn hóa liệu định dạng theo quy tắc cấu trúc liệu đích • Correct: Xác minh, sửa lỗi bổ sung liệu dựa thuật toán phức hợp mà làm việc với nguồn liệu đích • Enhance: Bổ sung thêm liệu làm giàu thông tin • Match: Đối chiếu trùng lặp liệu đa bảng CSDL • Consolidate: Hợp thành phần liệu trùng lặp từ bảng đối chiếu thành nguồn 13.3.2 Xây dựng giải pháp thiết kế công cụ truy xuất, chuyển đổi liệu (ETL: Extract, Transform & Load) phù hợp cho lĩnh vực chuyên môn (bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường) ETL (Extract, Transform & Load): Công cụ truy xuất, chuẩn hóa, chuyển đổi liệu • Extraction: Trích xuất liệu • Transformation: Chuyển đổi liệu o Map data: Xác định ánh xạ liệu nguồn - đích Validate data: Kiểm tra kiểu 13.3.3 Đề xuất giải pháp kỹ thuật xây dựng công cụ hiển thị liệu tích hợp (BI) Công cụ hiển thị liệu tích hợp triển khai đáp ứng chức năng: • Báo cáo tĩnh: báo cáo liệu tích hợp sử dụng thường xuyên, thiết kế sẵn theo nhu cầu • Báo cáo động: Kết xuất báo cáo tạo báo cáo tùy biến cách kéo thả tiêu phân tích (facts) chiều phân tích (dimentions) • Khai phá liệu (data mining) • Phân tích liệu đa chiều: o Thu nhỏ (roll-up): ví dụ: nhóm liệu theo năm thay theo quý o Mở rộng (drill-down): ví dụ: mở rộng liệu, nhìn theo tháng thay theo quý o Cắt lát (slice): nhìn theo lớp Ví dụ: từ danh mục bán hàng hàng năm xem Q1 o Thu nhỏ (dice): bỏ bớt phần liệu (tương ứng thêm điều kiện vào câu lệnh WHERE SQL) • Dashboard: Bảng phân tích liệu theo kịch What-If lưu kịch liệu (scenario) Kiến trúc Kho liệu tổng hợp đảm bảo khả thay đổi cấu trúc liệu tương lai trường hợp: • Thêm, bớt, thay đổi chi tiêu phân tích • Thêm, bớt, thay đổi chiều thông tin phân tích Tốc độ truy cập kho liệu ngày lớn 13.3.4 Xây dựng giải pháp kết nối trang thiết bị CNTT tối ưu SMAC (Social, Mobile, Analytics, Cloud: bao hàm khái niệm loại sản phẩm gói dịch vụ mà nhà cung cấp triển khai để đem lại giải pháp hiệu động cho người dùng) phục vụ tích hợp liệu cho đơn vị Tổng cục (14 đơn vị: Văn phòng (bao gồm nhu cầu Vụ Chính sách Pháp chế; Vụ Hợp tác quốc tế Khoa học, Công nghệ; Vụ Kế hoạch Tài chính; Vụ Tổ chức cán bộ), Cục Bảo tồn đa dạng sinh học Cục Kiểm soát ô nhiễm; Cục Quản lý chất thải Cải thiện môi trường (có Chi cục Bảo vệ môi trường lưu vực sông Cầu, Chi cục Bảo vệ môi trường lưu vực sông Nhuệ - sông Đáy); Cục Thẩm định Đánh giá tác động môi trường; Cục Kiểm soát hoạt động bảo vệ môi trường; Cục Môi trường miền Trung Tây Nguyên; Cục Môi trường miền Nam; Trung tâm Đào tạo Truyền thông môi trường; Trung tâm Quan trắc môi trường; Trung tâm Thông tin Tư liệu môi trường; Trung tâm Tư vấn Công nghệ môi trường; Tạp chí Môi trường; Viện Khoa học môi trường) 13.3.5 Xây dựng giải pháp thiết kế kho liệu tổng hợp (Data Warehouse) Được thiết kế tối ưu cho ứng dụng báo cáo tổng hợp, liệu kho liệu lớn thao tác sửa đổi hay tạo nên tối ưu cho việc phân tích báo cáo Các thao tác với liệu kho liệu dựa sở Mô hình liệu đa chiều (multidimensional data model), mô hình hóa vào đối tượng gọi data cube Data cube nơi trung tâm vấn đề cần phân tích, bao gồm hay nhiều tập kiện (fact) kiện tạo từ nhiều chiều kiện khác (dimention) Ngoài ra, Kho liệu tổng hợp chứa bảng danh mục, cấu trúc liệu dùng chung chuẩn hóa cho toàn ngành 13.3.6 Đề xuất giải pháp kỹ thuật xây dựng công cụ quản lý nội dung liệu (dữ liệu phi cấu trúc) • Thu nhận tài liệu (Capture) o Quét (Scan) tài liệu giấy o Nhận dạng tài liệu dạng mẫu biểu o ECM (Enterprise Content Management) cung cấp giải pháp Document Capture:  Document Capture (DC): Thực production-level document scanning & indexing trung tâm  Distributed Document Capture (DDC): Quét & gửi ảnh hồ sơ qua giao diện Web từ địa điểm xa  Cả tích hợp đầy đủ với I/PM (Imaging and Process Management) & Content Server • Quản lý phiên (Version), Lập mục (Index): o Document Indexing  Đánh mục (Indexing), xây dựng metadata;  Có thể hỗ trợ/tự động hóa nhờ Nhận dạng ký tự/tài liệu (OCR/ICR/IDR) Soát lỗi tả văn o Quản lý phiên tài liệu (version) • Làm (Cleanse), chuẩn hóa • Lọc (Filter), phân loại: o Xử lý tài liệu o Liên kết tài liệu với o Chuyển đổi định dạng • Công bố tài liệu (Public): o Xây dựng web khai thác tài liệu o Xây dựng quy trình sử dụng tài liệu o Phân quyền sử dụng tài liệu • Tra cứu, khai thác tài liệu (Search): o Tìm kiếm tài liệu o Xem, in tài liệu o Kiểm soát quyền sử dụng tài liệu o Thu hồi tài liệu • Lưu trữ tài liệu (Archive/Retain): o Quản lý phiên bản, thời hạn tài liệu o Đưa lưu trữ tài liệu hết hạn 13.3.7 Họp tổ chuyên gia cán kỹ thuật đơn vị thiết kế, xây dựng giải pháp tổng thể xây dựng dự án “Tích hợp CSDL môi trường” khả thi (theo lĩnh vực bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, tra, chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường, tư liệu môi trường) 10 buổi 13.3.8 Hội thảo lấy ý kiến góp ý, hoàn thiện cho việc đề xuất nội dung giải pháp kỹ thuật xây dựng dự án “Tích hợp CSDL môi trường” (02 lần Hà Nội) 13.3.9 Tổng hợp đề xuất dự án “Tích hợp CSDL môi trường” khả thi trình Lãnh đạo Tổng cục Môi trường xem xét phê duyệt STT Nội dung công việc Đơn vị tính Số lượng Người thực VI Xây dựng đề xuất dự án “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước môi trường Tổng cục Môi trường 6.1 Phân tích đề xuất giải pháp đảm bảo chất lượng liệu tích hợp phù hợp cho lĩnh vực chuyên môn (bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường, tư liệu môi trường) Chuyên đề 10 Quỳnh Anh Ghi 6.2 6.3 6.4 6.5 6.6 6.7 6.8 6.9 Xây dựng giải pháp thiết kế công cụ truy xuất, chuyển đổi liệu (ETL: Extract, Transform & Load) phù hợp cho lĩnh vực chuyên môn (bao gồm: đa dạng sinh học, kiểm soát ô nhiễm, tra, quản lý chất thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường, tư liệu môi trường) Đề xuất giải pháp thiết kế công cụ hiển thị liệu tích hợp (BI) Xây dựng giải pháp kết nối trang thiết bị CNTT tối ưu SMAC (Social, Mobile, Analytics, Cloud) phục vụ tích hợp liệu cho đơn vị Tổng cục Môi trường Đề xuất giải pháp kỹ thuật tích hợp liệu phi cấu trúc Đề xuất giải pháp kỹ thuật tích hợp liệu không gian Xây dựng giải pháp thiết kế kho liệu tổng hợp (Data Warehouse) Đề xuất giải pháp kỹ thuật xây dựng công cụ quản lý nội dung liệu (dữ liệu phi cấu trúc) Đề xuất giải pháp kỹ thuật xây dựng công cụ quản lý nội dung liệu (dữ liệu không gian) Chuyên đề 10 Thắm+Q.Anh Chuyên đề Quỳnh Anh Chuyên đề 14 Phan Chuyên đề Vân Chuyên đề Vân Chuyên đề Thắm Chuyên đề Quỳnh Anh Chuyên đề Quỳnh Anh 6.10 6.11 6.12 VII 7.1 7.2 7.2.3 Họp tổ chuyên gia cán kỹ thuật đơn vị thiết kế, xây dựng giải pháp tổng thể xây dựng dự án “Tích hợp CSDL môi trường” khả thi (theo Vân+Thắm, lĩnh vực bao gồm: đa Quỳnh Anh, Buổi 10 dạng sinh học, kiểm soát ô Phan chuẩn bị nhiễm, tra, chất tài liệu thải, lưu vực sông, quan trắc môi trường, ĐTM, sức khỏe môi trường, truyền thông môi trường, tư liệu môi trường) Hội thảo lấy ý kiến góp ý, hoàn thiện cho việc đề Vân+Thắm, xuất nội dung giải Quỳnh Anh, pháp kỹ thuật xây dựng Hội thảo Phan chuẩn bị dự án “Tích hợp CSDL tài liệu môi trường” (02 lần Hà Nội) Tổng hợp nội dung dự án “Tích hợp CSDL Chuyên môi trường” dùng chung Vân đề cho TCMT phục vụ quản lý nhà nước môi trường Hội thảo hướng dẫn thực Thông tư 26/2014/TT-BTNMT áp dụng cho xây dựng CSDL môi trường Quyết định số 335/QĐBTNMT ban hành quy chế thẩm định, kiểm tra nghiệm thu dự án ứng dụng công nghệ thông tin ngành tài nguyên môi trường Hội thảo tập huấn chung xây dựng CSDL môi trường cho đơn vị trực thuộc Tổng cục Môi trườngtrường Hội thảo hướng dẫn thực Thông tư 26/2014/TT-BTNMT áp dụng cho xây dựng CSDL môi trường Quyết định Vân+Thắm, số 335/QĐ-BTNMT ban Quỳnh Anh, hành quy chế thẩm định, Ngày Phan chuẩn bị kiểm tra nghiệm thu dự tài liệu án ứng dụng công nghệ thông tin ngành tài nguyên môi trường Hà Nội (02 buổi/1 ngày hội thảo) Hội thảo tập huấn chung Vân+Thắm, xây dựng CSDL môi Quỳnh Anh, trường cho đơn vị trực Phan chuẩn bị thuộc Tổng cục tài liệu Xây dựng tài liệu hướng Chuyên dẫn chung xây dựng Vân+Thắm đề CSDL môi trường VIII IX X Xây dựng hướng dẫn công tác thẩm định, kiểm tra nghiệm thu CSDL nhiệm vụ, dự án đơn vị Tổng cục Môi trường Xây dựng báo cáo tổng hợp kết thực nhiệm vụ Tổ chức nghiệm thu Tổ chức họp nghiệm thu (1 buổi) Chuyên đề Vân Báo cáo Vân Vân+Thắm, Quỳnh Anh, Phan chuẩn bị tài liệu ... trường Nghị định 102/2008/NĐ-CP sở tích hợp CSDL đơn vị trực thuộc TCMT xây dựng liên quan Tóm tắt giải pháp cho Dự án “ Tích hợp CSDL môi trường” CSDL tích hợp môi trường tích hợp liệu từ nguồn... Process Management) & Content Server • Quản lý phiên (Version), Lập mục (Index): o Document Indexing  Đánh mục (Indexing), xây dựng metadata;  Có thể hỗ trợ/tự động hóa nhờ Nhận dạng ký tự/tài... nhiều phương pháp thể khác Nhu cầu “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước môi trường Tổng cục Môi trường: Nhu cầu cấp bách hệ thống “Tích hợp CSDL môi trường” phục vụ quản lý nhà nước