Nghiên cứu và xây dựng qui trình chuẩn hóa dữ liệu quan trắc môi trường ở việt nam (TT)

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG Ở VIỆT NAM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG Ở VIỆT NAM Ngành: Chuyên ngành: Mã số: Công nghệ thông tin Kỹ thuật phần mềm 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS NGUYỄN THỊ NHẬT THANH TS BÙI QUANG HƢNG HÀ NỘI - 2016 MỤC LỤC MỤC LỤC DANH MỤC BẢNG BIỂU DANH MỤC HÌNH VẼ DANH MỤC TỪ VIẾT TẮT MỞ ĐẦU CHƢƠNG I TỔNG QUAN VỀ Ô NHIỄM KHÔNG KHÍ 1.1 Không khí ô nhiễm không khí 1.2 Ảnh hƣởng, tác động nguồn gây nên ô nhiễm không khí 1.3 Hiện trạng ô nhiễm không khí Việt Nam CHƢƠNG NGHIÊN CỨU VÀ ĐỀ XUẤT QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM 2.1 Tổng quan quy trình làm liệu 2.2 Chuẩn hóa liệu quan trắc môi trƣờng 10 2.3 Phƣơng pháp đề xuất 11 CHƢƠNG ĐÁNH GIÁ QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC PM10 TẠI TRẠM NGUYỄN VĂN CỪ, HÀ NỘI 12 3.1 Thu thập liệu 12 3.2 Đánh giá liệu tổng quan 12 3.3 Xử lý liệu nhiễu 13 3.4 Xử lý liệu thiếu 14 3.5 Đánh giá kết 15 CHƢƠNG NGHIÊN CỨU, PHÁT TRIỂN CÔNG CỤ HỖ TRỢ XỬ LÝ DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM (ENVPRO) 16 4.1 Phát biểu toàn 16 4.2 Phân rã chức hệ thống ngƣời dùng 16 4.3 Công nghệ sử dụng 17 4.4 Kết đạt đƣợc 18 KẾT LUẬN VÀ ĐỊNH HƢỚNG 20 TÀI LIỆU THAM KHẢO 22 DANH MỤC BẢNG BIỂU Bảng Bảng kết tƣơng quan PM10 với tiêu quan trắc khác thời điểm tháng 01/2011 14 Bảng Bảng kết xếp thứ tự mô hình đƣợc đánh số tƣơng ứng với mức độ ƣu tiên 15 DANH MỤC HÌNH VẼ Hình Kết quan trắc không khí Đại sứ quán Mỹ Hà Nội ngày 22/04/2016 Hình Biểu đồ mô tả tổng quan phép hồi quy tuyến tính 10 Hình Sơ đồ tổng quan quy trình chuẩn hóa liệu quan trắc môi trƣờng Việt Nam 11 Hình Hình minh họa biểu đồ diễn biến PM10 sau xử lý liệu bất thƣờng 18 Hình Hình minh họa chức loại bỏ liệu theo khoảng giá trị tin cậy 19 Hình Hình minh họa điền liệu thiếu sử dụng phép hồi quy tuyến tính tự động 19 DANH MỤC TỪ VIẾT TẮT Ký hiệu Tiếng Anh Tiếng Việt PM Particulate matter Bụi WHO World Health Organization Tổ chức Y tế Thế giới CEM Centre for Environmental Monitoring AQI Air Quality Index CSV Comma Separated Values QCVN Trung tâm Quan trắc môi trƣờng Chỉ số chất lƣợng không khí Định dạng văn phân tách dấu phẩy Quy chuẩn Việt Nam TNMT Tài nguyên môi trƣờng MỞ ĐẦU Đặt vấn đề, định hƣớng nghiên cứu Vấn đề đảm bảo vệ sinh môi trƣờng vấn đề đƣợc nhiều quan chức năng, đơn vị, cộng đồng quan tâm Không riêng Việt Nam mà cộng đồng giới đặc biệt ý Môi trƣờng bao gồm yếu tố tự nhiên yếu tố vật chất nhân tạo quan hệ mật thiết với nhau, bao quanh ngƣời, có ảnh hƣởng tới đời sống, sản xuất, tồn tại, phát triển ngƣời thiên nhiên [1] Ở Việt Nam trạng ô nhiễm không khí mức nguy hiểm nhiều nguyên nhân nhƣ khói bụi từ phƣơng tiện giao thông, quy hoạch khu công nghiệp bừa bãi, hoạt động sản xuất từ làng nghề thủ công… tạo phần không khỏ ô nhiễm không khí ảnh hƣởng trực tiếp tới ngƣời Theo số liệu thống kê Bộ Y tế, năm gần đây, bệnh đƣờng hô hấp có tỷ lệ mắc cao toàn quốc nguyên nhân ô nhiễm không khí [2] Các tác nhân ô nhiễm không khí ảnh hƣởng trực tiếp tới ngƣời thông qua trình hô hấp Theo quan quốc tế chuyên nghiên cứu bệnh ung thƣ thuộc Tổ chức Y tế Thế giới (WHO), xếp ô nhiễm không khí nguyên nhân hàng đầu gây bệnh ung thƣ ngƣời mà ô nhiễm không khí tác nhân gây ung thƣ môi trƣờng nguy hiểm [2] Nhận thức đƣợc điều Việt Nam tiến hành xây dựng trạm quan trắc môi trƣờng để đo đạc, phân tích, đánh giá, dự báo ảnh hƣởng môi trƣờng tới sống ngƣời, số ví dụ tiêu biểu nhƣ dựa vào liệu quan trắc môi trƣờng, ngành Y tế đƣa phân tích, đánh giá ảnh hƣởng bệnh da liễu, hô hấp hay dịch bệnh… từ khoanh vùng phạm vi để xứ lý Hay nhƣ thông qua số, biểu đồ ô nhiễm nhà Quản lý quy hoạch khu dân cƣ, khu công nghiệp, giao thông… theo chiều hƣớng có lợi với đời sống ngƣời Ngoài dựa vào số liệu giúp nhà Quản lý đƣa đánh giá giải pháp phù hợp, kịp thời để hạn chế tình trạng ô nhiễm không khí ngày gia tăng nhƣ Tuy nhiên để đƣa kết xác liệu đầu vào yêu cầu phải đƣợc chuẩn hóa, làm đáng tin cậy 5 Nhƣng với số lƣợng liệu quan trắc Việt Nam lớn với nhiều liệu thiếu ngoại lai Các trạm quan trắc lại khác tham số ô nhiễm, đơn vị đo, cấu trúc liệu khác nhau… nên khả tập hợp liệu thời gian Bên cạnh việc sử dụng công cụ phân tích, thống kê quan quản lý thủ công mang nhiều cảm tính nên thời gian xử lí, đánh giá chậm độ xác kết không cao Chính vậy, để giải tình trạng bất cập việc chuẩn hóa liệu quan trắc nhƣ Tôi đề xuất xây dựng qui trình để tập hợp, chuẩn hóa nguồn liệu quan trắc môi trƣờng Việt Nam Qui trình giúp ích việc tổng hợp, chuẩn hóa liệu giảm thiểu thời gian, công sức phân tích, đánh giá vấn đề nghiên cứu Mục tiêu luận văn Trên sở tính cấp thiết thực tiễn nguồn liệu quan trắc môi trƣờng, tìm hiểu, đề xuất, nghiên cứu chọn đề tài “Nghiên cứu xây dựng qui trình chuẩn hóa liệu quan trắc môi trường Việt Nam” Đây khung xử lý với nhiều bƣớc thành phần, kết bƣớc đƣợc đánh giá, so sánh thông qua liệu thực tiễn hay sử dụng phƣơng pháp thống kê phù hợp với liệu môi trƣờng Với đề tài nghiên cứu kết mà xây dựng hệ thống website hỗ trợ ngƣời dùng xử lý liệu quan trắc môi trƣờng cách tự động để tạo liệu chuẩn Từ kết ngành, lĩnh vực nghiên cứu khác sử dụng đƣợc trực tiếp liệu mà không cần thêm thời gian tổng hợp, tiền xử lí Để đạt đƣợc mục tiêu nghiên cứu, kết hợp kiến thức chuyên môn ngành môi trƣờng, khí tƣợng, thống kê với lĩnh vực Công nghê thông tin mà theo đuổi Bên cạnh nghiên cứu, học tập kinh nghiệm cộng đồng nƣớc nhƣ quốc tế từ áp dụng vào đề tài nghiên cứu mà đề Phạm vi nghiên cứu luận văn Đây đề tài lớn cần nhiều thời gian công sức thực lƣợng liệu quan trắc lớn Đồng thời đặc thù, tính chất tham số ô nhiễm lại có đặc điểm riêng khác 6 nhau, mối tƣơng quan qua lại lẫn cửa tham số ô nhiễm vấn đề cần xem xét, đánh giá Với kết qui trình chuẩn hóa liệu đƣợc xây dựng áp dụng với tất tham số ô nhiễm quan trắc Việt Nam Bộ liệu nghiên cứu đƣợc cung cấp Trung tâm quan trắc môi trƣờng, Tổng cục môi trƣờng (CEM) với liệu quan trắc trạm Nguễn Văn Cừ tháng 01/2011 01/2012 Nội dung luận văn Luận văn thực xuyên suốt trình từ hình thành khái niệm, ý tƣởng nghiên cứu, xây dựng đƣợc qui trình chuẩn hóa liệu đƣợc nhà chuyên môn đánh giá cho ý kiến Nội dung bao gồm phần sau: - - - - Mở đầu: Đặt vấn đề, mục tiêu giải pháp cho toán “Nghiên cứu xây dựng qui trình chuẩn hóa liệu quan trắc môi trường Việt Nam” Chƣơng 1: Giới thiệu tổng quan - khái niệm môi trƣờng, tham số ô nhiễm, phƣơng pháp đánh giá chất lƣợng không khí thực trạng ô nhiễm không khí Việt Nam Chƣơng 2: Trình bày kỹ thuật xử lý liệu Từ đƣa đề xuất xây dựng qui trình chuẩn hóa liệu quan trắc môi trƣờng Việt Nam Chƣơng 3: Thực nghiệm đánh giá qui trình chuẩn hóa liệu đề xuất với liệu quan trắc môi trƣờng thực tế Chƣơng 4: Nghiên cứu xây dựng hệ thống hỗ trợ xử lý liệu quan trắc môi trƣờng Việt Nam (EnvPro) Kết luận đề xuất: Tổng kết lại kiến thức tích lũy, kinh nghiệm đƣợc áp dụng suốt trình thực luận văn Đƣa hƣớng phát triển tƣơng lai 7 CHƢƠNG I TỔNG QUAN VỀ Ô NHIỄM KHÔNG KHÍ 1.1 Không khí ô nhiễm không khí Không khí lớp vật chất tồn thể khí bao trùm lên toàn trái đất Đặc điểm không màu, không mùi, không vị Không khí cần thiết cho trình hô hấp loài động vật nhƣ trình quang hợp thực vật, nguồn gốc sống trái đất Không khí cung cấp Oxy cho hít thở để trì sống thay đổi vật lý, sinh học hay hóa học đƣợc gọi ô nhiễm không khí Theo tổ chức Y tế Thế giới định nghĩa, ô nhiễm không khí diện số thành phần không khí có nguy hại cho ngƣời nhƣ môi trƣờng sống [3] 1.2 Ảnh hƣởng, tác động nguồn gây nên ô nhiễm không khí Đối với thời tiết, khí hậu, khí đƣợc thể hiện tƣợng nhƣ Hiệu ứng nhà kính hay Mữa axit gây ảnh hƣởng trực tiếp tới số đối tƣợng tạo nên sống nhƣ nguồn nƣớc, đất đai, sinh vật, động vật, thực vật… Đối với sức khỏe ngƣời Hiện tốc độ công nghiệp hóa, đô thị hóa diễn với tốc độ nhanh chóng với tƣợng ô nhiễm không khí đô thị khu công nghiệp ngày gia tăng Phần lớn chất ô nhiễm gây tác hại sức khoẻ ngƣời, với hai quan ngƣời mắt đƣờng hô hấp Ảnh hƣởng cấp tính gây tử vong Ảnh hƣởng mãn tính gây bệnh ung thƣ phổi Về nguồn gây nên ô nhiễm không khí đƣợc phân thành loại nguồn tự nhiên nguồn nhân tạo Nguồn tự nhiên bao gồm số tƣợng nhƣ núi lửa, bão cát, cháy rừng… Các nguồn nhân tạo nhƣ hoạt động sản xuất công nghiệp, giao thông vận tải, sinh hoạt hàng ngày… 1.3 Hiện trạng ô nhiễm không khí Việt Nam Ô nhiễm khu vực nông thôn: Tình trạng ô nhiễm môi trƣờng khu vực nông thôn ngấp nghe mức báo động ô nhiễm môi trƣờng nỗi xúc nhiều ngƣời dân Nguyên nhân việc xử lý chất thải, lạm dụng thuốc bảo vệ thực vật, thuốc trừ sâu… làm cho nguồn nƣớc không khí ô nhiễm trầm trọng Ngƣời dân khu vực ô nhiễm thƣờng xuyên phải đối mặt với nhiều dịch bệnh nguy hiểm Khác với khu vực thành phố rác thải đƣợc thu gom xử lý khu vực riêng nông thôn rác thải sinh hoạt ngƣời dân nhƣ làng nghề đƣợc để tự không theo quy định nhƣ để rác bên lề đƣờng, đổ xuống ao, hồ, sông ngòi… rác thải không đƣợc thu gom xử lý cách an toàn Ô nhiễm khu vực thành thị: Theo số liệu quan trắc mức độ ô nhiễm không khí Đại sứ quán Mỹ [4] cho thấy, số AQI số dùng để đánh giá chất lƣợng không khí khả tác động sức khỏe Hà Nội lúc 6h sáng ngày 22/04/2016 “Ulhealthy” với mức 152 Kết quan trắc đƣợc đánh giá ô nhiễm bậc 4/6 theo thang đo ô nhiễm không khí bậc Mỹ Đây mức phản ánh chất lƣợng không khí kém, không tốt cho sức khỏe nhóm nhạy cảm trẻ em ngƣời già, ảnh hƣởng trực tiếp tới hệ hô hấp tim mạch Trẻ em, ngƣời già đƣợc khuyến cáo nên hạn chế vận động, tránh hoạt động gắng sức trời để bảo đảm sức khỏe Nguyên nhân đƣợc đƣa số lƣợng phƣơng tiện giao thông tập trung thành phố lớn nhiều làm ô nhiễm không khí thêm trầm trọng Hình Kết quan trắc không khí Đại sứ quán Mỹ Hà Nội ngày 22/04/2016 CHƢƠNG NGHIÊN CỨU VÀ ĐỀ XUẤT QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM 2.1 Tổng quan quy trình làm liệu Hiểu liệu: Trƣớc tiến hành, thực phƣơng pháp xử lý liệu cần phải có nhìn tổng quát liệu, từ phát đặc tính liệu nhƣ phát liệu nhiễu hay ngoại lai Quan trọng đƣa đƣợc phƣơng pháp xử lý phù hợp với dạng liệu mà quan tâm Một phƣơng pháp dựa thống kê để mô tả liệu nhƣ tham số đo lƣờng xu hƣớng tập trung liệu (Mean, Median, Mode) đo lƣờng biến thiên liệu (Rang, Variance Standard Deviation) Làm liệu: Kỹ thuật bƣớc tiền xử lý liệu với mục đích loại bỏ nhiễu, thêm giá trị thiếu, xử lý giá trị ngoại lai, giải vấn đề không quán liệu Chúng ta tin tƣởng vào kết thu đƣợc từ thuật toán khai phá liệu ta biết liệu chƣa đƣợc làm có chất lƣợng tốt Kỹ thuật tìm cách tính toán giá trị thiếu, loại bỏ làm mịn gí trị nhiễu trình xác định đặc trƣng, chỉnh sửa quán liệu Phân tích tƣơng quan: Trong lý thuyết xác suất thống kê, hệ số tƣơng quan (Coefficient Correlation) cho biết độ mạnh mối quan hệ tuyến tính hai biến số ngẫu nhiên Một mục tiêu phân tích xử lý liệu môi trƣờng tìm hiểu mối tƣơng quan yếu tố khí tƣợng nhƣ tiêu quan trắc với nhau, qua tiên lƣợng yếu tố phụ thuộc từ yếu tố độc lập “Mối tƣơng quan” bao gồm đặc điểm nhƣ mức độ tƣơng quan xây dựng mô hình tiên đoán Mô hình hàm số nối kết hai biến với nhau, hàm số phải có độ tin cậy định có ý nghĩa để giải thích đƣợc liệu Hồi quy tuyến tính: Phân tích hồi qui tuyến tích đơn giản hay đơn biến (Simple Linear Regression Analysis) tìm liên hệ biến số liên tục biến độc lập (biến dự đoán) trục hoành x với biến phụ thuộc (biến kết cục) trục tung y Sau vẽ đƣờng thẳng hồi qui từ phƣơng trình đƣờng thẳng ta dự đoán 10 đƣợc biến y Một cấp bậc cao mô hình hồi quy đơn biến hồi quy đa biến, không sử dụng biến độc lập mà sử dụng nhiều 2,3,…k tùy yêu cầu nhƣ mục đích phan tích liệu Trong phần ta mở rộng ý tƣởng để bao gồm nhiều biến độc lập phƣơng trình hồi quy Kĩ thuật đƣợc gọi hồi quy tuyến tính đa biến 2.2 Chuẩn hóa liệu quan trắc môi trƣờng Đối với liệu quan trắc, việc hiểu đƣợc đặc tính liệu giúp cho trình phân tích, đánh giá gia định hiệu Trong thực tế với loại liệu nói chung nhƣ liệu quan trắc môi trƣờng nói riêng tránh khỏi vấn đề nhƣ liệu nhiễu, không đầy đủ, không thống thƣờng xuyên xảy Từ nguyên nhân nhƣ thực tế gặp phải công việc xử lý liệu quan trắc môi trƣờng thấy cần có liệu đƣợc “chuẩn hóa” “Chuẩn hóa” bao gồm: - Chuẩn cấu trúc liệu: Dữ liệu đƣợc qui ƣớc tập hợp định dạng thời gian đo, đơn vị đo, tên trƣờng, thứ tự xếp… - Chuẩn chất lƣợng liệu: Dữ liệu đƣợc làm (dữ liệu thiếu nhiễu đƣợc xử lý) Hình Biểu đồ mô tả tổng quan phép hồi quy tuyến tính 11 2.3 Phƣơng pháp đề xuất Phƣơng pháp chuẩn hóa liệu quan trắc môi trƣờng đƣợc đề xuất luận văn đƣợc mô tả nhƣ Hình Hình Sơ đồ tổng quan quy trình chuẩn hóa liệu quan trắc môi trường Việt Nam 12 CHƢƠNG ĐÁNH GIÁ QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC PM10 TẠI TRẠM NGUYỄN VĂN CỪ, HÀ NỘI 3.1 Thu thập liệu Bộ liệu quan trắc tháng 01/2011 01/2012 quan trắc trạm Nguyễn Văn Cừ đƣợc cung cấp Trung tâm quan trắc môi trƣờng quốc gia Dữ liệu quan trắc trạm Nguyễn Văn Cừ đƣợc đo theo lƣu dƣới định dạng file excel, ngày quan trắc file liệu riêng biệt Tất file liệu riêng lẻ đƣợc thu thâp tập hợp thành file liệu tổng thể theo qui ƣớc cấu trúc dƣ liệu đơn vị đo 3.2 Đánh giá liệu tổng quan Thiếu liệu: Nhìn chung với liệu từ tháng 01/2011 tỉ lệ liệu thiếu không lớn Đối với liệu quan trắc bụi PM thiếu khoảng 2% Đối với tất tiêu quan trắc khắc đƣợc quan trắc đầy đủ 100% liệu thiếu Nguyên nhân thiếu có nhiều khả điện sửa chữa, bảo trì máy quan trắc…Ngƣợc lại theo thống kê quan trắc bụi PM tiêu quan trắc khác tháng 01/2012 số thiếu không có, 100% liệu hoàn chỉnh riêng tiêu SO2 thiếu 23% O3 37.4 % số quan trắc liệu Độ tập trung phân tán tiêu quan trắc PM10: Nhìn chung hàm lƣợng trung bình PM10 dao động khoảng từ 85-140 µg/m3 gấn với tiêu chuẩn QCVN 05:2013/BTNMT đƣa cho PM10 150 µg /m3 Riêng tháng 01/2011 phạm vi liệu lớn khoảng 10 đến gần 500 µg/m3 Trái ngƣợc hoàn toàn so với tháng 01/2012 Giá trị quan trắc cao cũng vấn đề đáng lƣu tâm giá trị quan trắc giá trị nhiễu So sánh với nghiên cứu khác chất lƣợng không khí năm 2003 Hà Nội [5] cho thấy Hàm lƣợng trung bình thời gian tƣơng ứng dao động khoảng từ 100-150 µg /m3 Kết tƣơng đồng với số liệu thống kê bên Diễn biến liệu PM10 theo ngày: Theo nghiên cứu [5] diễn biến hàm lƣợng ô nhiễm không khí theo ngày từ tháng tháng 9/2003 Hà Nội có xu hƣớng tăng cao vào cao điểm hàng ngày từ 7-9h sáng 18-20h tối Áp dụng qui luật tƣợng nghiên cứu vào liệu Tôi tiến hành tính trung bình cho 13 tháng với liệu ta có biểu đồ mô tả xu hƣớng PM10 theo 24 tháng Xu hƣớng theo ngày từ liệu tháng 01/2011 01/2012 trạm Nguyễn Văn Cừ thấy tuân theo xu hƣớng chung tăng vào cao điểm (lƣợng phƣơng tiện giao thông cao) từ 7-9h sáng 18-20h đêm Từ quy luật diễn biến hợp theo mùa theo 24h với kết từ nghiên cứu trƣớc nói module quan trắc PM10 trạm Nguyễn Văn Cừ cho giá trị tin cậy, sử dụng đƣợc Áp dụng phƣơng pháp đánh giá liệu tƣơng tự với tiêu quan trắc khác nhƣ NO, SO2, CO… Kết cho thấy liệu quan trắc tháng 01/2011 01/2011 đủ tin cậy để thực bƣớc 3.3 Xử lý liệu nhiễu Loại bỏ giá trị nhiễu dựa vào khoảng tin cậy: Phƣơng pháp đòi hỏi nhà phân tích phải có khả kinh nghiệm làm việc với liệu quan trắc thời gian dài, thƣờng xuyên, am hiểu liệu cách chi tiết đƣa khoảng giá trị cách xác Qua nghiên cứu thân đề xuất giá trị khoảng tin cậy cho tiêu quan trắc PM10 từ đến 400 µg/m3 Áp dụng khoảng liệu tin cậy từ đếm 400 µg/m3 vào liệu Training với tiêu quan trắc PM10 Kết cho thấy có ghi có giá trị không phù hợp đƣợc loại bỏ khỏi tập liệu Loại bỏ giá trị nhiễu phân tích tƣơng quan Với cách so sánh tƣơng quan theo 24h tháng ngày tháng Cụ thể, giá trị trung bình hàng tháng giá trị đại diện cho xu hƣớng biến đổi theo 24h tháng Vì đề xuất ngày có giá trị quan trắc theo 24h có hệ số tƣơng quan so với giá trị quan trắc trung bình tháng theo 24h thấp khả có liệu nhiễu lớn Với ngày có hệ số tƣơng quan thấp khoảng [-0.3; 0.3] đƣợc lọc để phân tích đánh giá thêm Áp dụng với liệu tháng 01/2011 phát đƣợc ngày có liệu tƣơng quan Bởi giới hạn kinh nghiệm nhƣ kiến thức chuyên môn nên bƣớc chƣa thể xác định đƣợc ngày phát đƣợc liệu có xác liệu sai lệch hay không Vì định giữ nguyên, không loại bỏ để đảm bảo tính toàn vẹn liệu 14 3.4 Xử lý liệu thiếu Đặc trƣng liệu quan trắc khí tƣợng môi trƣờng tiêu có có mối tƣơng quan với Chính để điền liệu thiếu cách hoàn chỉnh đƣa phƣơng án dựa vào mức độ tƣơng quan tiêu quan trắc để xây dựng hàm hồi quy tuyến tính Từ hàm hồi quy dự đoán đƣợc giá trị quan trắc bị thiếu Áp dụng với liệu quan trắc PM10 Ví dụ để điền liệu thiếu cho tiêu PM10 tập Test ta cần có liệu chuẩn làm tập Training Nhƣ đề cập liệu Training mà sử dụng liệu quan 01/2011 Bộ liệu Test có thời gian quan trắc tháng 01/2012 Từ liệu Training hàm hồi quy cho PM10 tháng 01/2011 đƣợc xây dựng, Test liệu tháng đƣợc chạy mô hình hồi quy tƣơng ứng với tháng đó, cụ thể mô hình hồi quy tháng 01/2011 chạy liệu tháng 01/2012 để dự đoán giá trị quan trắc PM10 Bảng Bảng kết tương quan PM10 với tiêu quan trắc khác thời điểm tháng 01/2011 WindSpd WindDir Temp RH Barometer Radiation PM10 0.04982 0.038153 0.083658 -0.34409 0.038556 -0.0124 InnerTemp NO NO2 SO2 CO O3 PM10 0.02089 0.239855 0.590054 0.539621 0.444865 0.09338 Nhƣ có tiêu đƣợc đƣa vào danh sách xây dựng mô hình hồi quy để dự đoán giá trị PM10 NO2, SO2, CO có hệ số tƣơng quan cao với tiêu PM10 Dựa vào danh sách tham số xây dựng mô hình hồi quy tuyến tính với lần thử nghiệm thay đổi tham số đƣợc lựa chọn để chọn mô hình hồi quy có kết tốt Kết so sánh chạy mô hình hồi quy tuyến tính tập liệu cho thấy mô hình tạo tiêu quan trắc {SO2, NO2, CO} {SO2, NO2} cho kết tối ƣu 15 Bảng Bảng kết xếp thứ tự mô hình đánh số tương ứng với mức độ ưu tiên Mô hình với SO2, NO2, CO SO2, NO2 SO2, CO NO2, CO NO2 SO2 CO Phƣơng trình hồi quy Y= -8.98 + 2.02*SO2 + 1.35*NO2 + 0.011*CO Y= 0.79 + 1.87*SO2 + 1.80*NO2 Y= -1.95 + 2.59*SO2 + 0.028*CO Y= 20.5 + 2.51*NO2 - 0.0004*CO Y= 20.2 + 2.5*NO2 Y= 52.9 + 3.01*SO2 Y= 42.5 + 0.04*CO Đô ƣu tiên/Đánh số mô hình Đối với số lƣợng liệu quan trắc theo lớn Cộng với tiêu quan trắc thiếu cách ngẫu nhiên, với tỉ lệ thiếu liệu ngẫu nhiên thời điểm quan trắc Nếu chạy mô mô hình hồi quy chắn không đủ để điền liệu thiếu cho liệu xử lý cách hoàn thiện đƣợc Chính kết hợp mô hình hồi quy giải pháp giải đƣợc vấn đề 3.5 Đánh giá kết Bƣớc đánh giá kết đƣợc thực với liệu Test ứng với tháng 01/2012 Với liệu Test có tỉ lệ PM10 đầy đủ với mức 100% sở tốt để so sách kết mô hình với kết thực tế, bƣớc tiến hành xóa 100% liệu PM10 Thêm liệu quan trắc SO2 thiếu lớn với 23% đƣợc thử nghiệm bƣớc kết hợp mô hình hồi quy Nhƣ tập liệu kết hợp mô hình hồi quy mô hình đƣợc xây dựng từ {NO2, SO2, CO} {NO2, CO} Kết cho thấy hệ số tƣơng quan giá trị PM10 dự đoán PM10 quan trắc đƣợc có độ tƣơng đồng gần 0.6, sai số trung bình nằm mức 51 µg/m3 tỉ lệ lỗi nằm mức 45% Kết chấp nhận đƣợc đảm bảo đƣợc tính hoàn thiển liệu nhƣ độ tƣơng quan liệu đạt đƣợc mức trung bình 16 Một thử nghiệm nhằm đánh giá ảnh hƣởng tỉ lệ thiếu liệu chạy mô hình Tôi tiến hành thử nghiệm mô hình với liệu có tỉ lệ liệu thiếu khác Từ với liệu Test, tiền hành xóa liệu PM10 ngẫu nhiên để tạo đƣợc liệu PM10 thiếu mức 10%, 20%, 30%, 40%, 50% Đối với tập liệu có tỉ lệ PM10 thiếu khác cho kết khác nhau, nhƣng nhìn chung cách tổng thể với liệu có tỉ lệ thiếu từ 10-30% cho kết khả quan so với liệu có tỉ lệ thiếu cao Tỉ lệ liệu thiếu thấp hệ số tƣơng quan tăng, sai số trung bình tỉ lệ lỗi giảm ngƣợc lại CHƢƠNG NGHIÊN CỨU, PHÁT TRIỂN CÔNG CỤ HỖ TRỢ XỬ LÝ DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM (ENVPRO) 4.1 Phát biểu toàn Cho đến thời điểm việc xử lý phân tích liệu, khai thác thông tin từ liệu quan trắc môi trƣờng thô sơ Chủ yếu nhà phân tích sử dụng công cụ nhƣ Word/Excel để mô tả, tính toán, thống kê, mô hình liệu quan trắc Giả sử trạm quan trắc không khí đo giá trị theo với 10 tham số ô nhiễm tính sơ năm ta có khoảng 365 ngày*24 = 8760 ghi Kết tính ứng với tiêu quan trắc, nhà phân tích phải tính 10 tiêu quan trắc liệu năm, năm…thì thực công việc lớn gây lãng phí thời gian, công sức tiền Thêm ảnh hƣởng tới định mang tính kịp thời nhà quản lý nhằm đƣa phƣơng hƣớng bảo vệ nguồn tài nguyên môi trƣờng Dựa quy trình chuẩn hóa liệu đề xuất qua xem xét nhu cầu Việt Nam, nhu cầu cấp thiết cần có hệ thống đơn giản, có khả cung cấp thông tin hỗ trợ phân tích xử lý liệu quan trắc môi trƣờng môt cách tự động 4.2 Phân rã chức hệ thống ngƣời dùng Các nhóm chức hệ thống: - Nhóm chức tìm kiếm liệu: Hỗ trợ ngƣời dùng tìm kiếm liệu quan trắc trực tuyến nhiều khu vực thời gian liệu khác 17 - - - - - Nhóm chức thống kê, đánh giá liêu cho phép tính toán, thống kê liệu dựa số thống kê Bên cạnh hỗ trợ ngƣời dùng phát ngày vƣợt chuẩn chất lƣợng không khí qui ƣớc Nhóm chức xử lý liệu nhiễu: Phát cho phép ngƣời dùng loại bỏ giá trị quan trắc không mong muốn Nhóm chức xác định tƣơng quan: Cho phéo ngƣời dừng phân tích tƣơng quan tiêu quan trắc trạm trạm với Nhóm chức điền liệu thiếu: Sử dụng phép hồi qui tuyến tính để xây dựng hàm hồi qui hỗ trợ ngƣời dùng điền liệu thiếu cho liệu quan trắc Chức lƣu trữ liệu sau xử lý: Chức cho phép ngƣời dùng tải file liệu mong muốn Dữ liệu đƣợc tải lƣu với định dạng *.CSV Các nhóm ngƣời dùng hệ thống: - - - Ngƣời dùng thông thƣờng: Là toàn ngƣời dùng có nhu cầu sử dụng tính hệ thống để hỗ trợ xử lý liệu quan trắc môi trƣờng Ngƣời dùng thông thƣờng đƣợc phép sử dụng hết tất chức hệ thống ngoại trừ chức tìm kiếm liệu Hệ thống cho phép ngƣời dùng tải lên file liệu quan trắc cá nhân để xử lý Nhà nghiên cứu: Bao gồm chuyên gia đơn vị sử dụng hệ thông Truy xuất liệu từ hệ thống sử dụng chức hệ thống để xử lý, phân tích đƣa báo cáo môi trƣờng, sức khỏe cộng đồng Nhóm ngƣời dùng có quyền sử dụng toàn chức hệ thống với điều kiện phải Đăng Nhập Nhà quản trị hệ thống: Có trách nhiệm quản lý liệu, thực công việc thiết lập hệ thống, phân quyền ngƣời dùng, theo dõi kiểm soát việc vận hành hệ thống 4.3 Công nghệ sử dụng Dựa thông tin yêu cầu hệ thống, dựa mô hình kiến trúc công nghệ tìm hiểu Tôi định xây dựng 18 hệ thống hỗ trợ xử lý liệu quan trắc môi trƣờng EnvPro dựa công nghệ mã nguồn mở Những công nghệ mà định sử dụng hƣớng tới mục tiêu khả cung cấp hỗ trợ đầy đủ, đa dạng, cộng đồng ngƣời sử dụng lớn, tính phổ biến nhƣ đƣợc cập nhật thƣờng xuyên Cụ thể ngôn ngữ lập trình/phần mềm sử dụng để phát triển hệ thống EnvPro PHP, R, Jquery PostgreSQL 4.4 Kết đạt đƣợc Sau trình phân tích thiết kế hệ thống với việc lựa chọn tảng công nghệ phù hợp Hệ thống cuối đƣợc xây dựng có kế minh họa nhƣ sau: Hình Hình minh họa biểu đồ diễn biến PM10 sau xử lý liệu bất thường 19 Hình Hình minh họa chức loại bỏ liệu theo khoảng giá trị tin cậy Hình Hình minh họa điền liệu thiếu sử dụng phép hồi quy tuyến tính tự động 20 KẾT LUẬN VÀ ĐỊNH HƢỚNG Tóm gọn lại với đề tài luận văn đƣợc thực từ bƣớc nghiên cứu tổng quan đề xuất phƣơng pháp, thực nghiệm xây dựng hệ thống trực quan mà trình đòi hỏi phải nắm rõ liệu nhƣ mục đích, yêu cầu liệu mong muốn, thêm vào đòi hỏi phải có thời gian nghiên cứu liệu lâu dài Với khả nghiên cứu có hạn, thời gian thực uận văn tiến hành nghiên cứu giải đƣợc vấn đề sau: - Tìm hiểu tổng quan ô nhiễm không khí Đánh giả ảnh hƣởng, tác động nguồn phát gây nên tƣợng ô nhiễm không khí Từ liên hệ tới trạng ô nhiễm không khí Việt Nam - Tìm kiểu ký thuật xử lý liệu bao gồm bƣớc nhƣ đánh giá độ phân tán , độ tập trung liệu, xử lý liệu thiếu, xử lý liệu nhiễu, phép phân tích tƣơng quan, hôi quy tuyến tính… Từ đề xuất qui trình chuẩn hóa liệu quan trắc môi trƣờng Việt Nam - Nghiên cứu sử dụng ngôn ngữ thống kê R để hỗ trợ xử lý liệu quan trắc môi trƣờng - Tìm hiểu đề xuất tiêu chuẩn cấu trúc liệu, đơn vị đo, định dạng liệu quan trắc - Tìm hiểu đề xuất khoảng liệu tin cậy cho tiêu quan trắc PM10 thông qua báo cáo môi trƣờng công trình nghiê cứu thực - Nắm đƣợc phƣơng pháp đánh giá, thử nghiệm liệu nhằm xác định đƣợc tính xác, độ tin cậy phƣơng pháp đề xuất - Nghiên cứu ngôn ngữ lập trình nhƣ PHP Yii 2.0 Framework, Jquery PostgreSQL Từ làm tảng xây dựng hệ thống hỗ trợ xử lý liệu quan trắc môi trƣờng Việt Nam Bên cạnh kiến thức hữu ích đạt đƣợc từ luận văn có đánh giá, nhận xét nhƣợc điểm mà luận văn chƣa giải đƣợc yêu cầu thực tê khách quan quy trình nhƣ hệ thống Những vấn đề hƣớng phát triển tƣơng lai đảm bảo cho kết nhƣ ngƣời dùng mong muốn Về quy trình chuẩn hóa liệu quan trắc môi trường: 21 Về bƣớc xử lý liệu nhiễu: cách phát bất thƣờng sử dụng phép phân tích tƣơng quan sử dụng quy chuẩn chất lƣợng không khí đê phát bất thƣờng nhƣ quy chuẩn QCVN05 2013 Việt Nam Cũng giống nhƣ việc phát bất thƣờng từ việc so sánh tƣơng quan ngày tháng Ngƣời dùng đánh giá chi tiết ngày vƣợt chuẩn để đƣa định xử lý Với bƣớc xử lý liệu thiếu: Nếu sử dụng mô hình hồi quy truyến tính liệu thiếu điền đƣợc giá trị dùng để xây dựng mô hình hồi quy có liệu Vậy với trƣờng hợp mà thời điểm quan trắc thiếu toàn giá trị quan trắc tất tiêu xử lý đƣợc Có số chuyên gia vê môi trƣờng đề xuất sử dụng trạm quan trắc khu vực khí tƣợng, thời tiết để chao đổi nhiệu cho ghi thiếu Xét điều kiện trạm quan trắc thực tế Việt Nam phƣơng pháp pháp áp dụng đƣợc để nâng cao chất lƣợng liệu Về hệ thống hỗ trợ xử lý liệu quan trắc môi trường: Với khả tỳ biến trình xử lý liệu, nói bƣớc xử lý lại cho kết liệu khác đòi hỏi ngƣời dùng tốn nhiều công sức để lƣu trữ ghi nhớ thông tin chi tiết file cụ thể Thêm vào đo slaf khả truy xuất liệu không đƣợc lƣu trữ trực tuyên Vì thiết nghĩ tích hợp đám mây với hệ thống Cho phép ngƣời dùng xử lý lƣu trữ trực tuyến đám mây Ứng với ngƣời dùng có tài khoản riêng đẻ lƣu trữ file Từ ngƣời dùng dễ dàng truy xuất xử lý liệu đâu Với lƣợng liệu đƣợc thu thập lớn đƣợc chuẩn hóa dùng để làm gi? Ở thời điểm tƣơng lai, công cụ liên quan tới đồ số phát triền ngài nhiệm vụ nhƣ đƣờng, xá định vị trí nhà hàng, công ty… thông tin quan trắc, khí tƣơng hay đánh giá chát lƣợng ô nhiễm không khí đƣợc tích hợp hiển thị đồng thời lên đồ vị trí mà ngƣời dùng tìm kiếm Một hƣớng nghiên cứu khác tích hợp với liệu thời gian thực đƣợc quan trắc từ trạm cảm biến không dây Hệ thống tự động phân tích gửi báo cáo phát liệu bất thƣờng xử lý liệu thiếu định kì theo yêu cầu ngƣời dùng Tạo nguồn liệu tin cậy đảm bảo đến tay nhà quản lý 22 TÀI LIỆU THAM KHẢO [1] Luật bảo vệ môi trƣờng Việt Nam, năm 1993 [2] Báo cáo môi trƣờng quốc gia 2013, Môi trƣờng không khí, Bộ Tài nguyên Môi trƣờng [3] Ambient Air Quality Monitoring System for a City Using Wireless Gas Sensors Dr K Karuppasamy, S Shanthini, S Shobana, J Jeevin Chandrakumar, IJSRSET | Volume | Issue | Print ISSN : 2395-1990 | Online ISSN : 2394-4099 [4] http://aqicn.org/city/vietnam/hanoi/us-embassy/ [5] Hiện trạng quy luật diễn biến chất lƣợng không khí Hà Nội, Phạm Duy Hiển, 03/2006 [6] Urban Air Quality Modelling and Management in Hanoi, Vietnam, PhD Thesis, 2010, Ngo Tho Hung, AARHUS University [7] Effects of local, regional meteorology and emission sources on mass and compositions of particulate matter in Hanoi Cao Dung Hai, Nguyen Thi Kim Oanh [8] Roadside levels and traffic emission rates of PM2.5 and BTEX in Ho Chi Minh City, Vietnam - Nguyen Tran Huong Giang, Nguyen Thi Kim Oanh [9] New indices for wet scavenging of air pollutants (O3, CO, NO2, SO2, and PM10) by summertime rain Jung-Moon Yoo a, YuRi Lee b, Dongchul Kim c,g,*, Myeong-Jae Jeong d, William R Stockwell e, Prasun K Kundu f,g, Soo-Min Oh a, Dong-Bin Shin b, Suk-Jo Lee [10] Impact of Meteorological Parameters and Gaseous Pollutants on PM2.5 and PM10 Mass Concentrations during 2010 in Xi’an, China [11] Determination of O3, NO2, SO2, CO and PM10 measured in Belgrade urban area, Dragan M Marković, Dragan A Marković, Anka Jovanović, Lazar Lazić, and Zoran Mijić [...]... thuật xử lý dữ liệu bao gồm các bƣớc nhƣ đánh giá độ phân tán , độ tập trung dữ liệu, xử lý dữ liệu thiếu, xử lý dữ liệu nhiễu, phép phân tích tƣơng quan, hôi quy tuyến tính… Từ đó đề xuất ra qui trình chuẩn hóa dữ liệu quan trắc môi trƣờng tại Việt Nam - Nghiên cứu và sử dụng ngôn ngữ thống kê R để hỗ trợ xử lý dữ liệu quan trắc môi trƣờng - Tìm hiểu và đề xuất những tiêu chuẩn về cấu trúc dữ liệu, đơn... xếp… - Chuẩn về chất lƣợng dữ liệu: Dữ liệu đƣợc làm sạch (dữ liệu thiếu và nhiễu đƣợc xử lý) Hình 2 Biểu đồ mô tả tổng quan về phép hồi quy tuyến tính 11 2.3 Phƣơng pháp đề xuất Phƣơng pháp chuẩn hóa dữ liệu quan trắc môi trƣờng đƣợc đề xuất trong luận văn này đƣợc mô tả nhƣ Hình 3 Hình 3 Sơ đồ tổng quan quy trình chuẩn hóa dữ liệu quan trắc môi trường tại Việt Nam 12 CHƢƠNG 3 ĐÁNH GIÁ QUY TRÌNH CHUẨN... TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC PM10 TẠI TRẠM NGUYỄN VĂN CỪ, HÀ NỘI 3.1 Thu thập dữ liệu Bộ dữ liệu quan trắc tháng 01/2011 và 01/2012 quan trắc tại trạm Nguyễn Văn Cừ đƣợc cung cấp bởi Trung tâm quan trắc môi trƣờng quốc gia Dữ liệu quan trắc tại trạm Nguyễn Văn Cừ đƣợc đo theo giờ và lƣu dƣới định dạng file excel, mỗi ngày quan trắc là một file dữ liệu riêng biệt Tất cả các file dữ liệu riêng lẻ...9 CHƢƠNG 2 NGHIÊN CỨU VÀ ĐỀ XUẤT QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM 2.1 Tổng quan quy trình làm sạch dữ liệu Hiểu dữ liệu: Trƣớc khi tiến hành, thực hiện các phƣơng pháp xử lý dữ liệu chúng ta cần phải có những cái nhìn tổng quát nhất về dữ liệu, từ đó có thể phát hiện ra những đặc tính của dữ liệu cũng nhƣ phát hiện ra những dữ liệu nhiễu hay ngoại lai Quan trọng hơn... khả quan hơn so với những bộ dữ liệu có tỉ lệ thiếu cao hơn Tỉ lệ dữ liệu thiếu càng thấp thì hệ số tƣơng quan tăng, sai số trung bình và tỉ lệ lỗi sẽ giảm và ngƣợc lại CHƢƠNG 4 NGHIÊN CỨU, PHÁT TRIỂN CÔNG CỤ HỖ TRỢ XỬ LÝ DỮ LIỆU QUAN TRẮC MÔI TRƢỜNG TẠI VIỆT NAM (ENVPRO) 4.1 Phát biểu bài toàn Cho đến thời điểm hiện tại việc xử lý và phân tích dữ liệu, khai thác thông tin từ dữ liệu quan trắc môi. .. riêng lẻ này đƣợc thu thâp và tập hợp thành một file dữ liệu tổng thể theo qui ƣớc về cấu trúc dƣ liệu và đơn vị đo 3.2 Đánh giá dữ liệu tổng quan Thiếu dữ liệu: Nhìn chung với bộ dữ liệu từ tháng 01/2011 tỉ lệ dữ liệu thiếu là không lớn Đối với dữ liệu quan trắc bụi PM chỉ thiếu khoảng 2% Đối với tất cả các chỉ tiêu quan trắc khắc đƣợc quan trắc đầy đủ 100% không có dữ liệu thiếu Nguyên nhân thiếu... tích dữ liệu Trong phần này ta sẽ mở rộng ý tƣởng để bao gồm nhiều hơn một biến độc lập trong phƣơng trình hồi quy Kĩ thuật này đƣợc gọi là hồi quy tuyến tính đa biến 2.2 Chuẩn hóa dữ liệu quan trắc môi trƣờng Đối với dữ liệu quan trắc, việc hiểu đƣợc đặc tính dữ liệu giúp cho quá trình phân tích, đánh giá và gia quyết định hiệu quả hơn Trong thực tế với mọi loại dữ liệu nói chung cũng nhƣ những dữ liệu. .. các chỉ tiêu quan trắc để xây dựng một hàm hồi quy tuyến tính Từ hàm hồi quy này có thể dự đoán đƣợc những giá trị quan trắc bị thiếu Áp dụng với dữ liệu quan trắc PM10 Ví dụ để có thể điền dữ liệu thiếu cho chỉ tiêu PM10 của tập Test ta cần có một bộ dữ liệu chuẩn làm tập Training Nhƣ đã đề cập bộ dữ liệu Training mà tôi sử dụng là bộ dữ liệu quan 01/2011 Bộ dữ liệu Test có thời gian quan trắc trong... nhƣ những dữ liệu quan trắc môi trƣờng nói riêng đều không thể tránh khỏi các vấn đề nhƣ dữ liệu nhiễu, không đầy đủ, không thống nhất vẫn thƣờng xuyên xảy ra Từ những nguyên nhân trên cũng nhƣ thực tế gặp phải trong công việc xử lý dữ liệu quan trắc môi trƣờng tôi thấy rằng cần có một bộ dữ liệu đƣợc chuẩn hóa Chuẩn hóa ở đây bao gồm: - Chuẩn về cấu trúc dữ liệu: Dữ liệu đƣợc qui ƣớc tập hợp về... xử lý dữ liệu nhiễu: Phát hiện và cho phép ngƣời dùng loại bỏ những giá trị quan trắc không mong muốn Nhóm chức năng xác định tƣơng quan: Cho phéo ngƣời dừng phân tích tƣơng quan giữa các chỉ tiêu quan trắc trong một trạm hoặc giữa các trạm với nhau Nhóm chức năng điền dữ liệu thiếu: Sử dụng phép hồi qui tuyến tính để xây dựng hàm hồi qui hỗ trợ ngƣời dùng điền dữ liệu thiếu cho bộ dữ liệu quan trắc