Nghiên cứu và xây dựng qui trình chuẩn hóa dữ liệu quan trắc môi trường ở việt nam

69 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HĨA DỮ LIỆU QUAN TRẮC MƠI TRƯỜNG Ở VIỆT NAM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HĨA DỮ LIỆU QUAN TRẮC MƠI TRƯỜNG Ở VIỆT NAM Ngành: Cơng nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN THỊ NHẬT THANH TS BÙI QUANG HƯNG HÀ NỘI - 2016 LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm nghiên cứu, tìm hiểu riêng cá nhân tơi Trong tồn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, Tháng 03 – Năm 2016 Người cam đoan Nguyễn Đức Linh LỜI CẢM ƠN Đề tài luận văn cao học tơi hồn thành Đại học Cơng Nghệ - Đại học Quốc gia Hà Nội Để hồn thành đề tài luận văn này, xin bày tỏ lòng biết ơn chân thành sâu sắc tới Trung tâm Cơng nghệ tích hợp liên ngành giám sát trường (FIMO), Đại học Công Nghệ, ĐHQG Hà Nội, đặc biệt TS Nguyễn Thị Nhật Thanh TS Bùi Quang Hưng trực tiếp hướng dẫn, dìu dắt, tận tình giúp đỡ tơi chun mơn, nghiên cứu định hướng phát triển suốt trình triển khai, nghiên cứu, hoàn thành đề tài “Nghiên cứu xây dựng qui trình chuẩn hóa liệu quan trắc môi trường Việt Nam” Xin chân thành cảm ơn Thầy, Cô giáo khoa Công nghệ thông tin truyền dạy cho kiến thức khoa học bổ ích, truyền cho tơi lửa u nghề, lịng nhiệt huyết tình u cơng việc Xin chân thành cảm ơn toàn thể thành viên hoạt động trung tâm FIMO động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình thực hồn thành luận văn Với gia đình, tơi xin gửi lời biết ơn sâu sắc gia đình ln bên cạnh tôi, mang lại cho nguồn động viên tinh thần to lớn tạo điều kiện thuận lợi cho tơi học tập, nghiên cứu để hồn thành luận văn Cuối cùng, xin chân thành cảm ơn đề tài CA.15.8A: Nghiên cứu, chuyển giao, phát triển liệu lớp phủ toàn cầu GLCNMO hệ thống thu thập, quản lý, phân tích, chia sẻ liệu khơng gian địa lý CEReS Gaia tài trợ Trung tâm Nghiên cứu Châu Á Mặc dù có nhiều cố gắng để thực đề tài cách hoàn chỉnh Song với kinh nghiệm non trẻ công việc nghiên cứu khoa học hạn chế kiến thức nên tránh khỏi thiếu sót định mà thân chưa nhận thấy Qua luận văn mong nhận góp ý q Thầy, Cơ giáo bạn đồng nghiệp để luận văn hoàn chỉnh Tôi xin chân thành cảm ơn! Hà Nội, Tháng 03 – Năm 2016 Nguyễn Đức Linh MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC .3 BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU MỞ ĐẦU .11 CHƯƠNG TỔNG QUAN VỀ Ơ NHIỄM KHƠNG KHÍ 15 1.1 Khơng khí nhiễm khơng khí 15 1.2 Tác động nhiễm khơng khí tới sức khỏe người 15 1.3 Hệ thống trạm quan trắc chất lượng khơng khí .17 1.4 Hiện trạng nhiễm khơng khí Việt Nam 18 1.5 Kết luận 21 CHƯƠNG NGHIÊN CỨU VÀ ĐỀ XUẤT QUY TRÌNH CHUẨN HĨA DỮ LIỆU QUAN TRẮC MƠI TRƯỜNG Ở VIỆT NAM .22 2.1 Tổng quan quy trình làm liệu 22 2.1.1 Đánh giá liệu dựa thống kê .22 2.1.2 Khử nhiễu điền liệu thiếu 24 2.1.3 liệu thiếu Phân tích tương quan hồi quy phục vụ khử nhiễu điền .25 2.2 Chuẩn hóa liệu quan trắc môi trường .31 2.3 Phương pháp đề xuất .32 CHƯƠNG ĐÁNH GIÁ QUY TRÌNH CHUẨN HÓA DỮ LIỆU QUAN TRẮC PM10 TẠI TRẠM NGUYỄN VĂN CỪ, HÀ NỘI .36 3.1 Tổng quan khu vực nghiên cứu .36 3.1.1 Vị trí địa lý 36 3.1.2 Khí hậu, khí tượng 36 3.1.3 Phạm vi liệu nghiên cứu 36 3.2 Phương pháp chuẩn hóa liệu quan trắc mơi trường 37 3.2.1 Thu thập liệu .37 3.2.2 Đánh giá liệu tổng quan .40 3.2.3 Xử lý liệu nhiễu 45 3.2.4 Xử lý liệu thiếu .48 3.2.5 Đánh giá kết 53 3.3 Kết luận 56 CHƯƠNG NGHIÊN CỨU, PHÁT TRIỂN CÔNG CỤ HỖ TRỢ XỬ LÝ DỮ LIỆU QUAN TRẮC MÔI TRƯỜNG TẠI VIỆT NAM (ENVPRO) .57 4.1 Phát biểu toán 57 4.2 Yêu cầu hệ thống 57 4.3 Tổng quan hệ thống EnvPro 58 4.4 Phân rã chức người dùng 60 4.4.1 Phân rã chức 60 4.4.2 Nhóm người dùng 61 4.5 Ràng buộc thiết kế 62 4.6 Môi trường phát triển thực thi 63 4.7 Xây dựng hệ thống 65 4.7.1 Chức xử lý liệu nhiễu 67 4.7.2 Chức xử lý liệu thiếu .70 4.8 4.8.1 Kết đạt 71 Đánh giá kết chức xử lý liệu nhiễu 72 4.8.2 Đánh giá kết chức xử lý liệu thiếu 75 KẾT LUẬN VÀ ĐỊNH HƯỚNG 78 TÀI LIỆU THAM KHẢO 81 Tiếng Việt 81 Tiếng Anh 81 BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Tiếng Anh Tiếng Việt SARS Severe Acute Respiratory Syndrome Hội chứng hơ hấp cấp tính nặng MERS Middle East Respiratory Ryndrome Bệnh viêm đường hô hấp cấp vi-rút PM Particulate matter Bụi WHO World Health Organization Tổ chức Y tế Thế giới CEM Centre for Environmental Monitoring Trung tâm Quan trắc môi trường TSP Total Suspended Pảticles Tổng bụi lơ lửng AQI Air Quality Index Chỉ số chất lượng khơng khí VOCs Volatile Organic Compounds Hợp chất hữu dễ bay IQR Interquartile Range Khoảng tứ phân vị Total sum of squares Tổng bình phương tồn phần Explained sum of squares Tồng bình phương hồi quy Residual sum of square Tổng bình phương phần dư TSS ESS RSS Comma Separated Values Định dạng văn phân tách dấu phẩy Nocturnal Radiation Inversion Nghịch nhiệt xạ đêm RMSE Root Mean Squared Error Sai số bình phương trung bình MAPE Mean Absolute Percent Error Sai số phần trăm tuyệt đối trung bình JSON JavaScript Object Notation Một định dạng liệu SAS Statistical Analysis System Hệ thống phân tích thống kê SPSS Statistical Package for the Social Sciences Giải pháp thống kê cho ngành khoa học xã hội CSV NRI pH Một số xác định tính chất hố học nước H5N1 Một phân nhóm có khả gây bệnh cao virus cúm gia cầm TNMT Tài nguyên môi trường TP.HCM Thành phố Hồ Chí Minh KCN Khu cơng nghiệp CSDL Cơ sở liệu QCVN Quy chuẩn Việt Nam DANH MỤC CÁC HÌNH VẼ Hình 1.1 Kết quan trắc khơng khí Đại sứ qn Mỹ Hà Nội ngày 22/04/2016 .19 Hình 2.1 Biểu đồ minh họa đường hồi quy tuyến tính 28 Hình 2.2 Biểu đồ mô tả tổng quan phép hồi quy tuyến tính 29 Hình 2.3 Sơ đồ tổng quan quy trình đề xuất chuẩn hóa liệu quan trắc mơi trường Việt Nam 35 Hình 3.1 Các tệp lưu trữ liệu quan trắc theo ngày 38 Hình 3.2 Dữ liệu sau tập hợp từ tệp lưu trữ theo ngày 38 Hình 3.3 Biểu đồ boxplot mơ tả liệu hai tháng 01/2011 01/2012 .42 Hình 3.4 Diễn biến hàm lượng trung bình tiêu quan trắc PM10 năm 2003 [7] 43 Hình 3.5 Diễn biến, xu hướng tiêu quan trắc PM10 theo 24h tháng 01/2011 44 Hình 3.6 Diễn biến, xu hướng tiêu quan trắc PM10 theo 24h tháng 01/2012 44 Hình 3.7 Biểu đồ mơ tả kết ứng với tỉ lệ liệu PM10 thiếu khác .55 Hình 4.1 Sơ đồ tổng quan cấu trúc chức hệ thống EnvPro .61 Hình 4.2 Giao diện tổng quan hệ thống 72 Hình 4.3 Truyền vào tệp liệu 01/2011, hệ thổng hiển thị danh sách tiêu quan trắc có tệp liệu 73 Hình 4.4 Kết bước loại bỏ liệu nhiễu PM10 theo khoảng giá trị tin cậy với liệu 01/2011 73 Hình 4.5 Giao diện kết xác định liệu bất thường 74 Hình 4.6 Giao diện biểu đồ diễn biến PM10 sau loại bỏ liệu bất thường 75 Hình 4.7 Giao diện điền liệu thiếu sử dụng phép hồi quy tuyến tính tự động 76 Hình 4.8 Giao diện kết điền liệu thiếu hiển thị hình .77 Hình 4.9 Giao diện liệu điền liệu thiếu sau xử lý 77 69 Monthdb=summaryBy(varSelect~Time, data=perMonth, FUN=c(mean), na.rm=TRUE) //Tính trung bình tháng splitDate=split(perMonth,perMonth$Date) //Tách lấy ngày corrDayWithMonth=cor(dataMerge[3:ncol(dataMerge)-1], dataMerge$mean.Month, use="pairwise.complete.obs") Corr