Nghiên cứu và xây dựng qui trình chuẩn hóa dữ liệu quan trắc môi trường ở việt nam

69 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HĨA DỮ LIỆU QUAN TRẮC MƠI TRƯỜNG Ở VIỆT NAM LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN ĐỨC LINH NGHIÊN CỨU VÀ XÂY DỰNG QUI TRÌNH CHUẨN HĨA DỮ LIỆU QUAN TRẮC MƠI TRƯỜNG Ở Ngành: VIỆT NAM Cơng nghệ thông tin Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN THỊ NHẬT THANH TS BÙI QUANG HƯNG HÀ NỘI - 2016 LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm nghiên cứu, tìm hiểu riêng cá nhân tơi Trong tồn nội dung luận văn, điều trình bày cá nhân tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo có xuất xứ rõ ràng trích dẫn hợp pháp Tơi xin hồn tồn chịu trách nhiệm chịu hình thức kỷ luật theo quy định cho lời cam đoan Hà Nội, Tháng 03 – Năm 2016 Người cam đoan Nguyễn Đức Linh LỜI CẢM ƠN Đề tài luận văn cao học tơi hồn thành Đại học Cơng Nghệ - Đại học Quốc gia Hà Nội Để hồn thành đề tài luận văn này, xin bày tỏ lòng biết ơn chân thành sâu sắc tới Trung tâm Cơng nghệ tích hợp liên ngành giám sát trường (FIMO), Đại học Công Nghệ, ĐHQG Hà Nội, đặc biệt TS Nguyễn Thị Nhật Thanh TS Bùi Quang Hưng trực tiếp hướng dẫn, dìu dắt, tận tình giúp đỡ tơi chun mơn, nghiên cứu định hướng phát triển suốt trình triển khai, nghiên cứu, hoàn thành đề tài “Nghiên cứu xây dựng qui trình chuẩn hóa liệu quan trắc môi trường Việt Nam” Xin chân thành cảm ơn Thầy, Cô giáo khoa Công nghệ thông tin truyền dạy cho kiến thức khoa học bổ ích, truyền cho tơi lửa u nghề, lịng nhiệt huyết tình u cơng việc Xin chân thành cảm ơn toàn thể thành viên hoạt động trung tâm FIMO động viên, khích lệ, tạo điều kiện giúp đỡ tơi suốt q trình thực hồn thành luận văn Với gia đình, tơi xin gửi lời biết ơn sâu sắc gia đình ln bên cạnh tôi, mang lại cho nguồn động viên tinh thần to lớn tạo điều kiện thuận lợi cho tơi học tập, nghiên cứu để hồn thành luận văn Cuối cùng, xin chân thành cảm ơn đề tài CA.15.8A: Nghiên cứu, chuyển giao, phát triển liệu lớp phủ toàn cầu GLCNMO hệ thống thu thập, quản lý, phân tích, chia sẻ liệu khơng gian địa lý CEReS Gaia tài trợ Trung tâm Nghiên cứu Châu Á Mặc dù có nhiều cố gắng để thực đề tài cách hoàn chỉnh Song với kinh nghiệm non trẻ công việc nghiên cứu khoa học hạn chế kiến thức nên tránh khỏi thiếu sót định mà thân chưa nhận thấy Qua luận văn mong nhận góp ý q Thầy, Cơ giáo bạn đồng nghiệp để luận văn hoàn chỉnh Tôi xin chân thành cảm ơn! Hà Nội, Tháng 03 – Năm 2016 Nguyễn Đức Linh LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC BẢNG CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT DANH MỤC CÁC HÌNH VẼ DANH MỤC CÁC BẢNG BIỂU MỞ ĐẦU CHƯƠNG 1.1 1.2 1.3 1.4 1.5 CHƯƠNG DỮ LIỆU QUAN TRẮC MÔI TRƯỜNG Ở VIỆT NAM 2.1 2.1.1 2.1.2 2.1.3 liệu thiếu 2.2 2.3 CHƯƠNG TRẮC PM10 TẠI TRẠM NGUYỄN VĂN CỪ, HÀ NỘI 3.1 3.1.1 3.1.2 3.1.3 3.2 3.2.1 3.2.2 3.2.3 3.2.4 3.2.5 3.3 CHƯƠNG DỮ LIỆU QUAN TRẮC MÔI TRƯỜNG TẠI VIỆT NAM (ENVPRO) 4.1 4.2 4.3 4.4 4.4.1 4.4.2 4.5 4.6 4.7 4.7.1 4.7.2 4.8 4.8.1 4.8.2 Đánh giá kết q KẾT LUẬN VÀ ĐỊNH HƯỚNG TÀI LIỆU THAM KHẢO Tiếng Việt Tiếng Anh Ký hiệu SARS MERS PM WHO CEM TSP AQI VOCs IQR TSS ESS RSS CSV NRI RMSE MAPE JSON SAS SPSS pH H5N1 TNMT TP.HCM KCN CSDL QCVN DANH MỤC CÁC HÌNH VẼ Hình 1.1 Kết quan trắc khơng khí Đại sứ qn Mỹ Hà Nội ngày 22/04/2016 Hình 2.1 Biểu đồ minh họa đường hồi quy tuyến tính Hình 2.2 Biểu đồ mơ tả tổng quan phép hồi quy tuyến tính Hình 2.3 Sơ đồ tổng quan quy trình đề xuất chuẩn hóa liệu quan trắc mơi tr ường Việt Nam Hình 3.1 Các tệp lưu trữ liệu quan tr Hình 3.2 Dữ liệu sau tập hợp từ tệp lưu trữ theo ngày Hình 3.3 Biểu đồ boxplot mô tả liệu hai tháng 01/2011 01/2012 Hình 3.4 Diễn biến hàm lượng trung bình tiêu quan trắc PM10 năm 2003 [7] Hình 3.5 Diễn biến, xu hướng tiêu quan trắc PM10 theo 24h tháng 01/2011 Hình 3.6 Diễn biến, xu hướng tiêu quan trắc PM10 theo 24h tháng 01/2012 Hình 3.7 Biểu đồ mơ tả kết ứng với Hình 4.1 Sơ đồ tổng quan cấu trúc cá Hình 4.2 Giao diện tổng quan hệ thống Hình 4.3 Truyền vào tệp liệu 01/2011, hệ thổng hiển thị danh sách tiêu quan trắc có tệp liệu Hình 4.4 Kết bước loại bỏ liệu nhiễu PM10 theo khoảng giá trị tin cậy với liệu 01/2011 Hình 4.5 Giao diện kết xác định liệu bất thường Hình 4.6 Giao diện biểu đồ diễn biến PM1 Hình 4.7 Giao diện điền liệu thiếu sử d Hình 4.8 Giao diện kết điền liệu th Hình 4.9 Giao diện liệu điền d 70 DataHand=sqldf(c(paste("update DataHand set ",varSelect,"=NULL where Date = '",arrDateDel[i],"'",sep = ""), "select * from DataHand")) } / So sánh ngày quan trắc ngày cần xóa liệu Tiến hành gán liệu NULL thông qua thư viện sqldf afterHandle=cat(toJSON(DataHand)) json //Trả cho PHP danh ssachs sữ liệu sau xử lý định dạng 4.7.2 Chức xử lý liệu thiếu Chức xử lý liệu nhiễu thực với phương pháp hồi quy tuyến tính, u cầu đầu vào bao gồm mảng liệu quan trắc cần xử lý (csvInput), tiêu quan trắc cần xử lý (varSelect), tập liệu học (csvTraining) danh sách tiêu quan trắc để xây dựng mơ hình hồi quy (varTrainCor) Quy trình xử lý sau: Từ PHP truyền vào mảng liệu học, mảng liệu cần xử lý, tiêu quan trắc cần xử lý, danh sách tiêu để xây dựng mơ hình hồi quy Với tháng từ liệu csvInput tách ra, tiến hành tách lấy liệu có tháng tương ứng từ tập csvTraining Từ tập liệu tách từ csvTraining theo tháng Xây dựng mơ hình hồi quy tháng dựa vào danh sách tiêu dùng để xây dựng mơ hình hồi quy tuyến tính Đồng thời lấy mơ hình hồi quy chạy dự đoán liệu cho tiêu cần xử lý Tìm ghi khơng có liệu gán liệu dự đoán từ bước trước sang Trả liệu sau gán liệu cho ghi thiếu định dạng Json lại cho PHP Mã nguồn quy trình xử lý viết R csvInput