Nghiên cứu và đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trên các trạm quan trắc

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN TRẮC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội, 2017 TRẮC ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN Ngành : Công nghệ thông tin Chuyên ngành : Kỹ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI QUANG HƯNG TS NGUYỄN THỊ NHẬT THANH Hà Nội, 2017 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu khoa học độc lập riêng hướng dẫn TS Nguyễn Thị Nhật Thanh TS Bùi Quang Hưng Các số liệu sử dụng phân tích luận văn có nguồn gốc rõ ràng Các kết nghiên cứu luận văn tơi tự tìm hiểu, phân tích cách trung thực, khách quan Các kết chưa công bố nghiên cứu khác Hà nội, ngày 12 tháng 12 năm 2017 Học viên BÙI THỊ MAI ii LỜI CẢM ƠN Trân trọng cảm ơn thầy cô giáo Khoa Công nghệ thông tin, trường Đại học Công nghệ - Đại học quốc gia Hà Nội tạo điều kiện tốt để thực luận văn Đặc biệt, xin bày tỏ lòng biết ơn chân thành đến thầy cô hướng dẫn tôi: Cô Nguyễn Thị Nhật Thanh thầy Bùi Quang Hưng định hướng dẫn dắt tơi hồn thành luận văn Đồng thời, trân trọng cảm ơn đến anh Phạm Văn Hà, anh Trần Tuấn Vinh thành viên trung tâm FIMO giúp đỡ, đóng góp cung cấp tri thức vô quý báu ý kiến xác đáng cho suốt thời gian qua Nghiên cứu tài trợ Quỹ Phát triển khoa học công nghệ Quốc gia (NAFOSTED) đề tài mã số 102.99-2016.22 Hà nội, ngày 12 tháng 12 năm 2017 Học viên BÙI THỊ MAI iii MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC III DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT VI DANH MỤC CÁC BẢNG BIỂU VII DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ VIII MỞ ĐẦU 1 Đặt vấn đề, định hướng nghiên cứu Mục tiêu luận văn Phạm vi phương pháp nghiên cứu Kết cấu luận văn CHƯƠNG TỔNG QUAN VỀ SOL KHÍ 1.1 Tổng quan nhiễm khơng khí 1.2 Tổng quan sol khí 1.2.1 1.2.2 1.2.3 1.3 Khái niệm Nguồn gốc sản sinh sol khí Tác động sol khí lên Trái đất Độ dày quang học sol khí 1.3.1 1.3.2 1.3.3 Khái niệm Phương pháp quan trắc Mối quan hệ giữ độ dày quang học sol khí nhiễm khơng khí 10 CHƯƠNG 2: CÁC SẢN PHẨM ẢNH VỆ TINH 11 2.1 Sản phẩm sol khí MODIS 11 2.1.1 2.1.2 2.1.3 2.1.4 2.2 Các sản phẩm sol khí VIIRS 18 2.2.1 2.2.2 2.2.3 2.3 Giới thiệu MODIS 11 Các sản phẩm sol khí MODIS 12 Sản phẩm sol khí MODIS km (MOD04_3K MYD04_3K) 15 Sản phẩm điểm cháy MODIS (MCD14ML) 16 Giới thiệu VIIRS 18 Các sản phẩm sol khí VIIRS 18 Sản phẩm sol khí EDR AOD 20 Dữ liệu sol khí AERONET .21 iv 2.3.1.Giới thiệu AERONET 21 2.3.2.Dữ liệu sol khí từ trạm AERONET 22 CHƯƠNG 3: PHƯƠNG PHÁP ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ 24 3.1 Mơ tả tốn 24 3.2 Các nghiên cứu liên quan 26 3.2.1 Trên giới 26 3.2.2 Trong nước 27 3.3 Phương pháp tiền xử lý liệu 28 3.3.1.Tiền xử liệu ảnh vệ tinh 28 3.3.2.Tiền xử lý liệu quan trắc liệu điểm cháy 31 3.4 Phương pháp tích hợp liệu 32 3.5 Phương pháp đánh giá độ dày quang học sol khí 34 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ 37 4.1 Khu vực nghiên cứu 37 4.2 Cài đặt thực nghiệm 41 4.2.1.Chuẩn bị liệu 42 4.2.2.Cài đặt xử lý liệu 45 4.2.3.Cơ sở liệu 50 4.2.4.Tích hợp liệu AOD từ vệ tinh AOD từ AERONET 51 4.3 Tập liệu 53 4.4 Đánh giá chung 55 4.4.1.Đánh giá AOD MODIS 55 4.4.2.Đánh giá AOD VIIRS 59 4.5 Đánh giá tổng hợp VIIRS MODIS 62 4.5.1.Đánh giá AOD từ VIIRS MODIS theo quốc gia 62 4.5.2.Đánh giá AOD từ VIIRS MODIS với AERONET AOD theo khu vực thành thị nông thôn 67 4.5.3.Mối quan hệ giữ AOD từ VIIRS, MODIS AERONET với tình hình cháy khu vực 69 KẾT LUẬN 80 TÀI LIỆU THAM KHẢO PHỤ LỤC 1: THỐNG KÊ DỮ LIỆU CÁC TRẠM AERONET PHỤ LỤC 2: CÁC TẬP DỮ LIỆU ẢNH MODIS KM PHỤ LỤC 3: CÁC TẬP DỮ LIỆU ẢNH SOL KHÍ VIIRS 82 14 18 v PHỤ LỤC 4: CÀI ĐẶT VÀ XỬ LÝ DỮ LIỆU 20 4.1.Download sản phẩm 4.1.1 20 Download MOD04_3K MYD04_3K – sản phẩm sol khí MODIS km 20 4.1.2.Download GAERO_VAOOO – sản phẩm sol khí VIIRS km 22 4.1.3.Download liệu AERONET 23 4.1.4.Download MCD14ML - liệu điểm cháy MODIS 25 4.2 Các chương trình xử lý 26 4.2.1.Chương trình xử lý ảnh MODIS km 26 4.2.2.Chương trình xử lý ảnh VIIRS km 27 4.2.3.Chương trình xử lý liệu AERONET 30 4.2.4.Chương trình xử lý liệu điểm cháy 31 4.3 Các bảng sở liệu 32 4.4 Chương trình tích hợp liệu 39 vi DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Ký hiệu Tiếng Anh Tiếng Việt AOD Aerosol optical depth Độ dày quang học sol khí AOD Aerosol optical Thickness Độ dày quang học sol khí MODIS Moderate Resolution Imaging Spectroradiometer Cảm biến gắn vệ tinh Tera/Aqua VIIRS Visible Infrared Imaging Radiometer Suite Cảm biến gắn tàu Soumi-NPP FIMO Center of Multidisciplinary Integrated Technologies for Field Monitoring Trung tâm Cơng nghệ tích hợp liên ngành Giám sát trường AERONET AErosol RObotic NETwork Mạng lưới trạm quan trắc sol khí mặt đất NASA National Aeronautics and Space Administration Cơ quan Hàng không Vũ trụ Mỹ PHOTONS PHOtométrie pour le Traitement Opérationnel de Normalisation Satellitaire Hệ thống chuẩn hóa liệu vệ tinh CLASS Comprehensive Large Array-Data Stewardship System Hệ thống quản lý liệu diện rộng NOAA National Oceanic and Atmospheric Administration Cục Địa chất Hải dương học Quốc gia NAAPS Navy Aerosol Analysis and Prediction System Hệ thống Phân tích Dự báo Hải quân TOA Top Of Atmosphere Đỉnh khí GAERO VIIRS Aerosol EDR Ellipsoid Geolocation Tập liệu vị trí địa lý VIIRS VAOOO VIIRS Aerosol Optical Thickness EDR Tập liệu độ dày quang học sol khí VIIRS vii DANH MỤC CÁC BẢNG BIỂU Bảng 4.1: Thống kê trạm AERONET vùng nghiên cứu 40 Bảng 4.2: Danh mục bảng sở liệu 51 Bảng 4.3: Thống kê liệu MODIS, VIIRS 53 Bảng 4.4: Đánh giá MODIS AOD toàn khu vực nghiên cứu theo năm 56 Bảng 4.5: Phân bố giá trị MODIS AOD 57 Bảng 4.6: Đánh giá MODIS AOD toàn khu vực theo tháng năm 58 Bảng 4.7: VIIRS AOD trung bình qua năm 60 Bảng 4.8: Tỷ lệ % VIIRS AOD AERONET AOD 61 Bảng 4.9: Đánh giá MODIS VIIRS AOD theo quốc gia 63 Bảng 4.10: Đánh giá AOD theo khu vực thành thị nông thôn 68 33 Path Varchar(100) Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename Collection smallint Phiên sản phẩm NASA Corner Polygon Toạ độ bốn góc TypeID int + Ladsweb + ĐHCN AQStime Datetime Thời gian vệ tinh chụp ảnh UpdateTime Datetime Thời gian cập nhật (insert, update) để thống kê isDelete boolean Mặc định False, người dùng chọn xóa tạm True (lưu thùng rác) Bảng org.SatOrgVIIRSAOT Lưu trữ liệu sol khí VIIRS, level 2, độ phân giải km, download từ NOAA Chi tiết bảng sau: STT Tên trường ID FileName Kiểu liệu/Độ rộng int Varchar(100) Path Varchar(300) Collection smallint Corner TypeID Polygon int AQStime UpdateTim Datetime Datetime e Mô tả Mã tự tăng Tên file Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename Phiên sản phẩm NASA Toạ độ bốn góc + NASA + ĐHCN Thời gian vệ tinh chụp ảnh Thời gian cập nhật (insert, update) để thống kê Mặc định False, người isDelete boolean dùng chọn xóa tạm True (lưu thùng rác) Primary/Foreign key PK 34 Bảng res.SatResampMOD04_3K Lưới toàn quốc 3x3 km STT Tên trường Kiểu liệu/ Độ rộng Primary/Foreign Mô tả ID bigserial Mã FileName Varchar(100) Tên file FilePath Đường dẫn vào thư mục Varchar(300) chứa ảnh máy chủ: …/Năm/Tháng/Filename RasRef raster Ảnh band AOD 3km GridID int Lưới chiếu sử dụng Cloudmask raster Mặt nạ mây PK Projection byte Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) OrgID integer Tham chiếu đến ảnh gốc AqsTime Datetime Ảnh xử lý theo ngày chụp 10 UpdateTime Datetime key FK (apom.gridlatlon) FK(org.satorgmod04_3k) Thời gian cập nhật (insert, update) để thống kê Bảng res.SatResampMYD04_3K Lưới toàn quốc 3x3 km STT Tên trường Kiểu liệu/ Độ rộng Mô tả Primary/Foreign key ID Bigserial Mã PK 35 STT Tên trường Kiểu liệu/ Độ rộng Mô tả FileName Varchar(100) Tên file Primary/Foreign key FilePath Varchar(300) Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename RasRef raster Ảnh band AOD 3x3 km GridID int Lưới chiếu sử dụng Cloudmask raster Projection byte Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) OrgID integer Tham chiếu đến ảnh gốc AqsTime Datetime Ảnh xử lý theo ngày chụp 10 UpdateTime Datetime FK (apom.gridlatlon) FK(org.satorgmyd0 4_3k) Thời gian cập nhật (insert, update) để thống kê Bảng res.SatResampVIIRS Lưới toàn quốc 6x6 km STT Tên trường Kiểu liệu/ Độ rộng Mô tả ID Bigserial Mã FileName Varchar(100) Tên file Varchar(300) Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename FilePath Primary/Foreign key PK 36 STT Tên trường Kiểu liệu/ Độ rộng Mô tả Primary/Foreign key RasRef raster Ảnh band AOD 6kmx6km, 550nm GridID int Lưới chiếu sử dụng Cloudmask raster Projection byte FK (apom.gridlatlon) Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) FK(tham chiếu đến bảng org.SatOrgVIIRSA OT) OrgID integer Tham chiếu đến ảnh gốc AqsTime Datetime Ảnh xử lý theo ngày chụp 10 UpdateTime Datetime Thời gian cập nhật (insert, update) để thống kê Bảng org.grdaeraot_data Lưu trữ liệu sol khí đo trạm quan trắc AERONET Cấu trúc bảng sau: STT Tên trường Kiểu liệu/Độ rộng Mô tả ID int StationID int ProcessType double Chất lượng liệu AQStime Thời gian thu thập liệu Datetime Mã tự tăng Primary/Foreign key PK, Auto increment FK / Reference GrdStation(ID) 37 STT Tên trường Kiểu liệu/Độ rộng Solzen double aod_1020 double aod_1640 double aod_870 double aod_675 double 10 aod_667 double 11 aod_555 double 12 aod_551 double 13 aod_532 double 14 aod_531 double 15 aod_500 double 16 aod_490 double 17 aod_443 double 18 aod_440 double 19 aod_412 double 20 aod_380 double 21 aod_340 double 22 UpdateTime Datetime Mô tả Thời gian cập nhật (insert, update) để thống kê 23 isDelete boolean Mặc định False, người dùng chọn xóa tạm True (lưu thùng rác) 24 aod_550 double AOD 550nm Primary/Foreign key 38 STT Tên trường Kiểu liệu/Độ rộng 25 Angstrom double Mô tả Primary/Foreign key Thông số Angstrom Bảng org.grdstation STT Tên trường Kiểu liệu/Độ rộng site_name character varying (100) longitude double precision latitude double precision elevation double precision country character varying (100) id integer name character varying (200) location geometry type smallint 10 altitude double precision 11 provinceid bigint 12 site_type character varying (100) Mô tả Primary/Foreign key Mô tả Primary/Foreign key Bảng validate.data_fires_asian STT Tên trường Kiểu liệu/Độ rộng yyyymmdd character varying 50 hhmm character varying 50 sat character varying 10 lat numeric lon numeric t21 double precision t31 double precision 39 sample double precision frp double precision 10 conf double precision 11 type smallint 12 country character varying 13 location geometry 200 Bảng validate select_data_final STT Tên trường Kiểu liệu/Độ rộng file_name text table_name character varying time_range integer neighbor_pixel integer stationid integer year integer month integer aqstime timestamp without time zone sate_aod numeric 10 aronet_aod numeric 4.4 Mô tả Primary/Foreign key Yes No 100 Chương trình tích hợp liệu Sau có đầy đủ liệu AOD từ vệ tinh AOD từ AERONET, thực tích hợp liệu lưu trữ Dữ liệu sau tích hợp kết xuất file CSV lưu vào sở liệu Mã nguồn: select_data.py Đầu vào: Dữ liệu AOD từ MODIS VIIRS bảng SatResampMYD04_3k, SatResampMOD04_3K, SatResampVIIRS 40 Dữ liệu AOD bảng org.grdaeraot_data Các bán kính tương ứng cho MODIS bao gồm: 3, 6, 9, 12, 15, 18, 21, 24, 27, 30 km Các bán kính tương ứng cho VIIRS 6, 12, 18, 24, 30 km Các giá trị thời gian 15 phút 30 phút Các hàm sử dụng: Corel_Sate_Aeronet: hàm sử dụng để tìm tin tương ứng AOD vệ tinh AOD trạm quan trắc Dữ liệu AOD vệ tinh lấy theo bán kính R quanh trạm Dữ liệu AOD trạm quan trắc lấy theo thời gian trước sau T phút so với thời gian vệ tinh bay qua Cách Gọi hàm xử lý sau: Corel_Sate_Aeronet("C:/result/mod3k_aronet_30m_18km.csv","res.satresampmod04_ 3k",30,6) Lưu trữ kết quả: Kết lưu bảng validate select_data_final Hoặc lưu trữ tệp CSV 41 42 43 44 45 46 47 ... ảnh sol khí từ vệ tinh vào nghiên cứu hệ thống giám sát, cần thực đánh giá sản phẩm sol khí Vì vậy, tơi lựa chọn đề tài Nghiên cứu đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trạm quan. ..2 TRẮC ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN Ngành : Công nghệ... tinh cho ứng dụng, cần thực đánh giá chất lượng sản phẩm Theo hướng nghiên cứu này, thực Nghiên cứu đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trạm quan trắc cho khu vực Đông Nam Á