Nghiên cứu và đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trên các trạm quan trắc

1 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN TRẮC LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội, 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN TRẮC Ngành : Công nghệ thông tin Chuyên ngành : Kỹ thuật phần mềm Mã số : 60480103 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS BÙI QUANG HƯNG TS NGUYỄN THỊ NHẬT THANH Hà Nội, 2017 i LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu khoa học độc lập riêng hướng dẫn TS Nguyễn Thị Nhật Thanh TS Bùi Quang Hưng Các số liệu sử dụng phân tích luận văn có nguồn gốc rõ ràng Các kết nghiên cứu luận văn tơi tự tìm hiểu, phân tích cách trung thực, khách quan Các kết chưa công bố nghiên cứu khác Hà nội, ngày 12 tháng 12 năm 2017 Học viên BÙI THỊ MAI ii LỜI CẢM ƠN Trân trọng cảm ơn thầy cô giáo Khoa Công nghệ thông tin, trường Đại học Công nghệ - Đại học quốc gia Hà Nội tạo điều kiện tốt để thực luận văn Đặc biệt, xin bày tỏ lòng biết ơn chân thành đến thầy cô hướng dẫn tôi: Cô Nguyễn Thị Nhật Thanh thầy Bùi Quang Hưng định hướng dẫn dắt tơi hồn thành luận văn Đồng thời, trân trọng cảm ơn đến anh Phạm Văn Hà, anh Trần Tuấn Vinh thành viên trung tâm FIMO giúp đỡ, đóng góp cung cấp tri thức vô quý báu ý kiến xác đáng cho suốt thời gian qua Nghiên cứu tài trợ Quỹ Phát triển khoa học công nghệ Quốc gia (NAFOSTED) đề tài mã số 102.99-2016.22 Hà nội, ngày 12 tháng 12 năm 2017 Học viên BÙI THỊ MAI iii MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II MỤC LỤC III DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT VI DANH MỤC CÁC BẢNG BIỂU VII DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ VIII MỞ ĐẦU 1 Đặt vấn đề, định hướng nghiên cứu Mục tiêu luận văn Phạm vi phương pháp nghiên cứu Kết cấu luận văn CHƯƠNG TỔNG QUAN VỀ SOL KHÍ 1.1 Tổng quan nhiễm khơng khí 1.2 Tổng quan sol khí 1.2.1 Khái niệm 1.2.2 1.2.3 Nguồn gốc sản sinh sol khí Tác động sol khí lên Trái đất 1.3 Độ dày quang học sol khí 1.3.1 1.3.2 1.3.3 Khái niệm Phương pháp quan trắc Mối quan hệ giữ độ dày quang học sol khí nhiễm khơng khí 10 CHƯƠNG 2: CÁC SẢN PHẨM ẢNH VỆ TINH .11 2.1 Sản phẩm sol khí MODIS 11 2.1.1 2.1.2 2.1.3 2.1.4 2.2 Các sản phẩm sol khí VIIRS .18 2.2.1 2.2.2 2.2.3 2.3 Giới thiệu MODIS 11 Các sản phẩm sol khí MODIS 12 Sản phẩm sol khí MODIS km (MOD04_3K MYD04_3K) 15 Sản phẩm điểm cháy MODIS (MCD14ML) 16 Giới thiệu VIIRS 18 Các sản phẩm sol khí VIIRS .18 Sản phẩm sol khí EDR AOD .20 Dữ liệu sol khí AERONET 21 2.3.1 iv Giới thiệu AERONET 21 2.3.2 Dữ liệu sol khí từ trạm AERONET 22 CHƯƠNG 3: PHƯƠNG PHÁP ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ 24 3.1 Mơ tả tốn 24 3.2 Các nghiên cứu liên quan 26 3.2.1 Trên giới 26 3.2.2 Trong nước 27 3.3 Phương pháp tiền xử lý liệu 28 3.3.1 Tiền xử liệu ảnh vệ tinh 28 3.3.2 Tiền xử lý liệu quan trắc liệu điểm cháy 31 3.4 Phương pháp tích hợp liệu 32 3.5 Phương pháp đánh giá độ dày quang học sol khí 34 CHƯƠNG 4: THỰC NGHIỆM VÀ KẾT QUẢ .37 4.1 Khu vực nghiên cứu 37 4.2 Cài đặt thực nghiệm 41 4.2.1 4.2.2 4.2.3 4.2.4 Chuẩn bị liệu 42 Cài đặt xử lý liệu .45 Cơ sở liệu .50 Tích hợp liệu AOD từ vệ tinh AOD từ AERONET 51 4.3 Tập liệu 53 4.4 Đánh giá chung 55 4.4.1 4.4.2 4.5 Đánh giá AOD MODIS 55 Đánh giá AOD VIIRS 59 Đánh giá tổng hợp VIIRS MODIS 62 4.5.1 Đánh giá AOD từ VIIRS MODIS theo quốc gia 62 4.5.2 Đánh giá AOD từ VIIRS MODIS với AERONET AOD theo khu vực thành thị nông thôn .67 4.5.3 Mối quan hệ giữ AOD từ VIIRS, MODIS AERONET với tình hình cháy khu vực 69 KẾT LUẬN 80 TÀI LIỆU THAM KHẢO 82 PHỤ LỤC 1: THỐNG KÊ DỮ LIỆU CÁC TRẠM AERONET .1 PHỤ LỤC 2: CÁC TẬP DỮ LIỆU ẢNH MODIS KM 14 PHỤ LỤC 3: CÁC TẬP DỮ LIỆU ẢNH SOL KHÍ VIIRS 18 v PHỤ LỤC 4: CÀI ĐẶT VÀ XỬ LÝ DỮ LIỆU 20 4.1 Download sản phẩm 20 4.1.1 Download MOD04_3K MYD04_3K – sản phẩm sol khí MODIS km 20 4.1.2 4.1.3 Download GAERO_VAOOO – sản phẩm sol khí VIIRS km .22 Download liệu AERONET 23 4.1.4 Download MCD14ML - liệu điểm cháy MODIS 25 4.2 Các chương trình xử lý 26 4.2.1 Chương trình xử lý ảnh MODIS km 26 4.2.2 4.2.3 Chương trình xử lý ảnh VIIRS km 27 Chương trình xử lý liệu AERONET 30 4.2.4 Chương trình xử lý liệu điểm cháy 31 4.3 Các bảng sở liệu .32 4.4 Chương trình tích hợp liệu 39 vi DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT Ký hiệu Tiếng Anh Tiếng Việt AOD Aerosol optical depth Độ dày quang học sol khí AOD Aerosol optical Thickness Độ dày quang học sol khí MODIS Moderate Resolution Imaging Spectroradiometer Cảm biến gắn vệ tinh Tera/Aqua VIIRS Visible Infrared Imaging Radiometer Suite Cảm biến gắn tàu Soumi-NPP FIMO Center of Multidisciplinary Integrated Technologies for Field Monitoring Trung tâm Cơng nghệ tích hợp liên ngành Giám sát trường AERONET AErosol RObotic NETwork Mạng lưới trạm quan trắc sol khí mặt đất NASA National Aeronautics and Space Administration Cơ quan Hàng không Vũ trụ Mỹ PHOTONS PHOtométrie pour le Traitement Hệ thống chuẩn hóa liệu vệ tinh Opérationnel de Normalisation Satellitaire CLASS Comprehensive Large Array-Data Stewardship System Hệ thống quản lý liệu diện rộng NOAA National Oceanic and Atmospheric Administration Cục Địa chất Hải dương học Quốc gia NAAPS Navy Aerosol Analysis and Prediction System Hệ thống Phân tích Dự báo Hải quân TOA Top Of Atmosphere Đỉnh khí GAERO VIIRS Aerosol EDR Ellipsoid Geolocation Tập liệu vị trí địa lý VIIRS VAOOO VIIRS Aerosol Optical Thickness EDR Tập liệu độ dày quang học sol khí VIIRS vii DANH MỤC CÁC BẢNG BIỂU Bảng 4.1: Thống kê trạm AERONET vùng nghiên cứu 40 Bảng 4.2: Danh mục bảng sở liệu 51 Bảng 4.3: Thống kê liệu MODIS, VIIRS 53 Bảng 4.4: Đánh giá MODIS AOD toàn khu vực nghiên cứu theo năm 56 Bảng 4.5: Phân bố giá trị MODIS AOD 57 Bảng 4.6: Đánh giá MODIS AOD toàn khu vực theo tháng năm 58 Bảng 4.7: VIIRS AOD trung bình qua năm 60 Bảng 4.8: Tỷ lệ % VIIRS AOD AERONET AOD 61 Bảng 4.9: Đánh giá MODIS VIIRS AOD theo quốc gia 63 Bảng 4.10: Đánh giá AOD theo khu vực thành thị nông thôn 68 viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1: Bão bụi Phoenix năm 2011 Hình 1.2: Ồng khói nhà máy thải khói mơi trường khơng khí Hình 1.3:Mạng lưới trạm quan trắc mật đất giới Hình 1.4: Mạng lưới vệ tinh quan sát Trái đất Hình 2.1: Bức ảnh thu MODIS vào 24/2/2000 12 Hình 2.2: Cấu trúc cảm biến MODIS 12 Hình 2.3: Quá trình xử lý MODIS [14] 13 Hình 2.4: Minh họa cách tổ chức điểm ảnh sản phẩm 10Km km .15 Hình 2.5: Các tập liệu từ ảnh sol khí MODIS 16 Hình 2.6: Bản đồ điểm cháy khu vực Đông Nam Á ngày 28/09/2015 17 Hình 2.7: Các tập liệu ảnh vệ tinh VIIRS 20 Hình 2.8: Thiết bị đo đạc trạm quan trắc AERONET 21 Hình 3.1: Mơ hình đánh giá liệu sol khí 25 Hình 3.2: Các bước xử lý ảnh MODIS 29 Hình 3.3: Quá trình xử lý ảnh vệ tinh VIIRS 31 Hình 3.4: Q trình tích hợp số liệu từ MODIS, VIIRS AERONET 32 Hình 3.5: Tích hợp liệu vệ tinh trạm AERONET 33 Hình 3.6: Quá trình đánh giá tham số thống kê sử dụng nghiên cứu .34 Hình 4.1: Các nước khu vực Đơng Nam Á [9] 37 Hình 4.2: đồ nước đông nam [7] 38 Hình 4.3: Bản đồ trạm AERONET thực nghiên cứu 39 Hình 4.4: Các giai đoạn thực nghiệm 41 Hình 4.5: Tải sản phẩm sol khí MODIS km .42 Hình 4.6: Tải sản phẩm sol khí VIIRS 43 Hình 4.7: Tải liệu AOD từ AERONET 44 Hình 4.8: Tải liệu điểm cháy MODIS 44 Hình 4.9: Chương trình tiền xử lý sản phẩm MODIS 45 33 Path Đường dẫn vào thư mục chứa Varchar(100) ảnh máy chủ: …/Năm/Tháng/Filename Collection smallint Phiên sản phẩm NASA Corner Polygon Toạ độ bốn góc TypeID int + Ladsweb + ĐHCN AQStime Datetime Thời gian vệ tinh chụp ảnh UpdateTime Datetime Thời gian cập nhật (insert, update) để thống kê isDelete Mặc định False, người dùng chọn xóa tạm True (lưu thùng rác) boolean Bảng org.SatOrgVIIRSAOT Lưu trữ liệu sol khí VIIRS, level 2, độ phân giải km, download từ NOAA Chi tiết bảng sau: Tên trường ID FileName Kiểu liệu/Độ rộng int Varchar(100) Path Varchar(300) Collection smallint Phiên sản phẩm NASA Corner Polygon TypeID int AQStime Datetime Toạ độ bốn góc + NASA + ĐHCN Thời gian vệ tinh chụp ảnh UpdateTim e Datetime Thời gian cập nhật (insert, update) để thống kê isDelete boolean Mặc định False, người dùng chọn xóa tạm True (lưu thùng rác) STT Mô tả Mã tự tăng Tên file Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename Primary/Foreign key PK 34 Bảng res.SatResampMOD04_3K Lưới toàn quốc 3x3 km STT Tên trường Kiểu liệu/ Độ rộng Primary/Foreign Mô tả Mã ID bigserial FileName Varchar(100) Tên file FilePath Đường dẫn vào thư mục Varchar(300) chứa ảnh máy chủ: …/Năm/Tháng/Filename RasRef raster Ảnh band AOD 3km GridID int Lưới chiếu sử dụng Cloudmask raster Mặt nạ mây key PK FK (apom.gridlatlon) Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) Projection byte OrgID integer Tham chiếu đến ảnh gốc AqsTime Datetime Ảnh xử lý theo ngày chụp FK(org.satorgmod04_3k) Thời gian cập nhật 10 UpdateTime Datetime (insert, update) để thống kê Bảng res.SatResampMYD04_3K Lưới toàn quốc 3x3 km STT Tên trường Kiểu liệu/ Độ rộng Mô tả Primary/Foreign key ID Bigserial Mã PK 35 STT Tên trường Kiểu liệu/ Độ rộng Mô tả FileName Varchar(100) Tên file Primary/Foreign key FilePath Varchar(300) Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename RasRef raster Ảnh band AOD 3x3 km GridID int Lưới chiếu sử dụng Cloudmask raster Projection byte Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) OrgID integer Tham chiếu đến ảnh gốc AqsTime Datetime Ảnh xử lý theo ngày chụp Datetime Thời gian cập nhật (insert, update) để thống kê 10 UpdateTime FK (apom.gridlatlon) FK(org.satorgmyd0 4_3k) Bảng res.SatResampVIIRS Lưới toàn quốc 6x6 km STT Tên trường Kiểu liệu/ Độ rộng Mô tả ID Bigserial Mã FileName Varchar(100) Tên file Varchar(300) Đường dẫn vào thư mục chứa ảnh máy chủ: …/Năm/Tháng/Filename FilePath Primary/Foreign key PK 36 STT Kiểu liệu/ Độ rộng Tên trường Primary/Foreign key Mô tả RasRef raster Ảnh band AOD 6kmx6km, 550nm GridID int Lưới chiếu sử dụng Cloudmask raster Projection byte OrgID integer AqsTime Datetime 10 UpdateTime Datetime FK (apom.gridlatlon) Hệ quy chiếu (1=LatLon: Tham chiếu bảng GridLatLon, 2: UTM: Tham chiếu bảng GridUTM) FK(tham chiếu đến bảng org.SatOrgVIIRSA OT) Tham chiếu đến ảnh gốc Ảnh xử lý theo ngày chụp Thời gian cập nhật (insert, update) để thống kê Bảng org.grdaeraot_data Lưu trữ liệu sol khí đo trạm quan trắc AERONET Cấu trúc bảng sau: Tên trường Kiểu liệu/Độ rộng ID int StationID int ProcessType double Chất lượng liệu AQStime Thời gian thu thập liệu STT Datetime Mô tả Mã tự tăng Primary/Foreign key PK, Auto increment FK / Reference GrdStation(ID) 37 Tên trường Kiểu liệu/Độ rộng Solzen double aod_1020 double aod_1640 double aod_870 double aod_675 double 10 aod_667 double 11 aod_555 double 12 aod_551 double 13 aod_532 double 14 aod_531 double 15 aod_500 double 16 aod_490 double 17 aod_443 double 18 aod_440 double 19 aod_412 double 20 aod_380 double 21 aod_340 double STT 22 UpdateTime Mô tả Datetime Thời gian cập nhật (insert, update) để thống kê 23 isDelete boolean Mặc định False, người dùng chọn xóa tạm True (lưu thùng rác) 24 aod_550 double AOD 550nm Primary/Foreign key 38 STT 25 Tên trường Kiểu liệu/Độ rộng Angstrom double Mô tả Primary/Foreign key Thông số Angstrom Bảng org.grdstation Tên trường STT Kiểu liệu/Độ rộng site_name character varying (100) longitude double precision latitude double precision elevation double precision country character varying (100) id integer name character varying (200) location geometry type smallint 10 altitude double precision 11 provinceid bigint 12 site_type character varying (100) Mô tả Primary/Foreign key Bảng validate.data_fires_asian STT Tên trường Kiểu liệu/Độ rộng Mô tả yyyymmdd character varying 50 hhmm character varying 50 sat character varying 10 lat numeric lon numeric t21 double precision t31 double precision Primary/Foreign key 39 sample double precision frp double precision 10 conf double precision 11 type smallint 12 country character varying 13 location geometry 200 Bảng validate select_data_final Tên trường STT Kiểu liệu/Độ rộng file_name text table_name character varying time_range integer neighbor_pixel integer stationid integer year integer month integer aqstime timestamp without time zone sate_aod numeric 10 aronet_aod numeric 4.4 Mô tả Primary/Foreign key Yes No 100 Chương trình tích hợp liệu Sau có đầy đủ liệu AOD từ vệ tinh AOD từ AERONET, thực tích hợp liệu lưu trữ Dữ liệu sau tích hợp kết xuất file CSV lưu vào sở liệu Mã nguồn:  select_data.py Đầu vào:  Dữ liệu AOD từ MODIS VIIRS bảng SatResampMYD04_3k, SatResampMOD04_3K, SatResampVIIRS 40  Dữ liệu AOD bảng org.grdaeraot_data  Các bán kính tương ứng cho MODIS bao gồm: 3, 6, 9, 12, 15, 18, 21, 24, 27, 30 km  Các bán kính tương ứng cho VIIRS 6, 12, 18, 24, 30 km  Các giá trị thời gian 15 phút 30 phút Các hàm sử dụng:  Corel_Sate_Aeronet: hàm sử dụng để tìm tin tương ứng AOD vệ tinh AOD trạm quan trắc Dữ liệu AOD vệ tinh lấy theo bán kính R quanh trạm Dữ liệu AOD trạm quan trắc lấy theo thời gian trước sau T phút so với thời gian vệ tinh bay qua  Cách Gọi hàm xử lý sau: Corel_Sate_Aeronet("C:/result/mod3k_aronet_30m_18km.csv","res.satresampmod04_ 3k",30,6) Lưu trữ kết quả:  Kết lưu bảng validate select_data_final  Hoặc lưu trữ tệp CSV 41 42 43 44 45 46 47 ... ảnh sol khí từ vệ tinh vào nghiên cứu hệ thống giám sát, cần thực đánh giá sản phẩm sol khí Vì vậy, tơi lựa chọn đề tài Nghiên cứu đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trạm quan. ..2 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ BÙI THỊ MAI NGHIÊN CỨU VÀ ĐÁNH GIÁ ĐỘ DÀY QUANG HỌC SOL KHÍ TỪ ẢNH VỆ TINH DỰA TRÊN CÁC TRẠM QUAN TRẮC Ngành : Công nghệ thông... tinh cho ứng dụng, cần thực đánh giá chất lượng sản phẩm Theo hướng nghiên cứu này, thực Nghiên cứu đánh giá độ dày quang học sol khí từ ảnh vệ tinh dựa trạm quan trắc cho khu vực Đông Nam Á