- main.py: Chứa các hàm gọi khi xử lý
- constants.py: chứa các tham số cần thiết khi xử lý. Nếu chạy trên giao diện, không cần sửa các tham số của tệp này.
- postgres_server.py: Chứa các hàm lưu trữ dữ liệu vào cơ sở dữ liệu PostgreSQL.
- resample.py: Chứa các hàm tiền xử lý ảnh
- filter_data.py: Chứa các hàm lọc dữ liệu
- hdf_factory.py: Chứa các partern mẫu
- utilities.py: Chứa các hàm tiện ích.
Đầu vào: là tập các tệp tin .h5 sau khi đã lọc giá trị cờ có chất lượng tốt nhất. Các hàm chức năng main.py:
- ProcessingSatelliteImgVinh: hàm điều hướng và quét tuần tự các tệp tin. Các hàm chức năng resample.py:
- Hdf5ToRawImageAOT: hàm chuyển đổi dữ liệu dạng hdf5 sang dạng raw
- CorrectGCPs: hàm chỉnh lại đúng tọa độ của các GCP
- Resample: hàm thực hiện tái tạo mẫu và chuyển đổi sang định dạng Geotiff
- ResampleHdf5InDir: xóa các tệp tin tạm Các hàm chức năng postgres_server.py:
- Connect: kết nối cơ sở dữ liệu
- InsertOrgData: tạo các dòng dữ liệu ảnh gốc
- checkExistsFileInDB: kiểm tra xem đã xử lý ảnh chưa
- InsertResData: tạo các dòng dữ liệu dạng Raster và lưu vào bảng res. SatResampVIIRS
Đầu ra là dữ liệu:
- Lưu trong bảng: Org.SatOrgVIIRSAOT, Res. SatResampVIIRS.
- Các sản phẩm ảnh PNG và ảnh Geotiff.
4.2.2.3. Xử lý dữ liệu AERONET
Để thực hiện xử lý dữ liệu AERONET, cần cài đặt môi trường xử lý đáp ứng các yêu cầu như sau về phần cứng và phần mềm:
- Chuẩn bị 1 server với cấu hình ước chừng lớn hơn 4GB RAM và ổ cứng lớn hơn 50GB để thực hiện xử lý và lưu trữ. Về phần mềm:
- Sử dụng hệ điều hành Ubuntu 14.04.
Có thể chạy chương trình bằng Terminal hoặc chạy bằng trình duyệt. Màn hình chương trình sẽ hiển thị như Hình 4.12.
Đầu vào: Toàn bộ các tệp dữ liệu cấp 2.0 đã tải về từ bước chuẩn bị dữ liệu. Mã nguồn chương trình:
- aeronet.php Các hàm xử lý:
- insertData: hàm thực hiện đọc dữ liệu AOD trên tệp tin và lưu trữ vào cơ sở dữ liệu.
- getStationId: hàm lấy ID của trạm AERONET Lưu trữ dữ liệu trong bảng:
- org.grdaeraot_data