VNU Journal of Science Earth and Environmental Sciences, Vol 38, No 3 (2022) 32 44 32 Original Article Study Model for Information Reconstruction on Cloud Contaminated Area for Single Multispectral Re[.]
VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Original Article Study Model for Information Reconstruction on Cloud Contaminated Area for Single Multispectral Remote Sensing Sentinel-2 Imagery using Generative Adversarial Network Do Thi Nhung, Pham Vu Dong, Bui Quang Thanh, Pham Van Manh* VNU University of Science, 334 Nguyen Trai, Thanh Xuan, Ha Noi, Viet Nam Received 26 July 2021 Revised 15 August 2021; Accepted 24 August 2021 Abstract: Cloud and cloud shadow cause information loss in optical remote sensing analysis South East Asia, especially Vietnam, Sentinel-2 imagery has short re-visit cycle and observations tend to be contaminated with cloud and cloud shadow Traditional cloud removal methods require close date multi-temporal data to avoid seasonal land cover changes In this study, a method of integrating Deep Convolutional Neural Networks (DCNN) and Generative Adversarial Network (GAN) was proposed This machine learning model estimates the information loss over cloud contaminated areas on a single Sentinel-2 image The results show that for images with cloud cover rate under 25%, our model can reconstruct cloudless images with PSNR (25 – 40 dB) and SSIM (0.86 – 0.93) compared to real clear images On the other hand, with cloud cover rate up to 40%, the model performance will be affected heavily by the distribution of cloud and cloud shadow areas By investigating DCNN and GAN, our method has proven to be an effective tool to remove cloudy images with low and medium rates, which enriches the clear optical remote sensing data sources for environment monitoring Keywords: Cloud and cloud shadow, Remote sensing, Sentinel-2, Generative adversarial network, Single image cloud removal * * Corresponding author E-mail address: manh10101984@gmail.com https://doi.org/10.25073/2588-1094/vnuees.4815 32 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 33 Nghiên cứu mơ hình tái tạo vùng liệu bị mây che phủ ảnh đơn viễn thám đa phổ Sentinel-2 sử dụng thuật toán mạng đối lập Đỗ Thị Nhung, Phạm Vũ Đông, Bùi Quang Thành, Phạm Văn Mạnh* Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội, 334 Nguyễn Trãi, Thanh Xuân, Hà Nội, Việt Nam Nhận ngày 26 tháng năm 2021 Chỉnh sửa ngày 15 tháng năm 2021; Chấp nhận đăng ngày 24 tháng năm 2021 Tóm tắt: Mây bóng mây yếu tố gây ảnh hưởng đến việc thông tin ảnh viễn thám quang học Đặc biệt, lãnh thổ Việt Nam nước Đơng Nam Á nói chung, ảnh Sentinel2 có chu kì bay ngắn hầu hết ảnh thu nhận bị nhiễm mây Việc lọc mây phương pháp truyền thống yêu cầu việc sử dụng ảnh đa thời gian Tuy nhiên, điều nên áp dụng với ảnh có chu kì bay chụp ngắn nhằm giảm sai lệch giá trị phổ mùa thay đổi lớp phủ Trong nghiên cứu này, nhóm tác giả đề xuất lựa chọn phương pháp tái tạo liệu vùng nhiễm mây cách sử dụng ảnh đơn dựa mơ hình kết hợp mạng nơron nhân tạo phức hợp sâu (DCNN) kỹ thuật mạng đối lập (GAN) Phương pháp sử dụng nghiên cứu có khả lấp thơng tin cách xác cho vùng thơng tin bị mây che phủ ảnh Sentinel-2 Kết cho thấy, ảnh Sentinel-2 với độ phủ mây bóng mây 25% ảnh tái tạo có độ tương đồng cao với giá trị PSNR (25-40 dB) SSIM (0,86-0,93) Trong đó, với ảnh có độ phủ mây bóng mây 40%, mơ hình tái tạo độ xác thơng tin ảnh phụ thuộc vào mật độ phân bố không gian mây bóng mây Phương pháp kết hợp DCNN GAN nghiên cứu này, ảnh nhiễm mây bóng mây với tỉ lệ nhỏ trung bình tái tạo thành ảnh khơng mây, cung cấp nguồn liệu ảnh vệ tinh cho mục đích giám sát tài ngun mơi trường Từ khóa: Mây bóng mây, Viễn thám, Sentinel-2, Mạng đối lập, Loại bỏ mây hình ảnh đơn Mở đầu* Trong lĩnh vực viễn thám quang học, chất lượng ảnh vệ tinh phụ thuộc nhiều vào điều kiện thời tiết trình thu nhận [1] Một vấn đề ảnh hưởng tới chất lượng ảnh xuất mây bóng mây Chính thế, q trình loại bỏ mây bóng mây giai đoạn trình tiền xử lý ảnh viễn thám quang học, để phục vụ * Tác giả liên hệ Địa email: manh10101984@gmail.com https://doi.org/10.25073/2588-1094/vnuees.4815 cho cơng việc phân tích ảnh sau Việc lọc mây bóng mây ảnh viễn thám quang học thực nhiều cách khác nhau, sử dụng nhiều cặp ảnh chụp liền kề thời gian vị trí [2] Tại vị trí ảnh có khu vực bị nhiễm mây bóng mây, vùng thơng tin khu vực lấy từ ảnh thời điểm khác chồng lấp vào vị trí Bằng cách sử dụng hai nhiều ảnh vị trí tạo 34 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 ảnh có lượng mây che phủ Tuy nhiên, việc lấy thông tin từ ảnh khác thời điểm chụp nảy sinh số vấn đề như: i) Giá trị phổ phản xạ không đồng nhất, tạo tượng vùng sau lọc mây khác biệt với vùng xung quanh; ii) Yêu cầu phải thu thập nhiều ảnh cho khu vực nghiên cứu ảnh thu thập phải có vùng mây che phủ khơng trùng lặp Trong liệu ảnh viễn thám quang học đa phổ, ảnh vệ tinh Sentinel-2 nguồn liệu mở miễn phí có độ phân giải khơng gian cao (10 m) so với ảnh viễn thám quang học miễn phí khác Tuy nhiên, với đặc điểm thời gian bay chụp lặp lại tập trung chủ yếu khu vực Châu Âu Trong đó, khu vực khác khu vực Đông Nam Á, đặc biệt Việt Nam, số lượng ảnh lặp lại cảnh ảnh năm Chính thế, ảnh Sentinel-2 chụp khu vực Việt Nam thường bị nhiễm mây khó tìm ảnh gần thời điểm với để tạo ảnh khơng mây Mây bóng mây yếu tố cản trở việc giám sát vật bề mặt Trái Đất từ ảnh vệ tinh quang học, chúng làm cho thông tin ảnh bị mờ hồn tồn thơng tin [3, 4] Trong năm qua, nghiên cứu lĩnh vực viễn thám thực để tiến hành phát loại bỏ mây bóng mây ảnh viễn thám quang học [5] Trong nghiên cứu phát nhiễm mây, kết hợp sử dụng ảnh viễn thám đa thời gian Formosat-2 Landsat để lọc các vùng pixel nhiễm mây ảnh [6] Ngồi ra, hàm tốn F-mask sử dụng, hàm toán tiếng dùng để phát mây bóng mây cách tận dụng kênh ảnh Cirrus liệu ảnh Landsat-8 Sentinel-2 [4, 5] Hình Minh họa mơ hình tái tạo vùng nhiễu mây ảnh vệ tinh Sentinel-2 Cùng với nghiên cứu phát mây bóng mây, nghiên cứu tái tạo thơng tin loại bỏ vùng mây bóng mây nghiên cứu giới với nhiều cách tiếp cận khác [5] Một nghiên cứu điển hình sử dụng phương pháp thay pixel tương đương ảnh viễn thám đa thời gian [7] Hàm MRF (Markov Random Fields) sử dụng để tìm pixel ảnh có giá trị giống cao Trong nghiên cứu khác, phương pháp phân ngưỡng sử dụng để loại bỏ phần mây dày ảnh vệ tinh cân giá trị phản xạ phổ ảnh viễn thám đa thời gian [10] Có thể nhận thấy, hầu hết phương pháp tiếp cận liệu ảnh đa thời gian với nguyên tắc lấy liệu từ ảnh không mây để phục hồi cho ảnh gốc bị nhiễm mây bóng mây Việc tái tạo liệu từ ảnh đơn chưa nghiên cứu giới Hiện nay, lĩnh vực trực quan máy tính (Computer Vision), tái tạo thông tin ảnh (Image Inpainting) kỹ thuật phát triển việc D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 khôi phục vùng thơng tin ảnh Mơ hình Image Inpainting cấu trúc DCNN (Deep Convolutional Neural Network) có khả nhận liệu đầu vào ảnh với vùng thông tin bị (invalid pixel) tạo ảnh đầu tái tạo thơng tin cho vùng thiếu thơng tin hình ảnh Các mơ hình Image Inpainting điển nghiên cứu [11-13] Tuy nhiên, vấn đề phương pháp chúng nhận ảnh có vùng thơng tin bị (invalid pixel) dạng đa giác (rectangular hole) Trong đó, vùng bị nhiễm mây ảnh vệ tinh có nhiều hình dạng phức tạp khác khơng tn theo quy tắc hay đặc điểm nhận dạng Để khắc phục điều này, mơ hình Image Inpainting cho vùng thơng tin bị đa hình dạng (Irregular hole) nghiên cứu kỹ thuật tái tạo ảnh với vùng thông tin bị không quán [14] Do đó, nghiên cứu với cách tiếp cận vấn đề tái tạo liệu vùng nhiễm mây (mây bóng mây) cách phân loại pixels ảnh vệ tinh bị nhiễm mây “invalid pixels” Từ xây dựng mơ hình học máy sâu CNN để tự động thêm thông tin không gian đối tượng bị nhiễu mây vào vị trí pixels hình ảnh viễn thám quang học minh họa (Hình 1) Phương pháp nghiên cứu cách tiếp cận Để loại bỏ mây bóng mây, phương pháp sử dụng chia thành phương pháp theo khơng gian - thời gian, quang phổ, đa cảm biến phương pháp kết hợp, tùy theo loại liệu đầu vào khác mơ hình để loại bỏ vùng nhiễm mây [15-17] Dựa điều tra sâu rộng cơng việc trước đó, nghiên cứu sử dụng kỹ thuật mạng đối lập (GAN) để loại bỏ mây bóng mây hình ảnh viễn thám quang học đề xuất mơ hình kết hợp DCNN GAN cho ảnh đơn không bị nhiễm mây bóng mây cách tự tạo mây giả (mây nhân tạo) Mơ hình mơ chế trực quan đồng thời ý không gian cục khu vực mây bóng mây đến liệu bên 35 vùng nhiễm mây để tái tạo hay điền vào vùng liệu cịn thiếu tạo hình ảnh khơng có mây bóng mây với chất lượng tốt Đồng thời, kỹ thuật inpainting đề xuất có khả hoạt động tốt cho kết nối vùng [18] Do đó, liệu bị thiếu cho vùng mây bóng mây tổng hợp hiệu Trong nghiên cứu này, tập liệu mẫu bao gồm hình ảnh vệ tinh Sentinel-2 có độ phân giải khơng gian cao, thu thập khoảng từ năm 2017 đến năm 2020 Ảnh vệ tinh Sentinel-2 tập liệu đa phổ, với dải phổ lưu trữ dạng hình ảnh riêng biệt Đối với thử nghiệm nghiên cứu, hình ảnh vệ tinh Sentinel-2 từ dải phổ nhìn thấy bao gồm: B2Blue (Xanh lam), B3-Green (Xanh lục) B4Red (Đỏ) tất có độ phân giải khơng gian 10 m Các hình ảnh khơng có mây nghiên cứu chọn với độ che phủ mây 0% Trong đó, hình ảnh có mây bóng mây ảnh Sentinel-2, nghiên cứu chọn phạm vi vùng bị nhiễm mây bóng khoảng từ 10-40% Tất hình ảnh tải xuống khu vực miền Bắc Việt Nam, nơi dễ bị ảnh hưởng mây bóng mây q trình bay chụp ảnh vệ tinh Nghiên cứu sử dụng 12 hình ảnh khơng mây hình ảnh có mây bóng mây để đào tạo Sau đó, hình ảnh trích xuất với mảnh với kích thước 256×256 Các q trình xử lý mơ hình kết hợp DCNN GAN bao gồm: 2.1 Kỹ thuật tạo mây nhân tạo (mây giả) cho mơ hình học máy sâu Q trình học máy có kiểm định hàm phức hợp CNN yêu cầu liệu đầu ảnh nhiễm mây 𝑋𝑖 , vùng 𝑋𝑐 ảnh không nhiễm mây 𝑌 Mô hình học máy học (training) để dự đốn thông tin bị vùng 𝑋𝑐 qua thông tin từ ảnh 𝑌 Ảnh tái tạo 𝑌′ thể hàm (1): Y f ( Xi , Xc ) (1) Mơ hình học máy sâu sau tối ưu hàm sai số Loss cho nhỏ theo hàm (2): Loss minmize( Y Y ) (2) 36 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Tuy nhiên thu thập liệu ảnh bị nhiễm mây ảnh không mây vị trí nảy sinh vấn đề sau: i) thời gian chụp hai ảnh Sentinel-2 vị trí xa (đặc biệt khu vực bay chụp châu Á) Điều dẫn đến tượng thay đổi lớp phủ vùng mây bóng mây hai ảnh 𝑋𝑖 𝑌 không đồng nhất; ii) giá trị phổ ảnh 𝑋𝑖 𝑌 không đồng hai thời điểm chụp, gây khó khăn cho việc tối ưu thuật tốn học sâu Chính thế, nghiên cứu này, nhóm tác giả đề xuất phương pháp tạo ảnh mây giả (nhân tạo) từ ảnh khơng mây, từ dùng ảnh mây giả để tối ưu hóa mơ hình học sâu (Hình 2) Hình Tạo ảnh mây nhân tạo Hình Quy trình học máy gồm: (1) Ảnh nhiễm mây ảnh lọc mây đưa vào mô hình CNN, (2) Mơ hình tái tạo lại liệu vùng nhiễm mây, (3) Sai số ảnh tái tạo ảnh gốc khơng mây tính tốn, (4) Giá trị sai số sau sử dụng để tối ưu mơ hình CNN D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Dữ liệu ảnh không mây mây nhân tạo lấy ngẫu nhiên ảnh Sentinel-2 chụp nhiều khu vực che phủ lãnh thổ miền Bắc Việt Nam Với ảnh đơn kết hợp nhiều ảnh mây nhân tạo để tạo nhiều ảnh nhiễm mây giả vị trí khác Kỹ thuật giúp cho liệu ảnh nhiễm mây ảnh mây 𝑋𝑖 ảnh khơng mây 𝑌 hồn tồn đồng mặt thơng tin lớp mây giá trị phổ Trong nghiên cứu này, độ che phủ mây nhân tạo dao động khoảng 10% - 40% ảnh Với kỹ thuật tạo ảnh mây nhân tạo, mơ hình học máy minh họa (Hình 3) 37 2.2 Mơ hình học máy sâu mạng đối lập GAN Quy trình mạng đối lập GAN cấu tạo từ hai mô hình mạng nơron nhân tạo phức hợp Convolutional Neural Network (CNN) (Hình 4) Hai mơ hình tối ưu hóa trọng số theo hai hàm tốn đối lập nhau: mơ hình CNN tái tạo tối ưu để tạo ảnh khơng mây giống với ảnh thực Trong đó, mơ hình CNN phân biệt tối ưu để xác định ảnh không mây ảnh thực hay ảnh tái tạo (ảnh giả) Hình Quy trình kết hợp hai mơ hình học sâu CNN với hai hàm tốn tối ưu khác để tạo mơ hình học máy sâu mạng đối lập GAN Hình Chi tiết cấu trúc mơ hình CNN tái tạo CNN phân biệt mạng đối lập GAN 38 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Mạng đối lập Generative Adversarial Network (GAN) mơ hình học sâu có khả tạo hình ảnh nhân tạo giống với ảnh tự nhiên [19] Kỹ thuật mạng đối lập dựa ngun tắc như: i) Mơ hình tạo Generator (G), (ii) Mơ hình phân biệt Discriminator (D) Trong q trình học máy, mơ hình G tạo ảnh cho giống ảnh tự nhiên có thể, mơ hình D đánh giá ảnh G tạo ảnh tự nhiên thật (real) hay ảnh tự nhiên giả (reconstructed) Trong nghiên cứu này, nhóm tác giả xây dựng mơ hình G D dựa hàm lọc Gated Convolution với kiến trúc U-Net [16] Hai mơ hình Generator Discriminator minh họa (Hình 5) 2.3 Hàm sai số Sai số mạng đối lập Theo kỹ thuật GAN [14], nghiên cứu xác định hai mơ hình, Generator (G) Discriminator (D), với giá trị trọng số tương ứng 𝜃𝐺 𝜃𝐷 Cho ảnh nhiễm mây 𝑋𝑖 ảnh lọc mây 𝑋𝑐 , mơ hình G tạo ảnh tái tạo 𝑌 ′ = 𝐺(𝑋𝑖 , 𝑋𝑐 ), mơ hình D dự đốn ảnh khơng mây thật 𝑌 ảnh không mây tái tạo 𝑌 ′ ảnh thật hay ảnh giả Chính thế, mơ hình D học để tối ưu hóa khả dự đoán nhãn từ hàm log(𝐷(𝑌)) liệu tạo từ mơ hình G log (1 − 𝐷(𝐺(𝑋𝑖 , 𝑋𝑐 ))) Ở chiều cịn lại, mơ hình G học để giảm thiểu sai số hàm log (1 − 𝐷(𝐺(𝑋𝑖 , 𝑋𝑐 ))) Sai số mạng đối lập thể theo hàm (3) (4): LD maximize log DD (Y ) log(1 DD (GG ( X i , X c ))) (3) LGadversarial minimize log(1 DD (GG ( X i , X c ))) (4) Sai số thông tin Sai số thông tin ảnh tái tạo 𝑌′ ảnh không mây 𝑌 tính theo giá trị sai số tuyệt đối hai ảnh tính tốn theo hàm (5): L1 C W H Y Y C W H z 1 x 1 y 1 (5) Trong đó: H, W, C chiều dài, rộng số kênh ảnh 2.4 Đánh giá hiệu suất mơ hình Dữ liệu đầu vào mơ hình ảnh vệ tinh Sentinel-2 bị nhiễm mây bóng mây đầu ảnh khơng có mây bóng mây sau loại bỏ vùng bị nhiễm mây Để đo chất lượng hình ảnh khơng có mây bóng mây tạo khả loại bỏ mây bóng mây từ mơ hình kết hợp DCNN GAN Trong nghiên cứu này, hai tỷ số đánh giá chất lượng ảnh sau loại bỏ vùng nhiễm mây, (i) tỷ lệ tín hiệu độ nhiễu (Peak Signal to Noise Ratio - PSNR); (ii) số cấu trúc tương đồng (Structural Similarity Index – SSIM) Đây hai số sử dụng phổ biến để đánh giá chất lượng tương đồng hai ảnh [21, 22] PSNR phép đo khách quan để đánh giá chất lượng hình ảnh tái tạo, cơng thức tính tốn thể theo hàm (6) (2n 1) (6) PSNR 10log10 MSE Trong đó, n bits giá trị độ xám pixel (8 bits); MSE lỗi bình phương trung bình hình ảnh gốc ảnh tái tạo, tính tốn theo hàm (7) MSE H W H W ( X (i, j) Y (i, j)) (7) i 1 j 1 Giá trị PSNR nằm khoảng 20 đến 40, giá trị lớn thể khoảng cách gần hình ảnh tái tạo hình ảnh gốc, chất lượng ảnh tái tạo tốt SSIM số đánh giá mức độ giống hai hình ảnh (gốc tái tạo) thơng qua khía cạnh độ sáng, độ tương phản cấu trúc, có hàm tương ứng (8), (9), (10) 2 C (8) l ( X , Y ) X Y2 X Y C1 c( X , Y ) 2 X Y C2 X2 Y2 C2 (9) s( X , Y ) XY C3 X Y C3 (10) D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Trong đó, C1, C2, C3 số để tránh lỗi phân chia số không Lần lượt µ, σ giá trị trung bình phương sai hình ảnh, σXY phương sai hai ảnh gốc tái tạo Do đó, cơng thức tính toán tổng thể SSIM thể theo phương trình (11) 39 (11) SSIM l ( X , Y ) c( X , Y ) s( X , Y ) Phạm vi giá trị SSIM có giá trị từ đến 1, giá trị lớn có nghĩa hai hình ảnh (gốc tái tạo) giống Nếu giá trị hai ảnh gốc tái tạo hồn tồn giống Hình Kết tái tạo liệu ảnh mây nhân tạo Kết thảo luận 3.1 Hiệu suất mơ hình DCNN GAN Kết quả mơ hình tái tạo liệu ảnh mây nhân tạo thể Hình Có thể nhận thấy, giá trị số PSNR SSIM khu vực đồi núi thường cho kết cao, đối tượng khu vực phân bố khơng gian cách liên tục, khó có biến động vùng mây Trong vùng đồng có nhiều đối tượng khơng liên tục, làm cho mơ hình dự đốn thiếu độ xác, làm giảm giá trị số Kết phân tích định lượng mơ hình kết hợp DCNN-GAN liệu thử nghiệm thể Bảng Nhận thấy, số đánh giá PSNR SSIM mơ hình kết hợp DCNN-GAN dao động khoảng từ 24,11 dB – 32,60 dB (PSNR) SSIM (0,87 – 0,93) Đây mức chấp nhận (tốt) giá trị PSNP giá trị SSIM Bảng Phân tích định lượng tập mẫu Tập mẫu Chỉ số định lượng PNSR SSIM 31,99 0,92 26,74 0,91 32,60 0,93 24,11 0,87 26,17 0,87 Với ảnh mây thật, vùng mây bóng mây xác định hàm F-mask [6], sau liệu 40 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 mơ hình tự động tính tốn, loại bỏ vùng mây tái tạo thông tin vùng mây xác định minh họa Hình Kết ảnh mây thật đánh giá qua giá trị trực quan Hình Kết tái tạo liệu ảnh mây nhân tạo Hình Chất lượng tái tạo suy giảm theo tỉ lệ mây che phủ mức độ tập trung D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 3.2 Thảo luận Trong nghiên cứu này, mơ hình kết hợp DCNN GAN với thuật toán mạng đối lập đánh giá ảnh Sentinel-2 có tỉ lệ nhiễm mây (mây bóng mây) từ 15% - 25% Đối với ảnh có tỉ lệ nhiễm mây cao hơn, nhóm tác giả nhận thấy khả tái tạo liệu bị giảm (theo giá trị số PSNR SSIM) mơ hình lúc dự đốn vùng thơng tin cách ngẫu nhiên (Hình 8) Điều giải thích, mơ hình học thông tin từ vùng xung quanh vùng nhiễm mây, vùng thơng tin q ít, mơ hình khơng có khả dự đốn cách xác Đồng thời, với ảnh có tỉ lệ nhiễm mây trung bình mật độ mây tập trung vào vị trí, điều gây tượng dự đốn lỗi Hình với lượng mây từ 25% - 30% Nếu vùng mây phân bố rải rác mơ hình có khả tái tạo với mức độ mây phủ từ 35% - 40% Tuy nhiên, ảnh Sentinel-2 bị nhiễm mây với tỉ lệ bao phủ lớn (> 50%), nhóm tác giả đề xuất sử dụng cặp ảnh đa thời gian với mơ hình sử dụng nghiên cứu để đạt 41 kết tốt Bên cạnh đó, mơ hình sử dụng nghiên cứu gặp hạn chế tái tạo thông tin khu vực có mức độ chi tiết cao tính khơng đồng (khu vực thị, dân cư) Với độ phân giải không gian 10 m, đối tượng nhà, cơng trình xây dựng thường có kích thước nhỏ pixel, mơ hình khơng có khả tái tạo thơng tin đối tượng Cùng với đó, nghiên cứu đánh giá thống kê giá trị phổ tái tạo cho ba kênh ảnh ảnh Sentinel-2 (Red, Green, Blue) so với ảnh gốc khu vực khác Trong thí nghiệm khu vực đồi núi (Hình 9), kiểu khu vực có đối tượng lớp phủ liên tục đồng nhất, mơ hình có khả tái tạo kênh phổ với sai số tương đối thấp (0% - 5%) so với giá trị phản xạ phổ ảnh gốc Ngược lại, khu vực đồng bằng, khu dân cư (Hình 10), nơi có đối tượng phân bố khơng đồng liên tục, mơ hình tái tạo dự đốn giá trị phổ có xu hướng tạo sai số cao (10% - 20%) Kênh ảnh Red ảnh Sentinel-2 thường có giá trị sai số cao kênh Green kênh Blue Hình Sai số phổ tái tạo khu vực đồi núi 42 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Hình 10 Sai số phổ tái tạo khu vực đồng khu dân cư Kết luận kiến nghị Trong nghiên cứu này, nhóm tác giả đề xuất lựa chọn phương pháp tái tạo vùng liệu bị mây che phủ ảnh đơn Sentinel-2 phương pháp học máy sâu với mơ hình DCNN mạng đối lập GAN Kỹ thuật inpainting kết hợp mơ hình học máy sâu DCNN mạng đối lập GAN cho ảnh đơn (duy nhất) bị nhiễm mây bóng mây cho phép tái tạo lại liệu bị thiếu cách truyền thơng tin hình học từ bên vùng mây Phương pháp loại bỏ đám mây cách tái tạo pixel bị nhiễm mây bóng mây pixel tương ứng mặt khơng gian gần hình ảnh cục khơng có mây So với phương pháp lọc mây truyền thống cần yêu cầu phải sử dụng nhiều ảnh đa thời gian để tái tạo liệu, phương pháp đề xuất có ưu điểm tự xác định thơng tin xung quanh đối tượng mây để dự đốn phần thơng tin bị che phủ Đây điểm mạnh thuật tốn học máy sâu, qua q trình đào tạo, mơ hình nghiên cứu có khả đưa dự đốn thơng tin vùng nhiễm mây với độ xác cao dựa kết PSNR số cảnh ảnh thử nghiệm Trong thấy cải thiện đáng kể hiệu suất, xác nhận hiệu kết mơ hình đề xuất nghiên cứu Với việc áp dụng kỹ thuật này, chất lượng liệu ảnh Sentinel-2 Việt Nam vốn chịu ảnh hưởng mây chu kỳ bay chụp ngắn, cải thiện đáng kể giúp cho nhà nghiên cứu viễn thám có thêm cơng cụ để làm dày liệu nghiên cứu phục vụ cho mục đích giám sát tài ngun mơi trường Bên cạnh đó, việc ứng dụng phương pháp có hữu ích cho khu vực bị thiếu hụt thông tin hệ thống hình ảnh Một trường hợp cần loại bỏ mây bóng mây hình ảnh phục vụ tiện ích cho ứng dụng Maps dự án Liên Hợp Quốc nhằm ứng phó với thiên tai phân tích hình ảnh vệ tinh D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 Lời cảm ơn Nghiên cứu tài trợ Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội đề tài mã số TN.21.14 [8] Tài liệu tham khảo [1] N Q Long, T V Anh, B K Luyen, Determination of Ground Subsidence By Sentinel-1 Sar Data (2018-2020) over Binh Duong Quarries, Vietnam, Vnu Journal of Science: Earth and Environmental Sciences, Vol 37, No 2, 2021, pp 69-83, https://doi.org/10.25073/2588-1094/vnuees.4605 (in Vietnamese) [2] C H Lin, P H Tsai, K H Lai, J Y Chen, Cloud Removal from Multitemporal Satellite Images Using Information Cloning, in IEEE Transactions on Geoscience and Remote Sensing, Vol 51, No 1, 2013, pp 232-241, https://doi.org/10.1109/tgrs.2012.2197682 [3] S Huanfeng, L H Fang, Q Yan., Z L Pei, Y Q Qiang, An Effective Thin Cloud Removal Procedure for Visible Remote Sensing Images, Isprs Journal of Photogrammetry and Remote Sensing, Vol 96, 2012, pp 224-235, https://doi.org/10.1016/j.isprsjprs.2014.06.011 [4] N Q Huy, P V Manh, N X Linh et al., Building A Travel Advisory System Using Webgis Technology for Tourism Development in Quang Binh, Vietnam, Vnu Journal of Science: Earth and Environmental Sciences, Vol 35, No 3, 2019, pp 108-114, https://doi.org/10.25073/2588-1094/vnuees.4399 (in Vietnamese) [5] P V Dong, B Q Thanh, N Q Huy et al., Application of Deep Learning Algorithm to Build an Automated Cloud Segmentation Model Based on Open Data Cube Framework, VNU Journal of Science: Earth and Environmental Sciences, Vol 36, No 4, 2020, pp 8-16, https://doi.org/10.25073/2588-1094/vnuees.4441 (in Vietnameses) [6] O Hagolle, M Huc, D V Pascual, G Dedieu, A Multi-temporal Method for Cloud Detection, Applied to FORMOSAT-2, VENUS, LANDSAT and SENTINEL-2 Images, Remote Sensing of Environment, Vol 114, No 8, 2010, pp 1747-1755, https://doi.org/10.1016/j.rse.2010.03.002 [7] Z Zhe, W Shixiong, W E Curtis, Improvement and Expansion of the Fmask Algorithm: Cloud, Cloud Shadow, and Snow Detection for Landsats [9] [10] [11] [12] [13] [14] [15] [16] [17] 43 4–7, 8, and Sentinel Images, Remote Sensing of Environment, Vol 159, 2015, pp 269-277, https://doi.org/10.1016/j.rse.2014.12.014 T A Tuan, N D Duong, Development of Landsat Cloud Free Image Data for Classification of Land Cover-case Study in Dak Lak Province, VNU Journal of Science: Earth and Environmental Sciences, Vol 35, No 4, 2019, pp 80-87, https://doi.org/10.25073/2588-1094/vnuees.4447 Q Cheng, H Shen, L Zhang et al., Cloud Removal for Remotely Sensed Images by Similar Pixel Replacement Guided with A Spatio-Temporal MRF Model, ISPRS Journal of Photogrammetry and Remote Sensing, Vol 92, 2014, pp 54-68, https://doi.org/10.1016/j.isprsjprs.2014.02.015 X Zhang, F Qin, Y Qin, Study on the Thick Cloud Removal Method Based on Multi-temporal Remote Sensing Images, International Conference on Multimedia Technology, 2010, pp 1-3, https://doi.org/10.1109/ICMULT.2010.5631017 C Yang, X Lu, Z Lin et al., High-Resolution Image Inpainting Using Multi-Scale Neural Patch Synthesis, 2017, pp 6721-6729, https://doi.org/10.1109/CVPR.2017.434 X Zhu, Y Qian, X Zhao et al., A deep Learning Approach to Patch-based Image Inpainting Forensics, Signal Processing: Image Communication, Vol 67, 2018, pp 90-99, https://doi.org/10.1016/j.image.2018.05.015 J Yu, Z Lin, J Yang et al., Generative Image Inpainting with Contextual Attention, 2018, pp 5505-5514, https://doi.org/10.48550/arXiv.1801.07892 G Liu, F A Reda, K J Shih et al., Image Inpainting for Irregular Holes Using Partial Convolutions, 2018, pp 1-15, https://doi.org/10.48550/arXiv.1804.07723 H Shen, X Li, Q Cheng et al, Missing Information Reconstruction of Remote Sensing Data: A Technical Review, IEEE Geosci Remote Se.ns Mag, Vol 3, No 3, 2015, pp 61-85, https://doi.org/10.1109/MGRS.2015.2441912 H Shen, J Wu, Q Cheng et al., A Spatiotemporal Fusion Based Cloud Removal Method for Remote Sensing Images with Land Cover Changes, IEEE J Sel Top Appl Earth Observations Remote Sensing, Vol 12, No 3, 2019, pp 862-874, https://doi.org/ 10.1109/JSTARS.2019.2898348 A M Martínez, E I Verdiguier, M P Maneta et al., Multispectral High Resolution Sensor Fusion for Smoothing and Gap-filling in the Cloud, Remote Sensing of Environment, Vol 247, 2020, 44 D T Nhung et al / VNU Journal of Science: Earth and Environmental Sciences, Vol 38, No (2022) 32-44 pp 1-19, https://doi.org/10.1016/j.rse.2020.111901 [18] X Zhu, Y Qian, X Zhao et al., A Deep Learning Approach to Patch-Based Image Inpainting Forensics, Signal Processing: Image Communication, Vol 67, 2018, pp 90-99, https://doi.org/10.1016/j.image.2018.05.015 [19] I J Goodfellow, J P Abadie, M Mirza et al, Generative Adversarial Networks, arXiv: 14062661, 2014, pp 1-9, https://doi.org/10.48550/arXiv.1406.2661 [20] O Ronneberger, P Fischer, T Brox, U-Net: Convolutional Networks for Biomedical Image Segmentation, arXiv:150504597, 2015, pp 1-8, https://doi.org/10.48550/arXiv.1505.04597 [21] J Korhonen, J You, Peak Signal-to-noise Ratio Revisited: is Simple Beautiful?, 2012 Fourth International Workshop on Quality of Multimedia Experience, 2012, pp 37-38, https://doi.org/10.1109/QoMEX.2012.6263880 [22] L Zhang, L Zhang, X Mou, D Zhang, FSIM: A Feature Similarity Index for Image Quality Assessment, in IEEE Transactions on Image Processing, Vol 20, No 8, 2011, pp 2378-2386, https://doi.org/10.1109/TIP.2011.2109730 ... Environmental Sciences, Vol 38, No (20 22) 32- 44 33 Nghiên cứu mơ hình tái tạo vùng liệu bị mây che phủ ảnh đơn viễn thám đa phổ Sentinel- 2 sử dụng thuật toán mạng đối lập Đỗ Thị Nhung, Phạm Vũ Đông,... dễ bị ảnh hưởng mây bóng mây trình bay chụp ảnh vệ tinh Nghiên cứu sử dụng 12 hình ảnh khơng mây hình ảnh có mây bóng mây để đào tạo Sau đó, hình ảnh trích xuất với mảnh với kích thước 25 6? ?25 6... Các hình ảnh khơng có mây nghiên cứu chọn với độ che phủ mây 0% Trong đó, hình ảnh có mây bóng mây ảnh Sentinel- 2, nghiên cứu chọn phạm vi vùng bị nhiễm mây bóng khoảng từ 10-40% Tất hình ảnh