Một số phương pháp nâng cao độ phân giải ảnh viễn thám bằng phương pháp siêu phân giải

Bài báo tập trung đánh giá một số phương pháp siêu phân giải (Superresolution, viết tắt SR) phát triển còn khá mới mẻ trong thời gian gần đây cho mục đích nâng cao độ phân giải nhằm tận dụng tốt hơn thông tin ảnh viễn thám VNREDSat-1 của Việt Nam. Mời các bạn tham khảo!

Trao đổi - Ý kiến MỘT SỐ PHƯƠNG PHÁP NÂNG CAO ĐỘ PHÂN GIẢI ẢNH VIỄN THÁM BẰNG PHƯƠNG PHÁP SIÊU PHÂN GIẢI TS LÊ QUỐC HƯNG, KS TRƯƠNG THỊ TUYẾT Cục Viễn thám q́c gia Tóm tắt: Nâng cao độ phân giải không gian ảnh mục tiêu nghiên cứu hàng đầu nhà khoa học lĩnh vực viễn thám Biện pháp nâng cao độ phân giải không gian phương pháp nâng cấp, nghiên cứu chế tạo đầu thu, cảm tiên tiến cho phép thu ảnh với độ phân giải khơng gian cao có chí phí vơ lớn Bên cạnh đó, nâng cao độ phân giải khơng gian độ phân giải phổ thường bị hạn chế Những nguyên thúc đẩy nhà khoa học nghiên cứu phương pháp xử lý nâng cao độ phân giải khơng gian thuật tốn chuyển đổi ảnh từ độ phân giải thấp độ phân giải cao dựa liệu ảnh thu thập Bài báo tập trung đánh giá số phương pháp siêu phân giải (Superresolution, viết tắt SR) phát triển mẻ thời gian gần cho mục đích nâng cao độ phân giải nhằm tận dụng tốt thông tin ảnh viễn thám VNREDSat-1 Việt Nam Đặt vấn đề Hệ thống vệ tinh VNREDSat-1 hệ thống vệ tinh quan sát Trái Đất Việt Nam Sau thực thành công Dự án, Việt Nam sau chủ động cung cấp ảnh viễn thám độ phân giải cao cho Bộ, ngành tỉnh thành có nhu cầu sử dụng liệu ảnh viễn thám phục vụ phát triển kinh tế - xã hội, ứng phó với thảm hoạ thiên nhiên biến đổi khí hậu Để tận dụng ứng dụng có hiệu nguồn ảnh viễn thám Việt Nam cho mục đích giám sát tài ngun thiên nhiên mơi trường, bảo vệ lãnh thổ, việc nghiên cứu nâng cao độ phân giải không gian cần thiết Việc nâng cao độ phân giải không gian theo hướng xử lý chuỗi ảnh chụp vị trí, có độ phân giải để tạo ảnh có độ phân giải cao Phương pháp gọi phương pháp siêu phân giải - supperresolution (SR) Kỹ thuật quan trọng phương pháp SR phương pháp nội suy làm tăng hay giảm kích thước pixel, sử dụng đa ảnh độ phân giải thấp để tái cấu trúc, xử lý hạn chế ảnh đơn tốt Các thông tin dư thừa chứa ảnh độ phân giải thấp đưa vào tịnh tiến subpixel chúng Sự tịnh tiến subpixel xuất theo đối tượng theo chuyển động điều khiển ví dụ hệ thống thu ảnh vệ tinh với quỹ đạo có tốc độ phương ấn định trước Các phương pháp siêu phân giải Hệ thống chụp ảnh tồn sai số hạn chế phần cứng, ảnh thu nhận ln bị suy giảm chất lượng Ví dụ, giới hạn độ mở ống kính nguyên nhân dẫn tới tượng mờ ảnh, tượng thường mơ hình hóa hàm lan truyền theo điểm nguồn PSF (Point Spread Function) Hạn chế thời gian phơi sáng thể rõ chụp đối tượng chuyển động thiết bị chụp chuyển động Hạn ch v kớch 26 tạp chí khoa học đo đạc đồ số 20-6/2014 Trao i - í kin thước cảm đưa đến ảnh hưởng mờ cảm Ảnh hưởng xuất phát từ việc giá trị pixel ảnh dựa vào xung đơn vị diện tích mà cảm thu nhận thay lấy mẫu xung từ nhiều cảm Hạn chế mật độ cảm biến cảm dẫn tới tượng cưa từ làm ảnh hưởng tới độ phân giải không gian ảnh thu nhận Những ảnh hưởng mô hoàn toàn phần phương pháp SR khác Kỹ thuật siêu phân giải (SR) phương pháp xây dựng ảnh độ phân giải cao (HR) từ vài ảnh độ phân giải thấp (LR) tăng cường thành phần có tần số cao loại bỏ yếu tố gây suy giảm chất lượng ảnh cách xử lý ảnh từ cảm có độ phân giải thấp 2.1 Mơ hình chụp ảnh Hình mơ tả hệ thống thu ảnh mô tả theo [2] với đầu vào ảnh tự nhiên liên tiếp với chất lượng đạt tới giới hạn hệ thống Hình 1: Hệ thống tạo ảnh từ đầu thu Nếu xem X ảnh độ phân giải cao kỳ vọng Yk ảnh thứ k độ phân giải thấp từ hệ thống chụp ảnh Khi đó, mối quan hệ X Yk mô tả theo hàm “lexicographical” Giả sử, ta thu K ảnh LR X, ảnh độ phân giải thấp quan hệ với ảnh độ phân giải cao theo công thức: Yk = DkHkFkX + Vk, k =1,2,3…K Trong đó: Fk hàm mơ tả chuyển động ảnh thứ k Hk mơ hình ảnh hưởng tượng mờ ảnh Dk toán tử down-sampling (toán tử làm mịn ảnh) Vk hàm nhiễu Hàm quan hệ tuyến tính thể theo công thức dạng ma trận: Hay Y = M.X+V tạp chí khoa học đo đạc ®å sè 20-6/2014 27 Trao đổi - Ý kiến Trong thực tế, ma trận M thường ma trận thưa nên hàm liên kết thường yếu Hơnnữa, thông số D, H, F thường khơng có đầy đủ mà phải tính tốn dựa số liệu thực tế Do đó, việc tính tốn ảnh tạo độ phân giải cao X không đơn giản Các nhà khoa học cố gắng tìm phương pháp tổ hợp ảnh độ phân giải thấp Y theo nhiều phương pháp tốn học nhằm tìm hàm quan hệ thực tế khả dụng 2.2 Phương pháp siêu phân giải sử dụng miền tần số Tsai Huang [1] sử dụng mối quan hệ ảnh độ phân giải cao với ảnh độ phân giải thấp tịnh tiến công thức miền tần số dựa dịch chuyển tịnh tiến ảnh độ phân giải thấp thuộc tính khử cưa chuỗi biến đổi Fourier Nếu x(t1,t2) biểu thị cho cảnh độ phân giải cao chuỗi liên tục có trường K ảnh tịnh tiến: xk (t1,t2) = x(t1 + ∆k1, t2 + ∆k2), với k = 1,2,….,K Trong đó: ∆k1 ∆k2 tùy biến theo mức độ dịch chuyển Chuỗi liên tục biến đổi Fourier (CFT) cảnh cho X ( u1,u2) ảnh tính chuyển từ Xk (u1,u2) Mối quan hệ chúng xác định theo công thức: Xk (u1,u2) = exp[j2π(∆k1 u1 + ∆k2 u2)] X (u1,u2) Ảnh tịnh tiến lấy mẫu theo dạng xung thời gian T1 T2 để có ảnh độ phân giải thấp: yk [n1,n2] = x(n1.T1 + ∆k1, n2.T2 + ∆k2), với n1 = 0,1,2,….,N1-1 ; n2 = 0,1,2,….,N2-1 Xét hàm Chuỗi rời rạc biến đổi Fourier (DFTs) ảnh độ phân giải thấp Y k[r1,r2] Biến đổi CFT ảnh tịnh tiến có mối quan hệ với biến đổi DFTs thơng qua thuộc tính khử cưa chuỗi biến đổi Fourier: Giả định X (u1,u2) giới hạn, |X (u1,u2)| = |u1| ≥ (N1π)/T1, |u2| ≥ (N2π)/T2, tổ hợp 02 cơng thức ta có hệ số DFT Yk[r1,r2] với giá trị mẫu chưa biết CFT x(t1,t2) theo dạng: Y = Φ.X (*) Trong đó: Y vector K hàng cột với k hệ số hàm DFT Yk[r1,r2] th X vector N1N2 hàng cột với giá trị mẫu chưa biết hệ số hàm CFT x( t1,t2) Φ ma trận K hàng N1N2 cột, ma trận quan hệ Y X Công thức (*) định nghĩa quan hệ tuyến tính xuất phát từ việc hướng tới X sau 28 t¹p chÝ khoa häc đo đạc đồ số 20-6/2014 Trao i - Ý kiến sử dụng nghịch đảo hàm DFT để tái cấu trúc ảnh Mối quan hệ sử dụng để tái cấu trúc ảnh SR với giả định nhiễu dịch chuyển biết thơng số đầy đủ Quá trình giảm độ phân giải giả định sử dụng mẫu xung có ảnh hưởng tượng mờ cảm viễn thám Phương pháp miền tần số bị giới hạn tịnh tiến ảnh thiếu rõ nét bất biến (spatially-invariant blurring) Vì thế, phương pháp khơng thể sử dụng để kết hợp ảnh chụp góc khác ảnh bị quay theo ảnh khác gây biến dạng có khoảng cách lấy mẫu bất qui tắc 2.3 Phương pháp siêu phân giải miền không gian Hiện tồn nhiều phương pháp thống kê linh hoạt ứng dụng [3], [4] để tái cấu trúc ảnh độ phân giải thấp Công thức quan hệ ảnh độ phân giải cao ảnh độ phân giải thấp giống với phương pháp phục hồi ảnh truyền thống [5], nhiều phương pháp thống kê linh hoạt ứng dụng để tái cấu trúc ảnh độ phân giải thấp Có thể kể đến phương pháp Maximum Likelihood (ML), Maximum a Posteriori (MAP) [6] phương pháp Projection Onto Convex Sets (POCS) [7] 2.3.1 Nội suy phục hồi ảnh - Phương pháp khơng tính lặp Giả định Hk khơng gian tuyến tính bất biến - Linearly Spatial Invariant (LSI) đồng khung hình K, biểu thị không gian H Giả sử Fk mơ hình chuyển động đơn giản tịnh tiến, quay, H Fk theo [8] thì: Yk = DkFkHX + Vk = DkFZ, k = 1, 2, ,K, Đây sở phương pháp tính khơng lặp dựa nội suy phục hồi ảnh Có bước cụ thể sau: - Đăng ký ảnh độ phân giải thấp (khớp ảnh độ phân giải thấp) - Nội suy không đồng dạng để xác định Z - Khử mờ nhiễu để có X Khung ảnh độ phân giải thấp liên kết vài nguyên lý phục hồi ảnh để đưa subpixel xác Sự liên kết khung hình độ phân giải thấp sau đặt lưới độ phân giải cao mà nội suy không đồng dạng dùng để lấp pixel bị ảnh độ phân giải cao để có Z Sau cùng, Z tiến hành xóa mờ phương pháp deconvonlutional truyền thống với việc loại bỏ nhiễu để tạo X Kenren, Peleg, and Brada [9] giới thiệu phương pháp tái cấu trúc ảnh SR thơng qua bước dựa mơ hình chuyển động xoắn Bên cạnh đó, Gross [10] đưa phương pháp nội suy không đồng dạng để tổ hợp ảnh độ phân giải thấp cách thiết lập nguyên lý tái chia mẫu đa kênh Còn Papulis tiến hành phương pháp tái chia mẫu sử dụng hiệu ứng xóa mờ (Xem hình 2) Phương pháp nội suy liên tục cải tiến, sử dụng phương pháp nội suy tam giác bất quy tắc, nội suy láng giềng gần Ưu điểm phương pháp trình đăng ký ảnh xử lý dễ dàng nhiên hạn chế việc giảm tượng rng ca trờn nh tạp chí khoa học đo đạc đồ số 20-6/2014 29 Trao i - í kiến Hình 2: Phương pháp miền khơng gian nội suy - phục hồi ảnh 2.3.2 Phương pháp thống kê Không phương pháp nội suy - phục hồi ảnh, phương pháp thống kê xem bước tái cấu ảnh SR ngẫu nhiên Ảnh độ phân giải cao kết (HR) yếu tố đầu vào dịch chuyển ảnh thu nhận (SR) xem biến ngẫu nhiên Đặt M(v,h) ma trận suy giảm xác định vector chuyển động v toán tử mờ h, tái cấu trúc ảnh SR đưa vào dạng hàm Bayesian đầy đủ: (*) Chú ý rằng, X M(v,h) thống kê độc lập theo [11] Ở đây, Pr(X,M(v,h)) liệu thông tin ảnh , Pr(X) hạn sai ám ảnh độ phân giải cao mong muốn, Pr(M(v,h)) thuật ngữ thể thống kê chuyển động V công thức thường độ nhiễu, giả định không với vector Gaussian rỗng Theo đó: Pr(X) xác định cách sử dụng hàm phân phối Gibbs theo hàm mũ dạng: Trong đó: A(X) hàm khả khơng âm; Z yếu tố chuẩn hóa Hàm Bayesian theo công thức (*) phức tạp khó để thực đánh giá thống kê vệ tinh chuyển động 2.3.3 Phương pháp thiết lập nguyên lý phục hồi ảnh 30 t¹p chÝ khoa häc đo đạc đồ số 20-6/2014 Trao i - Ý kiến Bên cạnh phương pháp tiếp cận tối ưu hóa từ việc sử dụng biến ngẫu nhiên thảo luận trên, chiều hướng tiếp cận khác thông qua Phép chiếu tập lồi Projection onto Convex Sets (POCS) ) giới thiệu [12] Phương pháp POCS giải vấn đề ảnh độ phân giải thấp cách xây dựng tập lồi với nhiều giới hạn bao gồm yêu cầu ảnh, yêu cầu xem điểm lồi Những định nghĩa tập lồi tương đối linh hoạt kết hợp nhiều loại điều kiện đặt trước, chí giới hạn phi tuyến khơng có tham số Tích hợp liệu với điều kiện tái cấu trúc mơ hình hóa dạng tập lồi K: Ck ={X | ||DkHkFkX − Yk ||2 ≤ σ2, ≤ k ≤ K} Trong đó, tồn điều kiện làm mịn điều kiện biên độ Kỹ thuật POCS đưa thuật tốn tìm điểm giao tập X: Xk+1 = PMPM-1 … P2P1Xk Trong đó, X0 giá trị đặt ban đầu; Pi toán tử chiếu - toán tử chiếu chiếu điểm lên tập lồi khép kín Ci Những ưu điểm kỹ thuật POCS đơn giản kết hợp với giới hạn điều kiện cho trước mà phương pháp tiếp cận ngẫu nhiên không cho phép Tuy nhiên, POCS có mức độ tính tốn nặng hội tụ chậm Giải pháp POCS không hồn hảo phụ thuộc nhiều vào việc đặt thơng số ban đầu Các phương pháp POCS giả định trước thông số chuyển động mờ hệ thống Nó khơng thể ước tính thơng qua thành phần đăng ký trước ảnh độ phân giải cao phương pháp tiếp cận ngẫu nhiên Đề xuất phương pháp siêu phân giải (SR) xử lý ảnh VNREDSAT-1 Đứng phương diện tổng thể có hai phương pháp phương pháp dựa miền tần số miền không gian Phương pháp miền tần số thường sử dụng chuỗi Fourier để mô dịch chuyển đồng thời đa ảnh ban đầu Tuy nhiên, tính chất phức tạp dịch chuyển đa ảnh nên hàm mô thường không đủ tham số việc giải tốn khó khăn mơ hình khơng chặt chẽ Do phương pháp phát triển nâng cao Phương pháp sử dụng miền không gian với đặc điểm ước lượng thông số trước dựa thông tin ảnh yêu cầu ảnh độ phân giải cao đầu giải vấn đề không đủ tham số phương pháp miền tần số Đây hướng phát triển mở rộng mạnh mẽ nghiên cứu siêu phân giải Từ trước đến nay, phương pháp miền khơng gian có nhiều phương pháp phát triển nối tiếp nhau, phương pháp giải vấn đề tồn phương pháp trước Xét kỹ thuật có hai hướng phương pháp sử dụng biến ngẫu nhiên ước lượng thông qua hàm xác xuất phương pháp ước lượng biến thông qua xác định tập lồi phép chiếu tập lồi với điều kiện biên xác định trước Ngoài ra, phương pháp kết hợp hai phương pháp phát triển kết nghiên cứu ban đầu mang lại kết tương đối khả quan Vì vậy, dựa nguyên lý phương pháp sử dụng miền khơng gian để xử lý ảnh VNREDSat-1 cho mục đích nâng cao, đề xuất sử dụng bước sau: t¹p chÝ khoa häc đo đạc đồ số 20-6/2014 31 Trao i - Ý kiến - Thu nhận đa ảnh (01) vị trí; - Mơ mối quan hệ ảnh thu nhận được, thường thông qua mơ hình chuyển động ảnh với đối tượng chụp; - Phân chia Pixel, thường chia (01) pixel ban đầu thành bốn (04) sub-pixels; - Lập ma trận giá trị pixel ban đầu để xác định giá trị pixel ảnh độ phân giải cao kết quả; - Tái cấu trúc ảnh Q trình tính tốn thường khơng phân chia rõ rệt thành bước mà thực bước thiết lập mơ hình thống kết hợp tất bước Kết luận Những vấn đề trở ngại lớn phương pháp SR xuất phát từ q trình khớp ảnh, việc tính tốn nặng q trình tính tốn tham số mơ hình phục hồi ảnh… Khớp ảnh định chất lượng lấy mẫu khơng gian bổ sung vào q trình phân chia pixel tái cấu trúc Kỹ thuật khớp ảnh cần phải lưu tâm với ảnh viễn thám vùng địa hình biến đổi phức tạp Nhiễu gây sai số trình khớp ảnh ảnh lớn hiệu ứng mờ nội suy Độ xác phân chia subpixel định giá trị pixel ảnh độ phân giải cao Do đó, để phù hợp với việc tái cấu trúc ảnh SR việc khớp ảnh LR giải với trượt xoắn ảnh trước tái cấu trúc ảnh để thu ảnh có độ phân giải khơng gian cao Một hạn chế ứng dụng thực tế phương pháp tái cấu trúc SR tính tốn địi hỏi thao tác với ma trận tốn nhớ máy tínhTrên thực tế, với ảnh viễn thám khối lượng pixel ảnh lớn vấn đề đáng quan tâm Tuy nhiện, nhà khoa học đề xuất nhiều biện pháp tính tốn nhằm giảm nhớ đồng thời tăng tốc độ tính tốn lên thơng qua việc lược bỏ thành phần không cần thiết, xây dựng mơ hình chặt chẽ từ đầu để loại trừ bớt thơng số biết vào tính tốn Đến nay, để đưa hạn chế cho tất kỹ thuật SR khó Việc sử dụng phương pháp SR cho ảnh VNREDSat-1 nhiệm vụ phức tạp bao gồm nhiều bước tính tốn phụ thuộc lẫn Bài báo kết đề tài “Nghiên cứu phương pháp xử lý nâng cao chất lượng ảnh vệ tinh VNREDSat-1”, mã số VT/UD-01/13-15, thuộc Chương trình khoa học công nghệ độc lập cấp Nhà nước Công nghệ vũ trụ mã số KHCN-VT/12-15.m Tài liệu tham khảo [1] R Y Tsai and T S Huang Multipleframe image restoration and registration.In Advances in Computer Vision and Image Processing, pages317–339 Greenwich, CT: JAI Press Inc., 1984 [2] M Elad S Farsiu, D Robinson and P Milanfar Advances and chal-lenges in superresolution International Journal of Imaing Systems andTechnology, 14(2):47-57, 2004 [3] Sean Borman and Robert L Stevenson Super-resolution from image sequences A review In Proceedings of the 1998 Midwest Symposium on Circuits and Systems, pages 374–378, 1998 32 t¹p chÝ khoa học đo đạc đồ số 20-6/2014 Trao đổi - Ý kiến [4] S Baker and T Kanade Limits on super-resolution and how to break them IEEE Transactions on Pattern Analysis and Machine Intelligence, 24(9):1167–1183, 2002 [5] M Elad and A Feuer Restoration of single super-resolution image from several blurred, noisy and down-sampled measured images IEEE Transaction on Image Processing, 6(12):1646–1658, 1997 [6] R C Hardie, K J Barnard, and E E Armstrong Join MAP registration and high resolution image estimation using a sequence of undersampled images IEEE Transactions on Image Processing, 6(12):1621–1633, 1997 [7] H Stark and P Oskoui The method of convex projections and its application to image reconstruction in computerized tomography Control and Applications, 1989 Proceedings ICCON ‘89 IEEE International Conference on tr 241-244, 1989 [8] S Farsiu, D Robinson, M Elad, and P Milanfar Fast and robust multi-frame superresolution IEEE Transaction on Image Processing, 13(10):1327–1344, 2004 [9] D Keren, S Peleg, and R Brada Image sequence enhancement using subpixel displacements In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pages 742–746, 1988 [10] H Ur and D Gross Improved resolution from subpixel shifted pictures CVGIP: Graphical Models and Image Processing, 54(2):181–186, 1992 [11] R C Hardie, K J Barnard, and E E Armstrong Join MAP registration and high resolution image estimation using a sequence of undersampled images IEEE Transactions on Image Processing, 6(12):1621–1633, 1997 [12] D C Youla and H Webb Image registration by the method of convexprojections: Part 1-thoery IEEE Transactions on Medical Imaging,1(2):81–94, 1982.m Summary Improving resolution of remote sensing images by super resolution methods Dr Le Quoc Hung, Eng Truong Thi Tuyet Vietnam Remote Sensing Center The method for improving remote sensing image spatial resolution is the target of the top research scientists in the field of remote sensing Up to now, the way to improve image spatial resolution by upgrading and manufacture of new advanced sensors that allow taking high spatial resolution images has enormous costs In addition, spectral resolution was often limited while enhanced spatial resolution These reasons prompted scientists to discover the method for improving spatial resolution by transformed algorithms to high resolution images based on received images This article focuses on assessing some superresolution methods which develop so far The result will be scientific basis for the purpose of enhancing resolution to better use of VNREDSat-1 data.m Ngày nhận bài: 10/3/2014 t¹p chÝ khoa học đo đạc đồ số 20-6/2014 33 ... ảnh hưởng tới độ phân giải không gian ảnh thu nhận Những ảnh hưởng mơ hồn tồn phần phương pháp SR khác Kỹ thuật siêu phân giải (SR) phương pháp xây dựng ảnh độ phân giải cao (HR) từ vài ảnh độ. .. 2.3 Phương pháp siêu phân giải miền không gian Hiện tồn nhiều phương pháp thống kê linh hoạt ứng dụng [3], [4] để tái cấu trúc ảnh độ phân giải thấp Công thức quan hệ ảnh độ phân giải cao ảnh độ. .. thông tin ảnh yêu cầu ảnh độ phân giải cao đầu giải vấn đề không đủ tham số phương pháp miền tần số Đây hướng phát triển mở rộng mạnh mẽ nghiên cứu siêu phân giải Từ trước đến nay, phương pháp miền