Khôi phục mù ảnh tĩnh dùng phép biến đổi radon tuần hoàn rời rạc

1 CHƯƠNG : MỞ ĐẦU Lónh vực khôi phục ảnh quan tâm từ lâu, năm 1950 năm đầu thập kỷ 60, với nghiên cứu nhà khoa học chương trình không gian Mỹ Liên Xô trước đây, chương trình ngiên cứu trái đất hành tinh hệ mặt trời Tuy nhiên, ảnh chụp hành tinh cần phải khôi phục chúng thường bị mờ, nhiễu, mát thông tin Điều thật thách thức nhà khoa học vào thời điểm Các giải thuật khôi phục ảnh, lý thuyết ước lượng truyền thống mà biết ngày đời hoàn cảnh Ngày nay, vấn đề khôi phục ảnh ứng dụng rộng rãi nhiều lónh vực từ y tế, viễn thám, địa chất, vật lý, sinh học ngành quân sự, công nghiệp, Khôi phục ảnh phương pháp tìm lại ảnh nguyên thủy ban đầu từ ảnh bị biến đổi mà có Nhiều giải thuật lónh vực bắt nguồn từ vấn đề toán học lý thuyết ước lượng, toán biến đổi ngược không khả nghịch, đại số tuyến tính, phép phân tích số học Các kỹ thuật dùng khôi phục ảnh thường hướng tới việc mô hình hóa suy biến, mờ nhiễu, áp dụng trình biến đổi ngược để có xấp xỉ ảnh ban đầu Các phương pháp khôi phục ảnh phát triển đòi hỏi mô hình cho suy biến mà cho thân ảnh Nhiều phương pháp khôi phục ảnh sử dụng phương pháp lọc tuyến tính sử dụng phép lặp đệ quy, kỹ thuật mô hình ảnh, giải pháp phần mềm nhanh Trong vòng năm đến mười năm qua, nhiều giải thuật phát triển Không phương pháp trước đây, giải thuật này, giả sử không thực tế sử dụng Điều phù hợp với thực tế ảnh, vết mờ, không theo quy luật giả sử Các phương pháp thích nghi không gian (Spatially Adaptive Approaches), sử dụng mạng nơron (Neural Networks), wavelets, tập trung nghiên cứu phát triển Khôi phục mù ảnh khía cạnh vấn đề khôi phục ảnh Trong khôi phục mù ảnh, thông tin ảnh thật, vết mờ, nhiễu trước biết hạn chế Điều thường xảy phù hợp với thực tế Do đó, khôi phục mù ảnh đóng vai trò quan trọng vấn đề khôi phục ảnh xử lý ảnh Khôi phục mù ảnh đòi hỏi vấn đề xác định vết mờ, ước lượng nhiễu khôi phục ảnh Nhiều giải thuật khôi phục mù ảnh phát triển năm qua Giải thuật ML công cụ quan trọng việc xác định vết mờ khôi phục ảnh [12] [5] Nó thực việc ước lượng cách tìm kiếm thông số có khả Trong phương pháp GCV (Generalized Cross-Validation) [9] [10] [5] lại tìm kiếm thông số làm cho tổng lỗi đoán trước nhỏ Một phương pháp khác xác định vết mờ dựa ý tưởng đối chiếu phổ dư thừa (Residual Spectral Matching) Nó lựa chọn PSF tối ưu từ nhóm PSF, PSF cho đối chiếu tốt phổ công suất dư khôi phục giá trị thật Một phương pháp khôi phát triển thời gian gần xử lý việc khôi phục mù ảnh cách tối thiểu hóa hàm giá trị dựa phép đo sai số khôi phục, thông số quy ước cho ảnh, thông số quy ước cho vết mờ Các phương pháp khôi phục mù ảnh, khôi phục ảnh, đòi hỏi ảnh khôi phục có chất lượng cao Nghóa là, khôi phục mù ảnh, việc ước lượng vết mờ nhiễu phải có sai số thấp đến mức Bên cạnh đó, vấn đề quan tâm rút ngắn thời gian tính toán, ảnh có kích thước lớn Ví dụ ảnh 256 x 256, phải xử lý lần 65536 điểm ảnh Hơn giải thuật khôi phục mù ảnh thường phải sử dụng nhiều phép lặp tìm kết mong muốn Điều dẫn đến thời gian xử lý tính toán dài, hệ thống máy tính mạnh Do đó, việc rút ngắn thời gian tính toán vấn đề có ý nghóa quan trọng xử lý ảnh Rất nhiều phương pháp phát triển để giải vấn đề Chúng tập trung vào việc cải thiện giải thuật theo hướng tăng tốc độ hội tụ để rút ngắn số phép lặp, đảm bảo chất lượng ảnh khôi phục, đưa giải thuật dựa phép biến đổi ảnh Trong luận văn này, nghiên cứu phương pháp khôi phục mù ảnh dựa phép biến đổi Radon tuần hoàn rời rạc Phương pháp khôi phục mù ảnh có thời gian tính toán ngắn nhiều so với phương pháp khôi phục mù ảnh thông thường Trọng tâm giải thuật biến đổi toán khôi phục mù ảnh hai chiều thành nhiều toán chiều Đó phép biến đổi Radon tuần hoàn rời rạc biến đổi phép chập vòng hai chiều thành nhiều phép chập vòng chiều, mà phép tính chiều có thời gian tính toán ngắn nhiều so với phép tính hai chiều, nên dù phải xử lý với nhiều phép tính chiều so với trường hợp hai chiều, tổng thời gian tính toán trường hợp chiều ngắn nhiều Nghóa là, thời gian tính toán rút ngắn cách đáng kể, chất lượng ảnh khôi phục tương tự CHƯƠNG : CƠ SỞ LÝ THUYẾT Khôi phục ảnh: 1.1 Khái quát khôi phục ảnh: nh sử dụng để lưu giữ hay hiển thị thông tin có ích Bởi không hoàn hảo ảnh trình chụp ảnh mà ảnh thu luôn phiên bị suy biến cảnh vật ban đầu Việc loại bỏ không hoàn hảo vấn đề chủ yếu nhiều công việc xử lý ảnh Sự tồn nhiều cách suy biến khác phải đưa vào trình tính toán là: cộng nhiễu, suy biến hình học, làm mờ ảnh, Vết mờ dạng thu nhỏ băng thông ảnh lý tưởng, tạo trình định dạng ảnh không hoàn hảo Nó tạo chuyển động tương đối camera khung cảnh ban đầu, hệ thống quang học không rõ nét (out of focus), hay nhiễu loạn không khí Thêm vào đó, nhiễu xuất làm hỏng ảnh Nhiễu tạo môi trường (những ảnh hưởng phân tán hay tập trung cách ngẫu nhiên), trình chụp ảnh (nhiễu sensor), lỗi đo lường mức độ xác có hạn hệ thống chụp ảnh, trình lượng tử hóa liệu việc lưu trữ ảnh Việc khôi phục ảnh (Image Restoration, Image Deblurring, Image Deconvolution) liên quan đến trình tái cấu trúc (reconstruction) ước lượng (estimation) ảnh lý tưởng từ ảnh bị mờ nhiễu Kỹ thuật khôi phục ảnh nhằm nâng cao chất lượng ảnh với ý nghóa định Quá trình khôi phục ảnh tạo lại ảnh gốc khôi phục ảnh bị giảm chất lượng thông tin ban đầu (a priori) Kỹ thuật khôi phục ảnh đòi hỏi phải có mô hình suy giảm chất lượng, sử dụng biến đổi ngược để có ảnh gốc, yêu cầu tiêu đánh giá xấp xỉ tối ưu ảnh khôi phục so với ảnh gốc Khôi phục ảnh thực chất khử nhòe ảnh cách sử dụng hàm tách nhòe Việc xác định vết mờ (Blur Identification) thực chất ước lượng thuộc tính hệ thống ảnh không hoàn hảo từ ảnh bị suy biến mà ta quan sát trước khôi phục Sự kết hợp khôi phục ảnh xác định vết mờ gọi khôi phục mù ảnh (Blind Image Restoration, Blind Image Deblurring, Blind Image Deconvolution) Mô hình ảnh suy giảm chất lượng có dạng: g(x, y) = h(x, y) ∗ f(x, y) + n(x, y) (1) Moät ảnh bị giảm chất lượng g(x, y) tạo phép chập hai chiều ảnh đầu vào f(x, y) hàm phân bố điểm PSF (Point Spread Function) h(x, y) hệ thống tuyến tính bất biến (Linear Shift-Invariant System), cộng với nhiễu cộng n(x, y) Khôi phục ảnh số trình tìm xấp xỉ với ảnh gốc f(x, y) từ ảnh bị giảm chất lượng g(x, y) cho trước với kiến thức giả thiết h(x, y) n(x, y) Trong trường hợp này, vấn đề khôi phục f(x, y) gọi khôi phục ảnh tuyến tính kinh điển f(n1, n2) g(n1, n2) chập với h(n1, n2) n(n1, n2) F(u, v) G(u, v) nhân với H(u, v) N(u, v) Hình Mô hình ảnh suy giảm chất lượng miền không gian miền Fourier Trọng tâm việc tính toán số học chọn xấp xỉ f, ký hiệu fˆ , cho tối thiểu hóa tiêu chuẩn xác định trước Để đơn giản, nhiều trường hợp, người ta tập trung vào tiêu chuẩn bình phương tối thiểu Vấn đề bao gồm kỹ thuật tiếng như: lọc ngược, lọc Wiener, lọc bình phương tối thiểu, … 1.2 Mô hình vết mờ (Blur Models): Trong phần lớn trường hợp, việc làm mờ ảnh trình liên tục Bởi giải thuật khôi phục ảnh xác định vết mờ dựa ảnh rời rạc, nên biểu diễn mô hình vết mờ có dạng liên tục đôi với phiên rời rạc (được lấy mẫu) chúng Chúng ta giả sử tốc độ lấy mẫu ảnh chọn đủ lớn để tối thiểu hóa lỗi (aliasing) tạo việc biến đổi mô hình từ liên tục sang rời rạc Các hàm PSF liên tục h(x, y) vết mờ phải thỏa mãn ba điều kiện sau: + Không âm, tính chất vật lý trình định dạng ảnh + nh số thực chập với PSF cho kết thực + Sự không hoàn hảo trình định dạng ảnh mô thao tác thụ động liệu, nghóa bị hấp thụ sinh ra, điều đồng nghóa với: ∞ ∞ ∫−∞ ∫−∞ h (x, y)dxdy = , N −1 M −1 ∑ ∑ h (n1 , n ) = , n1 =0 n =0 (2a) (2b) 1.2.1 Không mờ (No Blur): Trong trường hợp ảnh thu hoàn hảo, hiển nhiên vết mờ ảnh rời rạc PSF liên tục mô haøm delta Dirac: h(x, y) = δ(x, y) (3a) vaø PSF rời rạc xung đơn vị: ⎧1, h ( n , n ) = δ( n , n ) = ⎨ ⎩0, n1 = n = lại (3b) 1.2.2 Vết mờ chuyển động tuyến tính (Linear Motion Blur): Vết mờ chuyển động chuyển động tương đối thiết bị chụp ảnh cảnh vật Nó dịch chuyển, xoay tròn, thay đổi góc quan sát đột ngột, kết hợp loại Thông thường, vài trường hợp quan trọng dịch chuyển chung xem xét Khi cảnh vật cần lưu giữ dịch chuyển tương đối so với máy quay với vận tốc cố định vrelative góc radian φ so với trục nằm ngang khoảng [0, texposure] (sự phân bố chiều), gọi "chiều dài chuyển động" L = vrelative texposure , PSF tìm theo công thức: ⎧1 ⎪ , h ( x , y; L, Φ ) = ⎨ L ⎪0, ⎩ x + y2 ≤ L x , = − tan Φ y (4a) lại Việc tính PSF rời rạc tương đối khó khăn Tuy nhiên, với trường hợp đặc biệt φ = 0, PSF tính gần đúng: 10 ⎧1 , ⎪L ⎪ ⎪1 ⎧ ⎢ L − 1⎥ ⎫ h (n , n ; L) = ⎨ ⎨(L − 1) − ⎢ ⎬, ⎣ ⎥⎦ ⎭ ⎪ 2L ⎩ ⎪0 , ⎪ ⎩ ⎢ L − 1⎥ n = 0, n ≤ ⎢ ⎣ ⎥⎦ ⎡ L − 1⎤ n1 = 0, n = ⎢ ⎢ ⎥⎥ (4b) lại Nếu toàn cảnh vật chuyển động, PSF bất biến Tuy nhiên, vật thể cảnh vật chuyển động độc lập với mặt đất, PSF rõ ràng biến đổi 1.2.3 Vết mờ không rõ nét (Out-of-Focus Blur): Khi camera chụp ảnh cảnh vật ba chiều không gian ảnh hai chiều, có vài chi tiết rõ nét phần khác không Nếu độ ống kính tròn, ảnh nguồn điểm đóa tròn nhỏ, gọi COC (Circle of Confusion) Đường kính COC phụ thuộc vào tiêu cự độ thấu kính, khoảng cách camera vật thể Một mô hình xác không mô tả đường kính COC mà phân bố cường độ phạm vi COC PSF liên tục loại vết mờ với bán kính R tính sau: ⎧ , ⎪ h ( x , y; R ) = ⎨ πR ⎪0 , ⎩ x + y2 ≤ R (5a) lại PSF rời rạc tính gần theo công thức sau: ⎧1 ⎪ , h (n1 , n ; R ) = ⎨ C ⎪⎩0 , n 12 + n 22 ≤ R (5b) lại với C số chọn phải thỏa mãn phương trình (2b) Công thức gần không xác phần tử biên PSF Mô hình xác 67 ⎡0.0095 ⎢0.0263 ⎢ ⎢0.0311 ⎢ ⎢0.0263 ⎢⎣0.0095 0.0263 0.0311 0.0263 0.0095 ⎤ 0.0372 0.0872 0.0372 0.0263⎥⎥ 0.0872 0.1720 0.0872 0.0311⎥ ⎥ 0.0372 0.0872 0.0372 0.0263⎥ 0.0872 0.0311 0.0872 0.0095 ⎥⎦ Keát ước lượng PSF theo ML chiều + DPRT, BSNR = 60 dB 3.4.2 Kết thời gian tính toán: 2-D ML 1-D ML + DPRT Tỷ lệ Cameraman 320s 45s 14.1% Lena 930s 110s 15.1% Ảnh Bảng So sánh thời gian tính toán hai phương pháp Nhận xét: + Thời gian tính toán phương pháp ML chiều sử dụng DPRT nhỏ nhiều so với phương pháp ML hai chiều Thời gian tính toán rút ngắn cách đáng kể + Thời gian tính toán ảnh màu (Lena) lớn khoảng lần so với ảnh đen trắng (Cameraman) Điều tương đối dễ hiểu ảnh màu có kích thước gấp ba lần ảnh đen trắng 68 3.4.3 Kết SNR: 2-D ML 1-D ML + DPRT Mức độ nhiễu SNRảnh SNRPSF SNRảnh SNRPSF 60 dB 38.55 dB 18.46 dB 37.13 dB 17.35 dB 40 dB 34.92 dB 16.62 dB 32.89 dB 14.96 dB 30 dB 32.44 dB 15.21 dB 30 11 dB 14.05 dB Baûng SNR ảnh PSF hai phương pháp Nhận xét: + Tỷ số tín hiệu nhiễu SNR ảnh PSF hai phương pháp gần tương tự (phương pháp ML hai chiều tốt chút so với phương pháp ML chiều sử dụng DPRT) Điều chứng tỏ chất lượng ảnh khôi phục gần tương tự + SNR mức nhiễu 60 dB lớn SNR tương ứng mức nhiễu 40 dB, 30 dB Bởi vì, mức nhiễu cao (ở mức nhiễu 30 dB cao nhất), nhiễu tác động lên ảnh nhiều làm cho việc ước lượng thông số có sai số cao hơn, PSF ảnh khôi phục có chất lượng không tốt với trường hợp mức nhiễu thấp 69 3.4.4 Kết ước lượng α: Cameraman Lena 60 dB 0.00005 0.00007 40 dB 0.00490 0.00810 30 dB 0.06870 0.09250 Bảng Kết ước lượng α 70 KẾT LUẬN & HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 71 KẾT LUẬN Từ nội dung lý thuyết trình bày, kinh nghiệm trình thực kết thực hiện, rút kết luận sau : Phương pháp ML chiều sử dụng phép biến đổi DPRT hiệu phương pháp ML hai chiều Thời gian tính toán rút ngắn đáng kể, chất lượng ảnh khôi phục gần tương tự Các cưỡng tay, áp đặt vào thông số ước lượng, phải thực nhằm đảm bảo giải thuật hội tụ Vì số phép lặp cao, giải thuật thường ổn định bước lặp cuối Với mức nhiễu cao, việc khôi phục ảnh có chất lượng cao thật khó khăn, việc ước lượng PSF nhiễu có sai số tương đối lớn Việc giả sử thông tin ảnh PSF PSF đối xứng, có tổng phần tử 1, cưỡng thêm vào trình khôi phục làm cho kết khôi phục xác việc thực dễ dàng Tuy nhiên, điều thường không thực tế thực tế, biết thông tin ảnh PSF Nếu biết thông tin ảnh, việc khôi phục trở nên khó khăn 72 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI Đề tài thực hiện, có kết ban đầu, nhiều vấn đề cần phải bàn bạc nghiên cứu thêm theo hướng sau: Ở đây, phép biến đổi Radon tuần hoàn rời rạc áp dụng phương pháp ML Mở rộng việc áp dụng phép biến đổi phương pháp khác cho nhìn toàn diện xác ưu điểm khuyết điểm ý tưởng Việc ước lượng thông số thực với biên độ, pha giả sử nhỏ không Điều phù hợp với thực tế thực tế, nhiều vết mờ có pha tương đối nhỏ Tuy nhiên, việc ước lượng biên độ pha cho kết xác hơn, giải thuật áp dụng cho nhiều loại vết mờ Cũng phương pháp khác, phương pháp sử dụng giả sử kích thước PSF (5 x 5) biết trước Điều không thực tế Trong thực tế, khó biết kích thước PSF Kích thước PSF cần phải ước lượng trước trình khôi phục Vấn đề ước lượng kích thước PSF trước thực khôi phục tập trung nghiên cứu 73 PHỤ LỤC 74 (a) (b) (c) (d) (a) Aûnh Cameraman (256x256) (b) Aûnh bò mờ nhiễu (BSNR = 60 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 75 (a) (b) (c) (d) (a) nh Cameraman (256x256) (b) nh bị mờ nhiễu (BSNR = 40 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 76 (a) (b) (c) (d) (a) Aûnh Cameraman (256x256) (b) nh bị mờ nhiễu (BSNR = 30 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 77 (a) (b) (c) (d) (a) nh Lena ban đầu (256x256) (b) nh bị mờ nhiễu (BSNR = 60 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 78 (a) (b) (c) (d) (a) nh Lena ban đầu (256x256) (b) nh bị mờ nhiễu (BSNR = 40 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 79 (a) (b) (c) (d) (a) Aûnh Lena ban đầu (256x256) (b) nh bị mờ nhiễu (BSNR = 30 dB) (c) nh khôi phục với ML 2-D (d) nh khôi phục với ML 1-D + DPRT 80 TÀI LIỆU THAM KHẢO [1] Nguyễn Kim Sách, Xử Lý nh Video Số Nhà xuất khoa học kỹ thuật, 1997 [2] Anil K Jain, Fundamentals of Digital Image Processing Englewood Cliffs, NJ: Prentice-Hall, 1989 [3] Al Bovik, Hand Book of Image and Video Processing Academic Press [4] Yirong Shen and Rui Zhang, “Blind Image Deconvolution”, EE368 Project Spring 2000 [5] Deepa Kundur and Dimitrios Hatzinakos, "Blind Image Deconvolution", IEEE Trans Signal Processing, May 1996 [6] Stanley J Reeves and Russell M Mersereau, "Blur Identification by the Method of Generalized Cross-Validation", IEEE Trans Image Processing, vol 1, no 3, July 1992 [7] Ming Jiang and Ge Wang, “Development of blind image deconvolution and its applications”, Journal of X-Ray Science and Technology, pp 13-19, November 2003 [8] Mark R Banham and Aggelos K Katsaggelos, "Digital Image Restoration", IEEE Trans Signal Processing, March 1997 [9] Daniel P K Lun, Tommy C L Chan, Tai-Chiu Hsung, David Dagan Feng, and Yuk-Hee Chan, “Efficient Blind Image Restoration Using Discrete Periodic Radon Transform”, IEEE Trans Image Processing, vol 13, pp 188-200, February 2004 81 [10] Nhat Nguyen, Peyman Milanfar, and Gene Golub, "Efficient Generalized Cross-Validation with Applications to Parametric Image Restoration and Resolution Enhancement", IEEE Trans Image Processing, vol 10, no 9, September 2001 [11] Eric Thieùbaut, "Introduction to Image Reconstruction", Optics in Astrophysics , (Cargese 2002) [12] A K Katsaggelos and K T Lay, "Maximum Likelihood Blur Identification and Image Restoration Using the EM Algorithm", IEEE Trans Signal Processing, vol 39, no 3, March 1991 [13] Nicolas P Galatsanos and Aggelos K Katsaggelos, "Methods for Choosing the Regularization Parameter and Estimating the Noise Variance in Image Restoration and Their Relation", IEEE Trans Image Processing, vol 1, no 3, July 1992 ... với phương pháp khôi phục mù ảnh thông thường Trọng tâm giải thuật biến đổi toán khôi phục mù ảnh hai chiều thành nhiều toán chiều Đó phép biến đổi Radon tuần hoàn rời rạc biến đổi phép chập vòng... phục, đưa giải thuật dựa phép biến đổi ảnh Trong luận văn này, nghiên cứu phương pháp khôi phục mù ảnh dựa phép biến đổi Radon tuần hoàn rời rạc Phương pháp khôi phục mù ảnh có thời gian tính toán... triển Khôi phục mù ảnh khía cạnh vấn đề khôi phục ảnh Trong khôi phục mù ảnh, thông tin ảnh thật, vết mờ, nhiễu trước biết hạn chế Điều thường xảy phù hợp với thực tế Do đó, khôi phục mù ảnh đóng