Mô ph ỏ ng này có hai nhánh.[r]
(1)Chương 16
KHÔI PHỤC ẢNH
16.1 GIỚI THIỆU
Trong lịch sử, lĩnh vực hoạt động rộng lớn xử lý ảnh sốđã dành hết cho việc khôi phục ảnh Công việc bao gồm nghiên cứu phát triển thuật giải lẫn chương trình, xử lý ảnh có mục đích Nhiều đóng góp đáng ý xử lý ảnh số thực trước sau
Dựa vào khôi phục ảnh, muốn loại bỏ hay làm giảm suy giảm gặp phải thu nhận ảnh số Sự suy giảm bao gồm mờ hệ thống quang học, di chuyển đối tượng nhiễu từ điện tử hay nguồn quang trắc Trong khơi phục ảnh có thểđược định nghĩa bao gồm nhiều kỹ thuật đề cập Phần 1, ta coi biểu lớp thao tác bị hạn chế nhiều
Tiêu chí cho việc khôi phục ảnh mang lại ảnh tương đối giống ảnh ban đầu ảnh số thu bị suy giảm Mỗi phần tử chuỗi thu nhận ảnh (thấu kính, film, số hố, ) tạo suy giảm Khôi phục phần ảnh bị chất lượng thoả mãn khía cạnh thẩm mỹ đó, tuỳ thuộc vào ứng dụng cụ thể Một ví dụ cho trường hợp sau nhiệm vụ thu thập ảnh mặt trăng hành
tinh chương trình khơng gian
Trong chương này, xem xét vài phương pháp tiếp cận khôi phục ảnh Ta xem xét tốn nhận biết hệ thống mơ nhiễu Đối với tin tức chi tiết đối tượng, độc giả nên tham khảo tài liệu hay nghiên cứu lĩnh vực
16.1.1 Tiếp cận mô
Tiến trình khơi phục ảnh bị suy giảm tiếp cận theo hai cách Nếu khơng biết nhiều vềảnh, ta cố gắng để mô mô tảđặc điểm nguồn suy giảm (mờ nhiễu) thực trình loại bỏ giảm bớt ảnh hưởng chúng Đây cách tiếp cận ước đốn, ta thửước đoán ảnh trước bị suy giảm thơng qua xử lý đặc tính liên quan cịn lại
Nói cách khác, nhiều nhận thức trước vềảnh có sẵn, thành cơng để phát triển mơ hình tốn học ảnh ban đầu điều chỉnh mơ hình ảnh quan sát Một ví dụ cho trường hợp này, giả sử ảnh biết chứa đối tượng
hình trịn có kích thước cốđịnh (các sao, hạt, tế bào,…) Ởđây, công việc
là phát hiện, vài thơng số ảnh ban đầu chưa biết (số lượng, vị trí,
biên độ,…)
Việc tiếp cận tốn khơi phục ảnh thể vài lựa chọn khác Thứ nhất, việc phát triển sử dụng phép tốn rời rạc hay liên tục Thứ hai, việc phát triển thực miền khơng gian hay miền tần số Cuối cùng, việc thực phải số (digitally) khơi phục thực miền
khơng gian (qua tích chập) hay miền tần số (qua phép nhân)
Thật may mắn, ta xác định đượ tập điều kiện mà, bảo tồn,
(2)ta sử dụng cách tiếp cận phù hợp với yêu cầu ràng buộc ta nhất, miễn quan tâm đến giả thiết
Thường thường, có hai hay nhiều cách tiếp cận dẫn đến kỹ thuật
khôi phục Các phương pháp tiến hành tốt thực tiễn sở cho toán
Một số chúng ln ln chờđợi ta cuối hành trình, khơng quan tâm
đến hướng ta xuất phát hay loại đồ la bàn mà ta sử dụng
Trong chương này, xem xét vài kỹ thuật khôi phục ảnh quan trọng
Chúng ta bắt đầu cách tiếp cận miền tần số liên tục theo thứ tự phát triển ứng dụng chúng ảnh số Sau ta nghiên cứu miền khơng gian rời rạc để thống kết có trước thành cấu chung Tiếp theo, xem xét khía cạnh thực tiễn việc xử lý mờ biến thiên nhiễu không cố
định Sau xác định tham số suy giảm ta tiến hành khôi phục ảnh
16.2 CÁC BỘ LỌC KHÔI PHỤC ẢNH KINH ĐIỂN
Trong phần này, sử dụng hệ thống Hình 16-1 để mơ suy
giảm khôi phục ảnh Ảnh f(x,y)được làm mờ phép tốn tuyến tính h(x,y)
nhiễu n(x,y) thêm vào để tạo thành ảnh suy giảm w(x,y) Ảnh nhân chập với lọc khôi phục g(x,y)để cho ảnh khơi phục f^(x,y)
Hình 16-1 Mơ hình khơi phục ảnh liên tục
Lý thuyết hệ thống tuyến tính sử dụng để thiết kế lọc điện tử nhiều năm trước xử lý ảnh trở nên phổ biến Nó ứng dụng rộng rãi quang học, xử lý tín hiệu số lĩnh vực khác Ví dụ, giải chập biết đến thiết kế lọc điện tử phân tích chuỗi thời gian Thậm chí ước lượng sai số
bình phương trung bình (MSE) tối thiểu Norbert Wienner trình bày vào năm
1948 Vì thế, nhiều kỹ thuật ứng dụng khơi phục ảnh tổng hợp từ phương pháp chiều sử dụng xử lý tín hiệu tương tự tín hiệu số Thậm chí trở thành đặc trưng, kỹ thuật trình bày, chúng tập trung vào cách tiếp cận miền tần số kinh điển
16.2.1 Giải chập (Deconvolution)
Vào thập niên 60, giải chập (lọc ngược) bắt đầu ứng dụng rộng rãi để khôi phục ảnh số Nathan sử dụng giải chập hai chiều để khôi phục ảnh từ
nhiệm vụ thám hiểm hành tinh Ranger, Surveyor Mariner Vì phổ tín hiệu thường
tắt dần nhanh nhiễu tần số, nên thành phần tần số cao thường bị nhiễu tác động Phương pháp tiếp cận Nathan hạn chế hàm truyền đạt giải chập xuống giá trị tối đa (Hình 16-2)
Trong suốt chu kỳ lấy mẫu, Harris giải chập vệt mờ hỗn loạn bầu khí
quyển ảnh thiên văn sử dụng mơ hình phân tích PSF
McGlamery giải chập hỗn loạn khía sử dụng PSF xác định qua thực nghiệm Do đó, giải chập trở thành kỹ thuật tiêu chuẩn cho vấn đề khôi phục ảnh
+
) , (x y f
) ,
(x y
h g(x,y)
) , (x y n
) , (x y
(3)Hình 16-3 minh hoạ cải tiến có ảnh kỹ thuật thực cẩn thận
Hình 16-2 Giải chập
HÌNH 16-3
Hình 16-3 Giải chập ảnh Surveyor: (a)trước; (b) sau
16.2.2 Giải chập Wienner
Trong đa số ảnh, điểm ảnh liền kề tương quan với nhau, mức xám điểm ảnh riêng biệt tương quan lỏng lẻo Từđó, chứng tỏ hàm tự tương quan ảnh đặc thù nói chung suy giảm nhiều so với ban đầu Vì phổ lượng ảnh biến đổi Fourier (thực chẵn) hàm tự tương quan nên chứng tỏđược phổ lượng ảnh nói chung suy giảm theo tần số
Các nguồn nhiễu đặc trưng có phổ lượng phẳng suy giảm theo tần số chậm so với phổ lượng ảnh Vì thế, trạng thái mong muốn cho
1 1
1 5
h h
h h
(a) Đáp ứng lý thuyết (b) Đáp ứng thực tế
(c) ỏp ng đảo (d) Đáp ứng hiệu chỉnh 0
0.2
(4)phổ tín hiệu tần số thấp cịn nhiễu chiếm tần số cao Bởi kích thước lọc giải chập thường tăng theo tần số nên lọc tăng cường nhiễu tần số cao Những cố gắng vận dung giải chập toán nhiễu phương pháp đặc biệt trực quan
Helstrom chấp nhận thủ tục ước lượng sai số bình phương trung bình trình bày lọc giải chập Wienner, có hàm truyền đạt hai chiều
) , ( ) , ( ) , (
) , ( ) , ( )
,
( 2
*
v u P v u P v u H
v u P v u H v
u G
n f
f
(1)
và viết lại sau:
) , ( / ) , ( )
, (
) , ( )
,
( 2
*
v u P v u P v u H
v u H v
u G
f n
(2)
trong Pf Pn phổ lượng tín hiệu nhiễu Bộ lọc trình
bày chương 11 cho trường hợp chiều
Hình 16-4 Vấn đề nhiễu giải chập
Slepian mở rộng giải chập Wienner để giải thích PSF suy biến (ví dụ nhiễu loạn khí quyển) Sau đó, Pratt Habibi phát triển cơng cụ để tăng hiệu tính tốn giải chập Wienner
s
s s
s s
Hàm tự tương quan Phổ lượng nhiễu
Phổ lượng Tỷ lệ tín hiệu/nhiễu (SNR)
Phổ biên độ Bộ lọc giải chập
) (
f
R Pn(s)
) (s Pf
) (
) (
s P
s P
n f
) (s F
) (
(5)Giải chập Wienner tạo phương pháp tối ưu cho việc thực hàm truyền đạt giải chập diện nhiễu, bị vướng mắc với ba vấn đề hạn chế tính hiệu Thứ nhất, tiêu chuẩn sai số bình phương trung bình (MSE) tối ưu không đặc biết tốt ảnh khôi phục mắt người Vấn đề chỗ tiêu chuẩn MSE xử lý sai số nhau, bất chấp vị trí chúng
trong ảnh, mắt phải chịu đựng sai số vùng tối vùng gradient
cao nhiều hệ thống khác rong việc tối thiểu hoá sai số bình phương trung bình, lọc Wienner có xu hướng làm trơn ảnh nhiều mà mắt ưa thích
Thứ hai, giải chập Wienner cổ điển khơng thể vận dụng PSF có biến làm mờ thuộc không gian Điều xuất với hôn mê, chứng loạn thị, uốn cong trường thể với vệt mờ di chuyển quay
Cuối cùng, kỹ thuật vận dụng cho trường hợp phổ biến tín hiệu
và nhiễu dừng Đa số ảnh khơng dừng, có khu vực phẳng rộng phân
biệt chuyển tiếp dễ nhận thấy (biên) Hơn nữa, vài nguồn nhiễu quan trọng tuỳ thuộc nhiều vào mức xám cục Trong hai phần tiếp theo, ta xem xét cách thức thực cải tiến giải chập Wienner
16.2.3 Cân phổ lượng
Canon chứng minh lọc khôi phục phổ lượng ảnh bị suy giảm thành biên độ ban đầu
2 / ) , ( ) , ( ) , ( ) , ( ) , ( v u P v u P v u H v u P v u G n f f (3)
Giống lọc Wienner, bộ lọc cân phổ lượng (Power Spectrum
Equalization-PSE) khơng có pha (thực chẵn) Nó thích hợp cho hàm làm
mờ không pha hay pha xác định phương pháp khác
Điểm tương đồng lọc PSE (biểu thức (3)) lọc giải chập Wienner (biểu thức (1)) rõ ràng Cả hai lọc giảm xuống cịn giải chập trực tiếp tình trạng khơng nhiễu hai cắt hồn tồn tình trạng khơng có tín
hiệu Tuy nhiên, lọc PSE khơng cắt vị trí hàm truyền đạt làm mờ
F(u, v)
Khả khôi phục ảnh lọc PSE tốt vài trường hợp lọc PSE có thểđược ưa thích giải chập Wienner Đơi lọc PSE cịn gọi bộ lọc đồng hình (homomorphic filter)
16.2.4 Các lọc trung bình hình học
Xét hàm truyền đạt lọc khôi phục cho
* * ) , ( / ) , ( ) , ( ) , ( ) , ( ) , ( ) , ( v u P v u P v u H v u H v u H v u H v u G f n (4)
trong đó số thực dương Bộ lọc khái quát lọc đề cập trước Hàm truyền đạt tham số hoá theo Chú ý,
(6)Cần lưu ý thêm rằng, = 1/2 thì biểu thức (4) xác định lọc trung bình hình học giải chập bình thường giải chập Wienner Vì biểu thức (3) cịn có tên gọi bộ lọc trung bình hình học Tuy nhiên, thực tế tên gọi thường dùng cho lọc tổng quát biểu thức (4)
Nếu biểu thức (4), = 0 trở thành bộ lọc tham số Wienner
) , ( / ) , ( )
, (
) , ( )
,
( 2
*
v u P v u P v
u H
v u H v
u G
f n
(5)
Nếu = 1 biểu thức trở thành lọc giải chập Wienner biểu thức (2), ngược lại = 0 rút gọn thành giải chập trực tiếp Nói chung, có thểđược chọn để
có lọc làm trơn kiểu Wienner mong muốn
Biểu thức (4) trình bày lớp lọc khôi phục phổ biến thường dùng
trong hàm làm mờ tuyến tính, bất biến khơng gian nhiễu cộng không tương
quan Andrews Hunt nghiên cứu khả khôi phục lọc biểu thức (4) điều kiện mờ nhiễu vừa phải Chúng chứng tỏ rằng, điều kiện này, giải chập trực tiếp mong muốn giải chập Wienner tạo hiệu lọc thông thấp khắt khe mà mắt người mong muốn Bộ lọc tham số Wienner
< 1 lọc trung bình hình học ràng buộc tạo kết dễ chịu
16.3 SỰ KHƠI PHỤC ĐẠI SỐ TUYẾN TÍNH
Andrews Hunt đề xuất phương pháp tiếp cận tốn khơi phục ảnh dựa sở đại số tuyến tính Tiếp cận lơi người thích dùng đại số ma trận phép tính tích phân tốn học rời rạc để phân tích hàm liên tục Nó đưa trình bày thống lọc khôi phục, kể lọc đề cập trước mang lại hiểu biết khía cạnh số tốn khơi phục ảnh
Bởi kích thước vec tơ ma trận nên phương pháp tiếp cận đại số tuyến tính khơng mang lại hiệu Thay vào đó, kỹ thuật khơi phục phát triển theo phương pháp tiếp cận thực hiệu
phương pháp khác
16.3.1 Mơ hình khơi phục rời rạc
Hình 16-5 trình bày mơ hình mad ta sử dụng việc phát triển kỹ
thuật khôi phục không gian rời rạc Hàng đỉnh biểu thị trạng thái mong muốn (nhưng khơng có khả năng), số hoá lý tưởng hoạt động f(x, y), hàm liên tục không sy biến biểu diễn cho cảnh vật lý tạo ảnh Bộ số hoá tạo vec tơ cột fN2 1, đệm thêm xếp chồng theo hàng, chứa ảnh số mong muốn Khuôn dạng vec tơ cột việc lưu trữ ảmh số đề cập phần 9.3.4
Hàng thứ hai mơ hình mơ điều xảy ảnh số hố khơi phục Hàm f(x, y) bị mờ phép tốn tuyến tính h(x, y) sau ảnh nhiễu hai chiều n(x, y) thêm vào, tạo thành g(x, y) Một số hoá lý tưởng tạo vec tơ cột gđệm thêm, xếp theo hàng, chứa ảnh sốN N quan sát Điều tuỳ thuộc vào phép tốn khơi phục tạo
(7)Hàm mờ tuyến tính, bất biến dịc khơng Nếu bất biến dịch chẳng qua tích chập f(x, y) với PSF h(x, y) Nếu thực tế có nhiều tốn tử làm mờ chuỗi mơ phỏng, toán tử giả định kết hợp với thành h(x, y) Cũng vậy, nhiều nguồn nhiễu giả thiết kết hợp thành nguồn n(x, y) Mơ hình chưa hồn thiện, khơng tính đến nhiễu phi tuyến nhiễu phụ thuộc tín hiệu
Hàng thứ ba hình cho thấy mơ hình mà phân tích ởđây Một số
hoá lý tưởng tạo f, trước, điều tuỳ thuộc vào phép tồn tuyến tính rời rác H Một ảnh nhiễu rời rạc, mã hoá theo vec tơ cột n, thêm vào để tạo ảnh quan sát g, có dạng vec tơ Một phép tốn khơi phục rời rạc lại tạo ước lượng
f
Khuôn dạng vec tơảnh quan sát có thểđược biểu diễn dạng đầy đủ sau
g = Hf + n (6)
trong đóg, f n vec tơ cột N2 1 H ma trận N2 N2 Nếu hàm mờ
bất biến dịch H ma trận khối vịng trịn Ngoài ra, ảnh số mà ta quan tâm
đều N N sau đệm thêm giá trị cần thiết
Lưu ý bây giờ, phép toán rời rạc, mô suy
biến nhận trước ảnh chuyển đổi sang dạng số Mô có hai nhánh Đầu tiên, ta tạo ví dụ mơ ấn tượng mơ hình này, ta thiết kế q trình suy biến thực xác Sự khơi phục trở thành tập số đơn thuần, ta chọn q trình suy biến có thểđảo ngược Ta thực điều đó, ta xoa bỏ nó, ta khôi phục lại nguên mẫu phạm vi sai số làm tròn
Thứ hai, ta tiến hành mơ q trình (liên tục) phép tốn rời rạc Điều tương tự tình trước mà phải bảo đảm trình xử lý rời rạc liệu lấy mẫu bảo toàn nguyên vẹn hàm liên tục Hiệu lực khôi phục ảnh cố gắng xoay quanh mơ xác q trình suy biến ảnh
16.3.2 Khôi phục không ràng buộc
Nếu n = ta tí nhiễu, ta thiết lập khơi
phục tốn tối thiểu hố bình phương nhỏ theo cách Cho ( )
f e vec tơ sai số thặng dư thu từ việc sử dụng
f xấp xỉ f Khi biểu thức (6) trở thành
Hf Hf e f e f g Hf
g ( ) hay ( ) (7)
và ta tối thiểu hoá hàm mục tiêu
f h g f H g f
H g f
e f
t W
2
2
(8)
(8)Nghĩa ta chọn
f cho bịH làm mờ kết khác ảnh quan sát g
càng tốt theo nghĩa bình phương trung bình Vì thân g f đơn giản bị
làm mờ H, nên cách tiếp cận tốt Nếu f
f, hai bịH làm mờ, gần giống
f xấp xỉ tốt f
Chú ý công thức có phần khác với cơng thức sử dụng phần trình bày lọc Wienner phần 11.5.2 Ởđó, ta cố gắng tối thiểu hoá khác tín hiệu khơi phục tín hiệu ban đầu Ở đây, ta hồn thành việc tối thiểu hố khác ảnh mờ ban đầu ước lượng mờ ảnh ban đầu Chúng ta
không thể mong đợi hai công thức cho kết
Cho đạo hàm ( )
f
W theo
fbằng 0, ta
0
) (
f H g H f
f t
W
(9)
và giải theo
fta
g H g H H H
f ( )1 1
t t (10)
trong dấu thứ hai H ma trận vng
Biểu thức (10) giống lọc đảo Với hàm mờ bất biến dịch, H ma trận
khối vịng trịn có thểđược dùng để xác định giải chập, cho miền tần số
bởi
u v H
v u G v u F
, ,
,
(11) Nếu H(u, v) có giá trị H và H-1 hay (HtH)-1 không tồn
16.3.3 Khôi phục ràng buộc bình phương nhỏ
Ta xếp biểu thức (6) lại sau
g - Hf = n (12)
Một cách đểđưa thành phần nhiễu vào ràng buộc tối thiểu mà tiêu chuẩn vế biểu thức (12) nhau; tức là,
2
n f H
g
(13) Bây thiết lập tốn tối thiểu hoá
2 2
)
(f Qf g Hf n
W (14)
trong Q ma trận mà ta chọn đểđịnh nghĩa tốn tử tuyến tính
(9)Như trước, ta đặt đạo hàm W(
f ) theo
f 0:
0 ) (
2
) (
f H g H f Q Q f
f t t
W
(15)
Sau giải với f ta
g H Q Q H H
f ( t t )1 t
(16)
trong = 1/ số mà phải điều chỉnh cho ràng buộc biểu thức (13) thoả mãn Đây biểu thức tổng quát cho giải pháp khôi phục ràng buộc bình phương nhỏ
16.3.3.1 Bộ lọc giả ngược
Nếu ta đặt Q = I, ma trận đồng nhất, ta tối thiểu hoá tiêu chuẩn f tuỳ thuộc vào ràng buộc nhiễu biểu thức (13) Khi biểu thức (16) trở thành
H H I H g
f t 1 t
(17)
Chú ý ta đặt = biểu thức rút rọn thành lọc đảo biểu thức (10)
16.3.3.2 Bộ lọc tham số Wienner
Chúng ta coi f n vec tơ ngẫu nhiên chọn Q tỷ số nhiễ u-tín hiệu
2 / /
n f R R
Q (18)
Trong Rf = {fft} Rn = {nnt} ma trận hiệp biến tín hiệu nhiễu
tương ứng Khi biểu thức (16) trở thành
g H R R H H
f t
n f
t 1
)
(
(19)
Bằng cách giả thiết tính dừng bất biến dịch, cách sử dụng ma trận biến đổi Fourier, ta dễ dàng chứng minh biểu thức dẫn đến lọc tham số Wienner biểu thức (5) Trong tham số có thểđiều chỉnh, ý với = 1, ta có lọc Wienner cổ điển đề cập phần 11.5.2 để tối thiểu hố độ lệch bình phương trung bình ảnh ban đầu ảnh khơi phục
Trình bày đại số tuyến tính trước đây, sử dụng tối thiểu hoá biểu thức (14) với tiêu chuẩn biểu thức (18) trường hợp hàm mờ bất biến dịch, dẫn ta trở lại xác định miền tần số lọc Wienner trình bày
chương 11 Tuy nhiên, lưu ý phát triển dễ dàng hơn, khơng dễ dàng
đối với lọc đề cập, chứng tỏ lọc làm cho ảnh khôi phục trông giống ảnh ban đầu (theo nghĩa bình phương trung bình) Mặc dù phát triển sau
mang lại câu trả lời với thời gian nhanh hơn, khơng có nghĩa
bộ lọc tối ưu
16.3.3.3 Các ràng buộc làm trơn
(10)thậm chí khác thường Việc tối thiểu hố tạo ảnh khơi phục mờ giống với ảnh ban đầu bị nhiễu, mờ Vì lý này, ảnh khơi phục phải chịu đựng tác động lớn người tạo Một phương pháp khắc phục vấn đề chọn Q để áp đặt mọt mức độ làm trơn lên ảnh khơi phục Sau biểu thức (14) cố gắng đạt đến sựđánh giá làm trơn, khử mờ khử nhiễu
Đặt Q tương ứng với phép lọc tích chập thơng cao, ví dụ Laplace, đạo hàm bậc hai; tức là,
fx y y
x y
x
f , 2 ,
2 2
(20)
Trong biểu thức (14), số hạng
f Q Qf f
Q t t
2
(21)
Là trung bình ước lượng lọc thơng cao bình phương Ma trận vịng trịn khối
Q biểu gần hạt nhân tích chập thơng cao, chẳng hạn
0
1
0 ,y x
p (22)
Là xấp xỉ rời rạc với ma trận Laplace Từ biểu thức (16), sựđịnh rõ miền tần số phép toán khôi phục (bất biến dịch)
u v Pu v Gu v H
v u H v
u
F ,
, ,
, *
, 2 2
(23)
Trong P(u, v) hàm truyền đạt lọc thông cao thực Q Đối với Laplace, biểu thức
2 2
4
,v u v
u
P (24)
Nhưng sử dụng hàm truyền đạt thông cao khác Giá trị kiểm tra mức độ ràng buộc làm trơn lên sựước lượng hình dạng P(u, v) định nghĩa tần số khác bịảnh hưởng ràng buộc làm trơn
16.4 KHƠI PHỤC CÁC PHẦN ÍT SUY GIẢM
Trong phần này, xem xét tình khơng hạn chế q
trình làm mờ bất biến dịch, tín hiệu nhiễu dừng
16.4.1 Hàm mờ biến thiên không gian
Trong phân tán mờ chuyển động tuyến tính phép tốn tuyến tính bất
biến khơng gian, chứng loạn thị, hôn mê, cong trường mờ chuyển
động quay biến thiên không gian Một phương pháp khôi phục trực tiếp hiệu