CHƯƠNG 2 MẠNG NƠ RON TẾ BÀO CNN VÀ LỌC NHIỄU TRONG XỬ LÝ ẢNH
2.3 Sử dụng phương trình khuếch tán trong xử lý ảnh trên máy tính hệ lệnh tuần tự
Quá trình làm trơn ảnh (smoothing) bằng PDE đơn giản nhất được nghiên cứu là quá trình khuếch tán tuyến tính [27]. Sự khuếch tán là một quá trình vật lý làm giảm độ tập trung (concentration) mà không tạo ra hay phá huỷ vật chất. Có thể dễ dàng thấy được điều này trong công thức toán học. Thuộc tính khuếch tán được biểu thức hoá bằng định luật Fick:
Γ = - D∇u. (2.11) Phương trình này mô tả gradient ∇u tạo ra một thông lượng (flux) Γ có chiều ngược với gradient này. Quan hệ giữa ∇u và Γ được diễn tả bằng tensor khuếch tán
(diffusion tensor) D, một ma trận đối xứng. Trong trường hợp hướng của Γ và ∇u là song song thì quá trình khuếch tán được gọi là đẳng hướng (isotropic). Khi đó chúng ta có thể thay thế diffusion tensor bằng một giá trị vô hướng dương gọi là hệ số khuếch tán (hoặc hệ số dẫn) c. Trong trường hợp tổng quát dị hướng (anisotropic) thì hướng của Γ và ∇u là không song song.
Quá trình khuếch tán được biểu diễn bằng phương trình liên tục Γ
−
=
∂tu div (2.12)
trong đó t là thời gian, div là toán tử divergence. Nếu chúng ta đưa định luật Fick (2.11) vào phương trình liên tục (2.12) chúng ta sẽ có phương trình khuếch tán
∂tu = div(D.∇u)
Trong xử lý ảnh ta thường sử dụng các bộ lọc khuếch tán sau:
+ Các bộ lọc khuếch tán đẳng hướng tuyến tính có hệ số dẫn là hằng số.
+ Các bộ lọc khuếch tán dị hướng phi tuyến có độ khuếch tán thích hợp theo cấu trúc ảnh cục bộ.
a ). Khuếch tán đẳng hướng (isotropic)
Khuếch tán đẳng hướng là quá trình khuếch tán thực hiện với hệ số khuếch tán (hoặc còn gọi là hệ số dẫn) đều và không đổi theo mọi hướng. Một ví dụ cho quá trình này là khuếch tán ảnh bằng phương trình parabolic:
) , , ) (
, ,
( c I x y t
t t y x
I = ∆
∂
∂ (2.13)
trong đó I(x,y,t) là độ sáng của ảnh. x, y và t là các biến không gian và thời gian, ∆ là toán tử Laplace. Gabor đã nhận xét từ năm 1960 rằng sự khác nhau giữa ảnh nguyên bản và ảnh đã được làm mờ thì xấp xỉ tương ứng với Laplace của nó [17].
Như vậy ảnh sau khi khuếch tán bằng phương trình này thì đã được làm mờ. Tuy nhiên do hệ số khuếch tán không đổi nên quá trình khuếch tán thực hiện trên cả các biên và làm mờ cả biên. Để khắc phục nhược điểm này quá trình khuếch tán dị hướng đã được thực hiện.
b ). Khuếch tán dị hướng (anisotropic)
Phương pháp làm trơn thích nghi (adaptive smoothing methods) dựa trên cơ sở tư tưởng ứng dụng quá trình khuếch tán mà hệ số khuếch tán phụ thuộc vào các
thuộc tính cục bộ của ảnh. Perona và Malick (PM) năm 1990 đã đưa ra khái niệm nổi tiếng này trong giới xử lý ảnh [37].
Như đã nói ở trên: Khi thực hiện khuếch tán tuyến tính đẳng hướng thông thường quá trình này làm mờ ảnh, giảm nhiễu nhưng cũng làm giảm sự chênh lệch độ sáng của các biên (edge). Perona và Malick đã đề xuất một phương pháp khuếch tán phi tuyến để khắc phục các nhược điểm này của bộ lọc khuếch tán tuyến tính. Perona và Malick đã áp dụng quá trình khuếch tán không đồng nhất (được họ đặt tên là anisotropic) giảm hệ số khuếch tán ở những vị trí mà tại có nhiều khả năng là biên. Khả năng này được xác định bằng |∇Ι |:
0 c I) I|) div(c(|
It = ∇ ∇ > (2.14)
Hệ số khuếch tán được đề xuất là:
2
k 1 s ) 1 c(s
⎟⎠
⎜ ⎞
⎝ +⎛
= (2.15)
k là một thông số ngưỡng gradient. Như vậy mô hình PM là một mô hình anisotropic, có hệ số khuếch tán giá trị vô hướng (scalar-valued). Khuếch tán dị hướng của PM được mô tả chi tíết trong [27] và [37].
Khi các phương trình khuếch tán phi tuyến được áp dụng trong xử lý ảnh, giá trị mức xám của ảnh sẽ khuếch tán từ giá trị cao tới giá trị thấp và cho kết quả làm trơn ảnh [25]. Một phương trình khuếch tán 2D có dạng:
) , , ( )
, , ( )
, , ( ) , ,
( 2
2 2
2
2 I x y t
t y y x x I t y x I t y x
t I ∂
+ ∂
∂
= ∂
∇
∂ =
∂ (2.16)
tương đương với phép tích chập ảnh với hàm Gauss 2D:
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛ +
−
= 2
2 2 σ 2
2σ y exp x
2π (x,y) 1
G σ (2.17)
trong đó I(x,y) là ảnh 2-D, và điều kiện khởi tạo I(x,y,0)=I0(x,y) với I0 là ảnh nguyên thuỷ và σ là độ lệch tiêu chuẩn. σ= 2t trong đó t là thời gian khuếch tán. Phương trình (2.16) có thể viết ở dạng tổng quát như sau:
)) , , ( ) , , ( ( )
, ,
(x y t div c x y t I x y t
t I = ∇
∂
∂ (2.18)
trong đó c(x,y,t) là hệ số khuếch tán hoặc hệ số dẫn của phương trình nhiệt,∇ là toán tử gradient, div là toán tử divergence. Nếu c là một hằng số sẽ dẫn đến phương trình khuếch tán tuyến tính, với một hệ số khuếch tán đồng nhất. Trong trường hợp này bộ lọc làm trơn nhiễu trong phạm vi một vùng nhưng cũng làm mờ tất cả các cấu trúc quan trọng như các biên trong quá trình thực hiện theo thời gian. Rõ ràng đây là điều mà người ta không mong muốn. Để giải quyết vấn đề này đã dẫn tới một sự cải tiến đơn giản là chuyển đổi phương trình khuếch tán tuyến tính đơn giản thành phương trình khuếch tán có hệ số khuếch tán không đồng nhất (tức là hệ số dẫn có thể thay đổi theo vị trí trong ảnh) [27], [37]. Bằng cách cho c phụ thuộc vào ảnh (c(∇I)), phương trình khuếch tán tuyến tính trở thành phương trình khuếch tán phi tuyến. Công thức (2.18) mô tả sự khuếch tán không đẳng hướng (anisotropic diffusion), quá trình khuếch tán này thực hiện với một hệ số khuếch tán có thể thay đổi và thích ứng nhằm mục đích để giảm hiệu ứng làm trơn ở gần sườn. Thuật ngữ
“anisotropic” của Perona và Malik là sử dụng cho trường hợp hệ số khuếch tán là một hàm tỷ lệ thay đổi theo vị trí. Hiệu quả sẽ tốt hơn khi hệ số khuếch tán là một hàm tensor thay đổi với cả vị trí sườn và hướng của nó. Nhiều tác giả đã cải tiến theo hướng này và nhiều sự lựa chọn khác nhau đã được đề xuất cho hàm khuếch tán, lời giải số của công thức trên cơ sở PDE, và sự rời rạc hoá không gian của toán tử phi tuyến. Ở đây chúng ta xem xét các hàm hệ số khuếch tán sau:
( )
⎟⎟
⎠
⎞
⎜⎜
⎝
⎛
⎟⎟⎠
⎞
⎜⎜⎝
−⎛ ∇
=
* 2
exp ) , ,
( k
I t G
y x
c σ (2.19)
hoặc hàm
( * ) 2
1 ) 1 , , (
⎟⎟⎠
⎜⎜ ⎞
⎝ +⎛ ∇
=
k I t G
y x c
σ
(2.20)
trong đó k là tham số ngưỡng và làm cho quá trình khuếch tán bị trễ khi nhỏ hơn
|
||∇(Gσ*I| . Tác dụng của hai hệ số khuếch tán này khác nhau [47]. Hệ số theo (2.19) thiên về các biên có độ tương phản cao vượt qua độ tương phản thấp trong khi (2.20) thiên về các miền rộng vượt qua các miền nhỏ hơn. Khuếch tán anisotropic
của PM thì không khuếch tán một cách đúng đắn trong hướng trực giao với gradient. Việc thay thế c( )∇I 2 bằng c(∇(Gσ*I 2) (trong đó * biểu diễn phép chập cuộn) sự ổn định của lời giải được cải thiện trong phạm vi khuếch tán trễ, sự hiểu nhầm nhiễu là biên được giảm đi một cách đáng kể.
c ). Khuếch tán với thành phần phức
Quá trình khuếch tán của Perona và Malik vẫn còn một số hạn chế là nhiễu ở gần biên chưa được giảm, cần phải cho cơ hội thêm khuếch tán dọc theo biên cùng với xuyên qua nó. Gilboa và các đồng tác giả đã tổng quát hoá không gian tỷ lệ tuyến tính trong vùng phức bởi kết hợp phương trình khuếch tán với phương trình Schrửdinger tự do [22], [23], [24] và sử dụng khuếch tỏn phức để đạt được mục đích giảm nhiễu, tìm biên có nhiều ưu điểm hơn. Quá trình khuếch tán thực hiện với một hệ số khuếch tán giá trị phức. Giá trị phức trong quá trình khuếch tán được dùng như một bộ tìm biên mạnh kháng nhiễu tốt và quá trình khuếch tán cho kết quả ra hai ảnh đồng thời: phần thực là ảnh đã được giảm nhiễu và phần ảo là ảnh đã được tìm biên.
• Khuếch tán phức tuyến tính
Phương trình khuếch tán phức tuyến tính đuợc Gilboa đưa ra có dạng ℑ
∈ ℜ
∈
=
ℜ
∈
>
=
I c I
x I
x t
cI It xx
, , )
0
; (
, 0 ,
0
(2.21) dựa trờn cơ sở phương trỡnh khuếch tỏn tuyến tớnh và phương trỡnh Schrửdinger. Ở đây c và I là các số phức. Hệ số khuếch tán phức được chọn c = rejθ và để tồn tại một giá trị c thực dương, chúng ta giới hạn ⎟
⎠
⎜ ⎞
⎝⎛−
∈ ,2
2 π
θ π (r dương trong góc phần tư thứ nhất và thứ 4 của vòng tròn toạ độ phức).
Lời giải xấp xỉ với θ nhỏ
Khi xem xét giá trị θ → 0 với lời giải cơ sở và phân tách các thành phần thực IR và ảo II của tín hiệu và hệ số khuếch tán với I =IR +iII,c =cR +icI ta thu được tập hai phương trình
⎪⎩
⎪⎨
⎧
=
−
=
=
−
=
=
=
0
| ,
| ,
t 0
0 t 0
t xx I
I xx R
R I I
t xx R
I xx I
R R R
I I
c I
c I
I I
I c I
c
I (2.22)
trong đó cR = cosθ, cI = sinθ . Quan hệ IRxx >> θIIxx giữ cho θ đủ nhỏ, nó cho phép chúng ta loại bỏ số hạng bên phải của phương trình thứ nhất để nhận được xấp xỉ với θ nhỏ (Khi θ nhỏ cosθ≈ 1 và sinθ ≈θ) .
Rxx Ixx
It Rxx
Rt I I I I
I ≈ ; ≈ +θ (2.23)
Trong phương trình này IR chịu tác động của quá trình khuếch tán còn II thì chịu ảnh hưởng của cả phương trình thực và ảo. Có thể nhìn nhận thành phần ảo như là
+ "một quá trình làm trơn". Thành phần
xx
It I
I ≈θ R θIRxx trong phần thứ hai của
công thức (2.23) sẽ là thành phần làm nổi biên lên trong quá trình khuếch tán.
Như vậy nếu chúng ta áp dụng quá trình khuếch tán phức trong xử lý ảnh với điều kiện khởi tạo là ảnh cần xử lý thì chúng ta thu được hai kết quả đồng thời như trong hình 2.19.
Hình 2.19 Thực hiện khuếch tán phức tuyến tính trên một ảnh màu kích thước 256x216 thành phần thực làm mờ ảnh, thành phần ảo thực hiện tìm biên.
• Khuếch tán phức phi tuyến
Đây là trường hợp các thành phần tín hiệu phức và hệ số khuếch tán phức phi tuyến. Chúng ta khảo sát một trường hợp cụ thể mà sẽ được áp dụng CNN để xử lý sau này, đó là dùng PDE để giảm nhiễu giữ gìn biên dốc. Các biên trong ảnh thực tế ngoài biên kiểu bước (step edge) còn có biên kiểu dốc (ramp edges), kiểu đỉnh
(peak), cong (roof) hoặc là tổ hợp các kiểu này. Sự biến đổi về độ sáng của biên dốc không phải đột ngột như biên bước.
Hình 2.20 a) biên kiểu dốc b) biên kiểu bước
Hình 2.21 Quan hệ giữa biên dốc và biên bước và các đạo hàm a) biên kiểu dốc b) đạo hàm bậc nhất của biên dốc thành biên kiểu bước c) đạo hàm bậc hai và các điểm đầu cuối của biên bước
d) các điểm cắt không của đạo hàm bậc ba của biên dốc.
Quá trình khuếch tán giảm nhiễu ảnh với các biên kiểu dốc cũng khác với quá trình giảm nhiễu cho ảnh với biên kiểu bước. Phương trình khuếch tán phi tuyến tổng quát nhằm mục đích bảo toàn biên dốc:
) ) (
( x
t c s I
I x
∂
= ∂ (2.24)
Chúng ta cần tìm một toán tử vi sai s thoả mãn cho quá trình bảo toàn biên dốc. Với biên kiểu bước có thể sử dụng gradient của ảnh nhưng với biên kiểu dốc chúng ta không sử dụng gradient vì hai nguyên nhân: thứ nhất là gradient không tìm ra các đặc điểm chính của biên dốc đó là các điểm đầu và cuối của nó; ngoài ra gradient có một giá trị ít thay đổi với biên dốc. Chúng ta chọn đạo hàm bậc hai do nó có biên độ cao ở gần các điểm đầu và cuối của biên dốc và nó có biên độ thấp ở trong biên, như vậy chúng ta có quá trình khuếch tán phi tuyến hạ nhiễu trong vùng biên dốc.
c(s) được công thức hoá như là một hàm không giảm của s s2
1 c(s) 1
= + trong đó s = |Ixx|, c(s) = c(|Ixx|). (2.25)
Thay c ở (2.25) vào (2.24) chúng ta nhận được
( xx) xx
xxx x xx xx
x
t I
I I I I I
I
I x 2
2 2
2 1
2 1
1 +
−
= +
⎟⎟⎠
⎜⎜ ⎞
⎝
⎛ +
∂
= ∂ (2.26)
Hình 2.22 Khuếch tán phức của ảnh người chụp ảnh với θ nhỏ (θ = π/30).
Phía trên là các giá trị thực. Phía dưới là giá trị ảo. Từ trái qua phải là các ảnh nguyên bản và ảnh biến đổi sau 0.25, 2.5 và 25 giây.
Hình 2.23 Khuếch tán phức của ảnh cameraman với θ lớn (θ = 14π/30). Phía trên là các giá trị thực, phía dưới là các giá trị ảo. Mỗi một frame ảnh từ trái qua phải là ảnh nguyên bản và các các ảnh sau mỗi khoảng thời gian: 0.25, 2.5, 25.
Tuy nhiên chúng ta đã biết là theo lý thuyết sự có mặt đạo hàm bậc hai và đạo hàm bậc ba của ảnh trong công thức (2.26) sẽ làm cho quá trình bị ảnh hưởng rất lớn của nhiễu và việc tính toán phức tạp hơn. Nhưng cả hai vấn đề này đã được giải quyết bằng sử dụng khuếch tán phức phi tuyến. Phương trình khuếch tán phức được sử dụng là
2
1 ) (
), ) ( .(
⎟⎟⎠
⎜⎜ ⎞
⎝ +⎛
=
∇
∇
=
θ
θ
k I I e
c
I I c I
I j I
I t
(2.27)
trong đó k là một thông số ngưỡng. II ký hiệu giá trị ảo của tín hiệu độ sáng I. Góc pha θ nhỏ (θ << 1). Các bước không gian và thời gian được chọn thích hợp để thành phần thực trong khi biến đổi ít sai số và thành phần ảo đảm bảo như ở (2.23)
. (Về giá trị của θ có thể tham khảo thêm một nghiên cứu gần đây nhất [21]).