Từ khoảng những năm cuối thế kỷ 20 việc ứng dụng PDE cho xử lý ảnh đã được khởi động nghiên cứu bắt đầu từ các bài báo của Witkin va Koenderink, tiếp theo là các công trình của Osher va Rudin, L. Alvarez và L.Mazorra, P.Perona va J.Malik với các PDE thành phần thực. G.Gillboa va Y.Y.Zeevi, N.Sochen, với thành phần số phức. Xử lý ảnh bằng PDE đã tỏ rõ là một phương pháp xử lý ảnh hiệu quả khi thực hiện các tác vụ làm trơn (smoothing), giảm
nhiễu (denoising) tìm biên (edge detection), phân vùng ảnh (segmentation),
phục hồi cấu trúc ảnh (reconstruction), nén ảnh, thay đổi histogram (PDE based
histogram modification), ...
Các thuật toán xử lý ảnh dùng PDE có nhiều đặc tính tốt do:
+ Tính chất cục bộ tự nhiên của PDE phù hợp với rất nhiều các đặc
điểm cục bộ của ảnh. Do vậy biểu diễn quá trình biến đổi của ảnh qua PDE là rất thích hợp.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/ bao gồm sự hội tụ, tính ổn định, lời giải duy nhất,…
+ Đã có nhiều dạng sơ đồ rời rạc hóa cho thực hiện các thuật toán PDE. + Thuật toán được mô tả ngắn gọn, không dài dòng phức tạp và dễ hiểu. + Dễ dàng khái quát hóa mở rộng chiều một cách đơn giản bằng cách sử dụng toán tử Laplace, divergence và gradient.
+ Có thể quan sát được quá trình biến đổi thời gian thực của ảnh nếu sử dụng công cụ CNN.
+ Các PDE được sử dụng để xử lý ảnh thường ở hai lớp: PDE khuếch tán tuyến tính (hệ số khuếch tán hằng số, đẳng hướng) và PDE khuếch tán phi tuyến (hệ số khuếch tán phi tuyến và không đẳng hướng)
Cũng như với tất cả các tác vụ xử lý ảnh khác trên máy tính hệ lệnh tuần tự xử lý ảnh dùng PDE gặp phải một vấn đề là do tổng số lượng các phép tính toán, xử lý rất lớn, điều này làm cho mong muốn xử lý ảnh thời gian thực (real-time) trong đa số các trường hợp yêu cầu là không thực hiện được. Tuy nhiên với các mô hình CNN một lớp, nhiều lớp được thiết kế với các bộ mẫu thích hợp việc giải các PDE này theo phương pháp sai phân sẽ chỉ tốn những khoảng thời gian vài phần triệu giây, không phụ thuộc vào kích thước lưới sai phân cho phép thực hiện được các xử lý ảnh dùng PDE với thời gian thực.
2.4. Xử lý ảnh dùng CNN những kết quả đã đạt đƣợc
Mạng nơ ron tế bào CNN cho phép xử lý các mảng tín hiệu tốc độ cao bởi hai yếu tố cơ bản và khó tách rời nhau:
- Một bộ xử lý tế bào trong mạng CNN là một mạch điện phi tuyến đơn giản liên kết cục bộ với các bộ xử lý tế bào khác trong bán kính ảnh hưởng trực tiếp có tốc độ xử lý tín hiệu đầu vào là thời gian quá độ của một mạch điện (khoảng vài micro giây). Hàng chục ngàn bộ xử lý tế bào trong một chíp CNN xử lý hàng chục ngàn tín hiệu đầu vào khác nhau để cho ra đồng thời ở
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
đầu ra hàng chục ngàn tín hiệu đã được xử lý cũng chỉ cần một lệnh duy nhất là bộ trọng số liện kết giữa các bộ xử lý này.
- Các sensor thu mảng tín hiệu (ánh sáng, áp suất, âm thanh) có thể đưa trực tiếp vào đầu vào của mỗi nơ ron trong mạng nơ ron tế bào để xử lý không cần qua bộ ADC. Như vậy đã bỏ được rất nhiều khâu biến đổi, truyền dẫn trung gian giữa tín hiệu cần xử lý và bộ xử lý.
Xử lý ảnh dùng CNN hiện nay đã thực hiện được tất cả các công việc kinh điển mà một chương trình xử lý ảnh thường phải thực hiện:
+ Tiền xử lý: loại bỏ các đối tượng nhiễu, tăng độ tương phản, tăng cường các thông tin cần quan tâm.
+ Trích chọn đặc tính. + Rút ra các quyết định
Như đã nói ở phần trên xử lý ảnh dùng PDE là một hướng mới trong xử lý ảnh. Đã có rất nhiều nghiên cứu về xử lý ảnh dùng PDE trên máy tính hệ lệnh tuần tự … nhưng các kết quả nghiên cứu về xử lý ảnh dùng PDE trên CNN mới chỉ rất ít ỏi; đây là một thực tế khách quan bởi lực lượng nghiên cứu về CNN chưa phải là rất đông đảo trong khi các công việc và hướng nghiên cứu thì rất rộng:
+ Đã có các mô hình CNN tìm biên dùng PDE. Đã có các nghiên cứu về giảm nhiễu dùng PDE trên CNN với các phương trình tuyến tính các hệ số, thành phần của PDE là số thực.
+ Tuy nhiên các mô hình CNN thực hiện các PDE khuếch tán sử dụng cho xử lý ảnh mới được quan tâm đến các mô hình CNN một lớp đơn. Các thành phần và hệ số của các CNN thực hiện PDE này chỉ là số thực. Các mô
hình CNN nhiều lớp thực hiện PDE với các thành phần phi tuyến và phức áp dụng cho xử lý ảnh chưa được quan tâm nghiên cứu.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
+ Nhiều công việc xử lý ảnh cơ bản hữu dụng như các bộ lọc shock, lọc nhiễu đốm chưa được quan tâm xử lý trên CNN
+ Cuối cùng là các mô hình, các thuật toán xử lý ảnh trên CNN (cũng như các mô hình CNN cho các nhiệm vụ khác như giải PDE, quan sát đa mục tiêu, …) cần phải được nghiên cứu tích hợp tạo ra bởi phần cứng để có các sản phẩm nổi trội, sắc bén.
2.5. Thiết kế mẫu cho mạng nơ ron tế bào
2.5.1. Vai trò toán tử, tham số
Phương trình trạng thái (state equation)
ij ij ij ( , ) ( , ) ( , ) ( , ) 1 ( , ; , ) ( , ; , ) r r kl kl C k l S i j C k l S i j x x x t A i j k l y t B i j k l u z R
Để một CNN có tính ổn định thì aij A, bij B, có thể được chọn như sau: a1 = a9; a2 = a8; a3 = a7; a4 = a6; b1 = b9; b2 = b8; b3 = b7; b4 = b6: 1 2 3 4 5 6 7 8 9 a a a A a a a a a a 1 2 3 4 5 6 7 8 9 b b b B b b b b b b
a. Toán tử dẫn nạp hồi tiếp A(i,j;k,l), trong không gian bất biến có thể viết như sau: ( , ) ( , ) ( , ) ( , ) ( , ; , ) ( , ) ( , ; , ) ( , ) ; ( , ) r r kl kl C k l S i j k i r l j r kl kl C k l S i j k i r l j r ij mn A i j k l y A i k j l y B i j k l u B i k j l u z z a A m n
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/ ( , ) ( , ) 1, 1 1, 1 1,0 1, 1,1 1, 1 0, 1 , 1 0,0 , 0,1 , 1 1, 1 1, 1 1,0 1, 1,1 1, 1 1 1 , , 1 1 ( , ; , ) ( , ) r kl kl C k l S i j k i r l j r i j i j i j i j i j i j i j i j i j k l i k j l k l A i j k l y A i k j l y a y a y a y a y a y a y a y a y a y a y
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/ 1, 1 1,0 1,1 1, 1 1,0 1,1 0, 1 0,0 0,1 0, 1 0,0 0,1 1, 1 1,0 1,1 1, 1 1,0 1,1 * * ij a a a y y y a a a y y y A Y a a a y y y
Ma trận A kích thước 3 X 3 được gọi là mẫu vô hướng hồi tiếp và ký tự bao hàm tổng của các tích điểm, nên được gọi là tích điểm mẫu, toán tử này được gọi là toán tử “xoắn không gian”. Ma trận 3 X 3 Yij trong thu được bởi việc di chuyển một mặt nạ mờ với kích thước cửa sổ 3x3 đến vị trí (i,j) của ma trận MxN đầu ra ảnh Y do vậy được gọi là ảnh đầu ra tại C(i,j).
Một phần tử akl là phần tử trung tâm, trọng số hoặc hệ số, của mẫu hồi tiếp A, nếu và chỉ nếu (k,l) = (0,0). Để thuận tiện phân tích mẫu A như sau, khi đó Ao
và A lần lượt được gọi là các thành phần mẫu trung tâm và đường biên.
0 A A A 0 0 0 a-1,-1 a-1,0 a-1,1 A 0 a0,0 0 A a0,-1 0 a0,1 0 0 0 a1,-1 a1,0 a1,1
b. Vai trò toán tử dẫn nhập đầu vào B(i,j;k,l)
1 1 , , ( , ) ( , ) ( , ; , ) ( , ) r kl kl k l i k j l C k l S i j k i r l j r k i r l j r B i j k l y B i k j l u b u 1, 1 1,0 1,1 1, 1 1, 1, 1 0, 1 0,0 0,1 , 1 , , 1 1, 1 1,0 1,1 1, 1 1, 1, 1 * * i j i j i j i j i j i j ij i j i j i j b b b u u u b b b u u u B U b b b u u u
Ma trận B kích thước 3 x 3 được gọi là mẫu dẫn nhập hoặc mẫu vô hướng đầu vào, và Uij là mặt nạ biên dịch ảnh đầu vào, tương tự ta có thể viết Bo và B gọi là mẫu dẫn nhập trung tâm và đường biên.
0
B B B
0 0 0 b-1,-1 b-1,0 b-1,1
B 0 b0,0 0
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
0 0 0 b1,-1 b1,0 b1,1
c. Vai trò tham số ngưỡng zij = z
Tính chất bất biến không gian của CNN được mô tả hoàn chỉnh như sau
ij ij ij ij x x A Y* B U* z Phân tích ta được: ij ij 00 ij ij ij ij ij ij x x a f x( ) A Y* B U* h x( ; ) ij ij ij ij; ; ij ij; * ij * ij g x x t x t A Y B U
hij: gọi là rate funtion (hàm tỷ lệ), gij: gọi là điểm điều khiển, ij: hàm bù.
Mỗi CNN được xác định bởi 3 giá trị của các mẫu vô hướng A, B, z . Mũi tên được in đậm đánh dấu đường dữ liệu song song từ đầu vào tới đầu ra của các tế bào đường biên tương ứng ukl và ykl. Mũi tên nhạt hơn biểu diễn mức ngưỡng, đầu vào, trạng thái, và đầu ra tương ứng là z, xij, và yij.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Mạng nơ ron tế bào như đã nói ở trên là một hệ tính toán song song đặc biệt thuận tiện cho các tác vụ xử lý các luồng mảng tín hiệu. Với cấu trúc liên kết cục bộ giống nhau ở tất cả các tế bào của mạng nên mạng CNN trễ dễ
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
dàng được thực thi trên một chíp CMOS, FPGA. Hoạt động của mạng CNN hoàn toàn được xác định bởi bộ mẫu liên kết cục bộ. Việc thiết kế các mẫu liên kết cho mạng CNN là một vấn đề khó vì thực chất là bài toán xác định các tham số cho một hệ động lực phi tuyến phụ thuộc cả các biến không gian và thời gian cho một tác vụ xử lý cụ thể. Trong khi xây dựng các ứng dụng mạng nơ ron tế bào CNN trước hết người ta xác định mô hình của mạng: một lớp hay nhiều lớp, cấu trúc mối liên kết cục bộ … Sau đó là bước thiết kế bộ mẫu (hoặc các bộ mẫu với mạng nhiều lớp) xác định hành vi động học của mạng. Đây chính là bước xác định giá trị của các hệ số trong các ma trận A, B và giá trị ngưỡng z sao cho ứng với các bộ giá trị đó mạng CNN đảm bảo thu được mảng các giá trị đầu ra theo yêu cầu. Việc xử lý tính toán trên mạng CNN về bản chất là tìm được các mô hình, các bộ mẫu cơ bản, các thuật toán cơ sở
(framework) phối hợp các bộ mẫu cho ứng dụng cụ thể. Trên máy tính PC chúng ta dùng các câu lệnh sai, thuật toán sai thì không thể thu được kết quả mong muốn sau khi chạy chương trình. Cũng như vậy trên máy tính CNN UM chúng ta sẽ không nhận được kết quả đúng khi chạy các bộ mẫu thiết kế sai.
Để thuận tiện cho việc xây dựng các ứng dụng bằng CNN một số mẫu cơ bản đã được các nhà khoa học Viện Hàn lâm khoa học Hungary soạn thảo tập hợp trong thư viện phần mềm các mẫu cho CNN –CNN Software library 2.1 (1-2007). Các mẫu này có thể được sử dụng qua các hàm của các thư viện phần mềm hoạt động trên các thiết bị CNN như InstantVision chạy trên thiết bị Bi-I sử dụng chíp CNN ACE16K. Các mẫu này cũng có thể được người sử dụng nạp trực tiếp từ các file text chứa mẫu vào ACE16K và sau đó kích hoạt mạng CNN để nhận được kết quả ở đầu ra. Các mẫu này bao gồm các mẫu thực hiện các tác vụ cơ bản cho xử lý ảnh như phân ngưỡng, tìm biên, thực hiện logic, hình thái học,… ngoài ra còn có một số mẫu như mẫu dò tìm sự chuyển động trên ảnh xám, phân vùng các mẫu dệt, chọn các đối tượng được đánh dấu, giải phương trình vi phân đạo hàm riêng PDE, …Các nhà nghiên cứu về CNN có thể cập nhật các mẫu mới và thủ tục mới vào thư viện này để
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
làm phong phú thêm thư viện dùng chung. Một số ví dụ mẫu và tác dụng của chúng được mô tả như sau:
Mẫu tìm biên
Ảnh đầu vào Ảnh đầu ra sau chạy mẫu
Hình 2.1. Mẫu tìm biên và hiệu quả của mẫu
Mẫu thiết lập ngưỡng
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
Hình 2.2. Mẫu thiết lập ngưỡng
Khi dùng CNN để xử lý ảnh có thể sử dụng các mẫu đơn trong thư viện mẫu hoặc mẫu do chúng ta tìm ra theo yêu cầu hoặc cũng có thể phối hợp nhiều mẫu lần lượt hoặc cũng có thể phối hợp tính toán lai kết hợp các mảng CNN với DSP.
Hiện nay có nhiều phương pháp xác định được các mẫu phục vụ cho việc xử lý trên mạng CNN. Theo cách thức nội dung tiến hành có thể tạm thời chia thành một số phương pháp thiết kế như trong phần dưới đây. Các phương pháp được giới thiệu này chủ yếu được dùng để tìm mẫu cho các tác vụ xử lý ảnh không diễn tả được bằng phương trình toán học. Các phương pháp hay được sử dụng nhiều hiện nay là thiết kế mẫu trực tiếp và phương pháp học.
2.5.3. Các phương pháp thiết kế mẫu cho CNN
a. Sử dụng các mặt nạ trong kỹ thuật xử lý ảnh truyền thống
Dùng các mặt nạ đã được sử dụng, kiểm nghiệm trong quá trình xử lý ảnh trên máy tính số như các mẫu lọc trung bình (average), các mẫu co ảnh (erosion), dãn ảnh (dilation),…Trong mạng CNN mặt nạ này được dùng làm ma trận A cho phép thực hiện các phép biến đổi tương đương.
b. Phân tích hoạt động của CNN để tìm ra mẫu
Theo phương pháp này, để tìm ra một tập mẫu trước hết cần phải phân tích mô tả hoạt động của mẫu đó thành các tác vụ chi tiết – các luật cục bộ (local rule) sau đó dựa vào phương trình trạng thái và đồ thị quan hệ giữa biến trạng thái và đạo hàm bậc nhất của nó (đồ thị DP) để xác định mẫu.
c. Phương pháp thiết kế mẫu dùng bảng logic
Phương pháp này được L.O Chua phân tích đầu tiên. Đây là phương pháp xác định các mẫu cho các mạng CNN không ghép cặp mẫu A chỉ có thành phần trung tâm khác 0 các thành phần khác bằng 0. Phương pháp này
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
có đặc điểm đơn giản nhưng chỉ áp dụng được với các ảnh nhị phân và các tác vụ không phức tạp.
Số hóa bởi trung tâm học liệu http://www.lrc-tnu.edu.vn/
d. Phương pháp thiết kế mẫu trực tiếp
Đây là phương pháp dùng thiết kế mẫu cho xử lý ảnh nhị phân được Akos Zarandy đề xuất. Phương pháp này được dùng để thiết kế mẫu khi nhiệm vụ yêu cầu đã được xác định chính xác. Các mẫu tìm được có thể cho mạng CNN ghép cặp hoặc không ghép cặp. Trình tự tiến hành thiết kế mẫu theo phương pháp trực tiếp theo 4 bước sau:
Định hình dạng mẫu Tạo hệ thống quy luật quan hệ Giải hệ thống quy luật quan hệ Chọn mẫu mạnh nhất
Hình 2.3. Sơ đồ các bước thiết kế mẫu theo phương pháp trực tiếp
e. Thiết kế mẫu dùng phương pháp học
Phương pháp học để tìm bộ trọng số liên kết (bộ mẫu trong mạng CNN là phương pháp học theo tham số và có giám sát. Đầu vào của thủ tục học là: các ảnh cần xử lý và ảnh yêu cầu ở đầu ra điều kiện đối xứng của các hệ số