CHƢƠNG III: NÂNG CAO CHẤT LƢỢNG ẢNH BẰNG PHƢƠNG PHÁP TèM XƢƠNG VÀ LÀM MẢNH
3.2 Cỏc phương phỏp lặp hỡnh thỏi học
Phần lớn cỏc thuật toỏn làm mảnh đều dựa trờn một vũng lặp lột bỏ dần đi cỏc lớp điểm ảnh cho đến khi khụng cũn nhiều hơn một lớp được xoỏ bỏ. Người ta đưa ra tập cỏc quy tắc xỏc định điểm ảnh nào cần loại bỏ và thụng thường một vài dạng cấu trỳc mẫu phự hợp (template-matching) để thực hiện cỏc quy tắc này. Thường thỡ cỏc quy tắc được thiết kế sao cho dễ nhận biết được khi nào thỡ thuật toỏn dừng. Đú là khi khụng cũn sự thay đổi nào sau 2 lần duyệt qua ảnh.
Thuật toỏn đầu tiờn được Stentiford đề xuất 1983 là một điển hỡnh cho kiểu này. Thuật toỏn sử dụng mẫu cấu trỳc 3 x 3 để đối sỏnh mẫu này trong hỡnh ảnh nghĩa là nếu giống thỡ ta cú thể xoỏ (đặt trắng) pixel trung tõm.
Nội dung thuật toỏn như sau:
Tỡm một vị trớ pixel (i,j) nơi mà cỏc pixel trong hỡnh ảnh I giống với mẫu M1 (Hỡnh 3.1).
Nếu pixel trung tõm khụng là điểm cuối và cú số kết nối bằng 1 thỡ đỏnh dấu pixel này lại để sau này xoỏ đi.
Lặp lại bước 1 và 2 với tất cả những pixel giống mẫu M1 trong ảnh. Lặp lại cỏc bước 1-3 với cỏc mẫu cũn lại (M2, M3, M4).
Nếu bất kỳ những pixel nào đó được đỏnh đấu để xoỏ thỡ xoỏ chỳng bằng cỏch thiết đặt chỳng thành màu trắng.
Nếu bất kỳ những pixel nào đó được xoỏ ở bước 5, lặp lại toàn bộ quỏ trỡnh từ bước 1. Ngược lại, thuật toỏn dừng.
Hỡnh 3.1. Cỏc mẫu sử dụng để nhận dạng những pixel cú thể được xoỏ trong thuật toỏn làm mảnh Stentiford, Những pixel đen và trắngtrong cỏc mẫu trờn phải phự hợp với những màu trong hỡnh ảnh; những kớ hiệu là những pixel màu tuỳ ý mà ta khụng quan tõm.
Ảnh phải được quột theo một thứ tự riờng biệt đối với từng mẫu. Mục đớch của mẫu M1 là tỡm cỏc pixel cú thể xoỏ được dọc theo biờn trờn của đối tượng, và chỳng ta tỡm kiếm mẫu ảnh phự hợp từ trỏi qua phải, từ trờn xuống dưới. Mẫu M2 sẽ thoả một pixel trờn trỏi của đối tượng, mẫu này di chuyển từ dưới lờn trờn,
(a) (b) (c) (d) (e)
Hỡnh 3.2: Một minh hoạ về số liờn kết
a. Điểm trung tõm khụng liờn kết với bất cứ vựng nào và cú thể bị xoỏ, Số liờn kết bằng 1.
b. Nếu điểm trung tõm đó bị xoỏ, hai phần trỏi và phải sẽ trở thành khụng liờn kết. Số liờn kết bằng 2.
c. Số liờn kết bằng 3.
d. Số liờn kết bằng 4, cực đại.
e. Liờn kết bằng 0.
từ trỏi qua phải của hỡnh ảnh. M3 sẽ định vị cỏc pixel dọc theo biờn dưới và di chuyển từ phải qua trỏi, từ dưới lờn trờn. Cuối cựng mẫu M4 sẽ tỡm những pixel ở bờn phải của đối tượng, từ trờn xuống dưới, phải qua trỏi.
Sự sắp xếp đặc biệt này và hướng ỏp dụng cho cỏc mẫu, để bảo đảm rằng cỏc pixel sẽ được xoỏ cõn đối, trỏnh được sự sai lệch hướng.
Cú 2 khỏi niệm mới và cả 2 được nờu trong bước 2.
Khỏi niệm về điểm cuối (end point): Một pixel được gọi là điểm cuối nếu nú chỉ kết nối với một pixel khỏc, điều đú cú nghĩa là, nếu pixel đen chỉ cú một lõn cận đen bờn ngoài tỏm vị trớ lõn cận (8 lỏng giềng) của nú. Nếu cỏc điểm cuối đó được xoỏ thỡ cỏc đường thẳng và cỏc đường cong mở cú thể được xoỏ hoàn chỉnh.
Khỏi niệm của số liờnkết đang được mọi người bàn cói, vỡ chỳng sử dụng cỏc thành phần rất nhỏ của hỡnh ảnh, vai trũ của phõn đoạn ảnh trong toàn bộ hỡnh ảnh khụng được rừ ràng. Đụi khi một pixel đơn kết nối với 2 bộ phận rộng hơn của một đối tượng, và qua trực giỏc rừ ràng rằng pixel đú khụng thể xoỏ vỡ nú sẽ tạo thành hai đối tượng từ một đối tượng cũ.
Hình 3.3:Bốn phần của mỗi phép lặp trong ph-ơng pháp làm mảnh Stentiford
b. Sau khi áp dụng mẫu M1
c. Sau mẫu M2
ảnh cú thể kết nối. Một cỏch đo lường cỏc kết nối, được thấy như trong hỡnh 3.2 (đẳng thức Yokoi 1973) là: Cn Nk Nk Nk Nk k S ( * 1* 2 )
Trong đú Nk là giỏ trị màu của một trong cỏc 8 lỏng giềng của điểm ảnh được liờn kết và S= {1, 3, 5, 7}. N1 là giỏ trị màu của điểm ảnh bờn phải của điểm ảnh trung tõm và chỳng được số hoỏ theo thứ tự ngược chiều kim đồng hồ, xung quanh điểm ảnh trung tõm. Giỏ trị của Nk là 1 nếu điểm ảnh là điểm trắng (điểm ảnh nền) và giỏ trị của Nk là 0 nếu điểm ảnh là điểm đen (điểm ảnh thuộc đối tượng). Điểm ảnh trung tõm là N0 và Nk=Nk - 8 nếu k > 8. Một cỏch khỏc mà giỏ trị liờn kết cú thể được tớnh toỏn bằng cỏch xột cỏc điểm lỏng giềng theo thứ tự: N1, N2, ....Ns, N1. Số cỏc thay đổi màu (đen - trắng) được sử dụng đếm số vựng điểm ảnh trung tõm kết nối.
Hỡnh 3.3 trỡnh bày một vũng lặp (đầu tiờn) của thuật toỏn làm mảnh ỏp dụng cho đối tượng cú hỡnh dạng chữ T. Một vũng lặp bao gồm một quỏ trỡnh duyệt qua đối với mỗi mẫu trong 4 mẫu đó cho. Cỏc điểm đen được đỏnh dấu cho thao tỏc xoỏ và điều đú dễ nhận ra trong sơ đồ một cỏch chớnh xỏc những gỡ mỗi mẫu thực hiện. Mỗi vũng lặp hoàn thành cú hiệu quả xúi mũn một lớp cỏc điểm ảnh từ bờn ngoài của đối tượng nhưng khụng giống với phộp co ảnh hỡnh thỏi chuẩn, việc xoỏ bỏ của một điểm ảnh khụng làm mất tớnh liờn thụng.
Để hoàn chỉnh việc làm mảnh đối tượng này đũi hỏi 13 vũng lặp (Việc đếm vũng lặp sau cựng mà khụng làm điều gỡ ngoại trừ việc hiển thi điều mà chỳng ta đó hoàn tất).
Hỡnh 3.4. Cho thấy kết quả của hỡnh ảnh sau mỗi bước lặp. Một bước lặp đi qua bốn lần trờn hỡnh ảnh, mà trong trường hợp này là 60 x 60 pixel hoặc 3.600 pixel. Như vậy 187.000 pixel đó được kiểm tra trong thứ tự để làm mảnh hỡnh ảnh đơn giản này. Tệ hơn mỗi mẫu ỏp dụng để nhỡn thấy ba pixel (lớn nhất
Hỡnh 3.4: Tất cả cỏc phộp lặp của thuật toỏn làm mảnh Stientiford được ỏp dụng cho chữ T. hai vũng lặp cuối tương tự, thờm một lần quột phụ đảm bảo rằng xương hoàn chỉnh.
là 561.600), và một khoảng thời gian để ỏp dụng mẫu vào hỡnh ảnh, khỏc đi mười tỏm pixel đó thấy (giới han trờn là 10.108.800 pixel, nhưng sẽ là phần nhỏ trong trong thực tế). Cuối cựng, sẽ cú thờm một quỏ trỡnh duyệt mỗi vũng lặp để xoỏ cỏc pixel đó đỏnh dấu (10.152.000). Đõy là một cỏch khú khăn để làm mảnh, nhưng nú hoàn toàn điển hỡnh đối với cỏc mẫu thuật toỏn đỏnh dấu và xoỏ.
Cú một vài vấn đề vẫn tồn tại trong thuật toỏn làm mảnh này đú là việc hiển thị như là một chế tỏc trong xương ảnh. Chỳng vẫn tồn tại bởi vỡ chỳng cú khuynh hướng xuất hiện hết sức đa dạng trong thuật toỏn kiểu này, và cỏc nhà nghiờn cứu trong lĩnh vực này đó nghiờn cứu và đoỏn trước được chỳng. Hiện tượng đầu tiờn trong kết quả của thuật toỏn này được gọi là necking, nú xảy ra trong một điểm hẹp chỗ giao nhau của hai đường thẳng đó bị kộo dài ra lại thành một đoạn thẳng (Hỡnh 3.5a).
Hỡnh 3.5
Phần đuụi (Tailing) cú thể được tạo tại nơi lẽ ra là khụng tồn tại bởi do việc làm mảnh quỏ mức, tại nơi hai đường thẳng gặp nhau tạo thành một gúc
nhọn (Hỡnh 3.5b). Hiện tượng cuối cựng cú lẽ là chung nhất, đú là sự tạo ra những đoạn thẳng phụ gắn vào đoạn xương thực, Điều này được gọi là spurious projection (sự nhụ giả), hairs (những sợi túc), hoặc line fuzz (dũng kẻ xoắn)
hỡnh 3.5c.
Stentiford đề xuất giai đoạn tiền xử lý để cực tiểu hoỏ cỏc chế tỏc làm mảnh đú. Do bởi cỏc đường xơ thường được tạo ra bởi những bất quy tắc nhỏ theo đường biờn ngoài của đối tượng, nờn phải tiến hành làm trơn trước khi làm mảnh đễ xoỏ bỏ chỳng. Về cơ bản, một quỏ trỡnh duyệt được thực hiện trờn tất cả cỏc điểm ảnh, xoỏ bỏ cỏc điểm ảnh cú khụng cú quỏ hai điểm lỏng giềng đen và cú một giỏ trị liờn kết nhỏ hơn 2.
Để xử lý với necking, ụng đề nghị một thủ tục được gọi là thủ tục phõn giỏc gúc nhọn (acute angle amphasis), mà trong đú cỏc điểm ảnh gần chỗ nối giữa hai đường được đặt thành màu trắng nếu chỳng “khộp lại” tạo thành một gúc nhọn. Điều này được thực hiện bằng cỏch sử dụng mẫu như đó thấy trong hỡnh 3.6. Một sự phự hợp với bất kỳ mẫu nào sẽ đỏnh dấu điểm ảnh trung tõm cho thao tỏc xoỏ và sẽ gõy ra một vũng lặp phõn giỏc gúc nhọn khỏc ớt nghiờm ngặt hơn mà nú chỉ sử dụng ba mẫu đầu tiờn của mỗi loại. Nếu bất kỳ điểm ảnh nào đó được xoỏ bỏ, một lần duyệt cuối cựng chỉ sử dụng mẫu đầu tiờn của mỗi kiểu được thực hiện.
Làm trơn (smoothing) được hoàn tất đầu tiờn, tiếp theo là tất cả cỏc quỏ trỡnh duyệt qua ảnh của cỏc gúc nhọn quan trọng. Cuối cựng là cỏc bước làm mảnh ảnh. Hỡnh 3.7. Trỡnh bày cỏc xương kết quả của cỏc kớ tự trong hỡnh 3.5 khi cỏc bước tiền xử lý được gộp vào.
Hơn nữa, hầu hết cỏc xương đú xuất hiện khi sử dụng phương phỏp này vẫn bị rạn nứt. Cỏch sử dụng 3 giai đoạn của cỏc gúc nhọn quan trọng sẽ khụng hiệu quả đối với cỏc kớ tự rất dày, và cỏc mẫu khụng phự hợp với tất cả cỏc tỡnh huống mà cú thể gõy ra cổ cột và đuụi cột. Cũng như vậy, bước làm trơn sẽ
Hỡnh 3.6: Cỏc mẫu được dựng cho bước xử lý gúc nhọn quan trọng.
Hỡnh 3.7: Những kớ tự được làm mảnh cuối cựng, sau cả hai bước tiền xử lý và làm mảnh.
khụng bắt gặp cỏc bất quy tắc mà cỏc bất quy tắc này cú thể tạo nờn cỏc đường xơ.
Mặc dự vậy, việc hoàn chỉnh thuật toỏn sẽ khụng được như mong đợi và phương phỏp là tương đối tốt, đặc biệt là bước tiền xử lý cho việc nhận dạng kớ tự.
Một thuật toỏn làm mảnh dường như là cụng cụ cho mọi người, đú là thuật toỏn Zhang-Suen (Zhang 1984). Thuật toỏn này được sử dụng như một nền tảng cơ sở cho việc so sỏnh cỏc thuật toỏn làm mảnh trong nhiều năm, nú nhanh và đơn giản khi cài đặt. Thuật toỏn này là một phương phỏp song song, cú nghĩa là giỏ trị mới cho bất kỳ điểm ảnh nào cú thể được tớnh toỏn chỉ sử dụng cỏc giỏ trị đó biết từ trong vũng lặp trước. Do đú, nếu mỏy tớnh cú một CPU cho mỗi điểm ảnh đó được cung cấp trước, nú cú thể xỏc định toàn bộ quỏ trỡnh lặp tiếp theo một cỏch đồng thời. Chỳng ta chỉ xem xột phiờn bản của chương trỡnh chỉ sử dụng 1 CPU.
Thuật toỏn được ngắt thành hai vũng lặp con để thay thế, vớ dụ, thay vỡ 4 vũng lặp con của thuật toỏn Stentiford. Trong một vũng lặp con, một điểm ảnh I(i, j) được xoỏ (hay được đỏnh dấu cho thao tỏc xoỏ bỏ) nếu 4 điều kiện sau đõy được thoả món:
1) Giỏ trị liờn kết của nú là 1.
2) Nú cú ớt nhất 2 điểm lỏng giềng đen và khụng nhiều hơn 6.
3) Cú ớt nhất một trong cỏc điểm: I(i, j+1), I(i-1, j) và I(i, j-1) là điểm nền (điểm màu trắng).
4) Ít nhất một trong cỏc điểm: I(i-1, j), I(i+1, j) và I(i, j-1) là điểm ảnh nền. Tại cuối vũng lặp con này cỏc điểm đó đỏnh dấu được xoỏ bỏ.
Vũng lặp con tiếp theo sau làm tương tự ngoại trừ bước 3 và 4.
1) Ít nhất một trong cỏc điểm: I(i-1, j), I(i, j+1) và I(i+1, j) là điểm nền (màu trắng).
2) Ít nhất một trong cỏc điểm: I(i, j+1), I(i+1, j) và I(i, j-1) là điểm ảnh nền
Trở lại, bất kỳ điểm ảnh nào đó đỏnh dấu đều được xoỏ bỏ.
Nếu ở cuối vũng lặp con khỏc khụng cú điểm nào được xoỏ thỡ xương hoàn toàn được xỏc định và chương trỡnh kết thỳc.
Hỡnh 3.8 trỡnh bày cỏc xương đó được tỡm bằng thuật toỏn Zhang-Suen ỏp dụng cho 4 ảnh vớ dụ kinh điển: Xương dạng chữ T, X, V và số 8. Xương dạng hỡnh chữ T đặc biệt tốt. Xương dạng hỡnh chữ V khụng biểu thị dấu hiệu nào của phần đuụi (tail). Xương hỡnh dạng X vẫn cũn thấy cổ cột và xương dạng số 8 cũng vẫn cũn thể hiện cỏc đường gấp khỳc.
Cỏc bước tiền xử lý được đề nghị bởi Stentiford cú thể giải quyết vấn đề này.
Trước khi kiểm chứng điều này, một cải tiến (nõng cao) của thuật toỏn nhanh hơn và khụng liờn quan đến cỏc vũng lặp con đó được đề xuất (bởi Holt 1987).
Hỡnh 3.8: Cỏc xương tạo ra bởi thuật toỏn làm mảnh Zhang-Suen khi ỏp dụng kiểm tra ảnh hỡnh 3.6.
Đầu tiờn, 2 vũng lặp con được viết như một biểu thức logic sử dụng 3x3 điểm lỏng giềng về điểm ảnh liờn quan. Vũng lặp con ở trờn cú thể được viết như sau:
v(C) ^ (~edge(C) v (v(E) ^v(S) ^ (v(N) v v(W)))) (EQ 3.2) Đú là điều kiện dưới cho điểm trung tõm C tồn tại trong vũng lặp con đầu tiờn. Hàm v cho giỏ trị của điểm ảnh (1 = đỳng, đối với điểm ảnh thuộc đối tượng, 0 = sai, đối với cỏc điểm ảnh nền), và hàm cạnh (edge function) là đỳng nếu điểm trung tõm C nằm trờn biờn của đối tượng - điều này đỏp ứng cho việc hiện hữu giữa 2 và 6 lỏng giềng và số kết nối = 1. Cỏc kớ tự E, S, N và W tương xứng với cỏc điểm ảnh theo một hướng từ điểm ảnh trung tõm C; E nghĩa là hướng đụng (tương ứng với điểm ảnh I(i, j+1)), S nghĩa là hướng nam (tương ứng với điểm ảnh I(i+1, j)), v.v...
Vũng lặp con thứ 2 được viết như sau:
v(C) ^ (~edge(C) v (v(W) ^v(N) ^ (v(S) v v(E)))) (EQ 3.3) Holt và nhúm của ụng đó kết hợp 2 biểu thức 3.2 và 3.3 với một điều kiện kết nối bảo toàn (cần thiết cho việc thực hiện tớnh toỏn song song) và đưa ra cỏc biểu thức đơn dưới đõy cho cỏc điểm ảnh cũn lại:
v(C) ^ (~edge(C) v
(edge(E) ^v(N) ^v(S)) v (edge(S) ^ v(W) ^v(E)) v
(edge(E) ^ edge(SE) ^ edge(S)) (EQ 3.4)
Biểu thức này khụng phải là phức tạp như nú minh hoạ, cỏc hàm v chỉ đơn giản là cỏc giỏ trị điểm ảnh và hàm cạnh chỉ phức tạp gần như hàm kết nối (liờn kết) sử dụng trong thuật toỏn Stentiford. Kết quả thu được từ thuật toỏn này là
tốt nhưng nú khụng giống thuật toỏn Zhang-Suen chuẩn. Tuy nhiờn vẫn cú thể được sử dụng đến.
Đụi lỳc, khi quỏ trỡnh làm mảnh hoàn thành vẫn cú cỏc điểm ảnh mà chỳng cú thể bị xoỏ bỏ. Điển hỡnh trong chỳng là những điểm ảnh cú dạng hỡnh bậc thang (staircase), một nửa cỏc điểm ảnh trong hỡnh bậc thang đú cú thể được xoỏ bỏ, mà khụng cú sự kết nối của đối tượng tổng thể. Về cơ bản, điểm ảnh trung tõm của một trong cỏc cửa sổ dưới đõy cú thể được xoỏ bỏ:
0 1 x x 1 0 0 x x x x 0 1 1 x x 1 1 x 1 1 1 1 x x x 0 0 x x x 1 0 0 1 x
Để trỏnh tạo ra một lỗ hổng mới, đơn giản chỳng ta bổ sung thờm một điều kiện mà một trong cỏc giỏ trị x = 0.
Đối với cỏc cửa sổ cú đường chộo hướng bắc (2 cửa sổ đầu tiờn), biểu thức cho sự tồn tại 1 điểm ảnh trong việc lặp lại thao tỏc xoỏ những điểm ảnh bậc thang (staircase removal) là:
v(C) ^ ~( v(N) ^
((v(E) ^ ~v(NE) ^ ~v(SW) ^ (~v(W) v ~v(S)) v
(v(W) ^ ~v(NW) ^ ~v(SE) ^ (~v(E) v ~v(S)))))) (EQ 3.5) Quỏ trỡnh duyệt ảnh cú đường chộo hướng nam tương tự như vậy, nhưng với chuyển đổi bắc và nam. Khụng cú ảnh nào trong cỏc ảnh vớ dụ từ trước tới giờ cú số lượng hỡnh dạng bậc thang đỏng quan tõm, ngoại trừ ảnh đó giới thiệu (trỡnh bày) trong hỡnh 3.9. Phiờn bản xương đó làm mảnh bằng cỏch lặp lại quỏ trỡnh xoỏ ảnh bậc thang dường như trơn và đối xứng hơn cỏc xương khỏc.
Hỡnh 3.10 trỡnh bày kết quả việc ỏp dụng phương phỏp này vào 4 ảnh kiểm tra mà chỳng ta đó sử dụng.
Cỏc vấn đề cơ bản vẫn cũn hiện diện; trong thực tế, phương phỏp này khụng xử lý cỏc phần đuụi (tails) tốt như phương phỏp Zhang-Suen chuẩn và xương dạng chữ T khụng tốt bằng.
Nếu tốc độ là vấn đề cần quan tõm đến thỡ việc cải tiến thuật toỏn Holt của Zhang-Suen là thuật toỏn tốt hơn cỏc thuật toỏn đó thấy từ trước tới nay. Mặt khỏc, nếu chất lượng của xương là vấn đề quan trọng bậc nhất thỡ đú là khả năng