CÁC THUẬT GIẢI PHÂN ĐOẠN ẢNH

44 CHƢƠNG 3: CÁC THUẬT GIẢI PHÂN ĐOẠN ẢNH 3.1 Giới thiệu Phân đoạn ảnh công đoạn quan trọng toán xử lý ảnh thị giác máy tính Mục đích phân đoạn ảnh chia ảnh đầu vào thành vùng đồng Trong đó, vùng đồng tập điểm ảnh có chung số tính chất nhƣ màu sắc, kiểu tô, v.v (hình 3.1) Các thuật giải phân đoạn ảnh đƣợc xếp vào loại: Hình 3.1-Minh họa ảnh gốc ảnh kết mong muốn sau phân đoạn  Phân ngƣỡng (thresholding), gom nhóm (clustering), phân lớp (classifier) o Thresholding: chia ngƣỡng cƣờng độ gán điểm ảnh vào lớp khác Cách giải dựa histogram ảnh Ƣu điểm phƣơng pháp đơn giản, đƣợc dùng cho phân đoạn sơ Tuy nhiên, phƣơng pháp lại không thích hợp cho ảnh màu, ảnh xám, nhiễu o Clustering: k-Mean, Expectation Maximization (EM): dựa cƣờng độ điểm ảnh nhƣng xét thêm quan hệ điểm ảnh lân cận phân nhóm, cập nhật giá trị đại diện nhóm 45 o Classifier: đƣợc xem nhƣ mở rộng phƣơng pháp phân ngƣỡng với thuật giải phổ biến k-NN, maximum likehood, SVM  Loang o Loang vùng: từ điểm ảnh nhân (xác định trƣớc) vùng, tìm điểm ảnh liên thông dựa số tiêu chuẩn đƣợc xác định trƣớc loang dần để tạo thành vùng o Watershed: phƣơng pháp heuristic với việc xem ảnh bề mặt ba chiều thực loang dần từ đáy lên để hình thành nên “hồ chứa” thể vùng  Dựa biên: sử dụng thuật giải dò cạnh nhƣ Canny, Robert, Sobel, v.v hay mô hình biến dạng (deformable) Snake, Gradient Vector Flow  Dựa phân hoạch đồ thị: Max Cut, Normalized Cut hai đại diện phổ biến phƣơng pháp Ảnh đƣợc xem nhƣ đồ thị, cách giải xác định tiêu chuẩn phân hoạch đồ thị “tốt nhất”, tạo đồ thị tƣơng ứng với lớp cần phân đoạn  Dựa mô hình xác suất: sử dụng mô hình xác suất nhƣ trƣờng ngẫu nhiên Markov, Gibbs, Gaussian, Conditional Ảnh đƣợc xem nhƣ trƣờng ngẫu nhiên với hàm phân phối xác định, mục tiêu tìm lời giải tối ƣu thể trạng thái nhãn điểm ảnh Trong [48], tác giả trình bày thuật giải phân đoạn ảnh dựa phân hoạch đồ thị Phƣơng pháp đƣợc gọi Normalized Cut với độ phức tạp tính toán đƣợc xác định NP-đầy đủ Đặc điểm thuật giải xem ảnh nhƣ đồ thị G  (V , E ) Trong đó, V tất điểm ảnh ảnh ứng với nút đồ thị, E tập cạnh nối cặp nút Dựa vào tiêu chuẩn Normalized Cut (NCut-độ đo thể trọng số tách đồ thị) chia đồ thị thành hai (hoặc K-ứng với số lớp) đồ thị đệ quy tiếp tục đồ thị Trong thuật giải này, đồ thị đƣợc tách theo tiêu chuẩn NCut vùng ảnh cần phân đoạn 46 Nhận xét tính đắn thuật giải phụ thuộc vào ứng dụng, loại ảnh, thực tế cho thấy không tồn phương pháp phân đoạn tốt cho tất loại ảnh Phƣơng pháp dựa mô hình xác suất, cụ thể trƣờng ngẫu nhiên Markov trọng tâm nghiên cứu chƣơng Đối với mô hình MRF, khai thác thuật giải SA với đóng góp xác định nhiệt độ khởi đầu, sử dụng hàm giảm nhiệt độ thích nghi, nhƣ kết hợp MRF với mô hình phân rã nhằm thực phân đoạn ảnh đa tỉ lệ Bên cạnh trình bày phƣơng pháp watershed ứng dụng phân đoạn ảnh Phƣơng pháp watershed đƣợc trình bày lý do:  Đây ứng dụng thực tiễn - phân tích liệu ảnh wafer bán dẫn với nhu cầu phân đoạn hạt (grain) - mà sử dụng watershed với cải tiến  Chúng minh hoạ ý tƣởng việc sử dụng công cụ hay thuật giải có xét đến yếu tố tốc độ thực điều kiện công nghiệp 3.2 Phân đoạn với watershed cải tiến 3.2.1 Phân đoạn với watershed phân cấp Thuật giải watershed Digabel Lantejoul [20] giới thiệu sau đƣợc Beucher, Vincent [7] bổ sung Thuật giải đƣợc nghiên cứu ứng dụng để xác định đối tƣợng ảnh Biến đổi watershed phƣơng pháp phân đoạn phổ biến xuất phát từ phƣơng pháp hình thái học Biến đổi đơn giản mô tả trực quan nhƣ sau: Xem ảnh vùng địa hình chiều, điểm ảnh có độ cao thể tƣơng ứng giá trị mức xám Cho mƣa rơi vùng địa hình (ảnh xám xét) watershed đƣờng ngăn cách tạo thành hồ chứa nƣớc (catchment basin) tƣơng đƣơng với đối tƣợng đƣợc phân đoạn ảnh Thuật giải watershed đƣợc tóm tắt nhƣ sau 47 Sử dụng phƣơng pháp loang dần từ đáy lên [36], [53], nghĩa xác định tất mức xám có ảnh, sau chọn điểm ảnh hay nhóm điểm ảnh có giá trị cƣờng độ xám nhỏ nhất, loang dần từ điểm ảnh để xác định điểm ảnh khác (thuộc mức xám hay mức xám lớn gần nhất) thuộc vùng xét Thuật giải thực tƣơng tự cho mức xám nhỏ chƣa đƣợc xét Một điểm ảnh đƣợc cho nằm biên thuộc hai vùng Tiêu chuẩn để xác định điểm ảnh thuộc vùng xét quan trọng Quan hệ hai điểm ảnh xác định dựa khoảng cách hình học, hay dựa khác biệt cƣờng độ màu Việc thực phân đoạn ảnh màu với thuật giải watershed tƣơng tự nhƣ ảnh xám xét kênh màu Tuy nhiên, liệu ảnh với không gian màu RGB cần đƣợc chuyển không gian màu HSV hay I1I2I3 [http://www.couleur.org/index.php?page=transformations] trƣớc phân đoạn Thuật giải watershed dựa khoảng cách đƣợc thực nhƣ sau B1 Chuyển ảnh I từ sắc xám đen trắng Ib với ngƣỡng Ir cho trƣớc 1 I i , j  I r khác 0 Theo I i , j   B2 Tính giá trị điểm ảnh ảnh khoảng cách Euclide Trong giá trị điểm ảnh khoảng cách Euclide gần đến giá trị điểm ảnh khác zero ảnh Ib B3 Sắp xếp điểm ảnh ảnh theo giá trị khoảng cách tăng dần B4 Tất điểm ảnh có giá trị khoảng cách lớn Dmax đƣợc gán nhãn Lmax xem marker (có thể điểm ảnh nhóm điểm ảnh kề nhau) đƣợc lƣu ảnh marker B1 Xét điểm ảnh có khoảng cách Dnext (giá trị lớn kế sau Dmax) Nếu có điểm ảnh kề Lmax đƣợc xát nhập vào Lmax Các điểm ảnh 48 (hay nhóm điểm ảnh kề nhau) chƣa đƣợc xát nhập tạo thành marker với nhãn B2 Dmax = Dnext B3 Dnext = Giá trị khoảng cách lớn B4 Lặp lại bƣớc B5, B6, B7 Dmax Dmin Tƣơng tự, watershed dựa biến đổi mức xám theo bƣớc trên, nhƣng thay sử dụng khoảng cách hình học, biến đổi mức xám đƣợc sử dụng ảnh thông qua ma trận biến thiên mức xám G, với Gmax biến đổi mức xám lớn nhất, Gmin biến đổi mức xám nhỏ Qua kết thực nghiệm thuật giải watershed dựa khoảng cách hình học với tập vi ảnh chụp wafer bán dẫn, có nhận xét sau: Nhận xét 1: biến đổi watershed dựa ma trận D chứa giá trị khoảng cách điểm ảnh ảnh hiệu trường hợp đối tượng (ở grain) tương đối tách rời Nhận xét 2: biến đổi watershed dựa ma trận G chứa biến đổi mức xám điểm ảnh ảnh bị ảnh hưỏng nhiễu dễ gây tình trạng phân đoạn nát (over-segmentation) Từ nhận xét trên, đề nghị hai yếu tố khoảng cách biến đổi mức xám đƣợc kết hợp cho phân đoạn watershed nhằm làm rõ biên grain chỗ mà biến đổi khoảng cách với ma trận D không xác định đƣợc Gọi D ma trận (có kích thước kích thước ảnh tính theo đơn vị điểm ảnh) chứa khoảng cách hình học điểm ảnh ảnh I xét, G ma trận (có kích thước D) chứa biến thiên mức xám điểm ảnh ảnh Khi D’ ma trận biến đổi kết hợp khoảng cách biến thiên mức xám xác định sau:  G  Gmin D   D * exp 1   Gmax  Gmin    49 Với Gmax Gmin giá trị lớn nhỏ G Ma trận biến thiên mức xám G đƣợc tính theo đạo hàm bậc giá trị mức xám điểm ảnh kề duyệt lần lƣợt từ trái sang phải từ xuống dƣới ảnh xám I qua bƣớc tiền xử lý (khử nhiễu, lọc morphological) Toán tử gradient rời rạc đƣợc xác định nhƣ sau: f (m, n)  f1 (m, n)im  f (m, n)in (3.1) Trong (m, n) vị trí điểm ảnh xét, im, in vector đơn vị theo hƣớng ngang dọc, f1 (m, n)  f (m, n)  h1 (m, n) f (m, n)  f (m, n)  h2 (m, n) Với  phép toán chập đƣợc xác định bởi: c(m, n)  a(m, n)  b(m, n)      a( j, k )b(m  j, n  k ) j   k   Và h1 h2 nhân tử hàng cột đƣợc xác định nhƣ sau: h1  h2T  (1 1) Trong thực tế, phải dùng phần đảo D’ cho watershed Nghĩa chọn D  max( D)  D làm ma trận biến đổi khoảng cách biến thiên mức xám ảnh I cho watershed Kết thực nghiệm cho thấy, phần lớn biên grain đƣợc tách xác Tuy nhiên tình trạng phân đoạn nát còn, bƣớc hậu xử lý phân đoạn ảnh cần thiết Trong phần 3.2.2, trình bày ứng dụng thuật giải watershed với việc giải vấn đề phân đoạn nát vào vấn đề công nghệ cụ thể 50 3.2.2 Ứng dụng thuật giải watershed phân tích vi ảnh grain Trong phần này, đề xuất thuật giải hai pha ứng dụng để tách tự động grain vi ảnh chụp trình phủ vật chất nhằm phục vụ yêu cầu thống kê hay phân tích số tính chất định lƣợng trình sản xuất Trong pha thứ nhất, biến đổi watershed với hàm phân đoạn sử dụng khoảng cách hình học kết hợp với biến thiên mức xám Kết phân đoạn pha hiệu ứng phân đoạn nát watershed đƣợc khắc phục pha thứ hai Pha thứ hai thực vector hóa ảnh kết pha thứ dựa vào tính chất topo liệu vector để giải tình trạng phân đoạn nát watershed Bằng cách sử dụng thuật giải phân đoạn hai pha này, tính toán nhƣ chu vi, diện tích, phân bố grain đƣợc xác Cuối phần này, nêu rõ vai trò chƣơng trình phân tích tính chất grain vi ảnh nhằm ứng dụng đánh giá chất lƣợng phủ vật chất công nghệ bán dẫn nhƣ hỗ trợ xác định đƣợc hiệu suất tối ƣu quy trình sản xuất Việc phân đoạn ảnh nhằm trích grain vi ảnh chụp lớp phủ phân tử trình phủ vật chất ngành bán dẫn phục vụ thống kê số lƣợng, tính chất (diện tích, chu vi, phân bố, v.v.) chúng (nhƣ hình 3.2) cần thiết cho kỹ sƣ đánh giá đƣợc phƣơng thức hiệu nhờ xác định đƣợc hiệu suất tối ƣu Hình 3.2-Ảnh chụp lớp phủ phân tử (nguồn công ty Vigilant) Việc trích grain đầy đủ số lƣợng độ xác cao quan trọng ảnh hƣởng đến số liệu cần cho phân tích bƣớc sau Các ảnh dùng 51 thực nghiệm ảnh Scanning Electron Microscopy (SEM) chụp ngang bề mặt lớp phủ phân tử đƣợc chuyển định dạng TIFF Quy trình phân đoạn đƣợc thực qua bƣớc nhƣ hình 3.3 Khử nhiễu với ngưỡng Nnoise Biến đổi ảnh với hàm kết hợp khoảng cách biến thiên độ xám Lọc Morphological với toán tử Opening Phân đoạn Watershed Tiền xử lý ảnh Vector hóa biên Tự động tạo vùng Khử vùng lồng Khử Over-Segmentation Hình 3.3-Các bƣớc phân tích ảnh grain Xem ảnh ma trận hai chiều I kích thƣớc ảnh (kích thƣớc ảnh thực nghiệm 712*484), Ii,j mức xám điểm ảnh i, j  Chúng sử dụng lọc Median với kích thƣớc nhân tử Nnoise kết hợp với việc loại bỏ nhóm điểm ảnh sắc xám nhỏ đƣợc xem nhiễu (có đƣờng kính nhỏ ngƣỡng Nnoise) để làm giảm bớt tình trạng phân đoạn nát sau Kế tiếp lọc morphological với toán tử “Opening” đƣợc thực nhằm làm rõ biên grain theo công thức I i , jK  I i , j K  K Với  toán tử Opening,  toán tử erode  Dilate, K ma trận nhân tử Hình 3.4 cho thấy kết phân đoạn ảnh SEM tỉ lệ cao có nhiều grain ảnh Phần lớn biên grain trích đúng, nhiên số biên đƣợc tạo tình trạng phân đoạn nát 52 Hình 3.4-Minh hoạ kết watershed với khoảng cách biến thiên mức xám Việc thực watershed nhƣ dẫn đến tình trạng phân đoạn nát Nghĩa grain bị chia thành nhiều grain nhỏ không mong muốn nhƣ hình 3.5 dƣới Hình 3.5-Minh hoạ grain bị chia nhỏ phân đoạn nát Có nhiều thuật giải đƣợc đƣa nhằm giải tình trạng Ví dụ nhƣ với phƣơng pháp phân đoạn với nhãn đánh dấu có giám sát Trong đó, nhãn đánh dấu đƣợc xác định trƣớc áp nhƣ cực tiểu trình thực watershed [36] Mỗi vùng đƣợc phép chứa nhãn đánh dấu Tuy nhiên việc xác định nhãn đánh dấu phức tạp đòi hỏi tri thức trƣớc loại ảnh xử lý Cách tiếp cận thứ hai gọi watershed phân cấp, nghĩa thực watershed ảnh cấp phân rã khác Phƣơng pháp phân rã thƣờng dùng Laplacian Pyramid Tại cấp phân rã, biến đổi watershed đƣợc thực ảnh đƣợc giảm kích thƣớc Các vùng ảnh phân đoạn cấp phân rã mịn đƣợc xem xét nhằm kết hợp lại với dựa kết bƣớc phân đoạn cấp thô Phƣơng pháp khác thêm bƣớc hậu xử lý để tìm đƣờng biên đối tƣợng Trong thuật giải đề nghị, sử dụng cách hậu xử lý liệu vector có chứa thông tin topo thể quan hệ đối tƣợng vùng kề nhằm kết hợp lại vùng bị rã không 53 hợp lý thực watershed Kỹ thuật hậu xử lý dùng thông tin topo đƣợc mô tả phần sau Khử phân đoạn nát Các biên grain sau bƣớc biến đổi watershed đƣợc vector hoá Quá trình vector hóa đƣợc thực cho liệu quan hệ node cung đƣợc giữ nguyên nhằm làm liệu đầu vào cho bƣớc tạo vùng tự động khử phân đoạn nát sau Bƣớc khử sub-polygon (đa giác nhỏ nằm đa giác lớn) giải cách thực toán tử UNION [23] hai đa giác sau kiểm tra đa giác lồng Việc xác định đa giác nằm đa giác khác dễ dàng thực thông qua việc kiểm tra hình chữ nhật bao nhỏ điểm đa giác nhỏ nằm đa giác lớn Bƣớc khử phân đoạn nát xử lý đa giác (sau khử sub-polygon) kết hợp với mức xám điểm ảnh đối tƣợng nhằm loại bỏ đƣờng ngăn không hợp lý Hình 3.6 minh họa số trƣờng hợp cần khử phân đoạn nát L1, L2 cần kết hợp thành grain, L5, L6 thuộc hai grain khác Hình 3.6-Minh hoạ trƣờng hợp phát sinh khử phân đoạn nát Trƣớc tiên, độ đo biến thiên mức xám đƣợc dùng để khử phân đoạn nát Giá trị biến thiên mức xám trung bình đối tƣợng (cung đa giác) đƣợc sử dụng nhằm xác định khả kết hợp hai đối tƣợng kề Đặt BC  ( Bi ) / n biến thiên mức xám đối tƣợng C Trong giá trị iC n tổng số điểm ảnh đối tƣợng C, Bi biến thiến mức xám điểm 70 Trong đó,  tham số điều khiển tƣơng tác lớp phân rã thô  k tham số điều khiển tƣơng tác cấp phân rã thứ k, L số cấp cần phân rã (chúng sử dụng L=6 cho ảnh 512x512) Việc tìm nhiệt độ khởi đầu lƣợng giảm nhiệt độ thích nghi cho thuật giải SA đóng góp nhiều vào toán phân đoạn ảnh Cùng với cấu trúc clique dạng hàm thế, phần trình bày chi tiết cách thức tính toán hai thành phần quan trọng thuật giải Tuy nhiên, chất SA dựa thủ tục tính MAP, nên việc tính toán nhiều Vì vậy, xây dựng MRF phân cấp nhằm cải tiến tốc độ nhƣ chất lƣợng phân đoạn ảnh Ở cấp, giá trị  (nếu sử dụng hàm tuyến tính) đƣợc thay đổi theo quy luật tƣơng tự nhƣ lƣợng giảm nhiệt độ nhằm làm cho chất lƣợng phân đoạn tốt so với sử dụng giá trị  cho cấp Phần trình bày mô hình MRF đa phân giải dựa phân rã khác 3.5 Phân đoạn ảnh dựa MRF đa phân giải Mô hình MRF nhƣ trình bày mục 3.3.2 biểu diễn tƣơng tác ngang cấp điểm ảnh Nhận xét rằng, chi phí tính toán tƣơng tác điểm ảnh ảnh gốc cao ảnh hƣởng đến tốc độ hội tụ Để khắc phục, ảnh đƣợc phân cấp nhằm giảm kích thƣớc thực tiến trình phân đoạn dùng MRF Hơn nữa, việc sử dụng MRF phân cấp giúp cho việc cập nhật lại tham số mô hình cho lần phân đoạn cấp mịn làm tăng chất lƣợng phân đoạn Nguyên lý mô hình nhƣ sau: kết phân đoạn với MRF cấp thô đƣợc xem nhƣ đầu vào ràng buộc cho phân đoạn cấp mịn Thuật giải tiếp tục ảnh đƣợc phân đoạn với kích thƣớc ban đầu (cấp – cấp mịn nhất) Trong trƣờng hợp đơn giản, tham số MRF tỉ lệ trình phân đoạn không đƣợc xét đến Trong phần từ 3.5.1 đến 3.5.4, trình bày mô hình MRF phân cấp dựa phân rã LP, WT, UWT, AWP 71 3.5.1 Phân đoạn ảnh dựa kết hợp MRF phân rã LP Một mô hình cho MRF phân cấp thực phân rã ảnh với Laplacian Pyramid [63]-chúng gọi LPMRF-trong phân rã ảnh LP dựa phép toán chập với hàm biến đổi nhƣ: Gaussian, Fourier hay Cosine rời rạc, sau thực MRF cấp Thuật giải 3.3 trình bày tóm tắt bƣớc thực LPMRF Trong đó, MRF thực trực tiếp liệu ảnh cấp khác nhau, cấp thô Ở cấp phân rã với LP, kết ảnh lowpass với kích thƣớc giảm nửa so với ảnh cấp mịn ảnh lại lƣu trữ khác biệt ảnh phân rã ảnh dự đoán, đƣợc gọi ảnh bandpass Đặt gl liệu cấp phân rã thứ l, w ma trận nhân tử hai chiều, wˆ ma trận nhân tử chiều Các giá trị w xác định dựa wˆ bởi: ˆ (m)w ˆ (n) ; w(m, n)  w  wˆ (m)  ; wˆ (t )  wˆ (t ) (3.21) m  2 g l (i, j )    w(m, n) g l 1 (2i  m,2 j  n) m2 n 2 Thuật giải 3.3 mô tả bƣớc thực phân đoạn ảnh dựa LPMRF Bƣớc ánh xạ kết phân đoạn từ cấp thô lên cấp mịn để có kết phân đoạn khởi đầu đƣợc thực theo nguyên tắc phân rã LP Thuật giải 3.3-Phân đoạn ảnh dựa LPMRF B1 Phân rã ảnh với LP rời rạc L cấp B2 Thực phân đoạn với thuật giải SA trình bày thuật giải 3.1 liệu lowpass cấp thô Gán kết phân đoạn cho ảnh cấp thô B3 Lời giải ban đầu cấp mịn trình tự ánh xạ điểm ảnh phân đoạn cấp thô đến điểm ảnh tƣơng ứng B4 Cập nhật lại tập tham số mô hình  cho cấp mịn 72 B5 Xác định lại giá trị “nhiệt độ khởi đầu” sử dụng phân đoạn dựa SA theo thuật giải 3.2 B6 Thực bƣớc B2 phân đoạn xong cấp mịn Chúng sử dụng nhân tử Gaussian cho phân rã LP Nhân tử Gaussian rời rạc đƣợc xác định ma trận 1 1    16 26 16   26 41 26   273   16 26 16  1 1   ứng với giá trị   1.0 , trung bình (0,0) hàm Gaussian G ( x, y )  2  e x2  y 2 Phân rã Gaussian LP liệu hai chiều thực với giá trị x hàng giá trị y cột, với ma trận 1 1 a 1 a 1  , giá trị a thích hợp nhân xác định     a    4 2 4 4 4 2 thuộc khoảng từ 0.3 đến 0.6 3.5.2 Phân đoạn ảnh dựa kết hợp MRF WT Một số nhu cầu phân đoạn vi ảnh đòi hỏi phân biệt đƣợc đối tƣợng lớn có nghĩa bỏ qua đối tƣợng nhỏ (hay nhiễu) nằm vùng lớn Hình 3.8 minh họa ảnh chụp lỗi có vi ảnh, “đối tƣợng nhỏ” đƣợc khoanh tròn không cần đƣợc phân tích cần bị loại bỏ trƣớc thực bƣớc phân đoạn Hình 3.8-Minh hoạ nhu cầu phân đoạn ảnh đa tỉ lệ 73 Nếu sử dụng MRF đơn cấp, dẫn đến đối tƣợng nhỏ nghĩa đƣợc xem nhƣ đối tƣợng lớn, nhƣ phần kết phân đoạn Các đối tƣợng nghĩa làm ảnh hƣởng đến trình phân tích công đoạn sau Ngoài việc khử hiệu tín hiệu nhiễu (bằng cách loại bỏ hệ số giá trị nhỏ theo tiêu chuẩn cho trƣớc) hay “đối tƣợng nhỏ”, MRF đa phân giải hệ số wavelet cải tiến tốc độ thực thuật giải so với MRF cấp Các bƣớc thực tƣơng tự nhƣ thuật giải 3.3, nhƣng thay bƣớc “phân rã LP” biến đổi wavelet rời rạc đƣợc tóm tắt thuật giải 3.4 nhƣ sau: Thuật giải 3.4-Phân đoạn ảnh dựa WTMRF B1 Phân rã ảnh với biến đổi wavelet rời rạc L cấp B2 Thực phân đoạn với thuật giải SA trình bày thuật giải 3.1 liệu LL (dữ liệu biến đổi qua lọc tỉ lệ) cấp thô Gán kết phân đoạn cho ảnh cấp thô B3 Lời giải ban đầu cấp mịn trình tự ánh xạ điểm ảnh phân đoạn cấp thô đến điểm ảnh tƣơng ứng B4 Cập nhật lại tập tham số mô hình  cho cấp mịn B5 Xác định lại giá trị “nhiệt độ khởi đầu” sử dụng phân đoạn dựa SA theo thuật giải 3.2 B6 Thực bƣớc B2 phân đoạn xong cấp mịn Nhận xét ưu mô hình loại bỏ phần nhỏ hay tích hợp phần nhỏ vào phần lớn trình phân đoạn Nguyên nhân "đối tượng nhỏ” bị trình phân rã WT cấp thô Tuy nhiên số trƣờng hợp, ƣu trở thành nhƣợc điểm “đối tƣợng nhỏ” đƣợc xem quan trọng ảnh, đề nghị thuật giải phần 3.5.3 dƣới nhằm giải nhu cầu 74 3.5.3 Phân đoạn ảnh dựa kết hợp MRF UWT Chúng đề nghị MRF đa phân giải kết hợp MRF với phân rã dạng UWT IUWT nhằm giải vấn đề nêu 3.5.2 Điều khác biệt lƣợc đồ so với WTMRF thay dùng phân rã WT, đề nghị sử dụng UWT IUWT với thuật giải a trous nhƣ trình bày 2.3.4 Ƣu nhiễu dạng Gaussian bị khử với UWT, kết phân đoạn tốt Mặc dù thời gian thực thuật giải chậm đáng kể so với phân đoạn dựa MRF cấp (vì tất ảnh cần phân đoạn cấp kích thƣớc ảnh gốc), nhiên giữ đƣợc ƣu MRF cấp không làm nhiều đối tƣợng nhỏ nhƣ WTMRF Các bƣớc thực tƣơng tự nhƣ thuật giải 3.3, nhiên với hai thay đổi: thay bước B1 phân rã UWT IUWT, bước B3 không cần ánh xạ từ điểm ảnh cấp thô đến cấp mịn hơn, thay ánh xạ 1-1 kết phân đoạn từ cấp thô đến cấp mịn (vì ảnh tỉ lệ giữ nguyên kích thước) Thuật giải 3.5 minh họa bƣớc thực UWTMRF Thuật giải 3.5-Phân đoạn ảnh dựa UWTMRF B1 Phân rã ảnh với UWT IUWT rời rạc L cấp với thuật giải a trous B2 Thực phân đoạn với thuật giải SA trình bày thuật giải 3.1 liệu LL (dữ liệu biến đổi qua lọc tỉ lệ) cấp thô Gán kết phân đoạn cho ảnh cấp thô B3 Lời giải ban đầu cấp mịn trình tự ánh xạ điểm ảnh phân đoạn cấp thô đến điểm ảnh tƣơng ứng B4 Cập nhật lại tập tham số mô hình B5 Xác định lại giá trị “nhiệt độ khởi đầu” sử dụng phân đoạn dựa SA theo thuật giải 3.2 B6 Thực bƣớc B2 phân đoạn xong cấp mịn 75 Tƣơng tự nhƣ WTMRF, thuật giải phân đoạn cấp thực hệ số biến đổi Sau ảnh đƣợc phân rã qua UWT với L cấp, MRF đƣợc thực ảnh LL Do LL chứa liệu tần số thấp, nên kết phân đoạn loại bỏ yếu tố nhiễu ảnh Các kết thực nghiệm trình bày phần 3.6 dƣới thể tính đắn mô hình 3.5.4 Phân đoạn ảnh dựa kết hợp MRF WP bất đẳng hƣớng Ý tƣởng mô hình thực phân đoạn với MRF hệ số biến đổi wavelet bất đẳng hƣớng (Anisotropic Wavelet Packet-AWP) giới thiệu [15] Chúng đề xuất gọi thuật giải phân đoạn AWPMRF Trong đó, bƣớc phân rã AWT đƣợc tóm tắt từ [15] nhƣ sau: Thay thực phân rã ảnh hai chiều thành quad-tree (theo biến đổi wavelet packet đẳng hƣớng) cấp phân rã, AWP thực phân rã theo cửa sổ chữ nhật kích thƣớc khác dựa độ đo hàm chi phí Trong AWP, phân rã từ cấp mịn lên cấp thô theo dạng phân rã hàng (hay cột) không thiết phải thực phân rã cột (hay hàng) nhƣ minh hoạ hình 3.9 Thay vào đó, thực phân rã wavelet chiều hàng cột để tách thành thành hai khối ngang, thành hai khối dọc, không phân rã (tuỳ theo giá trị hàm chi phí) cấp Nhƣ WP trƣờng hợp đặc biệt AWP Hình 3.9 minh hoạ khác biệt phân rã AWP WP, WP phân rã dạng bốn phần vuông, AWP theo hình chữ nhật Hình 3.9-Sự khác biệt wavelet packet AWP Mỗi bƣớc phân rã wavelet hai chiều cho hàng (hay cột) thực chất thực DWT chiều hàng (hay cột) Cho ảnh kích thƣớc M  N , 76 phân rã hàng sinh ma trận hệ số (tỉ lệ wavelet) có kích thƣớc M  (N / 2) phân rã theo hàng, hay (M / 2)  N cho phân rã cột Trong [15] trình bày hai thuật giải: tham lam, kép để xây dựng AWP Tiêu chuẩn chọn phân rã tối ƣu bƣớc chọn lời giải với hàm chi phí có giá trị nhỏ ba trƣờng hợp: không phân rã tiếp; phân rã theo hàng phân rã theo cột thoả mãn tiêu chuẩn (17) [15] AWP đƣợc chứng minh có tính tái tạo đầy đủ Các độ đo entropy sử dụng phân rã wavelet packet nhƣ Shannon, Log, hay chuẩn P sử dụng nhƣ hàm chi phí Tại cấp phân rã, ảnh P đƣợc tách (theo cột theo dòng) thành PA (phần xấp xỉ) PD (chi tiết) log entropy xác định bởi: e( P' )  e( PAc )  e( PDc ) , theo cột e( P' ' )  e( PAr )  e( PDr ) , theo hàng dễ dàng chọn đƣợc dạng phân rã dựa tiêu chuẩn min( e( P), e( P' ), e( P' ' )) , với P ảnh gốc chƣa biến đổi Thực nghiệm dƣới (hình 3.10) so sánh kết phân rã WT AWT Nhận xét rằng, số lƣợng khối AWT so với WT, đồng thời độ lợi thông entropy tin ổn định Theo thứ tự từ trái sang: ảnh gốc, phân rã WT (log entropy = -1.51024 E+06), AWT (log entropy = -2.03765E+06) sử dụng hàm Db4 với cấp phân rã Hình 3.10-So sánh phân rã WT AWT 77 Thuật giải hoàn chỉnh sử dụng quy hoạch động để tìm cách phân rã bất đối xứng tối ƣu đƣợc trình bày [11] Phân đoạn ảnh dựa mô hình tƣơng tự nhƣ WTMRF, gọi Anisotropic Wavelet Packet Markov Random Field (AWPMRF) AWPMRF thực phân đoạn với MRF liệu ảnh LL (qua lọc tỉ lệ) cấp phân rã, không xét đến HH (dữ liệu biến đổi qua lọc wavelet) Các bƣớc thực AWPWRF tƣơng tự nhƣ thuật giải 3.5, nhƣng bƣớc B1 đƣợc thay AWP; bƣớc B3 không lấy kết ban đầu phân đoạn cho tỉ lệ mịn dựa vào ánh xạ từ điểm ảnh đến điểm ảnh Thay ánh xạ điểm ảnh thực theo cấu trúc phân rã AWP [15] Cụ thể hơn, kết khởi đầu cho phân đoạn dựa MRF bƣớc mịn xác định Trong j thể cấp phân rã, (p, q) vị trí điểm ảnh:  null  C j 1 ( p, q )  p C j ( p, q)  C j 1 ( , q) row   C j 1 ( p, q ) column  (3.22) Thuật giải 3.6-Phân đoạn ảnh dựa AWPMRF B1 Phân rã ảnh dựa AWP rời rạc L cấp B2 Thực phân đoạn với thuật giải SA trình bày thuật giải 3.1 liệu LL (dữ liệu biến đổi qua lọc tỉ lệ) cấp thô Gán kết phân đoạn cho ảnh cấp thô B3 Lời giải ban đầu cấp mịn trình tự ánh xạ điểm ảnh phân đoạn cấp thô đến điểm ảnh tƣơng ứng theo công thức (3.22) B4 Cập nhật lại tập tham số mô hình  B5 Xác định lại giá trị “nhiệt độ khởi đầu” sử dụng phân đoạn dựa SA theo thuật giải 3.2 B6 Thực bƣớc B2 phân đoạn xong cấp mịn 78 3.6 Thực nghiệm phân đoạn vi ảnh Thực nghiệm phân đoạn đƣợc thực tập chứa 400 vi ảnh bán dẫn (nguồn công ty SiGlaz, Vigilant), khoảng 100 ảnh vi sinh học trích từ phim quay trình phân bào (nguồn khoa sinh học, ĐHKHTN) Thuật giải SA đƣợc trình bày với cấu trúc clique C2 C3 đƣợc thực vi ảnh Chúng phân đoạn vi ảnh với hàm Vc theo dạng tuyến tính số dạng nhƣ mô tả phần 3.3.1 Mỗi ảnh đƣợc phân đoạn với nhiệt độ khởi đầu T xác định thuật giải 3.2, áp dụng số hàm giảm nhiệt độ bảng 3.2, nhƣ hàm giảm nhiệt độ thích nghi theo công thức (3.19) Các thí thực nghiệm phân đoạn với MRF cấp mô hình MRF phân cấp trình bày Ngoài ra, so sánh kết phân đoạn dựa MRF cấp thuật giải dựa Normalized Cut Tiêu chuẩn so sánh dựa so khớp độ sai lệch ảnh phân đoạn ảnh phân đoạn lý tƣởng (có đƣợc vẽ thủ công) Kết đƣợc cho tốt tỉ lệ lỗi nhỏ Bảng 3.3 biểu đồ hình 3.11 thể kết so sánh thuật giải MRF/SA NCut thực số ảnh ngẫu nhiên tập ảnh thực nghiệm Hình 3.12 minh hoạ số ảnh đƣợc phân đoạn thủ công, kết dựa thuật giải NCut, MRF/SA Hình 3.11-Biểu đồ so sánh tỉ lệ lỗi NCut MRF/SA 79 Bảng 3.3-So sánh tỉ lệ lỗi phân đoạn NCut MRF/SA Stt Tỉ lệ lỗi NCut toàn ảnh (%) Tỉ lệ lỗi MRF/SA (%) 45.185 12.477 0.461 0.395 24.526 30.411 25.962 7.236 1.504 3.679 19.221 7.123 61.401 8.700 18.073 3.233 58.426 29.318 10 64.495 1.492 11 3.586 1.751 12 52.700 3.371 13 40.650 5.401 14 25.030 5.551 15 3.795 2.499 16 31.715 15.825 17 12.181 3.361 17 68.368 12.612 19 30.590 29.898 20 5.421 21.871 21 30.697 9.372 22 1.898 2.631 23 38.635 8.761 24 79.375 13.928 25 25.398 24.030 26 45.143 36.596 80 27 13.428 2.730 28 1.746 0.822 29 45.120 12.041 30 28.678 14.467 31 31.872 33.510 32 56.104 11.783 33 56.939 13.446 34 15.196 14.746 35 49.176 3.655 36 27.567 43.866 37 6.442 2.074 38 53.478 24.577 39 0.967 1.172 40 2.145 0.562 41 52.082 27.599 42 69.218 22.076 43 37.267 30.161 44 14.159 2.304 45 6.918 6.438 46 1.171 1.533 47 29.351 6.693 81 Theo thứ tự từ trái sang: hình gốc (nguồn công ty Vigilant), phân đoạn thủ công, Normalized Cut, MRF/SA Hình 3.12-Một số ảnh so sánh kết phân đoạn dựa MRF/SA NCut 82 Hình 3.13 dƣới thể số kết phân đoạn với MRF phân cấp dựa kết hợp MRF/SA biến đổi wavelet Kết cho thấy rằng, phần “nhiễu” “đối tƣợng nhỏ” bị loại bỏ, “đối tƣợng “ lớn đƣợc phân đoạn ảnh kết Theo thứ tự từ trái sang: hình gốc, MRF cấp, UWTMRF Hình 3.13-Một số kết phân đoạn dựa MRF cấp, UWTMRF 83 3.7 Tóm tắt Phân tích liệu đặc trƣng không gian ảnh SEM chụp lớp phủ phân tử giúp ích nhiều cho tăng hiệu suất quy trình sản xuất mạch bán dẫn Chúng mô tả phƣơng pháp hai pha trích grain hiệu kết hợp watershed dựa khoảng cách cƣờng độ màu khử phân đoạn nát liệu raster vector Các đặc trƣng phân loại ảnh chụp bề mặt lớp phủ phân tử phƣơng pháp phân tích đƣợc kiểm nghiệm thực tế cho kết tốt Với mô hình dựa MRF, việc tìm nhiệt độ khởi đầu lƣợng giảm nhiệt độ thích nghi cho thuật giải SA đóng góp nhiều vào toán phân đoạn ảnh Trong chƣơng này, với cấu trúc clique dạng hàm thế, chi tiết cách thức tính toán hai thành phần quan trọng (nhiệt độ khởi đầu quy trình giảm nhiệt độ thích nghi) thuật giải SA đƣợc nghiên cứu cải tiến Tuy nhiên, chất SA dựa thủ tục tính MAP, nên việc tính toán nhiều Vì mô hình MRF phân cấp đƣợc sử dụng nhằm cải tiến tốc độ nhƣ chất lƣợng phân đoạn ảnh Trong cấp, giá trị  thể tƣơng tác điểm ảnh lân cận (nếu sử dụng hàm tuyến tính đẳng hƣớng) đƣợc thay đổi theo quy luật tƣơng tự nhƣ lƣợng giảm nhiệt độ nhằm làm cho chất lƣợng phân đoạn tốt so với sử dụng giá trị  cho cấp Ngoài ra, với mô hình MRF đa phân giải, sử dụng hàm giảm nhiệt độ thích nghi cấp phân rã với nguyên tắc nhiệt độ khởi đầu cao cấp phân rã thô điều kiện thuận lợi cho khả hội tụ nhanh thuật giải, nhiệt độ khởi đầu nhỏ tỉ lệ mịn Mô hình WTMRF thể ƣu cần tích hợp phần nhỏ trình phân đoạn Kết thực nghiệm phân đoạn vi ảnh dựa UWTMRF/IUWTMRF cho thấy chất lƣợng tốt hơn, đặc biệt hiệu đƣợc thực vi ảnh có độ nhiễu lớn Một điểm bật chƣơng dựa kết hợp phân rã AWP MRF nhằm đạt đƣợc chất lƣợng phân đoạn tốt trình phân rã wavelet bất đẳng hƣớng xét đến yếu tố độ lợi thông tin, ảnh phân rã ti lệ hầu nhƣ đƣợc “phân đoạn” thô trƣớc Kết thực nghiệm cho thấy mô 84 hình cho kết phân đoạn tốt (chất lƣợng, tốc độ thực hiện) so với MRF cấp Việc kết hợp MRF với phân rã giảm kích thƣớc mẫu việc cải tiến tốc độ hội tụ, mang lại lợi ích phân đoạn ảnh tỉ lệ khác nhằm trích đƣợc dạng tổng quát “đối tƣợng” Trong với phân rã giữ nguyên kích thƣớc mẫu, phân đoạn đƣợc đối tƣợng nhỏ nhiễu bị loại trừ Kết thực nghiệm đƣợc so sánh với thuật giải Normalized Cut cho thấy ƣu điểm phƣơng pháp đề nghị