Tìm hiểu phương pháp phân đoạn ảnh dựa trên RWR random walker restart

LỜI CẢM ƠN Trước hết em xin chân thành cảm ơn thầy cô giáo khoa công nghệ thơng tin trường đại học dân lập Hải Phịng trang bị kiến thức cần thiết để em thực đề tài Đặc biệt em xin bày tỏ lịng kính trọng biết ơn sâu sắc tới thầy giáo hướng dẫn Ths Ngô Trường Giang tận tình hướng dẫn, bảo tạo điều kiện thuận lợi giúp em trình làm đồ án tốt nghiệp Trong trình thực đồ án tốt nghiệp, cố gắng xong trình độ cịn hạn chế, nội dung đề tài cịn q mẻ khó với em nên khó tránh khỏi sai sót q trình tiếp nhận kiến thức Vì vậy, em mong nhận thông cảm, dẫn, giúp đỡ thầy góp ý bạn bè Một lần em xin chân thành cảm ơn ! Hải Phòng, ngày……tháng…….năm…… Sinh viên Đỗ Thanh Thủy Sinh viên: Đỗ Thanh Thủy – CT1102 MỤC LỤC MỞ ĐẦU DANH MỤC HÌNH VẼ CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Các khái niệm xử lý ảnh 1.1.1 Xử lý ảnh 1.1.2 Ảnh điểm ảnh 1.1.3 Quan hệ điểm ảnh 1.1.4 Mức xám ảnh 1.1.5 Độ phân giải 1.2 Các phép toán ảnh nhị phân 1.2.1 Các phép toán logic 1.2.2 Các phép tốn hình thái học 10 1.3 Các giai đoạn xử lý ảnh 16 1.4 Một số ứng dụng 18 CHƢƠNG 2: TỔNG QUAN VỀ PHÂN ĐOẠN ẢNH 20 2.1 Khái niệm phân đoạn ảnh 20 2.2 Các hướng tiếp cận phân đoạn ảnh 20 2.2.1 Phân đoạn dựa vào ngưỡng 20 2.2.2 Phân đoạn dựa theo đường biên 22 2.2.3 Phân đoạn theo miền đồng 26 CHƢƠNG 3: PHÂN ĐOẠN ẢNH DỰA TRÊN RWR 28 Sinh viên: Đỗ Thanh Thủy – CT1102 3.1 Giới thiệu 28 3.2 Random Walker Restart (RWR) 30 3.3 Phương pháp phân đoạn dựa RWR 34 3.3.1 Mơ hình đồ thị 35 3.3.2 Học 36 3.3.3 Phân đoạn 38 CHƢƠNG 4: CÀI ĐẶT THỬ NGHIỆM 40 4.1 Môi trường cài đặt 40 4.2 Chương trình thực nghiệm 40 4.2.1 Kết phân đoạn ảnh sử dụng RWR 40 4.2.2 So sánh kết phân đoạn RWR với số phương pháp khác 41 KẾT LUẬN 45 TÀI LIỆU THAM KHẢO 46 Sinh viên: Đỗ Thanh Thủy – CT1102 MỞ ĐẦU Xử lý ảnh (XLA) chuyên ngành quan trọng lâu đời Công nghệ thông tin XLA áp dụng nhiều lĩnh khác y học, vật lý, hoá hoc, tìm kiếm tội phạm,… Mục đích chung việc XLA thường là: (1) xử lý ảnh ban đầu để có ảnh theo yêu cầu cụ thể; (2) phân tích ảnh để thu thông tin đặc trưng ảnh nhằm hỗ trợ cho việc phân loại nhận biết ảnh; (3) phân đoạn ảnh (image segmentation) để nhận diện thành phần ảnh nhằm hiểu kết cấu ảnh mức độ cao Để xử lý ảnh phải trải qua nhiều bước, bước quan trọng khó khăn phân đoạn ảnh Nếu bước phân đoạn ảnh khơng tốt dẫn đến việc nhận diện sai lầm đối tượng có ảnh Trong khoảng 30 năm trở lại có nhiều thuật tốn đề xuất để giải toán phân đoạn ảnh Các thuật tốn hầu hết dựa vào hai thuộc tính quan trọng điểm ảnh so với điểm lân cận nó, là: khác (dissimilarity) giống (similarity) Các phương pháp dựa khác điểm ảnh gọi phương pháp biên (boundary-based methods), phương pháp dựa giống điểm ảnh gọi phương pháp miền (region-based methods) Tuy nhiên, thuật toán theo hai hướng chưa cho kết phân đoạn tốt, hai loại phương pháp nắm bắt thuộc tính cục (local) ảnh Do đó, thời gian gần đây, việc tìm thuật tốn nắm bắt thuộc tính tồn cục (global) ảnh trở thành xu hướng Mục đích em nắm tổng quan xử lý ảnh số, nắm hướng tiếp cận phân đoạn ảnh cài đặt thử nghiệm vài thuật toán phân đoạn ảnh Vấn đề mấu chốt đồ án em tập trung tìm hiểu trình bày thêm phương pháp đánh giá hiệu phương pháp trước đây, khắc phục hai khó khăn quan trọng ảnh tự nhiên toán đường biên yếu kết cấu yếu Phương pháp dựa vào việc coi ảnh đồ thị có trọng số Sau tính xác suất trạng thái ổn định điểm ảnh cách sử dụng RWR, ước lượng khả phân tách cuối gán nhãn vào điểm ảnh Sinh viên: Đỗ Thanh Thủy – CT1102 Ngoài phần mở đầu kết luận, đồ án chia làm chương, cụ thể nội dung chương sau: Chương 1: Tổng quan xử lý ảnh Chương 2: Phân đoạn ảnh hướng tiếp cận phân đoạn ảnh Chương 3: Tìm hiểu phương pháp phân đoạn ảnh RWR (Random Walker Restart) Chương 4: Cài đặt thử nghiệm thuật toán phân đoạn ảnh dựa RWR Sinh viên: Đỗ Thanh Thủy – CT1102 DANH MỤC HÌNH VẼ Hình 1.1 Hình minh họa phép toán ảnh nhị phân 10 Hình 1.2 Hiệu thao tác nhị phân đơn giản ảnh nhỏ 11 Hình 1.3 A dãn B 12 Hình 1.4 Dãn điểm ảnh 12 Hình 1.5 Dãn ảnh sử dụng phần tử cấu trúc 13 Hình 1.6 Phép co nhị phân 13 Hình 1.7 Sử dụng phép toán mở 15 Hình 1.8 Phép đóng 15 Hình 1.9 Phép đóng với độ sâu lớn 16 Hình 1.10 Các giai đoạn xử lý ảnh 16 Hình 2.1 Đường biên lý tưởng 23 Hình 2.2 Đường biên bậc thang 23 Hình 2.3 Đường biên thực 24 Hinh 3.1 Phân đoạn đơn nhãn 30 Hình 3.2 Kết phân đoạn 38 Hình 4.1 Một ví dụ thay đổi xác suất trạng thái ổn định r theo xác suất khởi động lại c 40 Hình 4.2 Một ví dụ phân đoạn biến đổi xác suất khởi động lại c ảnh tự nhiên 41 Hình 4.3 So sánh thuật tốn GC, RW, RWR cho việc tìm kiếm đường biên yếu 42 Hình 4.4 So sánh phân đoạn kết cấu thuật toán GC, RW, RWR 43 Hình 4.5 So sánh thuật toán GC, RW, RWR ảnh tự nhiên 44 Sinh viên: Đỗ Thanh Thủy – CT1102 CHƢƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Các khái niệm xử lý ảnh 1.1.1 Xử lý ảnh Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh tốt kết luận Mục tiêu xử lý ảnh chia làm ba hướng sau: - Xử lý ảnh ban đầu để có ảnh theo yêu cầu xác định (Ví dụ ảnh mờ cần xử lý để ảnh rõ hơn) - Phân tích ảnh để thu thông tin đặc trưng giúp cho việc phân loại, nhận biết ảnh (Ví dụ phân tích ảnh vân tay để trích chọn đặc trưng vân tay) - Hiểu ảnh đầu vào để có mơ tả ảnh mức cao (Ví dụ từ ảnh tai nạn giao thơng phác họa trường tai nạn) 1.1.2 Ảnh điểm ảnh Ảnh tự nhiên ảnh liên tục không gian độ sáng Để xử lý máy tính (số), ảnh cần phải số hóa Số hóa biến đổi gần ảnh liên tục thành tập điểm phù hợp với ảnh thật trí (khơng gian) độ sáng (mức xám) Khoảng cách điểm ảnh thiết lập cho mắt người không phân biệt ranh giới chúng Mỗi điểm gọi điểm ảnh (PEL: Picture Elememt) hay gọi tắt Pixel Trong khuôn khổ ảnh hai chiều, pixel tương ứng với cặp tọa độ (x, y) Điểm ảnh (pixel) phần tử ảnh số tọa độ (x, y) với độ xám màu định Kích thước khoảng cách điểm ảnh chọn thích hợp cho mắt người cảm nhận liên tục không gian mức xám ảnh số gần ảnh thật Mỗi phần tử ma trận gọi phần tử ảnh Ảnh xem tập hợp điểm ảnh Sinh viên: Đỗ Thanh Thủy – CT1102 1.1.3 Quan hệ điểm ảnh 1.1.3.1 Các lân cận điểm ảnh Giả sử ảnh số biểu diễn hàm f(x, y), p q cặp điểm ảnh có quan hệ với nhau, điểm ảnh p có tọa độ (x, y) Định nghĩa lân cận điểm ảnh - Lân cận p kí hiệu N4(p): N4(p) = {(x-1, y); (x, y-1); (x, y+1); (x+1, y)} - Lân cận chéo p kí hiệu Np(p): Np(p) = {(x+1, y+1); (x+1, y-1); (x-1, y+1); (x-1, y-1)} - Lân cận p kí hiệu N8(p): N8(p) = N4(p) + Np(p) 1.1.3.2 Các mối liên kết điểm ảnh Các mối liên kết sử dụng để xác định giới hạn đối tượng xác định vùng ảnh Một liên kết đặc trưng tính liền kề điểm mức xám chúng Có ba loại liên kết: - Liên kết 4: Hai điểm ảnh p q gọi liên kết q thuộc N4(p) - Liên kết 8: Hai điểm ảnh p q gọi liên kết q thuộc N8(p) - Liên kết m (liên kết hỗn hợp): Hai điểm ảnh p q gọi liên kết hỗn hợp q thuộc N4(p) q thuộc N8(p) 1.1.3.3 Đo khoảng cách điểm ảnh Khoảng cách D(p, q) hai điểm ảnh p tọa độ (x, y), q tọa độ (s, t) hàm khoảng cách (Distance) nếu: - D(p, q) ≥ (Với D(p, q)=0 p=q) - D(p, q) = D(q, p) - D(p, z) ≤ D(p, q) + D(q, z); z điểm ảnh khác Khoảng cách Euclide hai điểm ảnh p(x, y) q(s, t) định nghĩa sau: De(p, q) = [(x - s)2 + (y - t)2]1/2 1.1.4 Mức xám ảnh Mức xám điểm ảnh cường độ sáng gán giá trị số điểm Sinh viên: Đỗ Thanh Thủy – CT1102 Các thang giá trị mức xám thông thường là: 16, 32, 64, 128, 256 (Mức 256 mức phổ dụng máy tính dùng byte (8 bit) để biểu diễn mức xám Mức xám dùng byte biểu diễn: 28=256, tức từ đến 255) Ảnh đen trắng ảnh có hai màu đen trắng Nếu phân mức đen trắng thành L mức, sử dụng số bit B để mã hóa mức đen trắng (hay mức xám) L xác định: L=2B Nếu L=2, B=1 nghĩa có mức Ảnh dùng hai mức để biểu diễn mức xám gọi ảnh nhị phân Mức ứng với màu sáng mức ứng với màu tối Nếu L lớn ảnh đa cấp xám Như ảnh nhị phân điểm ảnh mã hóa bit, cịn ảnh 256 mức điểm ảnh mã hóa bit Ảnh đen trắng dùng bit (1 byte) để biểu diễn mức xám số mức xám biểu diễn dạng số nguyên nằm khoảng từ đến 255, mức biểu diễn cho cường độ đen mức 255 biểu diễn cho cường độ sáng Ảnh màu: ảnh tổ hợp từ màu đỏ (Red), lục (Green), lam (Blue) Để biểu diễn cho điểm ảnh màu dùng byte để mô tả 24 bit màu 28*3=224 ≈ 16,7 triệu màu 1.1.5 Độ phân giải Độ phân giải (Resolution) ảnh mật độ điểm ảnh ấn định ảnh số hiển thị Như khoảng cách điểm ảnh chọn cho mắt người thấy liên tục ảnh Việc lựa chọn khoảng cách thích hợp tạo nên mật độ phân bổ, độ phân giải phân bố theo trục x y khơng gian hai chiều 1.2 Các phép tốn ảnh nhị phân 1.2.1 Các phép tốn logic Hình 1.1 minh họa thao tác nói với giá trị nhị phân “1” có màu đen, cịn giá trị nhị phân “0” có màu trắng Sinh viên: Đỗ Thanh Thủy – CT1102 10 (a) Ảnh a (c) (b) Ảnh b (d) (e) Hình 1.1 Hình minh họa phép tốn ảnh nhị phân Trong hình 1.1: hình (a) (b) ảnh ban đầu; (c) phép NOT (b); (d) phép OR (a,b); (e) phép AND (a,b) 1.2.2 Các phép tốn hình thái học Hình thái (morphology) có nghĩa “hình thức cấu trúc đối tượng”, cách xếp mối quan hệ bên phần đối tượng Hình thái có liên quan đến hình dạng, hình thái số cách để mơ tả phân tích hình dạng đối tượng số Những thao tác hình thái nhị phân xây dựng ảnh có mức xám 1, “0” ứng với màu trắng, “1” ứng với màu đen Trước hết, để bắt đầu, ta xem hình 1.2a Tập hợp điểm ảnh đen tạo nên đối tượng ảnh hình vng hình 1.2b, đối tượng ảnh hình vng hình vng lớn so với hình 1.2a điểm ảnh phía, nghĩa thay lân cận trắng điểm ảnh hình 1.2a thành điểm ảnh đen Đối tượng hình 1.2b thao tác tương tự, tức hình 1.2b tăng thêm điểm ảnh phía Thao tác coi phép dãn đơn giản, phép dãn điểm ảnh phía Việc dãn thực toàn ảnh thay điểm ảnh đen Do vậy, đối tượng ảnh hình 1.2a viết lại là{(3, 3) (3, 4) (4, 3) (4,4)}, với điểm Sinh viên: Đỗ Thanh Thủy – CT1102 32 trước lưu trữ Q-1, nhận thời gian thực Tuy nhiên, tính tốn lưu trữ Q-1 không thực tế tập liệu lớn Mặt khác, mối tương quan tuyến tính tồn nhiều đồ thị thực, có nghĩa tính gần Tính chất cho phép tính gần Q-1 hiệu Thuật tốn đưa B_LIN: (3.3) (3.4) Đầu vào: Ma trận trọng số bình thường vector bắt đầu Đầu ra: vector xếp hạng Giai đoạn tính tốn trƣớc: p1 Phân vùng đồ thị vào phân vùng k METIS theo kết phân vùng, nơi p2 phân vùng p3 Để có chứa tất liên kết chứa tất liên kết chéo phân vùng phân vùngthứ i, áp dụng p4 Tính tốn lưu trữ p5 Tính xấp xỉ bậc thấp cho vào phương trình (3.3) cho phân vùng i = USV p6 Xác định Q1-1 phương trình (3.4) Tính tốn lưu trữ Giai đoạn truy vấn: Sinh viên: Đỗ Thanh Thủy – CT1102 33 q1.Đầu Bảng 3.1 B_LIN Định nghĩa Kí hiệu W = [wi,j] Đồ có thị trọng số, ≤ i, j ≤ n Ma trận trọng số bình thường lien quan đến W Ma trận phân vùng kết hợp với Ma trận chéo phân vùng liên quan với Hệ thống ma trận liên quan đến W : Q=I - c Q U Ma trận n × t node- khái niệm S Ma trận t × t khái niệm - khái niệm V Ma trận t × n node - khái niệm Ma trận khối có tất thành phần Vector bắt đầu n × 1, phần tử thứ i =1, phần tử lại Vector xếp hạng n × 1, ri,j số điểm liên quan node j vứi node i =[ ri , j ] Xác suất khởi động lại, ≤ c ≤ c Tổng số node đồ thị n Số lượng phân vùng k Số lần lắp tối đa m Ngưỡng dừng trình lặp lặp lại ξ1 Ngưỡng thưa thớt ma trận ξ2 Bảng 3.2 Một số ký hiệu Sinh viên: Đỗ Thanh Thủy – CT1102 34 3.3 Phƣơng pháp phân đoạn dựa RWR Xem xét phân đoạn ảnh vấn đề gán nhãn, điểm ảnh xi X = {x1, , xn} gán vào nhãn lk L = {l1, , lk} Từ lý thuyết định bản, biết mơ tả hồn thiện giải pháp thể điều khoản tập hợp xác suất sau p (lk | xi) Một biết xác suất này, khơng khó để gán xi vào nhãn có xác suất lớn Trong tiếp cận di truyền, thuật tốn mơ hình hóa phân phối chung p(lk, xi) điểm ảnh nhãn Điều thực cách tính riêng xác suất tiền nghiệm nhãn p(lk) khả p(xk|li) Các yêu cầu xác suất hậu nghiệm thu cách sử dụng quy tắc Bayesian: (3.5) Trong đó, tổng mẫu số thực tất nhãn tập hợp seed Mk với nhãn lk Sau đó, khả p (xi | lk) thu cách: (3.6) Trong Z số bình thường hóa Mỗi điểm ảnh mơ hình hóa phân phối p (xi | bố điểm ảnh p (xi | , lk) , lk) từ hạt giống mà có p ( |lk) Sự phân cho thấy số điểm liên quan điểm ảnh xi seed So với khoảng cách đồ thị truyền thống (Chẳng hạn đường ngắn nhất, maximum flow ), trạng thái ổn định nắm bắt tồn mối quan hệ hai điểm ảnh Sự phân bố seed p ( |lk) định nghĩa phân bố đồng / Mk Vì khả Sinh viên: Đỗ Thanh Thủy – CT1102 35 p (xi | lk) tính = trung bình phân phối điểm ảnh tất hạt giống với nhãn lk, phương pháp phụ thuộc vào số lượng seed Quá trình phân đoạn ảnh dựa RWR gồm bước: - Xây dựng đồ thị trọng số hình ảnh - Tính xác suất trạng thái ổn định p (xi | hạt giống , lk) mà RW bắt đầu mở điểm ảnh xi đồ thị - Ước tính khả p (xi | lk) - Gán nhãn với xác suất tối đa (1) vào điểm ảnh 3.3.1 Mơ hình đồ thị Cho ảnh I, xây dựng đồ thị vô hướng G = (V, E) với nút v cạnh e V, E Mỗi nút vi V xác định điểm ảnh xi Cạnh E hai nút xác định hệ thống láng riềng Trọng số wi j E kéo dài nút v, v W gán cho cạnh ei j V Nó tính khả nút lân cận vi, vj có nhãn Sự thay đổi trọng số mã hóa màu ảnh sử dụng nhiều thuật toán phân đoạn đồ thị Ở đây, trọng số wij định nghĩa trọng số chức Gaussian điển hình đưa bởi: (3.7) Trong đó, gi gj cho thấy màu ảnh hai nút vi vj dải màu thí nghiệm Nó cung cấp cho thơng số đo lường, số 1, cho giống cặp điểm ảnh Chức gaussian có chất đo đạc khoảng cách Ví dụ, phép nhân hai trọng số wi j, wj k: Sinh viên: Đỗ Thanh Thủy – CT1102 36 đo lường tương tự nút vi, vk Tính chất phù hợp với thuật tốn 3.3.2 Học Giả sử RW seed thứ m điểm ảnh nhãn lk đồ thị G RW truyền qua lại tới cạnh bên với xác suất tỷ lệ thuận với trọng số cạnh chúng Cũng bước, có xác suất khởi động lại c để trở hạt giống Sau hội tụ, thu xác suất khả mà RW lại cuối điểm ảnh xi Ở đây, thuật toán sử dụng xác suất trạng thái phân phối p (xi | p (xi | Bằng cách biểu thị = , lk) ≈ , lk) (2): (3.8) , i = 1, , N điều khoản vector N chiều N x xác định ma trận kề W = [wi j]N×N sử dụng (3), RWR xây dựng sau (3.9) Trong chuyển đổi ma trận vector N-chiềuvới bi = xi = bi = 0, ma trận kề W chuẩn hóa hàng: P = D-1 × W, Sinh viên: Đỗ Thanh Thủy – CT1102 (3.10) 37 Trong D = diag (D1, , DN), Nếu xác suất trạng thái chèn vào (3.2) theo định nghĩa, khả p (xi | lk) (i = 1, , N) tính bằng: (3.11) Trong vector N chiều với if ∊ ngược lại Xét RWR, sử dụng để tính tốn số điểm pixel Nói cách khác, qi j khả qi có nhãn gán cho qj Nó cải tiến công thức sau: (3.12) Q định nghĩa tổng trọng số tất ma trận Pt, t = 0, , ∞ Lưu ý Pt ma trận chuyển đổi thứ t, mà thành phần pti j hiểu tổng xác suất cho RW bắt đầu vi đến kết thúc vj với t lặp lặp lại, xem xét tất đường có hai điểm ảnh Bằng cách thay đổi số lần vòng lặp t, tác giả thấy rõ ràng mối quan hệ quy mô khác ảnh, tăng t, tác giả hy vọng tìm cấu trúc thơ (coarser) Vì vậy, RWR tác động kết cấu cách xem xét tất đường hai điểm ảnh tất quy mơ (bất kỳ số vịng lặp (t = 0, , ∞)) hình ảnh Vì điểm ảnh kề có giá trị tương đồng cao, tăng t, Pt có trọng số thấp hơn, (1-c)t (0