xử lý ảnh trích chọn đặc trưng trong ảnh , hoàng văn hiệp

11/8/2011 Xử lý ảnh Hồng Văn Hiệp Bộ mơn Kỹ thuật máy tính Viện Cơng nghệ thơng tin Truyền thông Email: hiephv@soict.hut.edu.vn Nội dung Chương Chương Chương Chương Giới thiệu chung Thu nhận & số hóa ảnh Cải thiện & phục hồi ảnh Phát tách biên, phân vùng ảnh Chương Trích chọn đặc trưng ảnh Chương Nén ảnh Chương Lập trình xử lý ảnh Matlab C 11/8/2011 Trích chọn đặc trưng ảnh Đặc trưng màu sắc Đặc trưng kết cấu ảnh Đặc trưng hình dạng Một số đặc trưng cục bất biến Đặc trưng màu sắc Color histogram Đặc trưng liên kết màu Color moments 11/8/2011 Color histogram Histogram ảnh đa mức xám: [0 L-1] hàm rời rạc:  ℎ 𝑟𝑘 = 𝑛𝑘 o Với 𝑟𝑘 thành phần mức xám thứ k o 𝑛𝑘 : số lượng pixel có mức xám 𝑟𝑘 Dạng chuẩn hóa: 𝑛𝑘 𝑛 Với n: tổng số pixel ảnh ℎ 𝑟𝑘 = Biểu diễn ảnh = vector đặc trưng  Số chiều vector = số bin histogram  Giá trị phần tử = giá trị bin histogram Color histogram (tiếp) Ưu điểm  Phản ánh phân bố màu sắc ảnh  Bất biến với phép quay ảnh (không làm méo)  Bất biến với phép dịch ảnh Nhược điểm  Không phản ánh tính khơng gian  Nhạy với phép thay đổi ánh sáng 11/8/2011 Color histogram (tiếp) Color histogram (tiếp) Histogram ảnh màu 11/8/2011 Color moments Nếu coi giá trị mức xám điểm ảnh ảnh biến ngẫu nhiên  Histogram ảnh: hàm mật độ phân bố xác suất biến ngẫu nhiên Có thể đặc trưng phân bố xác suất biến ngẫu nhiên giá trị  Mean (giá trị kỳ vọng, giá trị trung bình)  Độ lệch chuẩn (độ lệch điểm so với giá trị trung bình)  Skewness (độ lệch phân bố)  Giá trị moments cấp Color moments (tiếp) Giá trị mean (trung bình) Moment cấp 2: độ lệch chuẩn (standard deviation) Moment cấp 3: skewness 10 11/8/2011 Color moments (tiếp) Trong pij giá trị kênh màu i pixel có vị trí j ảnh Ví dụ: Xét ảnh hệ màu HSV  cần tham số đặc trưng cho phân bố màu ảnh (3 moments cho kênh H, S, V) Nhận xét: số chiều giảm nhiều  tính tốn nhanh 11 Đặc trưng kết cấu ảnh Sử dụng giá trị moments cấp Ma trận đồng Đặc trưng LBP (state-of-the-art) 12 11/8/2011 Kết cấu ảnh Kết cấu ảnh: gọi vân ảnh chưa có định nghĩa tổng quát  Thể xếp mặt không gian giá trị độ chói (ảnh đa mức xám), màu sắc (ảnh màu)  Kết cấu ảnh tạo từ phần tử kết cấu gọi texel  loại kết cấu ảnh o Kết cấu tự nhiên o Kết cấu nhân tạo 13 Kết cấu ảnh (texture) – tiếp 14 11/8/2011 Phân tích đặc trưng kết cấu ảnh Có tiếp cận  Tiếp cận cấu trúc: thường áp dụng cho phân tích kết cấu nhân tạo o Ảnh kết cấu tạo thành từ phần tử kết cấu (texels) hay mẫu (partern) o Phân tích tương quan khơng gian texels hay parterns o Ví dụ: Voronoi tessellation  Tiếp cận thống kê o Tính tốn giá trị moments cấp o Ma trận đồng (co-occurrence matrix) 15 Ma trận đồng (co-occurrence matrix) Định nghĩa  Cho P hàm xác định tương quan vị trí  Ma trận đồng A: k x k phần tử, aij số lần xuất điểm có mức xám zi với điểm có mức xám zj (với điểm đồng xuất tuân theo hàm tương quan vị trí P)  Ma trận đồng cho phân bố cặp giá trị đồng xuất giá trị offset xác định 16 11/8/2011 Ma trận đồng (tiếp) Ví dụ: Tìm ma trận đồng ảnh sau:  P hàm tương quan vị trí: ∆𝑥 = 1, ∆𝑦 = 17 Ma trận đồng (tiếp) Nhận xét  Ma trận đồng cho thấy tương quan điểm ảnh  Vì ma trận phụ thuộc hàm vị trí P  chọn P cho phù hợp với pattern texture  Các đặc trưng texture rút từ ma trận đồng o Giá trị xác suất lớn o Giá trị độ tương phản o Tính đồng đều, đồng o Entropy 18 11/8/2011 Ma trận đồng (tiếp) 19 Ma trận đồng (tiếp) 20 10 11/8/2011 Các thuộc tính đặc trưng cục (tiếp) Để đảm bảo tính lặp đặc trưng cục thu cách  Invariance: Bất biến theo tiêu chí (một số phép biến đổi) o Mơ hình hóa phép biến đổi cơng thức tốn o Tìm đặc trưng, cách mơ tả đặc trưng không bị ảnh hưởng phép biến đổi  Robustness o Tìm đặc trưng cách mơ tả đặc trưng bị ảnh hưởng phép biến đổi 33 Dò điểm hấp dẫn Các phương pháp  Dựa đường bao, điểm uốn (contour based)  Dựa mức xám (intensity - based)  Dựa vùng lên, lồi lên (salient based)  Dựa trực tiếp màu sắc (color - based)  Dựa kỹ thuật phân vùng (segmentation - based)  Dựa học máy (machine learning) 34 17 11/8/2011 Một số dò điểm hấp dẫn Phương pháp intensity-based áp dụng nhiều (hiệu cao)  Một số dị điểm hấp dẫn o Bộ dị góc (corner detector) o Bộ dò biên (edge detector) o Bộ dò blob (blob detector) o Bộ dò miền (region detector) 35 Bộ dị góc Moravec (Moravec corner detector) Ngun tắc dò Moravec sử dụng cửa sổ trượt theo hướng khác (4 hướng), sau quan sát thay đổi cường độ sáng cửa sổ phát điểm điểm góc Điểm thường 18 11/8/2011 Moravec corner detector flat Bộ dị góc Moravec (Moravec corner detector) – tiếp Điểm thường Biên 19 11/8/2011 Bộ dị góc Moravec (Moravec corner detector) – tiếp Điểm E (u, v)thường   w( x, y)Biên )  I ( x, y)   I ( x  u, y  vGóc x, y Bộ dị góc Moravec (Moravec corner detector) – tiếp E (u, v)   w( x, y)  I ( x  u, y  v)  I ( x, y)  x, y Window function Shifted intensity Intensity 40 20 11/8/2011 Bộ dị góc Moravec (Moravec corner detector) – tiếp Một số nhược điểm dị góc Moravec  Cửa sổ trượt nhị phân  Chỉ trượt theo số hướng định (4 hướng) (chọn giá trị u, v cơng thức)  Tìm nhiều điểm nằm biên 41 Bộ dị góc Harris Thay hàm cửa sổ hàm Gaussian (khắc phục hàm cửa sổ nhị phân) 42 21 11/8/2011 Bộ dị góc Harris (tiếp) Để trượt cửa sổ theo nhiều hướng (áp dụng khai triển taylor) E (u, v)  Au  2Cuv  Bv A   w( x, y ) I x2 ( x, y ) x, y B   w( x, y ) I y2 ( x, y ) x, y 43 C   w( x, y ) I x ( x, y ) I y ( x, y ) x, y Bộ dị góc Harris (tiếp) Nếu dịch chuyển nhỏ xấp xỉ u  E (u, v)  u, v  M   v  Trong  I x2 M   w( x, y )  x, y  I x I y IxI y   I y2  44 22 11/8/2011 Bộ dị góc Harris (tiếp) Việc phân tích trị riêng ma trận M giúp phát thay đổi cường độ sáng bên cửa sổ  phát biên 45 Bộ dị góc Harris (tiếp) Từ suy cơng thức xác định điểm góc dị Harris R  det M  k  trace M  det M  12 trace M  1  2 46 23 11/8/2011 Bộ dị góc Harris (tiếp) 2 •R phụ thuộc vào trị riêng ma trận M “Edge” “Corner” R threshold) R>0 “Flat” “Edge” |R| small Computer Vision : CISC 4/689 R