Một số phương pháp đối sánh Shape.

Một số phương pháp đối sánh Shape.

1 Nguyễn Hồng Quang – CT1201 MỤC LỤC MỤC LỤC 1 MỞ ĐẦU 3 CHƢƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 4 1.1 Tra cứu thông tin trực quan 4 1.2 Những thành phần cơ bản của một hệ thống tra cứu ảnh dựa trên nội dung 4 1.3 ươ 5 1.3.1 Phương pháp trích chọn theo màu sắc 5 1.3.2 Kết cấu 7 1.3.3 Phương pháp trích chọn đặc trưng theo hình dạng 15 1.3.4 Độ đo khoảng cách và độ đo tương tự 18 1.4 Đánh giá hiệu năng hệ thống tra cứu ảnh 21 1.5 Các hệ thống tra cứu ảnh dựa trên nội dung 23 1.5.1 Hệ thống QBIC (Query By Image Content) 23 1.5.2 Hệ thống Photobook 23 1.5.3 Hệ thống VisualSEEK và WebSEEK 24 1.5.4 Hệ thống RetrivealWare 24 1.5.5 Hệ thống Imatch 24 CHƢƠNG 2: 25 2.1 Giới thiệu 25 2.2 Biểu diễn hình dạng dựa trên vùng 25 2.2.1 Phương pháp toàn cục (Global Method) 26 2.2.2 Phương pháp cấu trúc (Structural methods) 30 2.3 Phương pháp tìm xương theo DCE 31 2.3.1 ươ 31 2.3.2 R ng cong 31 2.3.3 Phương pháp cắt tỉa xương với DCE 32 CHƢƠNG 3: ĐỐI SÁNH SHAPE DỰA TRÊN ĐẶC TRƢNG VÙNG 34 3.1 Đối sánh dựa trên sự tương tự của đồ thị xương 34 3.1.1 Đồ thị xương (Skeleton Graphs) 36 2 Nguyễn Hồng Quang – CT1201 3.1.2 Đối sánh các đồ thị xương (Matching the Skeleton Graphs) 36 3.1.3 Tối ưu dãy song ánh (Optimal subsequence bijection) 40 3.2 Đối sánh đồ thị xương dựa trên các điểm quan trọng bằng cách sử dụng đường dẫn tương tự 42 3.2.1 Giới thiệu 42 3.2.2 Sát nhập các nút giao nhau (Mergence of junction nodes) 42 3.2.3 Đối sánh các nút quan trọng (Matching Critical Nodes) 43 CHƢƠNG 4: THỰC NGHIỆM 45 4.1 Môi trường thực nghiệm 45 4.2 Một số kết quả 45 4.2.1 Thay đổi kích thước ảnh mẫu 45 4.2.2 Xoay ảnh mẫu một góc α 46 4.2.3 Đồng thời thay đổi kích thước và góc xoay của ảnh 46 4.3 Một số nhận xét về chương trình 47 KẾT LUẬN 48 TÀI LIỆU THAM KHẢO 49 3 Nguyễn Hồng Quang – CT1201 MỞ ĐẦU Cùng với sự phát triển của công nghệ thông tin, lượng hình ảnh được số hóa là rất lớn và đang tăng lên nhanh chóng. Một số lượng lớn ảnh đang được sử dụng trong các thư viện ảnh số và trên Internet. Vì vậy nhu cầu tìm kiếm ảnh là một nhu cầu tất yếu. Trước đây, người ta thường sử dụng cách tra cứu theo văn bản (Text Based Image Retriveal). Tuy nhiên việc tìm kiếm chỉ dựa vào văn bản đi kèm ảnh còn có nhiều kết quả không phù hợp với mong muốn giữa nội dung văn bản truy vấn và nội dung ảnh trả về. như: International Journal of Computer Vision, IEEE conference… . . Nội dung của đề tài bao gồm bốn chương: - Chương 1: Tổng quan về tra cứu ảnh dựa trên nội dung - Chương 2: Biểu diễn hình dạng dựa trên vùng - Chương 3: Đối sánh Shape dựa trên đặc trưng vùng - Chương 4: Thực nghiệm 4 Nguyễn Hồng Quang – CT1201 CHƢƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA TRÊN NỘI DUNG 1.1 Tra cứu thông tin trực quan Tra cứu thông tin trực quan là chủ đề nghiên cứu mới trong lĩnh vực công nghệ thông tin. Tương tác với nội dung trực quan là cách thiết yếu nhất để truy tìm thông tin trực quan. Các yếu tố trực quan như màu sắc, kết cấu, hình dáng đối tượng và các yếu tố không gian trực tiếp liên quan đến khía cạnh của cảm nhận nội dung ảnh, cùng với các khái niệm ở mức cao nhưý nghĩa đối tượng, khung cảnh trong ảnh, được dùng như là manh mối cho tìm kiếm hình ảnh với nội dung tương tự từ cơ sở dữ liệu. Tra cứu ảnh dựa vào nội dung đòi hỏi phải có sự đóng góp từ các lĩnh vực nghiên cứu khác là rất lớn và đặt ra nhiều thử thách trong nghiên cứu đối với các nhà khoa học và kỹ sư. Các lĩnh vực nghiên cứu khác nhau, được phát triển một các độc lập, đóng góp rất lớn cho chủ đề nghiên cứu mới m này. 1.2 Những thành phần cơ bản của một hệ thống tra cứu ảnh dựa trên nội dung Trong mô hình trong Hình 1.1 người sử dụng sẽ tạo truy vấn bằng cách chọn một ảnh mẫu hoặc phác thảo một hình vẽ mô tả đối tượng ảnh cần tìm. Ảnh mẫu đó được đưa qua khối mô tả nội dung trực quan, trong đó người ta sử dụng một phương pháp mô tả nội dung trực quan nào đó để trích chọn một đặc điểm nội dung trực quan để xây dựng thành một vector đặc trưng. Vector đặc trưng của ảnh mẫu sẽ được so sánh với vector đặc trưng tương ứng của các ảnh trong cơ sở dữ liệu ảnh. Kết quả của phép so sánh là một chỉ số đánh giá độ tương tự giữa ảnh mẫu và ảnh lấy ra để so sánh. Dựa vào chỉ số độ tương tự tính toán được ở trên, hệ thống sẽ sắp xếp ảnh tìm được trong cơ sở dữ liệu ảnh theo một sơ đồ đánh chỉ số nào đó. Danh sách các ảnh tìm được (đã được sắp xếp) được đưa ra đầu ra của hệ thống. 5 Nguyễn Hồng Quang – CT1201 Hình 1.1 Các thành phần của hệ thống tra cứu ảnh dựa trên nội dung 1.3 1.3.1 Phƣơng pháp trích chọn theo màu sắc Tìm kiếm ảnh theo màu sắc là phương pháp phổ biến vàđược sử dụng nhiều nhất trong các hệ thống tìm kiếm ảnh theo nội dung. Đây là phương pháp đơn giản, tốc độ tìm kiếm tương đối nhanh tuy nhiên kết quả tìm kiếm có độ chính xác không cao. Nếu chúng ta coi thông tin màu của ảnh là tín hiệu một, hai, hoặc ba chiều đơn giản thì việc phân tích các tín hiệu sử dụng ước lượng mật độ xác xuất là một cách dễ nhất để mô tả thông tin màu của ảnh. 1.3.1.1 Biểu đồ màu toàn cục (Global Color Histogram) Biểu đồ màu loại này mô tả phân bố màu sử dụng tập các mức. Việc sử dụng biểu đồ màu toàn cục một ảnh sẽ được mã hóa với biểu đồ màu của nó và khoảng cách giữa hai ảnh sẽ được xác định bởi khoảng cách giữa những biểu đồ 6 Nguyễn Hồng Quang – CT1201 màu của chúng. Với kỹ thuật này chúng ta có thể sử dụng các độ đo khác nhau để tính toán khoảng cách giữa hai biểu đồ màu. Đây là một phương pháp truyền thống cho việc tra cứu ảnh dựa trên màu sắc. Mặc dù vậy nó không chứa các thông tin liên quan đến sự phân bố màu sắc của các vùng. Do đó, khoảng cách giữa các ảnh đôi khi không thể chỉ ra được sự khác nhau thực sự giữa chúng. 1.3.1.2 Biểu đồ màu cục bộ (Local Color Histogram) Phương pháp này được đề cập (gọi tắt là LCH) bao gồm thông tin liên quan đến sự phân bố màu của các vùng. Trước tiên là nó phân đoạn ảnh thành nhiều khối và sau đó biểu diễn biểu đồ màu cho mỗi khối, một ảnh sẽ được biểu diễn bởi những biểu đồ màu này. Khi so sánh hai hình ảnh, khoảng cách được tính toán bằng cách sử dụng những biểu đồ của chúng giữa một vùng trong ảnh và một vùng tương ứng trong ảnh khác. Khoảng cách giữa hai ảnh được xác định bằng tổng tất cả các khoảng cách này. Nếu sử dụng căn bậc hai của khoảng cách Euclidean để tính toán khoảng cách biểu đồ thì khoảng cách giữa hai ảnh Q và I cho biểu đồ màu cục bộ là: (1.1) Ở đây M là số vùng được phân đoạn trong ảnh, N là số mức trong biểu đồ màu và H[i] là giá trị của mức i trong biểu đồ màu biểu diễn cho vùng k của ảnh. 1.3.1.3 Vector liên kết màu Vector liên kết màu đề xuất phân mỗi ngăn của lược đồ thành hai loại: liên kết nếu nó thuộc về một vùng màu đồng nhất lớn hoặc không liên kết nếu nó không thuộc về một vùng màu đồng nhất lớn. Cho α i biểu thị số các pixel gắn kết trong ngăn thứ i và β i biểu thị số các pixel không gắn kết trong một ảnh thì vector liên kết màu của một ảnh được định nghĩa bằng vector <(α 1 ,β 1 ),(α 2 ,β 2 ),(α 3 ,β 3 ),…,(α N ,β N )>. Trong đó: < (α 1 +β 1 ), (α 2 + β 2 ),…, (α N +β N )> là lược đồ màu của ảnh. 7 Nguyễn Hồng Quang – CT1201 Việc thông tin không gian được đối sánh vào biểu đồ màu sắc làm cho Vector liên kết màu cung cấp các kết quả tra cứu tốt hơn lược đồ màu, đặc biệt với các ảnh có phần lớn màu đồng nhất hoặc có kết cấu theo khu vực. 1.3.1.4 Tƣơng quan màu (Color Correlogram) Tương quan màu không chỉ để mô tả các phân bố màu của các pixel, mà còn tương quan không gian của các cặp màu. Một tương quan màu là một bảng được đánh chỉ số bởi các cặp màu. Với mỗi pixel có màu i trong ảnh, là xác suất tìm thấy một pixel có màu j các pixel ban đầu một khoảng cách k. Cho I biểu diễn toàn bộ tập các pixel ảnh và I c(i) biểu diễn tập các pixel có màu C(i) thì tương quan màu được định nghĩa bằng: γ (k) i,j =Pr[p2ЄI c(j) ||p1-p2|=k] (1.2) Trong đó: p1 Є I c(i) , p2 Є I. i, j Є {1,2,…,N}. k Є {1,2,…,d}. |p1-p2| là khoảng cách giữa các pixel p1 và p2. Kích thước của Correlogram là O(N 2 d). Khi chọn d để tính Correlogram ta cần chú ý vấn đề sau: - Giá trị d lớn thì cần nhiều chi phí tính toán và không gian lưu trữ. - Giá trị d nhỏ có thể giảm giá trị lưu trữ của đặc trưng. So sánh với lược đồ màu và vector liên kết màu, tương quan màu cho các kết quả tra cứu tốt hơn, nhưng cũng cho chi phí tính toán cao hơn do nó có chiều cao. 1.3.2 Kết cấu Kết cấu là một đặc tính quan trọng khác của ảnh. Các biểu diễn kết cấu đa dạng đã được nghiên cứu trong nhận dạng mẫu và thị giác máy tính. Về cơ bản, các phương pháp biểu diễn kết cấu có thể được phân ra thành hai loại: cấu trúc và thống kê. Các phương pháp cấu trúc bao gồm toán tử hình thái và đồ thị kề, mô 8 Nguyễn Hồng Quang – CT1201 tả kết cấu bởi nhận dạng cấu trúc gốc và các luật sắp đặt của chúng. Các phương pháp thống kê bao gồm các kỹ thuật phổ năng lượng Fourier, các ma trận đồng hiện, phân tích thành phần chính bất biến - trượt, đặc trưng Tamura, phân rã Wold, trường ngẫu nhiên Markov, mô hình Fractal, và lọc đa phân giải như biến đổi Gabor và sóng, mô tả kết cấu bằng phân bố thống kê của cường độ ảnh. Một số biểu diễn kết cấu, được sử dụng thường xuyên và đã được chứng minh là hiệu quả trong tra cứu ảnh dựa theo nội dung. 1.3.2.1 Các đặc trƣng Tamura Các đặc trưng Tamura bao gồm độ thô, độ tương phản, hướng, giống nhất, tính chất đều và nhám, được thiết kế phù hợp với các nghiên cứu tâm lý về nhận thức của người đối với kết cấu. Trong đó, độ thô, độ tương phản, hướng được sử dụng trong một số hệ thống tra cứu ảnh nổi tiếng như QBIC và Photobook. - Độ thô ( Coaseness): Thô là một độ do tính chất hạt của kết cấu. Để tính toán thô, các trung bình động A k (x,y) được tính đầu tiên sử dụng cỡ 2 k x 2 k (k=0,1,…,5) tại mỗi pixel (x,y).Ta có: (1.3) Trong đó, g(i,j) là cường độ pixel tại (i,j). Sự khác nhau giữa các cặp trung bình động không theo hướng ngang và đứng cho mỗi pixel được tính toán, đó là: E k,h (x,y)=|A k (x+2 k-1 ,y)–A k (x-2 k-1 ,y)| (1.4) E k,v (x,y) = |A k (x, y+2 k-1 ) – A k (x, y-2 k-1 )| Giá trị của k cực đại hóa E theo một trong hai hướng được sử dụng để đặt cỡ tốt nhất cho mỗi pixel, đó là: S best = (1.5) Cải tiến của đặc trưng thô có thể thu được bởi sử dụng một lược đồ để mô tả phân bố của S best . Đã làm tăng đáng kể hiệu năng tra cứu và làm cho đặc trưng 9 Nguyễn Hồng Quang – CT1201 có khả năng xử lý với một ảnh hoặc vùng có đa đặc tính kết cấu. Do vậy, nó là hữu ích hơn đối với các ứng dụng tra cứu ảnh. -Độ tương phản: Công thức cho độ tương phản là: F con = (1.6) Trong đó: α 4 = µ 4 / 4 µ 4 : là moment thứ tư về trung bình. 4 : là phương sai. -Độ định hướng: Để tính toán hướng ta sử dụng hai mảng 3x3 và một vector gradient tại mỗi điểm ảnh được tính toán. Độ lớn và góc của vector được định nghĩa như sau: |∆G|=(|∆ H |+|∆ V |)/2 (1.7) = tan -1 (∆ V /∆ H ) + π/2 Trong đó, ∆ H và ∆ V là các khác biệt ngang và dọc của chập. Sau đó bằng lượng hóa và đếm số các pixel với độ lớn tương ứng |∆G| lớn hơn một ngưỡng, một lược đồ của , biểu thị bằng H D , có thể được xây dựng. Lược đồ này sẽ cho biết các đỉnh bền vững cho các ảnh hướng cao và sẽ là tương đối phẳng với các ảnh không có hướng bền vững. Toàn bộ lược đồ được tóm lược để thu toàn bộ độ đo hướng dựa trên tính nhọn của các đỉnh: F dir = ( ) (1.8) Trong đó: p là tổng các phạm vi này trên n p đỉnh. Mỗi đỉnh p, w p là tập các bin màu được phân bố trên nó. p là bin màu nhận giá trị đỉnh. 10 Nguyễn Hồng Quang – CT1201 1.3.2.2 Các đặc trƣng Wold Phân rã Wold cung cấp một cách tiếp cận khác để mô tả các kết cấu về mặt các đặc tính tri giác. Ba thành phần Wold, điều hòa, độ phai mờ và độ bất định tương ứng với chu kỳ, hướng và tính ngẫu nhiên của kết cấu tương ứng. Các kết cấu chu kỳ có thành phần độ điều hòa cao, các kết cấu có tính định hướng cao có kết cấu độ phai mờ lớn, và các kết cấu được cấu trúc kém hơn có thành phần độ bất định lớn hơn. Đối với một trường ngẫu nhiên đồng đều thuần nhất {y(m,n),m,nЄZ 2 }, thì phép phân tích Wold 2D sẽ cho ba thành phần trực giao từng đôi một. Được định nghĩa: y(m,n)=u(m,n)+d(m,n)=u(m,n)+h(m,n)+e(m,n) (1.9) Trong đó: u(m,n) là thành phần vô định. d(m,n) là thành phần tiền định. e(m,n) là thành phần tạm thời. h(m,n) là thành phần điều hòa. Thành phần tạm thời có thể được phân rã tiếp thành h(m,n) và e(m,n). Trong miền tần số ta có: F y (ξ,η)=F u (ξ,η)+F d (ξ,η)=F u (ξ,η)+F h (ξ,η)+F e (ξ,η) (1.10) Trong đó, F y (ξ,η), F u (ξ,η),F d (ξ,η), F h (ξ,η), F e (ξ,η): là các hàm phân bố phổ (SDF) của {y(m,n)}, {u(m,n)}, {d(m,n)}, {h(m,n)} và {e(m,n)} tương ứng. Trong miền không gian, ba thành phần trực giao có thể tính toán được bằng phép ước lượng khả năng tối đa ( MLE) liên quan đến việc điều chính quy trình tự thoái lui (AR) bậc cao, tối thiểu hàm định giá và giải hệ các phương trình tuyến tính. Trong miền tần số, có thể tính toán được các thành phần Wold bằng cách đặt ngưỡng tổng thể cho các biên độ phổ Fourier của ảnh. [...]... các biểu diễn hình Các phương pháp dựa trên phổ biến sử dụng mô tả moments để mô tả hình dạng Phương pháp dựa trên các vùng khác bao Phương pháp dựa trên vùng cũng có thể được chia thành các phương pháp toàn và cấu trúc tùy thuộc vào việc hình dạng của chúng có tách biệt với các thành phần phụ hay không Nguyễn Hồng Quang – CT1201 26 2.2.1 Phƣơng pháp toàn cục (Global Method) Phương pháp toàn cục xem... trên phương hướng và khoảng cách giữa các điểm ảnh Sau đó từ những ma trận đó có thể rút ra được các con số thống kê có nghĩa về kết cấu Một số đặc trưng của kết cấu có thể tính được dựa vào phương pháp ma trận đồng khả năng là: Năng lượng: Entropy: Độ tương phản: (1.17) Tính đồng nhất: Ngoài ra còn có thể xây dựng được nhiều đặc trưng khác như độ tương quan, phương sai, tổng trung bình, tổng phương. .. phân Khoảng cách Hamming nhị phân được sử dụng để đo lường sự giống nhau giữa hai hình dạng Hình 2.2 Phương pháp lưới Nguyễn Hồng Quang – CT1201 29 Những lợi thế của phương pháp lưới là đơn giản hóa biểu diễn, sự phù hợp với trực giác và thống nhất với phương pháp mã hóa hình dạng MPEG-4 Vấn đề chính của phương pháp này là trục chính dựa trên góc xoay Trục chính nhạy cảm với điểm nhiễu và không đáng tin... biến dạng biên Một hạn chế chính của phương pháp nhận dạng dựa trên xương là cấu trúc phức tạp của cây hoặc đồ thị biểu diễn của xương X.Bai và L.Jan Latecki [6] đã đưa ra một phương pháp thực hiện khá hiệu quả trong việc nhận dạng đối tượng dựa trên xương Ý tưởng chính của phương pháp là đối sánh đồ thị xương bằng cách so sánh các đường dẫn tới điểm cuối xương Phương pháp đối sánh này không dựa trên... đầu tiên và nổi tiếng nhất trong số các hệ thống tra cứu ảnh dựa trên nội dung Nó cho phép người sử dụng tra cứu ảnh dựa vào màu sắc, hình dạng và kết cấu QBIC cung cấp một số phương pháp: Simple, Multi-feature và Multi-pass Trong phương pháp truy vấn Simple chỉ sử dụng một đặc điểm Truy vấn Multi-feature bao gồm nhiều hơn một đặc điểm và mọi đặc điểm đều có trọng số như nhau trong suốt quá trình tìm... đáng tin cậy Ví dụ hai hình dạng tương tự có hình dạng lưới rất khác nhau Hai hình dạng tương tự nhau nhưng góc quay khác nhau có hình dạng lưới rất khác nhau Phương pháp lưới không bất biến với quay 2.2.1.6 Ma trận hình dạng (Shape Matrix) Các phương pháp sử dụng khung lưới hình chữ nhật để lấy thông tin hình Mô tả hình dạng có được theo cách này thường là không bất biến dịch chuyển, quay và mở rộng... không liên quan đến nhau Nguyễn Hồng Quang – CT1201 20 Hình1.3 Độ đo khoảng cách Quadratic 1.3.4.3 Độ đo khoảng cách Non-histogram Stricker và Orengo đã đưa ra phương pháp Color Moments nhằm vượt qua hiệu quả của lượng tử hóa biểu đồ màu Trong phương pháp này những đặc điểm phân bố màu của ảnh được biểu diễn bởi những đặc điểm chủ yếu của chúng gọi là các moment Đó là độ trung bình, sự thay đổi và tính... phần Trong trường hợp này thì vector đặc trưng kết quả của phân tích PWT chỉ là tập con của vector do phân tích TWT sinh ra Ngoài ra qua so sánh sự khác nhau của vector đặc trưng thu được khi sử dụng các phương pháp biến đổi dạng sóng khác nhau, người ta thấy rằng việc lựa chọn bộ lọc dạng sóng không ảnh hưởng lớn lắm đến các phân tích kết cấu ảnh 1.3.2.5 Ma trận đồng khả năng (Co-occurrence matrix) Cách... dụng để mô tả hình dạng 2.2.1.1 Moment bất biến hình học (Geometric Moment Invariant) M.K Hu đã công bố bài nghiên cứu đầu tiên về việc sử dụng các moment bất biến cho ứng dụng nhận dạng mẫu hai chiều Phương pháp tiếp cận của ông dựa trên các nghiên cứu của các nhà toán học thế kỷ 19 và lý thuyết đại số: mpq = (2.1) p,q = 0,1,2… Sử dụng đối sánh phi tuyến các moment có thứ tự thấp, một tổ hợp các moment... QBIC Các AMI được tính toán cho từ moment trung tâm đầu tiên và được đặt ra như là giá trị riêng của ma trận định trước M[j,k], trong đó các phần tử tỉ lệ với các yếu tố của các moment trung tâm Khác với phương pháp moment bất biến hình học của Hu, các moment bất biến đại số có thể được xây dựng từ các thứ tự bất kỳ AMI có xu hướng làm việc tốt trên các đối tượng có điểm ảnh được phân bổ và không phải