Đo qua bố cục không gian

3. Xác định độ đo nội dung ảnh

3.4.đo qua bố cục không gian

Quan hệ về không gian (spatial layout) giữa các thực thể thường chứa đựng các thông tin mang tính quan hệ. Tuy nhiên, cách xác định độ tương đương theo quan hệ không gian nói chung là phức tạp bởi vì các quan hệ không chỉ thể hiện qua một câu lệnh đơn giản mà nó là tập các ràng buộc của các điều kiện, thậm chí phải đồng thời thoả các mức độ khác nhau. Người ta thưòng phân chia quan hệ không gian thành hai loại: dựa trên cấu trúc quan hệ và dựa trên đối tượng.

Cấu trúc dựa trên cơ sở quan hệ không bao gồm các thông tin trực quan và nó chỉ bảo tồn tập các quan hệ không gian, bỏ qua tất cả các quan hệ không đáng lưu tâm đến. Các đối tượng trong ảnh mang tính quan hệ tương tác với nhau. Các đối tượng được thể hiện dưới dạng các ký hiệu có quan hệ không gian rõ ràng. Trong các hệ tra cứu ảnh, cấu trúc dựa trên quan hệ sẽ thích hợp cho việc tìm kiếm và tra cứu.

Trên cơ sở đối tượng, quan hệ về cấu trúc không thể hiện rõ ràng như các thông tin trực quan. Trong trường hợp này, phân tích nội dung ảnh thường được thực hiện theo góc độ hướng đối tượng. Các cấu trúc đối tượng cơ bản dựa trên các kỹ thuật phân mảnh không gian. Kỹ thuật phân mảnh cho phép định vị các thực thể trong không gian mà nó chiếm giữ. Ở góc độ này trong các hệ tra cứu ảnh, việc tra cứu liên quan đến việc tìm kiếm các thực thể trong phạm vi không gian ảnh. Việc đặc trưng hoá từng phần của đối tượng trong ảnh có thể dựa trên cơ sở giới hạn hẹp thành các vùng hoặc

các điểm ảnh quan trọng. Chúng ta hãy tập trung vào các điểm quan trọng với các lý do sau:

Trước hết, việc trích chọn các điểm quan trọng thực hiện tốt đối với bất cứ ảnh có nội dung như thế nào, không giống cách tiếp cận cơ sở vùng trong đó chất lượng của việc phân đoạn ảnh phụ thuộc vào nội dung hình học của ảnh. Do việc mô tả được tính toán cục bộ nên các điểm quan trọng có ưu điểm trong các biến đổi hình học chẳng hạn như sự thay đổi về góc nhìn. Nó cũng khá ưu điểm đối với sự che khuất một phần, các tính toán không phức tạp như trong các tính toán ở hình học cơ sở mức cao. Cuối cùng, kỹ thuật phân tích nội dung ảnh ở đây tập trung vào khai thác các thông tin thuần tuý về quang có trong ảnh. Một điểm ảnh được gọi là quan trọng nếu nó chứa các thông tin về quang học là quan trọng nhất. Việc sử dụng các điểm như vậy cho phép ta có được cách đặc trưng hoá một ảnh cô đọng và súc tích.

3.4.1.1. Phát hiện điểm góc quan trọng

Chúng ta đã đề cập đến những vấn đề về trích chọn các đặc tính màu sắc, đặc tính hình dạng, đặc tính cấu trúc. Các đặc trưng được trích chọn trên đều mang tính tổng thể. Chẳng hạn khi trích chọn các đặc tính màu sắc trên một ảnh, vector đặc trưng thu được có thể là từ histogram của ảnh, nó phản ánh định lượng mọi thành phần màu có trong ảnh, do đó nó thể hiện tính tổng thể của toàn bức ảnh. Khi trích trọn các đặc tính hình dạng hay cấu trúc cũng vậy, vector đặc trưng thu được sẽ mô tả hình dạng của mọi đối tương có trong ảnh hay mô tả bề mặt chung của toàn bức ảnh. Tuy nhiên nhiều khi các bức ảnh lại thường là không đồng nhất, với các phần khác nhau của ảnh là các đặc trưng khác nhau, khi đó không thể dùng đặc trưng tổng thể để mô tả ảnh, người ta cần đến các mô tả cục bộ.

Hơn nữa, trong thực tế người dùng chỉ quan tâm đến việc tra cứu các phần nổi bật hoặc đến các đối tượng cụ thể nào đó trong ảnh mà thôi, trong khi đó bộ mô tả ảnh tổng thể [xem chương 3] không thể đảm nhận được công việc này, thay vào đó sẽ là bộ mô tả cục bộ, khi đó mỗi vùng tín hiệu được phân tích độc lập. Bộ mô tả cục bộ trước

tiên là bước cục bộ hoá các vùng thích hợp, sau đó đến bước đặc trưng hoá màu sắc ảnh. Lưu ý, không giống như phương pháp trích chọn các đặc trưng tổng thể, vector đặc trưng thu được từ bộ mô tả cục bộ có độ lớn không ổn định, vì thế cách lưu trữ trong cơ sở dữ liệu cũng sẽ khác đi.

Các đặc trưng cục bộ mô tả tính cục bộ của ảnh. Các đặc trưng cục bộ cần có đủ để tóm tắt thông tin cục bộ của ảnh, chúng có thể có được qua các phương pháp lọc. Lọc để hạn chế về mặt độ lớn các điểm ảnh trên toàn bức ảnh, đó chính là thao tác

trích ra các thành phần ảnh “quan trọng” chỉ mang tính cục bộ song lại mang đủ lượng thông tin mô tả cho bức ảnh. Nói cách khác, đó là trích chọn các điểm ảnh “quan trọng” của ảnh. Các điểm ảnh là “quan trọng” nếu nó chứa các thông tin được giả thiết là các thông tin là đáng quan trọng.

Hình 10 - Phát hiện điểm ảnh “quan trọng” bằng thuật toán Haris - dò tìm điểm góc

Hình 11 - Điểm ảnh “quan trọng” có khác biệt với mọi điểm xung quanh (mọi hƣớng)

Vậy những điểm ảnh như thế nào thì được coi là “quan trọng”? Có thể diễn tả điểm ảnh quan trọng là điểm ảnh đòi hỏi tính ổn định trước các thay đổi về góc nhìn hoặc thay đổi độ chiếu sáng. Việc phát hiện hay việc lọc các điểm ảnh như vậy sẽ đảm bảo tiết kiệm thời gian xử lý trong bước chỉ số hoá cho ảnh về sau, hơn nữa nó còn đưa ra chỉ số phân biệt tốt hơn bởi tính “quan trọng” theo nhìn nhận trực quan. Schmid và Mohr giới thiệu khái niệm tra cứu ảnh dựa theo các điểm ảnh “quan trọng”, để xác định các điểm ảnh này, họ tính toán các bất biến cục bộ, sử dụng thuật toán Harris, một trong những thuật toán dò tìm điểm góc phổ biến nhất (Hình 10). Phương pháp này – cũng như một số phương pháp khác, được thiết kế nhằm thực thi nhanh, nó dựa trên phép mô hình hoá toán học cho các đỉnh góc.

Theo Harris, việc xác định đâu là điểm ảnh góc rất đơn giản. Hình 12, nếu có một cửa sổ w di chuyển trên dọc đường biên, tổng giá trị mức xám có được là không đổi, nhưng khi gặp điểm góc (là giao với đường biên khác), cửa sổ w dịch chuyển theo bất cứ hướng đường biên nào thì giá trị mức xám chụp được đều có sự biến đổi. Nếu dịch chuyển của w xác định là [u,v] thì công thức tính sự thay đổi này là:

      y x y x I v y u x I y x w v u E , 2 ) , ( ) , ( ) , ( ) , (

trong đó I(x,y) là cường độ xám tại điểm (x,y). Nếu dịch chuyển [u,v] là nhỏ thì ta có xấp xỉ:

       v u M v u v u E( , ) [ , ]

trong đó M là ma trận 2x2 được tính từ ảnh I như sau:

         y x x y y y x x I I I I I I y x w M , 2 2 ) , (

Giá trị xác định vị trí lân cận góc R được tính theo công thức:

2 ) ( detM k traceM R  2 1 detM  2 1     traceM trong đó k là hằng số thực nghiệm = 0.04 – 0.06.

Lưu ý, các điểm ảnh đề cập ở đây đều là các điểm ảnh quan trọng, và vì cách xác định là dưa trên các điểm góc nên phương pháp này sẽ gặp khó khăn khi áp dụng vào các bức ảnh tự nhiên. Chúng ta sẽ xét thêm một tiếp cận khác để khắc phục nhược điểm trên.

3.4.1.2. Điểm ảnh quan trọng theo màu sắc

Rất nhiều các thuật toán cho phép trích chọn các điểm “quan trọng” và hầu hết chúng đều dùng cho các ảnh xám màu. Vậy với ảnh màu thì sao?

Bằng cách tương tự, Harris đã phát triển thuật toán “dò tìm điểm góc” (corner detector) thành thuật toán “dò tìm điểm quan trọng” dựa trên màu sắc trên cơ sở định nghĩa điểm ảnh màu quan trọng (color point of interest) là điểm ảnh có màu sắc nổi trội so với các điểm kế cận. Và như vậy khi đó ma trận M sẽ được cấu tạo như sau :

trong đó G() là ma trận biến đổi gause cỡ  và (Ix,Iy) là các đạo hàm bậc nhất của kênh màu Ivới I(R,G,B) [10].

Giá trị R cuối cùng cũng sẽ được xác định: det(M)kTrace2(M) với k=0,04.

3.4.1.3. Các điểm ảnh quan trọng dựa trên hình dạng hoặc cấu trúc

a ) Các điểm ảnh quan trọng không nhất thiết là các điểm góc

Khi ta nhìn vào bức ảnh ta sẽ bị hấp dẫn vào một số phần của bức ảnh nơi có chứa lượng lớn các thông tin ý nghĩa đối với chúng ta. Chúng ta không coi chúng hoàn toàn là các điểm góc như đã được xác định bằng toán học trong các bộ dò tìm góc. Chẳng hạn các cạnh đường biên cũng có thể là các điểm nổi trội trực quan mà bộ mô tả cục bộ cần phải xác định được [11]. (adsbygoogle = window.adsbygoogle || []).push({});

b ) Các điểm góc có thể tụ lại ở những vùng nhỏ

Ở các bức ảnh tự nhiên, các vùng có thể chứa các cấu trúc như cây cỏ, nền chiếc áo… Rất nhiều các điểm góc được xác định trong các vùng này bởi bộ dò tìm góc. Tuy nhiên chỉ một số lượng ấn định trước các điểm đó trên một ảnh được dùng trong quá trình xử lý chỉ số, mục đích là để giới hạn thời gian tính toán chỉ số. Đối với các bộ dò tìm loại này phần lớn các điểm là thuộc một vùng nhỏ, các đặc trưng cục bộ được tính toán từ cùng một vùng cấu trúc, trong khi các phần khác của ảnh sẽ không được mô tả trong bảng chỉ số [11].

Các điểm góc là rất mạnh, tuy nhiên chúng có thể không đại diện cho hầu hết các tập con các điểm ảnh của chỉ số ảnh. Các điểm ảnh chỉ số liên quan đến phần quan trọng trực quan của ảnh cho dù nó là điểm góc hay đường trơn. Để mô tả các phần khác nhau của ảnh, bộ các điểm ảnh quan trọng không thể phân cụm trong một vài vùng. Từ đó chúng ta sẽ liên tưởng các điểm này như là các điểm đặc biệt, không nhất thiết là các điểm góc. Chúng ta sẽ tránh dùng khái niệm các điểm quan trọng, nó có vẻ hơi mập mờ bởi có thể lẫn với từ ngữ đã dùng như là các góc.

Chúng ta phải thừa nhận rằng sự thể hiện của đa độ phân giải là rất hữu ích cho việc dò tìm các điểm quan trọng như thế. Đã có một số thuật toán trích chọn tập các điểm đặc biệt này dùng biến đổi sóng, có thể nhanh chóng biến đổi ảnh ở các độ phân giải khác nhau. Các điểm đó sẽ được dò tìm theo các đường cạnh trơn và không tụ lại trong các vùng cấu trúc. Vì vậy chúng cho ta các thể hiện ảnh hoàn chỉnh hơn so với các bộ dò tìm góc.

Cũng dễ hiểu rằng khi sử dụng một lượng nhỏ các điểm đó thay cho cả ảnh sẽ làm giảm lượng dữ liệu để xử lý. Hơn thế, các thông tin cục bộ được trích dẫn trong vùng kế cận của các điểm cụ thể này cũng có thể nhanh chóng được xác định qua việc thực hiện các phép biến đổi (cộng nhiễu, biến đổi affine bao gồm chuyển dịch, góc quay, tác động tỉ lệ, tầm nhìn hẹp…)

CHƢƠNG 2 - ĐÁNH GIÁ ĐỘ TƢƠNG TỰ

1. Lý thuyết về độ tƣơng tự

1.1. Tính “ghép đúng” và tính “tƣơng tự”

Việc so sánh hai bức ảnh với nhau không dừng lại ở chỗ chỉ so sánh các điểm ảnh với nhau, nó cần phải được xem xét dựa trên sự nhìn nhận trực quan của con người, tức là quan tâm đến nội dung trực quan của ảnh.

Quá trình đánh giá độ tương tự giữa các ảnh có thể phân chia thành hai bước chính. Trước tiên là xác định định lượng một độ đo về nội dung của bức ảnh dựa trên tập các đặc trưng được hình thành từ việc mã hoá các thuộc tính của ảnh. Tập các đặc trưng đó hình thành nên vector đặc trưng hay độ đo nội dung của ảnh trên không gian các đặc trưng. Bước thứ hai sau đó là đánh giá so sánh độ tương tự dựa trên các định lượng về số đo ở bước trước. Nếu cùng một không gian đặc trưng mà cho một độ đo khác biệt lớn thì có thể kết luận chúng không tương tự nhau hay chúng không được xếp trong cùng một lớp. Thông thường, khi “so sánh” hai bức ảnh thì hoặc là ta quan tâm đến việc đánh giá “độ giống nhau” hay “độ tương tự” giữa chúng là bao nhiêu hoặc cũng có thể quan tâm đến khía cạnh hai bức ảnh đó khác biệt nhau đến mức độ nào.

Ở đây ta thấy có một khái niệm mang ý nghĩa hẹp hơn, sâu hơn khái niệm “tương tự”, đôi khi mập mờ, đó là “khớp đúng” hay “ghép đúng”(matching). Tính tương phản của hai khái niệm này có thể phân biệt được qua các ứng dụng của chúng. Các kỹ thuật ghép đúng được phát triển chủ yếu cho các ứng dụng về nhận dạng đối tượng biến đổi hình dạng, trong khi các kỹ thuật về độ tương tự thì lại thấy chủ yếu trong các ứng dụng sử dụng cơ sở dữ liệu về nội dung trực quan của ảnh, đặc biệt là các ứng dụng về tra cứu ảnh.

1.2. Khái niệm về độ tƣơng tự giữa hai ảnh

Gọi {F(x,y); x,y1,2,...,N} là mảng hai chiều mô tả các điểm ảnh của một bức ảnh. Giá trị hàm F(x,y)là giá trị màu của điểm ảnh có vị trí xác định tại toạ độ (x,y). Giả sử ảnh xây dựng trên hệ màu RGB thì hàm F(x,y) có thể viết [19]:

)} , ( ), , ( ), , ( { ) , (x y F x y F x y F x y F  R G B .

Với ảnh đen trắng thì giá trị hàm F(x,y) mô tả giá trị xám của điểm ảnh tại toạ độ

) ,

(x y . Gọi f là ánh xạ từ không gian ảnh vào không gian các đặc trưng N chiều của ảnh, X {x1,x2,...,xn} tức là :

X F

f : 

trong đó n là số các đặc trưng trích chọn trong ảnh. Sự khác biệt nhau giữa hai ảnh F1

và F2 có thể hiểu như là khoảng khác biệt D đo được giữa các vector đặc trưng tương ứng X1 và X2. Khi đó việc mô tả quá trình tra cứu ảnh được thể hiện như sau:

Cho biết một ảnh cần tra cứu P, hãy tra cứu ra một ảnh M trong cơ sở dữ liệu ảnh S thoả mãn :

D(f(P), f(M))D(f(P),f(F)) với mọi F thuộc S và F khác M. Hiệu quả của hệ tra cứu ảnh phụ thuộc vào sự thể hiện các vector đặc trưng cụ thể và sự lựa chọn mô hình đánh giá độ tương tự.

1.3. Độ đo tƣơng tự

Trong phần này trình bày một số cách nhìn nhận của con người về tính tương tự qua một số phân tích của các nhà tâm lý học, chúng ta cũng sẽ đề cập đến các ưu - khuyết điểm của một số cách tiếp cận nghiên cứu khác nhau. Các lý thuyết này được gom lại theo một khung nhìn thống nhất.

1.3.1. Các tiên đề về đo

Một số đo về độ tương tự đưa ra là để giải thích về tính tương tự được coi là khoảng cách trong không gian các đặc trưng đó, và nó được coi là không gian độ đo.

Nhận thức tính tương tự thông qua khoảng cách d, còn đo tính tương tự thông qua độ tương tự  . Nếu A và B là đại diện cho các tác nhân a và b và d(A,B) là khoảng cách mang tính tri giác giữa hai tác nhân đó thì đánh giá khoảng cách (đo) sẽ là [19]:

)] , ( [ ) , (A B g d A B 

trong đó g là hàm không giảm đơn điệu thích hợp với tham số của nó. Lưu ý rằng chỉ có giá trị của  là có thể sử dụng được cho thực nghiệm. (adsbygoogle = window.adsbygoogle || []).push({});

Các tác nhân được thể hiện ở đây chính là các điểm trong không gian độ đo, và