Tần số lấy mẫu trong một vùng không gian

Vì chúng ta đã xác định tần số lấy mẫu trên mỗi quãng của không gian tỷ lệ, cho nên phải xác định tần số lấy mẫu trong một vùng ảnh liên quan tới tỷ

lệ của việc làm trơn. Biết rằng cực trị có thể gần nhau một cách tùy ý, nên sẽ có một sự cân bằng tƣơng đối giữa tần số lấy mẫu và tỷ lệ phát hiện.

Dĩ nhiên, nếu ta làm trơn ảnh trƣớc khi phát hiện cực trị thì sẽ loại bỏ một cách hiệu quả các tần số không gian cao nhất. Bởi vậy, để làm tăng tính hữu ích của dữ liệu vào thì ảnh có thể đƣợc mở rộng để tạo ra nhiều điểm mẫu hơn chúng có mặt trong ảnh gốc. Ta tăng gấp đôi kích thƣớc của ảnh đầu vào sử dụng phép nội suy tuyến tính trƣớc khi xây dựng mức đầu tiên của hình chóp. Khi phép toán tƣơng đƣơng có thể đƣợc thực thi một cách hiệu quả bằng việc sử dụng các bộ lọc khoảng trống subpixel trên ảnh gốc, thì việc gấp đôi ảnh dẫn đến sự thực thi có hiệu quả hơn. Giả sử rằng ảnh gốc có một vết mờ tối thiểu  0.5 và vì vậy, ảnh đƣợc gấp đôi có  1.0 liên quan tới khoảng cách điểm ảnh mới của nó. Điều này có nghĩa là cần làm trơn một chút trƣớc khi tạo ra quãng đầu tiên của không gian tỷ lệ. Việc nhân đôi ảnh làm tăng số lƣợng các điểm khóa ổn định bởi một thừa số là 4, nhƣng chƣa tìm thấy các cải tiến đáng kể hơn nữa đối với thừa số mở rộng lớn hơn.

2.2.2 Định vị chính xác điểm khóa

Một khi một điểm khóa ứng cử đƣợc tìm thấy bằng việc so sánh một điểm ảnh với các láng giềng của nó, thì bƣớc tiếp theo là thực hiện điều chỉnh chi tiết với dữ liệu lân cận cho vị trí, tỷ lệ, và tỷ lệ của các độ cong chủ yếu. Thông tin này cho phép loại bỏ các điểm có độ tƣơng phản thấp hoặc đƣợc định vị kém dọc biên.

Thực thi ban đầu của hƣớng tiếp cận này đã định vị một cách đơn giản các điểm khóa ở vị trí và tỷ lệ của điểm mẫu trung tâm. Tuy nhiên, gần đây ngƣời ta sử dụng một phƣơng pháp khác đó là làm phù hợp một hàm bậc hai 3D cho các điểm mẫu địa phƣơng để xác định vị trí nội suy của điểm cực đại, và các thử nghiệm đã cho thấy rằng phƣơng pháp này mang lại sự cải tiến đáng kể cho việc so khớp và độ ổn định. Phƣơng pháp này sử dụng phép khai

triển Taylor (tối đa là dạng bậc hai) của hàm không gian tỷ lệ, D(x,y,), đƣợc thay đổi để ảnh gốc ở vị trí điểm mẫu:

2 T 2 1 (x) x x x x 2 x T D D D  D      (2.4)

Trong đó D và các đạo hàm của nó đƣợc định giá ở điểm mẫu đó và x( , , )x y  T là offset từ điểm này. Vị trí của cực trị, x, đƣợc xác định bằng việc lấy đạo hàm theo x và thiết lập nó bằng 0, ta thu đƣợc:

2 1 2 x x x D D       (2.5)

Hình 2.3. Các giai đoạn lựa chọn các điểm khóa. (a) Ảnh gốc với 233189 điểm ảnh. (b) 832 vị trí điểm khóa ban đầu ở các điểm cực đại và cực tiểu của hàm Difference-of-Gaussian. Các điểm khóa được thể hiện như các vectơ cho biết tỷ lệ, hướng và vị trí. (c) Sau khi áp dụng một ngưỡng lên độ tương phản tối thiểu, còn lại 729 điểm khóa. (d) 536 điểm khóa cuối cùng được giữ lại sau khi áp dụng một ngưỡng cho tỷ lệ của các độ cong chủ yếu.

Theo đề xuất của Brown thì ma trận Hessian và đạo hàm của D đƣợc xấp xỉ bằng việc sử dụng các độ chênh lệch giữa các điểm mẫu lân cận. Nếu offset

điểm mẫu khác hơn. Trong trƣờng hợp này, điểm mẫu đƣợc thay đổi và thực hiện phép nội suy thay cho điểm đó. Offset cuối cùng x đƣợc cộng thêm về hƣớng vị trí điểm mẫu của nó để có đƣợc sự ƣớc lƣợng nội suy cho vị trí của cực trị đó.

Giá trị hàm ở cực trị, D(x), có ích cho việc loại bỏ các cực trị không ổn định có độ tƣơng phản thấp. Có thể đạt đƣợc điều này bằng việc thế phƣơng trình (2.18) vào (2.17), ta đƣợc: 1 (x) x 2 x T D D  D  

Thông qua các thí nghiệm ngƣời ta nhận thấy rằng, tất cả các cực trị có giá trị |D(x)| nhỏ hơn 0.03 đều đƣợc loại bỏ.

Hình 2.3 cho thấy hiệu quả của việc lựa chọn điểm khóa trên một ảnh tự nhiên. Để tránh quá nhiều sự lộn xộn, sử dụng một ảnh có độ phân giải thấp với 233189 điểm ảnh và các điểm khóa đƣợc thể hiện nhƣ các vectơ cho biết vị trí, tỷ lệ, và hƣớng của mỗi điểm khóa (việc gán hƣớng đƣợc miêu tả ở sau). Hình 2.3(a) thể hiện ảnh gốc, ảnh này đƣợc thể hiện với độ tƣơng phản thấp dần ở các hình tiếp theo. Hình 2.3(b) chỉ ra 832 điểm khóa ở tất cả các điểm cực đại và cực tiểu đƣợc phát hiện bởi hàm Difference-of-Gaussian, trong khi đó hình 2.3(c) chỉ ra 729 điểm khóa còn lại sau khi loại bỏ các điểm có |D(x)| nhỏ hơn 0.03. Phần (d) sẽ đƣợc giải thích trong mục tiếp theo.

* Loại bỏ các đáp ứng biên

Đối với tính ổn định, không đủ để loại bỏ các điểm khóa có độ tƣơng phản thấp. Dù vị trí dọc theo biên đƣợc xác định tồi nhƣng hàm Difference-of- Gaussian vẫn có một đáp ứng mạnh dọc theo các biên và vì vậy không ổn định khi có các lƣợng nhỏ tạp nhiễu.

Đỉnh đƣợc xác định tồi trong hàm Difference-of-Gaussian sẽ có một độ cong lớn chủ yếu ngang qua biên ngoại trừ độ cong nhỏ ở hƣớng trực giao. Các độ cong chủ yếu có thể đƣợc tính từ ma trận Hessian 22, H, đƣợc tính ở vị trí và tỷ lệ của điểm khóa:

xx xy xy yy D D D D          H (2.6)

Các đạo hàm đƣợc ƣớc lƣợng bằng việc lấy các độ chênh lệch giữa các điểm mẫu láng giềng.

Các giá trị riêng của ma trận H tƣơng ứng với các độ cong chủ yếu của

D. Lấy  là giá trị riêng với cƣờng độ lớn nhất và là giá trị riêng với cƣờng độ nhỏ hơn. Khi đó, ta có thể tính tổng các giá trị riêng từ dấu vết của H và

tích của chúng đƣợc tính từ giá trị của định thức:

Tr(H) = Dxx + Dyy =  + , Det(H) = DxxDyy – (Dxy)2 = .

Trong trƣờng hợp không chắc xảy ra đó là định thức có giá trị âm, các độ cong có các dấu hiệu khác nhau vì vậy điểm bị loại bỏ không phải là một cực trị. Lấy r là tỷ lệ giữa giá trị riêng có cƣờng độ lớn nhất và giá trị riêng có cƣờng độ nhỏ hơn, để  = r. Khi đó, 2 2 2 2 2 Tr( ) ( ) ( ) ( 1) Det( ) r r r r           H H

Biểu thức (r+1)2/r nhận giá trị cực tiểu khi hai giá trị riêng bằng nhau và nó tăng cùng với r. Vì vậy, để kiểm tra xem tỷ lệ của các độ cong chủ yếu có ở dƣới một ngƣỡng r nào đó không, ta chỉ cần kiểm tra:

2 2 Tr( ) ( 1) Det( ) r r   H H

Các thí nghiệm cho thấy sử dụng giá trị r = 10, sẽ loại bỏ đƣợc các điểm khóa có tỷ lệ giữa các độ cong chủ yếu lớn hơn 10. Sự chuyển tiếp từ Hình 2.3(c) sang Hình 2.3(d) thể hiện các tác động của thao tác này.

2.2.3 Gán hướng cho các điểm khóa

Bằng việc gán một hƣớng thích hợp cho mỗi điểm khóa dựa trên các đặc tính ảnh cục bộ, bộ mô tả điểm khóa đƣợc trình bày ở phần sau có liên quan tới hƣớng này và vì vậy đạt đƣợc sự bất biến đối với phép quay ảnh.

Để gán một hƣớng cục bộ cho mỗi điểm khóa ta sử dụng hƣớng gradient của ảnh. Tỷ lệ của điểm khóa đƣợc dùng để lựa chọn ảnh đƣợc làm trơn Gaussian, L, với tỷ lệ gần nhất, để thực hiện tất cả các tính toán theo kiểu bất biến tỷ lệ. Đối với mỗi mẫu ảnh, L(x,y), ở tỷ lệ này, cƣờng độ gradient,

m(x,y), và hƣớng, (x,y), đƣợc tính toán trƣớc sử dụng độ chênh lệch điểm ảnh: 2 2 ( , ) ( ( 1, ) ( 1, )) ( ( , 1) ( , 1)) m x y  L x y L x y  L x y L x y 1 ( , )x y tan (( ( ,L x y 1) L x y( , 1)) /( (L x 1, )y L x( 1, )))y         

Một biểu đồ hƣớng đƣợc thiết lập từ các hƣớng gradient của các điểm mẫu trong phạm vi một vùng lân cận xung quanh điểm khóa. Biểu đồ hƣớng có 36 bin bao phủ 360 độ của tất cả các hƣớng. Mỗi mẫu đƣợc thêm vào biểu đồ đƣợc gán trọng số bởi độ lớn gradient của nó và bởi một cửa sổ hình tròn Gaussian với gấp 1.5 lần tỷ lệ của điểm khóa đó.

gradient cục bộ. Dựa vào biểu đồ hƣớng ta có thể xác định đƣợc đỉnh cao nhất trong biểu đồ và khi đó bất kỳ đỉnh cục bộ nào khác nằm trong phạm vi 80% so với đỉnh cao nhất đều đƣợc dùng để tạo ra một điểm khóa với cùng hƣớng đó. Vì vậy, đối với các vị trí có nhiều đỉnh có cƣờng độ tƣơng tự nhau, thì sẽ có nhiều điểm khóa đƣợc tạo ra ở cùng vị trí và tỷ lệ đó nhƣng các hƣớng thì khác nhau. Chỉ có khoảng 15% điểm đƣợc gán nhiều hƣớng, nhƣng những điểm này góp phần đáng kể cho tính ổn định của việc so khớp. Cuối cùng, một đƣờng parabol đƣợc làm phù hợp với 3 giá trị của biểu đồ gần với mỗi đỉnh nhất để nội suy vị trí của đỉnh đó để mang lại độ chính xác tốt hơn.

2.2.4 Xây dựng bộ mô tả cục bộ

Các thao tác ở trên đã gán vị trí, tỷ lệ và hƣớng cho mối điểm khóa. Các tham số này áp đặt cho hệ tọa độ 2D cục bộ để mô tả một vùng ảnh cục bộ. Bƣớc tiếp theo là tính toán một bộ mô tả cho vùng ảnh cục bộ đó để có thể bất biến đối với các thay đổi còn lại nhƣ thay đổi độ sáng hoặc điểm nhìn 3D.

Hình 2.4. Bộ mô tả điểm khóa đƣợc tạo ra bằng cách: đầu tiên tính toán độ lớn và hƣớng gradient ở mỗi điểm mẫu trong một vùng xung quanh vị trí điểm khóa, nhƣ hình bên trái. Các hƣớng này đƣợc gán trọng số bởi một cửa sổ Gaussian, đƣợc biểu thị bởi đƣờng tròn phủ ngoài. Sau đó các mẫu này đƣợc gom lại thành các biểu đồ hƣớng tóm tắt nội dung trên 44 vùng

con, đƣợc thể hiện ở hình phải, với chiều dài mỗi mũi tên tƣơng đƣơng với tổng các cƣờng độ gradient gần với hƣớng đó trong phạm vi của vùng đó.

Hình 2.4 minh họa cho việc tính toán bộ mô tả điểm khóa. Đầu tiên các độ lớn và hƣớng gradient ảnh đƣợc lấy mẫu quanh vị trí điểm khóa, sử dụng tỷ lệ của điểm khóa để lựa chọn mức mờ Gaussian cho ảnh. Để đạt đến sự bất biến về hƣớng, thì các tọa độ của bộ mô tả và các hƣớng gradient bị quay có liên quan tới hƣớng của điểm khóa. Để thuận tiện trong việc tính toán bộ mô tả, các gradient phải đƣợc tính trƣớc cho tất cả các mức của hình chóp. Các gradient này đƣợc minh họa bởi các mũi tên nhỏ ở mỗi vị trí mẫu ở hình bên trái của

hình 2.4.

Hàm gán trọng số Gaussian với  bằng một nửa chiều rộng của cửa sổ bộ mô tả đƣợc dùng để gán một trọng số cho cƣờng độ của mỗi điểm mẫu. Điều này đƣợc minh họa bằng một cửa sổ hình tròn thể hiện ở hình bên trái của hình 2.4. Mục đích của cửa sổ Gaussian này là tránh các thay đổi đột ngột trong bộ mô tả khi có các thay đổi nhỏ ở vị trí của cửa sổ, và ít quan tâm đến các gradient ở xa vị trí trung tâm của bộ mô tả.

Hình bên phải của hình 2.4 thể hiện bộ mô tả điểm khóa. Nó chú ý đến sự thay đổi đáng kể ở các vị trí gradient bằng việc tạo ra các biểu đồ hƣớng trên 44 vùng mẫu. Hình này thể hiện 8 hƣớng cho mỗi biểu đồ, với chiều dài của mỗi mũi tên tƣơng ứng với độ lớn của mỗi mục (entry) của biểu đồ.

Để tránh tất cả các ảnh hƣởng biên là điều thật sự quan trọng, ở đó bộ mô tả thay đổi đột ngột vì một mẫu thay đổi liên tục từ một biểu đồ này sang một biểu đồ khác hoặc từ một hƣớng này sang hƣớng khác. Vì vậy, sử dụng phép nội suy tuyến tính bậc 3 để phân bố giá trị của mỗi mẫu gradient vào các bin biểu đồ gần kề. Mặt khác, mỗi entry trong một bin đƣợc tăng lên nhiều lần bởi trọng số là 1d cho mỗi chiều, trong đó d là khoảng cách của mẫu từ giá

trị trung tâm của bin đó đƣợc đo dƣới dạng các đơn vị của khoảng cách bin biểu đồ.

Bộ mô tả đƣợc tạo nên từ một vectơ chứa các giá trị của tất cả các entry

của biểu đồ hƣớng, tƣơng ứng với các chiều dài của các mũi tên ở hình bên phải của hình 2.4. Hình này thể hiện một mảng 44 các biểu đồ với 8 bin hƣớng. Vì vậy, một vectơ đặc trƣng có 448 =128 phần tử để mô tả cho mỗi điểm khóa.

Cuối cùng, vectơ đặc trƣng đƣợc sửa đổi để giảm các tác động của sự thay đổi về độ sáng. Đầu tiên, vectơ đƣợc chuẩn hóa theo chiều dài đơn vị. Sự thay đổi về độ tƣơng phản của ảnh tức là mỗi giá trị điểm ảnh đƣợc nhân với một hằng số sẽ làm tăng các gradient bởi cùng hằng số đó, cho nên phép chuẩn hóa vectơ sẽ xóa bỏ đƣợc sự thay đổi về độ tƣơng phản. Thay đổi độ sáng tức là một hằng số đƣợc thêm vào mỗi điểm ảnh, điều này sẽ không ảnh hƣởng đến các giá trị gradient, vì giá trị gradient đƣợc tính từ các độ chênh lệch của điểm ảnh. Bởi vậy, bộ mô tả bất biến đối với các thay đổi affine về độ sáng. Tuy nhiên, các thay đổi độ sáng phi tuyến tính cũng có thể xảy ra dựa trên sự bão hòa của camera hoặc dựa trên các thay đổi về sự chiếu sáng mà chúng ảnh hƣởng đến các bề mặt 3D với các hƣớng khác nhau bởi các lƣợng khác nhau. Các ảnh hƣởng này có thể gây nên sự thay đổi lớn ở các cƣờng độ liên quan đối với một số gradient, nhƣng ít có khả năng ảnh hƣởng đến các hƣớng gradient. Vì vậy, giảm đƣợc tác động của các cƣờng độ gradient lớn bằng việc lấy ngƣỡng đối với các giá trị trong vectơ đơn vị đặc trƣng cho mỗi cƣờng độ là không vƣợt quá 0.2, sau đó chuẩn hóa lại chiều dài đơn vị. Điều này có nghĩa là việc so khớp các cƣờng độ đối với các gradient lớn không còn quan trọng nữa, và sự phân bố của các hƣớng có tầm quan trọng rất lớn. Giá trị

0.2 đƣợc xác định bằng thực nghiệm sử dụng các ảnh có các độ chiếu sáng khác nhau cho cùng các đối tƣợng 3D.

2.3 Harris-Laplace[8]

Mục này trình bày một kỹ thuật mới trong việc phát hiện các điểm quan tâm bất biến tỷ lệ, kỹ thuật này kết hợp kỹ thuật Harris[4] tin cậy và sự lựa chọn tỷ lệ tự động[8].

2.3.1 Không gian tỷ lệ

Một đặc tính vốn có của các đối tƣợng thế giới thực là chúng tồn tại nhƣ các thực thể đầy ý nghĩa trên khắp các tỷ lệ khác nhau. Một ví dụ đơn giản là khái niệm một nhánh cây, nó chỉ có nghĩa ở tỷ lệ từ một vài centimet tới nhiều nhất là vài mét, vì vậy thật vô nghĩa khi thảo luận khái niệm “cây” ở mức nanomet hoặc kilomet. Với cơ sở lập luận này, thì các đối tƣợng trong thế giới xuất hiện theo các cách khác nhau tùy thuộc tỷ lệ quan sát nếu ngƣời ta nhằm vào việc mô tả chúng. Vì vậy khái niệm tỷ lệ là cực kỳ quan trọng.

Đặc biệt, sự cần thiết đối với việc thể hiện đa tỷ lệ nảy sinh khi thiết kế các phƣơng pháp phân tích tự động và thu nhận thông tin từ các phép đo thế