Tổng quan về google image search

Tổng quan về google image search

Lời nói đầu Tìm kiếm hình ảnh đề tài mẻ song chưa có nhiều báo cáo vấn đề Bài báo cáo công cụ Google Images search hay tìm kiếm hình ảnh Google có mục đích giới thiệu chung cách thức hoạt động mô tả số giải thuật sử dụng máy tìm kiếm hình ảnh Google Trong giải thuật Google sử dụng, chúng em xin trình bày kĩ giải thuật SIFT (Scale-Invarian Feature Transform, David Lowe 1999 2004) Giải thuật đánh giá cao việc tìm điểm đặc trưng ảnh, từ nâng cao hiệu tìm kiếm làm cho kết truy vấn xác Tuy giải thuật giải thuật nhiều nhược điểm cần khắc phục, giải thuật quan trọng Google Images search sử dụng kết hợp với giải thuật khác để đáp ứng nhu cầu tìm kiếm hình ảnh người dùng Mục lục I Tổng quan Google Images search Khái niệm Google Images dịch vụ tìm kiếm Google đời vào năm 2001 Nó cho phép người dùng tìm kiếm nội dung hình ảnh website Từ khóa cho việc tìm kiếm hình ảnh dựa tên file hình ảnh, tên liên kết đoạn văn mô tả kèm theo hình ảnh Khi tìm kiếm, hình nhỏ (thumbnail) kết tìm kiếm Khi người dùng click vào thumbnail, hình ảnh khung kèm theo link website chứa Từ người dùng truy nhập vào website chứa hình ảnh tìm kiếm thấy kích cỡ thật hình ảnh Lịch sử Google Images search - Năm 2001, 250 hình ảnh đánh mục Năm 2005, số tăng tới - triệu tới năm 2010 10 triệu hình ảnh Vào 27/10/2009, Google Images thêm vào tính cho công cụ tìm kiếm - hình ảnh : tìm kiếm hình ảnh tương tự 6/2011, Google Images bắt đầu cho phép tìm kiếm hình ảnh trực tiếp tìm kiếm Với chức này, người dùng tải hình ảnh từ máy tính cá nhân đưa vào tìm kiếm địa URL hình ảnh để thực trình tìm kiếm - Vào 11/12/2012, công cụ Google Images search lần thay đổi giải thuật tìm kiếm với hi vọng ngăn chặn hình ảnh khiêu dâm Tất nhiên hình ảnh xuất từ khóa tìm kiếm có chứa nội dung khiêu dâm Google Images search làm việc nào? Ở phân chia thành loại : tìm kiếm hình ảnh text tìm kiếm hình ảnh hình ảnh Đối với tìm kiếm hình ảnh text (keyword – từ khóa) : gõ từ khóa vào tìm kiếm máy tìm kiếm Google thực truy vấn với siêu liệu đánh mục sở liệu Từ hiển thị kết cho người dùng Sau cụ thể hóa công việc để thực truy vấn - Google sử dụng bot spider (là chương trình tự động hóa) để tìm kiếm website Các bot spider tự động dò tìm phân tích trang web với mục đích tìm kiếm thông tin hình ảnh Và trình lặp lặp lại với mục đích bổ sung liệu cập nhật liệu cho hình ảnh Tần suất việc cập nhật giờ, ngày chí vài tháng Việc lặp lại phụ thuộc vào việc website có thường xuyên cập - nhật hay không Công cụ tìm kiếm Google tìm kiếm người mù Vì rõ ràng bot hay spider biết nội dung ảnh mà chúng tìm Chúng dò tìm cập nhật nội dung ảnh thông qua nội dung thẻ hay qua tên file qua nội dung văn mô tả cho ảnh Từ chúng đưa thông tin vào sở liệu lưu meta data Trong có lưu thông tin ảnh, - website chứa ảnh, liên kết… cần thiết cho việc truy vấn Sau truy vấn với hàng trăm nghìn lên tới hàng triệu kết quả, Google sử dụng lọc Page rank checker để hiển thị kết theo thứ tự định Tuy nhiên, thực tìm kiếm với từ khóa, công cụ Google quan tâm đến màu sắc hay kết cấu ảnh Bắt đầu với tìm hình ảnh tương tự tìm hình ảnh địa URL hay upload file hình ảnh lên Google thêm vào giải thuật để phân tích hình ảnh SURF, SIFT, PCA-SIFT, FAST, BRIEF… để tìm kiếm theo nội dung ảnh hay gọi truy vấn theo nội dung ảnh Để phân tích hình ảnh cần nắm rõ hình ảnh có đặc trưng Ta liệt kê số đặc trưng : màu sắc, kết cấu, hình dạng, đặc trưng cục - Đặc trưng màu sắc : Màu sắc đặc trưng bật sử dụng phổ biến tìm kiếm ảnh theo nội dung Mỗi điểm ảnh (thông tin màu sắc) biểu diễn điểm không gian màu sắc ba chiều Các không gian màu sắc thường dùng là: RGB, CIE, HSV Tìm kiếm ảnh theo màu sắc tiến hành tính toán biểu đồ màu cho ảnh để xác định tỉ trọng điểm ảnh ảnh mà chứa giá trị đặc biệt (màu sắc) Các nghiên cứu gần cố gắng phân vùng ảnh - theo màu sắc khác tìm mối quan hệ vùng Đặc trưng kết cấu : Trích xuất nội dung ảnh theo kết cấu nhằm tìm mô hình trực quan ảnh cách thức chúng xác định không gian Kết cấu biểu diễn texel mà sau đặt vào số tập phụ thuộc vào số kết cấu phát ảnh Các tập không xác định kết cấu mà rõ vị trí kết cấu ảnh Việc xác định kết cấu đặc biệt ảnh đạt - chủ yếu cách mô hình kết cấu biến thể cấp độ xám chiều Đặc trưng hình dạng : Hình dạng ảnh hay vùng đặc trưng quan trong việc xác định phân biệt ảnh nhận dạng mẫu Mục tiêu biểu diễn hình dạng nhận dạng mẫu đo thuộc tính hình học đối - tượng dùng phân lớp, so sánh nhận dạng đối tượng Đặc trưng cục bất biến : ảnh có đặc trưng cục điểm nhô (salient points) hay điểm hấp dẫn Haris (interest points) điểm thể đặc điểm hay nội dung ảnh Khi tìm kiếm theo nội dung ảnh với ảnh upload lên, máy làm việc Google dùng giải thuật để tìm keypoints ảnh so sánh với siêu liệu sở liệu đánh mục trước Việc đánh mục cho hình ảnh sở liệu bot spider thực trước bao gồm việc phân tích trực tuyến ảnh website lưu trữ keypoints vào file XML Quá trình thu thập thông tin thực khoảng thời gian dài lặp lặp lại, người dùng có truy vấn đến ảnh hay không trình xảy ra, đảm bảo cho hiệu tìm kiếm nâng cao Sau trình lọc kết hiển thị hình ảnh tới người dùng y hệt tìm kiếm hình ảnh theo text II Giới thiệu chung thuật toán thường sử dụng Search by Image SIFT(Scale Invariant feature transform) Một thuật toán tiêu biểu có hiệu cao dựa theo đặc trưng cục bất biến ảnh: SIFT (Scale-invariant Feature Transform) David Lowe đưa từ năm 2004 đến có nhiều cải tiến thuật toán Đặc trưng trích chọn SIFT keypoint Key point điểm vùng ảnh chứa nhiều thông tin cục không bị thay đổi bới hoạt động nhiễu toàn cục hay địa phương, là: biến đổi hình học affine, tỉ lệ, quay, độ chiếu sáng… SIFT bao gồm bốn bước : - Phát điểm cực trị Scale-Space (Scale-Space extrema detection): Bước tiến hành tìm kiếm keypoint tất tỉ lệ vị trí ảnh Nó sử dụng hàm different-of-Gaussian để xác định tất keypoint tiềm mà bất biến với quy mô hướng ảnh - Định vị keypoint (keypoint localization): Một hàm kiểm tra đưa để định xem keypoint tiềm có lựa chọn hay - không? Gắn hướng cho keypoint (Orientation assignment): Xác định hướng - cho điểm hấp dẫn chọn Mô tả keypoint (Keypoint descriptor): Các keypoint sau xác định hướng mô tả dạng vector đặc trưng nhiều chiều Hình Minh họa bước thuật toán SIFT Tập keypoint thu thường phụ thuộc vào phép biến đổi xoay, phóng to, thu nhỏ, tăng giảm cường độ sáng, xem đặc trưng mang tính cục ảnh Để đối sánh nhận dạng hai ảnh ta tìm tập keypoint giống hai ảnh, dựa vào hướng tỉ lệ để biết đối tượng ảnh gốc xoay, thu phóng so với ảnh đem đối sánh Thuật toán dựa vào điểm bất biến cục ảnh, chúng trích xuất ra, định hướng mô tả cho hai keypoint hai vùng khác khác Tuy nhiên yếu tố ảnh hưởng không nhỏ đến tốc độ thuật toán số lượng keypoint lấy không nhỏ Trung bình ảnh kích thước 500 x 500 pixels trích xuất khoảng 1000 điểm (số lượng điểm phụ thuộc vào tùy ảnh tham số lọc khác nhau) Số lượng keypoint có tầm quan trọng vấn đề nhận dạng đối tượng Để nhận dạng đối tượng nhỏ ảnh chứa tập hợp đối tượng hỗn độn cần ba keypoint giống để phát và bóc tách đối tượng Đối với vấn đề xây dựng sở liệu ảnh thực nhận dạng đối tượng ban đầu thường sử dụng SIFT để tạo hệ liệu đặc trưng (keypoints) trích xuất từ liệu ảnh gốc Sau với ảnh đối tượng đem nhận dạng ta dùng giải thuật SIFT trích xuất tập đặc trưng từ ảnh đem đối sánh với hệ liệu đặc trưng để tìm tập keypoint giống nhau, từ nhận dạng đối tượng sở liệu ảnh ban đầu Tuy nhiên việc đối sánh cần chi phí đối sánh lớn sở liệu ảnh có số lượng lớn số lượng đặc trưng ảnh lớn PCA- SIFT (Principal Component Analysis – SIFT ) PCA (Principal Component Analysis) giải thuật đưa liệu nhiều nhiều chiều không gian có số chiều nhỏ Nói cách khác mục tiêu PCA tìm không gian (với số chiều nhỏ không gian cũ) PCA gồm có đặc tính sau : - Giúp giảm số chiều liệu - Thay giữ lại trục tọa độ không gian cũ, PCA xây dựng không gian chiều hơn, lại có khả biểu diễn liệu tốt tương đương không gian cũ, đảm bảo độ biến thiên (variability) liệu chiều - Các trục tọa độ không gian tổ hợp tuyến tính không gian cũ, mặt ngữ nghĩa, PCA xây dựng đặc trưng (feature) dựa đặc trưng quan sát Điểm đặc trưng biểu diễn tốt liệu ban đầu - Trong không gian mới, liên kết tiềm ẩn liệu khám phá, mà đặt không gian cũ khó phát hơn, liên kết rõ PCA- SIFT phương pháp mở rộng SIFT Giải thuật kết hợp với PCA với mục đích để giảm chiều (high dimemtionally) vector đặc trưng SURF ( Speeded Up Robust Feature) SURF phương pháp tìm kiếm đặc trưng cục mạnh mẽ, đưa Herbert Bay vào năm 2006 SURF sử dụng để nhận dạng đối tượng Phương pháp phát đặc trưng SURF hoạt động dựa phương pháp phát Hessian Blob Đặc trưng SIFT có khuyết điểm thời gian tính toán chậm nên áp dụng cho ứng dụng thực tế thời gian thực Đặc trưng SURF tối ưu hai giai đoạn phát đặc trưng (detector) mô tả đặc trưng (descriptor) mặt thời gian tính toán giữ tính bền vững đặc trưng Bộ phát đặc trưng SURF sử dụng phép xấp xỉ ma trận Hessian Integral Image ( hay gọi bảng tổng diện tích - summed area table) để làm giảm thời gian tính toán cách đáng kể Bộ mô tả đặc trưng tương tự đặc trưng SIFT, sử dụng vector 64 chiều chứa thông tin biến thiên ảnh dựa phân phối bậc Haar wavelet tác động trục x y, kết hợp với ảnh tích lũy làm tăng tốc độ tính toán SURF mô tả vector có số chiều SIFT nên tốc độ so khớp nhanh hơn, nhiên độ bền vững đảm bảo Hơn nữa, việc đánh mục dựa dấu Laplacian, đặc trưng SURF không tăng tính bền vững cho đặc trưng mà làm tăng tốc độ so khớp (tăng gấp trường hợp tốt nhất) 3.1 Phát đặc trưng Bộ phát đặc trưng SURF dựa ma trận Hessian Cho trước ảnh , ma trận Hessian điểm tỉ lệ xác định công thức[SURF]: Trong đó, tích chập (convolution) đạo hàm cấp hai hàm Gaussian với ảnh tại điểm tương tự với Nếu SIFT xấp xỉ việc tính Laplacian hàm Gaussian (LoG) việc tính Difference hàm Gaussian (DoG) SURF xấp xỉ việc tính đạo hàm cấp hàm Gaussian hộp lọc (box filters) Dưới ví dụ việc tính xấp xỉ đạo hàm cấp hai hàm Gaussian với hệ số tỉ lệ thấp hộp lọc: Hình 3.1 Xấp xỉ đạo hàm cấp hàm Gaussian hộp lọc Trong hình 3.1, ảnh thứ đạo ma trận đạo hàm cấp Gaussian theo trục y, ảnh thứ hai theo trục x trục Ảnh thứ ba thứ tư hộp lọc xấp xỉ với hai trường hợp ảnh hai Phép tích chập xoắn ảnh với hộp lọc thực hiệc nhanh việc sử dụng kết hợp với ảnh tích lũy Ta xác định vị trí hệ số tỉ lệ tương ứng điểm đặc trưng dựa định thức ma trận Hessian Công thức tính xấp xỉ định thức ma trận Hessian: 10 Trong trọng số cần biểu thức định thức ma trận Hessian tùy thuộc vào hệ số tỉ lệ hộp lọc xấp xỉ Gaussian nói Đối với tỉ lệ , kích thước hộp lọc 9x9 giá trọng số tính bằng: Vị trí, tỉ lệ không gian ảnh mà điểm đặc trưng xác định cách áp dụng thuật toán non-maximum suppression 3x3x3 neigbourhood Error: Reference source not found] 3.2 Mô tả đặc trưng Đầu tiên xác định vùng hình xung quanh điểm đặc trưng vừa tìm được, gán giá trị hướng cho điểm đặc trưng Kích thước hình tròn phụ thuộc hệ số tỉ lệ tương ứng không gian ảnh mà điểm đặc trưng tìm Ở tác giả chọn bán kính hình tròn , tỉ lệ mà điểm đặc trưng tìm thấy Hướng đặc trưng tính Haar wavelet tác động theo hai hướng x y (Hình) Kích thước wavelet phụ thuộc vào hệ số tỉ lệ , tác giả chọn Haar wavelet tính cách nhanh chóng cách sử dụng ảnh tích lũy, kỹ thuật hiệu sử dụng phổ biến sau báo Viola Jones, tương tự hộp lọc xấp xỉ đạo hàm cấp hàm Gaussian Vector hướng trội ước lượng gắn vào thông tin điểm đặc trưng Hình 3.2 mô tả hướng vùng ảnh hưởng đặc trưng 11 Hình 3.2 Vùng hình tròn xung quanh hướng đại diện cho điểm đặc trưng Hình 3.3 Lọc Haar wavelet để tính ảnh hưởng hai hướng x y Vùng tối có trọng số -1, vùng sáng +1 Bước tiếp theo, xây dựng vùng hình vuông xung quanh điểm đặc trưng men theo vector hướng vừa ước lượng bước trước Vùng hình vuông chia nhỏ thành 4x4 hình vuông để ghi nhận thông tin miền không gian ảnh lân cận Haar wavelet rút trích toàn không gian điểm ảnh Wavelet tác động hai hướng ngang dọc cộng dồn giá trị hình vuông Hơn nữa, giá trị tuyệt đối cộng dồn để lấy thông tin độ lớn thay đổi cường độ sáng ảnh Như hình vuông mô tả vector chiều Như vector mô tả cho tất 4x4 hình vuông vector 64 chiều (4x4x4) (Hình 3.3) Đây mô tả đặc trưng chuẩn SURF (hay gọi SURF-64) Ngoài có 12 phiên khác dựa cách chia hình vuông SURF-36, SURF-128… Tuy nhiên thực nghiệm tác giả cho thấy SURF-64 cho tốc độ tính toán tốt mà đảm bảo tính bền vững đặc trưng Haar wavelet bất biến với thay đổi ánh sáng tương phản ta chuẩn hóa vector mô tả đặc trưng chiều dài đơn vị Hình 3.4 4x4 hình vuông xung quanh điểm đặc trưng Error: Reference source not found] 3.3 So khớp đặc trưng Đặc điểm quan trọng đặc trưng SURF trình rút trích đặc trưng nhanh sử dụng kỹ thuật ảnh tích lũy thuật toán non-maximum suppression Quá trình so khớp đặc trưng nhanh nhiều bước đánh mục đơn giản dựa dấu Laplacian (trace ma trận Hessian) Ta tốn chi phí tính toán bước trình phát đặc trưng tính sẵn Dấu Laplacian giúp phân biệt đốm (blob) sáng tối đốm tối sáng Điểm đặc trưng sáng khớp với điểm đặc trưng sáng khác, tương tự cho đặc trưng tối (Hình 3.5) Kỹ thuật giúp cho trình so khớp nhanh gấp đôi trong trường hợp tốt tốn chi phí tính toán dấu Laplacian 13 Hình 3.5 Ví dụ đốm sáng tối đốm tối sáng So sánh đánh giá ba thuật toán Kết thực nghiệm thuật toán SIFT, PCA-SIFT, SURF với loại ảnh co giãn (scale), ảnh mờ (blur), ảnh xoay(rotation), ảnh có cường độ sáng cao (illumination), ảnh affine đánh giá thời gian xử lý thể bảng sau: Method Time Scale Rotation Blur SIFT Kém Tốt Tốt Tốt Illuminatio n Kém Kém Trung bình Kém Kém Trung bình Trung bình Tốt PCA-SIFT Trung bình SURF Tốt Trung bình Affine Trung bình Trung bình Trung bình Kết cho thấy với thời gian xử lý thuật toán SURF tốt , SIFT Nhưng bù lại giải thuật SIFT tìm kiếm keypoint tốt ảnh scale , rotation blur , Tuy nhiên ảnh có cường độ sáng cao ( illumination) giải thuật SURF tốt Còn với ảnh affine thuật toán có kết Nói chung SIFT có hiệu cao tìm kiếm ảnh scale , rotation ,blur Nhưng mặt thời gian SIFT lại không đáp ứng thời gian thực Còn SURF không tìm kiếm nhiều keypoint SIFT có thời gian xử lý truy vấn liệu nhanh chóng Còn giải thuật PCA14 SIFT kết tìm kiếm không khả thi, sử dụng PCA để làm giảm số chiều vector đặc trưng vô tình làm giảm keypoint Chính Với Search by Image Google, SURF đáp ứng thời gian thực nên giải thuật dùng để xác định keypoints từ ảnh upload người dùng trình tìm kiếm Với giải thuật SIFT Google Search by Image dùng Bot để đánh mục tìm keypoint tất ảnh Internet trình thu thập liệu III Giải thuật SIFT Nội dung giải thuật 1.1 Dò tìm cực trị cục Như nêu trên, bước tìm điểm tiềm trở thành điểm đặc trưng phương pháp lọc theo tầng dựa vào việc thay đổi tham số lọc Gaussisan Trong bước này, ta cần dò tìm vị trí số đo (kích cỡ) mà chúng bất biến khung nhìn khác đối tượng Các vị trí bất biến số đo dò tìm cách tìm kiềm đặc trưng ổn định toàn số đo có thể, sử dụng hàm liên tục số đo vốn tiếng có tên hàm không gian đo (Witkin 1983) Theo công bố Koenderink (1984) Lindeberg(1994) hàm Gaussian hàm tốt để biễu diễn không gian đo ảnh chiều Vì vậy, không gian đo ảnh định nghĩa làm L(x,y,ó) tạo cách nhân chập ảnh gốc I(x,y) với môt hàm Gaussian G(x,y,ó) có tham số số đo ó thay đổi L(x,y,ó) = G(x,y, ó) * I(x,y) Trong toán hạng * phép nhân chập ma trận chiều x,y Và G(x,y, ó) hàm Gaussian : G(x,y,ó) = Để tìm keypoint có tính bất biến cao, thuật toán sử dụng tìm cực trị cục hàm sai khác DoG (Difference-of-Gaussian), kí hiệu D(x,y,ó ) Hàm 15 tính toán từ sai khác không gian đo cạnh ảnh với tham số đo lệch số k D(x,y,ó) = L(x,y,kó) – L(x,y,ó) = (G(x,y,kó) – G(x,y, ó)) * I(x,y) Các lý lựa chọn hàm Gaussian kỹ thuật hiệu để tính toán L (cũng làm tăng độ mịn ảnh), mà L phải tính nhiều để mô tả đặc trưng không gian đo, sau đó, D tính cách đơn giản với phép trừ ma trận điểm ảnh với chi phí thực thấp Hình Quá trình tính không gian đo (L) hàm sai khác D Hơn nữa, hàm sai khác DoG sử dụng để tạo xấp xỉ gần với đạo hàm bậc hai Laplace có kích thước chuẩn hàm Gaussian (ó 2∇2G) tác giả Lindeberg đề xuất năm 1994 Ông việc chuẩn hóa đạo hàm bậc hai với hệ số ó2 cần thiết cho bất biến đo trở nên Cụ thể, ông công bố giá trị cực đại cực tiểu ó2∇2G giá trị có tính ổn định (bất biến cao) so với loạt hàm đánh giá khác : gradient, Hessian hay Harris Mối quan hệ D ó2∇2G biễu diễn sau : 16 (2.1.4) Như vậy, ∇ G tính thông qua việc xấp xỉ sai khác hữu hạn tham số đo gần kó ó : (2.1.5) Do : (2.1.6) Từ công thức này, ta thấy mà hàm sai khác DoG tính toán tham số đo lệch số k, ta sử dụng DoG để xấp xỉ đạo hàm bậc hai Laplace Gaussian Vì hệ số (k-1) phương trình số không gian đo nên không ảnh hưởng đến việc tìm vị trí cực trị Sai số việc xấp xỉ đạo hàm bậc tiến k gần với Tuy nhiên, kết thử nghiệm tác giả cho thấy trình xấp xỉ đạo hàm không ảnh hưởng đến việc dò tìm vị trí cực trị chí chọn k xa, ví dụ k= Sau áp dụng hàm DoG ta thu lớp kết khác (scale) từ ảnh gốc, bước tìm cực trị lớp kết theo miền cục Cụ thể điểm lớp kết so sánh với điểm lân cận lớp điểm lân cận lớp khác (hình dưới) Hình Quá trình tìm điểm cực trị hàm sai khác DoG Trong hình trên: điểm đánh x so sánh với 26 điểm lân cận (đánh dấu vòng tròn xanh) Điểm lấy làm điểm tiềm (điểm làm keypoint – 17 candidate keypoint) có giá trị lớn nhỏ so với 26 điểm lân cận Giải pháp cho việc tìm điểm tiềm sử dụng thuật toán blob detection (dò tìm điểm) Lindeberg đề xuất Vì số lượng cực trị lớn, để tăng hiệu dò tìm điểm cực trị (dò điểm cực trị tốt thay phải dò hết), ta cần xác định tần số lấy mẫu không gian đo tần số lấy mẫu không gian quan sát (không gian ảnh) Thật không may ta xác định loại tần số cách động tiến trình dò tìm Thay vậy, tần số xác định offline thông qua phương pháp thử nghiệm Sau thử nghiệm với nhiều nguồn liệu ảnh khác nhau, tác giả tần số lấy mẫu không gian đo tốt (giữ lại lớp lớp), tần số lấy mẫu ó = 1.6 1.2 Định vị keypoint Sau bước thu nhiều điểm tiềm làm keypoint, nhiên số chúng không cần thiết bước loại bỏ điểm có độ tương phản (nhạy cảm với nhiễu) tính đặc trưng cục điểm khác có xu hướng đường biên đối tượng Bước thực gồm công đoạn : 1.2.1 Phép nội suy lân cận cho vị trí điểm tiềm năng: Phép nội suy lân cận () sử dụng mở rộng Taylor (Taylor expansion) cho hàm Difference-of-Gaussian D(x,y,ó) : (2.2.1) Trong : D đạo hàm tính điểm tiềm X = (x,y,ó) khoảng cách từ điểm Vị trí điểm cực trị hàm hàm với đối số X tiến dần đến : 18 xác định cách lấy đạo Hình : Mô sử dụng công thức mở rộng Taylor cho hàm DoG (2.2.2) Nếu > 0.5 theo chiều có số cực trị không gần với điểm tiềm khác, bị thay đổi phép nội suy thay vai trò điểm khác gần 19 Hình Minh họa bước trình lựa chọn điểm keypoints (a) ảnh gốc (b) mô tả 832 điểm keypoints tìm được, điểm keypoints vẽ dạng vector thể thông tin : vị trí, hướng độ dài (c) sau đặt ngưỡng tương phản tổi thiểu, ta giữ lại 729 điểm (d) Giữ lại 536 điểm sau áp ngưỡng hệ số độ cong 1.2.2 Loại trừ điểm có tính tương phản Các điểm nhạy cảm với độ sáng nhiễu không trở thành keypoint cần loại bỏ khỏi danh sách điểm tiềm Trong khai triển Taylor mở rộng trên, điểm tiềm có giá trị < 0.03 điểm bị loại, ngược lại giữ lại theo vị trí (y+ ) tùy biến ó, với y vị trí cũ giá trị biến ó 1.2.3 Loại bỏ điểm dư thừa theo biên 20 Sử dụng hàm DoG cho tác động mạnh đến biên vị trí biên khó xác định điểm tiềm biên không bất biến bị nhiễu Và để tăng ổn định cho điểm chọn làm keypoint ta loại trừ điểm tiềm khó định vị (tức vị trí dễ thay đổi có nhiễu nằm biên) Sau áp dụng hàm DoG làm đường biên ảnh không rõ ràng độ cong có giá trị lớn nhiều so với độ cong dọc theo biên cần loại bỏ bớt điểm đặc biệt dọc theo biên Giải pháp cho việc sử dụng giá trị ma trận Hessian cấp : (2.2.3) Các giá trị riêng H tỉ lệ thuận với độ cong D, giá trị riêng â (giá trị nhỏ) (giá trị lớn) có tỉ lệ r = á/â sử dụng Các phần tử H Dxx Dyy 1.3 Gắn hướng cho keypoint Bằng việc gán hướng cho điểm keypoint dựa vào thuộc tính ảnh cục bộ, mô tả keypoint biễu diễn tương đối so với hướng đặt tính bất biến tượng quay ảnh Cách tiếp cận ngược lại với mô tả bất biến hướng Schmid (1997) chỗ thuộc tính ảnh dựa vào độ đo bất biến hướng Nhược điểm cách tiếp cận giới hạn số lượng mô tả sử dụng bỏ qua thông tin ảnh không yêu cầu độ đo phải dựa hướng quán Sau kỹ thuật gán hướng cục cho keypoint Độ đo điểm đặc trưng sử dụng để tìm ảnh lọc Gaussian L với kích thước gần cho tính toán thực cách bất biến độ đo Với mẫu ảnh L(x,y) này, gọi m(x,y) biên độ gradient, θ (x,y) hướng Hai giá trị cuối tính toán sau : (2.3.1) 21 1.4 Tạo mô tả cục Các phép xử lý thực dò tìm gán tọa độ, kích thước, hướng cho điểm keypoint Các tham số yêu cầu hệ thống tọa độ địa phương 2D lặp lại để mô tả vùng ảnh địa phương nhờ tạo bất biến tham số Bước tính toán mô tả cho môt vùng ảnh cục mà có tính đặc trưng cao (bất biến với thay đổi khác độ sáng, thu – phóng ảnh, xoay) Một cách tiếp cận đơn giản lấy mẫu mật độ ảnh cục lân cận điểm đặc trưng độ đo thích hợp, đối sánh mật độ sử dụng độ đo tương quan chuẩn Tuy nhiên, số tương quan đơn giản lại nhạy cảm với thay đổi mà gây đăng ký nhầm mẫu, chẳng hạn biến đổi Affine, phối cảnh 3D, bóp méo mềm Cách tiếp cận tốt nhiều đưa Edelman, Intrator Poggio (1997) Cách tiếp cận dựa mô hình thị giác sinh học, cụ thể mô hình noron phức tạp hệ thống não Các noron tương ứng với gradient hướng tần số không gian cụ thể, vị trí gradient võng mạc phép trượt phạm vi nhỏ khung nhìn Dựa cách tiếp cận này, tác giả cài đặt mô tả cho phép việc trượt vị trí sử dụng cách tính toán khác Hình sau mô trình tính toán mô tả theo cách tiếp cận Hình : Mô tả tạo mô tả cục Ảnh trái mô biên độ gradient hướng mẫu ảnh vùng lân cận với điểm keypoint Các giá trị tập trung cửa sổ gaussian (nằm bên 22 vòng tròn) Các mẫu sau gom lại thành lược đồ hướng mô tả vắn tắt nội dung 4x4 vùng mô tả bên phải với độ dài hàng tương ứng với tổng biên độ gradient gần hướng bên vùng Kĩ thuật đối sánh Trước hết để đối sánh ảnh với cần trích xuất tập keypoint tương ứng từ ảnh bước Sau việc đối sánh thực tập keypoint Bước kĩ thuật đối sánh thực tìm tập keypoint so khớp hai ảnh, để thực việc tìm cặp keypoint trùng hai ảnh Tập keypoint so khớp vùng ảnh tương đồng Các bước đối sánh gần giống vét cạn, việc đối sánh CSDL lớn ảnh gặp nhiều khó khăn chi phí thực đối sánh lớn Giải pháp cho vấn đề tạo mục (index) cho tập keypoint, cụ thể keypoint xếp sẵn theo tiêu chí dựa giá trị mô tả hướng Để thêm tập keypoint tự động xếp tạo mục cho Việc thực tìm kiếm keypoint so khớp CSDL áp dụng tìm kiếm nhị phân tập keypoint xếp đánh mục Việc tìm kiếm tập keypoint so khớp trở nên đơn giản với chi phí tính toán thấp nhiều Kết luận : Search by Image công cụ tìm kiếm ảnh mạnh mẽ hữu ích Nó ứng dụng nhiều lĩnh vực sống Bài báo cáo cho thấy cách thức hoạt động Google Images search engine, từ giúp ích cho tổ chức, doanh nghiệp có phương pháp để đạt thứ hạng cao kết tìm kiếm từ Google Images search Bên cạnh đó, thấy ưu nhược điểm thuật toán sử dụng Google biết cách vận dụng linh hoạt thuật toán đưa biện pháp cải thiện nhược điểm chúng cách tốt 23 Tài liệu tham khảo : 1, Lowe, D “Distinctive image features from scale-invariant keypoints” International Journal of Computer Vision, 60, (2004) 2, A Comparison of SIFT, PCA-SIFT and SURF - Luo Juan, Oubong Gwun 3, Implementing the Scale InvariantFeature T ransform(SIFT)Method – YUMENG Dr Bernard Tiddeman(supervisor) 4, http://phvuresearch.wordpress.com 24 5, http://en.wikipedia.org 6, http://www.ragepank.com/articles/38/optimise-for-google-image-search/ 7, Tài liệu môn thị giác máy tính : http://www.ddth.com/showthread.php/521371-T %C3%ACm-t%C3%A0i-li%E1%BB%87u-gi%E1%BA%A3i-thu%E1%BA%ADt-SIFT-ti %E1%BA%BFng-vi%E1%BB%87t-m%C3%B4n-th%E1%BB%8B-gi%C3%A1c-m %C3%A1y-t%C3%ADnh 8, http://www.jidul.com/wp/tools/sift-algorithm/?lang=en 9, http://www.vlfeat.org/overview/sift.html 10,http://www.quora.com/Algorithms/What-is-the-algorithm-used-by-Google-Search-byImage-1 25 [...]... tính toán thấp hơn nhiều Kết luận : Search by Image là một công cụ tìm kiếm ảnh mạnh mẽ và hữu ích hiện nay Nó được ứng dụng trong nhiều lĩnh vực của cuộc sống Bài báo cáo đã cho thấy cách thức hoạt động của Google Images search engine, từ đó có thể giúp ích cho các tổ chức, doanh nghiệp có phương pháp để đạt thứ hạng cao hơn trong kết quả tìm kiếm từ Google Images search Bên cạnh đó, chúng ta có thể... Nhưng về mặt thời gian thì SIFT lại không đáp ứng thời gian thực Còn đối với SURF thì tuy không tìm kiếm được nhiều keypoint như SIFT nhưng nó có thời gian xử lý truy vấn dữ liệu nhanh chóng Còn đối với giải thuật PCA14 SIFT thì kết quả tìm kiếm không khả thi, do nó sử dụng các PCA để làm giảm số chiều của các vector đặc trưng vô tình làm giảm luôn cả keypoint Chính vì thế Với Search by Image của Google, ... Juan, Oubong Gwun 3, Implementing the Scale InvariantFeature T ransform(SIFT)Method – YUMENG và Dr Bernard Tiddeman(supervisor) 4, http://phvuresearch.wordpress.com 24 5, http://en.wikipedia.org 6, http://www.ragepank.com/articles/38/optimise-for -google- image- search/ 7, Tài liệu môn thị giác máy tính : http://www.ddth.com/showthread.php/521371-T %C3%ACm-t%C3%A0i-li%E1%BB%87u-gi%E1%BA%A3i-thu%E1%BA%ADt-SIFT-ti... mô tả cho môt vùng ảnh cục bộ mà có tính đặc trưng cao (bất biến với các thay đổi khác nhau về độ sáng, thu – phóng ảnh, xoay) Một cách tiếp cận đơn giản đó là lấy mẫu mật độ ảnh cục bộ lân cận điểm đặc trưng ở một độ đo thích hợp, và đối sánh các mật độ này sử dụng độ đo tương quan chuẩn Tuy nhiên, hê số tương quan đơn giản thì lại rất nhạy cảm với sự thay đổi mà gây ra sự đăng ký nhầm các mẫu, chẳng... bền vững của đặc trưng Haar wavelet bất biến với sự thay đổi của ánh sáng và sự tương phản khi ta chuẩn hóa vector mô tả đặc trưng về chiều dài đơn vị Hình 3.4 4x4 hình vuông con xung quanh điểm đặc trưng Error: Reference source not found] 3.3 So khớp đặc trưng Đặc điểm quan trọng của đặc trưng SURF là quá trình rút trích đặc trưng nhanh do sử dụng kỹ thuật ảnh tích lũy và thuật toán non-maximum suppression... Image của Google, do SURF đáp ứng được thời gian thực nên giải thuật này được dùng để xác định các keypoints từ ảnh được upload bởi người dùng trong quá trình tìm kiếm Với giải thuật SIFT thì Google Search by Image dùng Bot để đánh chỉ mục các tìm keypoint của tất cả các ảnh trên Internet trong quá trình thu thập dữ liệu III Giải thuật SIFT 1 Nội dung giải thuật 1.1 Dò tìm cực trị cục bộ Như đã nêu... %E1%BA%BFng-vi%E1%BB%87t-m%C3%B4n-th%E1%BB%8B-gi%C3%A1c-m %C3%A1y-t%C3%ADnh 8, http://www.jidul.com/wp/tools/sift-algorithm/?lang=en 9, http://www.vlfeat.org/overview/sift.html 10,http://www.quora.com/Algorithms/What-is-the-algorithm-used-by -Google- Search- byImage-1 25 ... cần dò tìm các vị trí và các số đo (kích cỡ) mà chúng bất biến trong các khung nhìn khác nhau của cùng một đối tượng Các vị trí đó bất biến về số đo có thể được dò tìm bằng cách tìm kiềm các đặc trưng ổn định trên toàn bộ các số đo có thể, sử dụng một hàm liên tục về số đo vốn rất nổi tiếng có tên là hàm không gian đo (Witkin 1983) Theo các công bố của Koenderink (1984) và Lindeberg(1994) thì hàm Gaussian... Google Images search Bên cạnh đó, chúng ta có thể thấy các ưu nhược điểm của các thuật toán được sử dụng bởi Google và biết cách vận dụng linh hoạt các thuật toán cũng như đưa ra các biện pháp cải thiện các nhược điểm của chúng một cách tốt hơn 23 Tài liệu tham khảo : 1, Lowe, D “Distinctive image features from scale-invariant keypoints” International Journal of Computer Vision, 60, 2 (2004) 2, A Comparison... quay ảnh Cách tiếp cận này ngược lại với các bộ mô tả bất biến hướng của Schmid (1997) ở chỗ mỗi thuộc tính ảnh sẽ dựa vào một độ đo bất biến về hướng Nhược điểm của cách tiếp cận này đó là nó giới hạn số lượng các bộ mô tả được sử dụng và bỏ qua các thông tin về ảnh bởi vì nó không yêu cầu mọi độ đo đều phải dựa trên một hướng nhất quán Sau đây là kỹ thuật gán hướng cục bộ cho các keypoint Độ đo của ...Mục lục I Tổng quan Google Images search Khái niệm Google Images dịch vụ tìm kiếm Google đời vào năm 2001 Nó cho phép người dùng tìm kiếm nội... công cụ Google Images search lần thay đổi giải thuật tìm kiếm với hi vọng ngăn chặn hình ảnh khiêu dâm Tất nhiên hình ảnh xuất từ khóa tìm kiếm có chứa nội dung khiêu dâm Google Images search. .. Chính Với Search by Image Google, SURF đáp ứng thời gian thực nên giải thuật dùng để xác định keypoints từ ảnh upload người dùng trình tìm kiếm Với giải thuật SIFT Google Search by Image dùng