ĐỒ án đề tài mô HÌNH TÚI đặc TRƯNG, GÁN mềm VÀ yếu tố KHÔNG GIAN

Mô hình túi từ Bag of Words – BOW  Ưu điểm:  Đơn giản, dễ dàng tính toán  Bất biến với các phép biến đổi cũng như đối tượng che khuất, chiếu sáng và sự biến động giữa các đối tượ

1211044 – Trần Gia Minh

1211049 – Lưu Minh Ngọc

1211052 – Nguyễn Toàn Nhân

1211054 – Nguyễn Thanh Phúc

1211004 – Huỳnh Lê Hoài Bắc

MÔ HÌNH TÚI ĐẶC TRƯNG, GÁN MỀM VÀ YẾU TỐ KHÔNG GIAN

GVHD:

TS Lý Quốc Ngọc

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Nội dung

 Mô hình giỏ đặc trưng

 Mô hình gán mềm

 Mô hình yếu tố không gian

Mô hình giỏ đặc trưng

Mô hình túi từ ( Bag of Words – BOW )

 Được sử dụng thành công trong bài toán phân loại văn bản

 Một văn bản sẽ được mô tả theo mô hình bởi lược đồ tần suất xuất hiện của các từ trong văn bản đó.

Mô hình túi từ ( Bag of Words – BOW )

Các bước thực hiện mô hình BOW:

 Bước 1: Trích chọn tập đặc trưng cục bộ cho mỗi đối tượng

 Bước 2: Gom nhóm đặc trưng, mỗi nhóm tạo thành một từ

(word) Tập các từ tạo thành từ điển (codebook)

 Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một lược đồ tần suất xuất hiện của các từ.

 Bước 4: Khi đưa một đối tượng vào truy vấn sẽ thực hiện lại 3 bước trên sau đó tiến hành phân lớp đối tượng đó.

Mô hình túi từ ( Bag of Words – BOW )

[1] Bag-of-features for category classification - Cordelia Schmid - 2011

Mô hình túi từ ( Bag of Words – BOW )

 Ưu điểm:

 Đơn giản, dễ dàng tính toán

 Bất biến với các phép biến đổi cũng như đối tượng che khuất, chiếu sáng và sự biến động giữa các đối tượng trong cùng một lớp.

 Nhược điểm:

 Thuật toán gom nhóm

 Đặc trưng, kích thước từ vựng

 Gán trọng số cho lược đồ

Mô hình giỏ đặc trưng

Khi mô hình BOW được áp dụng trong lĩnh vực thị giác máy tính thì việc áp dụng này dựa trên biểu diễn đặc trưng của các điểm trọng yếu Mỗi đặc trưng sẽ tương tứng với một từ

Mô hình giỏ đặc trưng

 Bước 1: Rút trích đặc trưng (Phát hiện điểm trọng yếu và

mô tả điểm trọng yếu)

Phương pháp:

• Harris affine detector

• SIFT descriptors

• …

Mô hình giỏ đặc trưng

 Bước 2: Gom nhóm đặc trưng tạo thành từ điển (codebook)

Các phương pháp gom nhóm

• K-means

• Gaussian mixture model

Mô hình giỏ đặc trưng

 Bước 3: Mỗi đối tượng sẽ được biểu diễn bởi một lược đồ tần suất xuất hiện của các từ

Mô hình giỏ đặc trưng

 Bước 4: Khi đưa một đối tượng vào truy vấn sẽ thực hiện lại 3 bước trên sau đó tiến hành phân lớp đối

Cải tiến codebook

 K-means ( Phổ biến hiện nay Tuy nhiên chi phí gán lúc huấn luyện và truy vấn còn lớn )

 Randomized Clustering Forests (ERC-Forests) - Tree based coders ( Nhanh hơn nhưng codebook ít rõ ràng hơn)

 Supervised Codebook Learning with Error Backpropagation

 Supervised Codebook Learning Through Cluster Reassignment

[2] Supervised Learning and Codebook Optimization

for Bag-of-Words Models - Mingyuan Jiu,Christian Wolf ,Christophe Garcia, Atilla Baskurt – 2012

[3] Fast Discriminative Visual Codebooks using Randomized Clustering Forests - Frank Moosmann, Bill Triggs and Frederic Jurie

Mô hình gán mềm

 Soft assignment là một kỹ thuật nhận biết các giá trị liên tục dựa vào các giá trị lân cận nhau

: độ biến dạng về không gian  

Mô Hình Gán Mềm

Spatial re-ranking

 Tổng quan

 Các phép biến đổi và cách ước lượng

 So sánh

Tổng quan

Tại sao sử dụng spatial re-ranking?

 Giúp cải thiện hiệu năng so với mô hình túi từ

Minh hoạ

Spatial re-ranking

 Tổng quan

 Các phép biến đổi và cách ước lượng

 So sánh

Các phép biến đổi và cách ước lượng

Có 2 độ đo lỗi mà chúng ta cần quan tâm là:

 Lỗi về hình dáng và vị trí phát hiện của đặc trưng

 Lỗi outliers do các đặc trưng bị thiếu hoặc không thích hợp.

 Giải pháp là RANSAC

RANSAC  LO-RANSAC

Tạo các giả thiết của một mô hình xấp xỉ

Lặp đi lặp lại việc đánh giá lại các giải thiết triển vọng bằng cách lấp đầy các phép biến đổi

 Tạo ra các giả thiết chỉ có một cặp duy nhất của các đặc

trưng tương ứng

  giảm đáng kể số lượng các giả thiết cần phải được xem xét

và tăng tốc cho thủ tục matching

Loại bỏ tính ngẫu nhiên của giải thuật  thủ tục xác định

3 DOF, 4 DOF, 5 DOF

Đánh giá một số phép biến đổi affine có bậc tự do từ 3 -

5 cho các giả thiết

kiểm tra sự thay đổi hiệu năng giữa các loại phép biến đổi

3 DOF, 4 DOF, 5 DOF

 3 DOF: chấp nhận phép tịnh tiến và biến dạng đều

ngoại trừ hiệu ứng foreshortening

X

3 DOF, 4 DOF, 5 DOF

 4 DOF: chấp nhận phép tính tiến và biến dạng dị

hướng

 5 DOF: chấp nhận phép tịnh tiến, biến dạng dị hướng

và biến dạng cắt theo chiều dọc

Cách tìm 3 DOF, 4 DOF, 5 DOF

 3 DOF: Các thành phần tịnh tiến được phát hiện dựa vào tâm của các vùng tương ứng và các thành phần biến dạng được phát hiện dựa vào mối quan hệ giữa các khu vực của 2 vùng tương ứng

 4 DOF: Nó được tính toán bằng vị trí một khung giới hạn cho từng vùng và tính toán sự thay đổi độ biến dạng theo từng hướng

Cách tìm 3 DOF, 4 DOF, 5 DOF

 5 DOF: với giả định rằng hướng “thẳng đứng” giữa 2 ảnh là không đổi Nó được tìm ra dựa vào 2 hình elip tương ứng duy nhất



 

Cách ước lượng

 Một số hàm đo độ lỗi

 độ lỗi khi biến đổi theo 1 chiều

 độ lỗi khi biến đổi theo 2 chiều

 độ lỗi khi biến đổi theo 2 chiều với ngưỡng cho trước

Spatial re-ranking

 Tổng quan

 Các phép biến đổi và cách ước lượng

 So sánh

 điểm số = sum( idf của từng inlier words)

 huỷ bỏ bảng xếp hạng ban đầu, nếu mà xử lý 20 ảnh liên tiếp mà không 1 lần thành công khi xác minh không gian

So sánh

So sánh 3 DOF, 4 DOF, 5 DOF với R = 100, 200, 400,

800 và số lượng từ vựng ảnh (a) = 20K; (b) = 1M

So sánh

BoW vs Spatial

Spatial wins

Kết quả truy vấn từ hệ thống hoàn chỉnh

Tài liệu tham khảo

[1] Bag-of-features for category classification - Cordelia Schmid – 2011

[2] Supervised Learning and Codebook Optimization

for Bag-of-Words Models - Mingyuan Jiu,Christian Wolf ,Christophe Garcia, Atilla Baskurt – 2012

[3] Fast Discriminative Visual Codebooks using Randomized

Clustering Forests - Frank Moosmann, Bill Triggs and Frederic Jurie [4] Visual Codebook – Tae-Kyun Kim - Sidney Sussex College

[5] Visual Categorization with Bags of Keypoints - Gabriella Csurka, Christopher R Dance, Lixin Fan, Jutta Willamowski, Cédric Bray

Chân thành cảm ơn thầy và

các bạn đã theo dõi!!