CHƯƠNG 2: KỸ THUẬT TRA CỨU ẢNH DỰA VÀO NỘI DUNG VÀ SỬ DỤNG PHƯƠNG PHÁP TRUY VẤN ĐA ĐIỂM.
2.1 Phát biểu bài toán
2.1.1 Truy vấn đa điểm
Truy vấn đa điểm là truy vấn cho phép nhiều đối tượng trong 1 lần. Và trong mỗi lần lặp người dùng sử dụng thông tin phản hổi để thay đổi đại diện truy vấn để có kết quả và thông tin phù hợp hơn (là một phương pháp tái tra cứu ban đầu).
Đại diện là tập đầu vào hoặc một số trong tập kết quả. Ví dụ: một biểu đồ màu của một hình ảnh không nhất định phải là đại diện như truy vấn truyền thống nữa mà có thể là một trọng tâm của nhiều hình ảnh đã được phân cụm.
Hệ thống truy vấn đa điểm cho ra nhiều kết quả khác nhau. Và sử dụng một phần của tập kết quả để tiếp tục tra cứu là rất có lợi trong các lần tra cứu tiếp theo. Cụ thể chúng ta có thể có thêm các thông tin liên quan trong các lần tra cứu tiếp theo. Vì vậy mà băng thông tin trong truy vấn đa điểm là rộng hơn các phương pháp tra cứu truyền thống qua nhiều đối tượng và số lần tra cứu. Đây là điều được đánh giá tốt nhất cho một hệ thống truy vấn đa điểm.
Hệ thống tra cứu dựa trên nội dung sử dụng truy vấn đa điểm cho phép người sử dụng xác định các truy vấn bằng cách cung cấp các đối tượng tương tự như những thông tin mà họ muốn lấy. Không chắc rằng các kết quả đến 'truy vấn bắt đầu "sẽ đáp ứng thông tin của người sử dụng cần. Thay vào đó, trong số các kết quả lấy ra, người dùng có thể tìm thấy một hoặc nhiều hơn các đối tượng là gần gũi hơn với những gì mình có trong tâm trí ban đầu.
Để tiếp cận được với truy vấn đa điểm chúng ta sẽ có 2 phương pháp đó là: Truy vấn điểm động (QPM-Query Point Povent) và truy vấn mở rộng (QEX – Query Expansion). Trong bài toán này chúng ta sẽ sử dụng phương pháp truy vấn mở rộng (QEX).
Truy vấn điểm động (Query Point Povent) chỉ cho phép một đối tượng duy nhất cho mỗi đặc trưng trong truy vấn. Khi người sử dụng làm nhiều ví dụ để xây dựng các truy vấn, trọng tâm được sử dụng như các điểm truy vấn duy nhất. Tương tự như vậy ở mỗi lần lặp thông tin phản hồi, người sử dụng đánh dấu các đối tượng liên quan, trọng tâm của các giá trị đặc trưng của các đối tượng được sử dụng như truy vấn tinh.
Truy vấn mở rộng (Query Expansion) trong đó cần sử dụng một phương pháp phân cụm để xác định tập các đối tượng từ đó xác định được các đại điện truy vấn (trong bài này sử dụng thuật toán K-mean để phân cụm).
Đối tượng được biểu diễn như một tập hợp các đặc trưng được trích rút như màu sắc, hình dạng, kết cấu mà cụ thể trong bài toán này là đặc trưng màu sắc. Mỗi đặc trưng này được xem như là một không gian đa chiều. Một vector đặc trưng của một hình ảnh là một điểm trong không gian đa chiều. Một số liệu khoảng cách giữa các điểm được sử dụng để xác định sự khác nhau giữa các đặc trưng tương ứng vector. Trong bài toán này một truy vấn là 1 tập hợp các đặc trưng màu sắc. Người sử dụng có thể sử dụng nhiều đối tượng trong một lần truy vấn. Và đại diện cho một truy vấn là một tập hợp các đặc trưng màu sắc. Và khoảng cách của một đối tượng trong truy vấn đa điểm được định nghĩa là sự kết hợp của các cá nhận trong tập đối tượng truy vấn (trong bài toán này tập các đối tượng truy vấn là đại diện của từng cụm mà các đại diện này là sự kết hợp của các cá nhân trong tập ảnh đầu vào).
2.1.2 Bài toán tổng quát của hệ thống Gồm hai công đoạn chính:
Công đoạn tiền xử lý: các bức ảnh được thu vẫn còn nhiều “nhiễu” làm cho qua trình nhận dạng ảnh và quản lý phức tạp gây chậm hệ thống, do đó cần phải xử lý trước khi trích rút đặc trưng. Thông qua bước này, ảnh sẽ được loại bỏ những thông tin nhiễu hay những thông tin không cần thiết. Tập ảnh ban đầu được xử lý để trích rút ra hình ảnh động và lưu trữ dưới dạng .JPG để giảm dung lượng khi lưu trữ vào cơ sở dữ liệu. Kích thước của ảnh cũng được giảm xuống 256 x 256 pixel.
Hình 2.1: Tiền xử lý ảnh dữ liệu
Công đoạn tra cứu được thực hiện như sau: người sử dụng cung cấp cho hệ thống tập ảnh truy vấn thông qua giao diện. Sau đó hệ thống sẽ trích rút đặc trưng màu sắc của ảnh.
Từ đó hệ thống sẽ phân cụm tập ảnh đầu vào thành số cụm mong muốn. Tiếp theo hệ thống sẽ tính độ tương tự giữa các cụm đã phân với các ảnh trong cơ sở dữ liệu đặc trưng. Kết quả trả về là tập các ảnh có độ tương tự với ảnh truy vấn nhất. Tập ảnh kết quả được phân hạng theo thứ tự giảm dần của độ chính xác. Sau khi đã có kết quả bước đầu, nếu thông tin nhận được chưa vừa ý, người dùng sẽ chọn một nhóm ảnh mới trong tập kết quả thông qua giao diện chương trình. Từ đó hệ thống sẽ tiếp tục phân cụm và tra cứu để tìm ra các nhóm ảnh có độ tương đồng nhất với từng ảnh trong nhóm ảnh đã được chọn.
Hình 2.2: Cấu trúc tổng quát bài toán
Yêu cầu đặt ra: xây dựng một chương trình thực hiện tra cứu ảnh dựa vào nội dung sử dụng truy vấn đa điểm.
Khi người sử dụng cung cấp tập ảnh đầu vào. Hệ thống có nhiệm trích chọn đặc trưng màu sắc của tập ảnh đó. Sau đó sẽ phân chia chúng ra thành số cụm mà người dùng mong muốn. Từ đó tiếp tục tính toán độ tương tự của các cụm ảnh đó với các ảnh trong tập ảnh cơ sở dữ liệu đặc trưng và cho ra một danh sách tất cả các hình ảnh tương tự như ảnh mẫu theo thứ tự giảm dần của độ chính xác. (ảnh nào có độ chính xác cao hơn được xép lên trên). Ngay sau khi hệ thống hiển thị kết quả, nếu người dùng cảm thấy kết quả chưa được như ý muốn thì có thể tiếp tục chọn những bức ảnh khác trong tập kết quả để tiếp tục tra cứu. Cứ tiếp tục như vậy cho tới khi nhận được thông tin mà mình mong muốn.