Nâng cao hiệu quả tra cứu ảnh dựa trên hiệu chỉnh độ đo tương tự và phản hồi liên quan (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ …… ….***………… NGÔ TRƯỜNG GIANG NÂNG CAO HIỆU QUẢ TRA CỨU DỰA TRÊN HIỆU CHỈNH ĐỘ ĐO TƯƠNG TỰ VÀ PHẢN HỒI LIÊN QUAN Chuyên ngành: Cơ sở Toán học cho Tin học Mã số: 62 46 01 10 TÓM TẮT LUẬN ÁN TIẾN SĨ TOÁN HỌC Hà Nội – 2017 Công trình hoàn thành tại: Học viện Khoa học Công nghệ Viện Hàn lâm Khoa học Công nghệ Việt Nam Người hướng dẫn khoa học 1: PGS.TS Ngô Quốc Tạo Người hướng dẫn khoa học 2: TS Nguyễn Đức Dũng Phản biện 1: … Phản biện 2: … Phản biện 3: … Luận án bảo vệ trước Hội đồng chấm luận án tiến sĩ, họp Học viện Khoa học Công nghệ - Viện Hàn lâm Khoa học Công nghệ Việt Nam vào hồi … ’, ngày … tháng … năm 201… Có thể tìm hiểu luận án tại: - Thư viện Học viện Khoa học Công nghệ - Thư viện Quốc gia Việt Nam Mở đầu Trong xã hội đại, việc truy cập thông tin phù hợp nhu cầu công nghệ tra cứu thông tin ứng dụng nhiều lĩnh vực Ví dụ, dịch vụ tìm kiếm thương mại Google trở thành công cụ thiếu công việc người sống hàng ngày Với số lượng ngày tăng hình ảnh kỹ thuật số Internet thư viện kỹ thuật số, nhu cầu công cụ để quản lý khai thác hiệu sở liệu ảnh lớn phát triển đáng kể Việc phát triển hệ thống tra cứu ảnh để tìm ảnh quan tâm số lượng lớn ảnh lưu trữ trở thành lĩnh vực nghiên cứu nhận nhiều quan tâm năm gần Nói chung, có hai kỹ thuật tra cứu ảnh bản, tra cứu ảnh dựa từ khóa tra cứu ảnh dựa nội dung Các kỹ thuật dựa vào từ khóa tốn nhiều thời gian, chi phí cao phụ thuộc vào cảm nhận chủ quan chuyên viên kỹ thuật Hơn nữa, hệ thống dựa vào từ khoá khó thay đổi sau Để khắc phục khó khăn này, tra cứu ảnh dựa vào đặc trưng thị giác ảnh đề xuất Trong công nghệ này, đặc trưng mức thấp ảnh màu sắc, kết cấu hình dạng trích chọn cách tự động mà can thiệp người Các hệ thống sử dụng công nghệ thực nhiệm vụ tìm kiếm tra cứu cách phân tích màu sắc hình ảnh, hình dạng đối tượng hình ảnh, phân bố kết cấu hình ảnh, thông tin đại diện khác trích chọn từ hình ảnh, siêu liệu từ khóa, thẻ thích Một loạt hệ thống tra cứu ảnh phát triển dựa công nghệ hệ thống QBIC, Virage, NEC AMORE Đây hệ thống phát triển sớm cho mục đích thương mại Trong thời gian, số nhà nghiên cứu khác phát minh hệ thống CBIR cho mục đích học tập, chẳng hạn MIT Photobook Pentland, Columbia VisualSEEK WebSEEK, UCSB Netra Standford WBIIS Những ưu điểm hệ thống CBIR nhà nghiên cứu tìm thấy nhiều ứng dụng giới thực kiến trúc thiết kế kỹ thuật, sưu tập nghệ thuật, phòng chống tội phạm, thông tin địa lý, sở hữu trí tuệ, điều trị nội khoa, quân sự, tìm kiếm sản phẩm, Tiềm tra cứu ảnh dựa nội dung hứa hẹn Rất nhiều công việc báo cáo hai thập kỷ qua Tuy nhiên, số thách thức cần phải khắc phục để nâng cao hiệu hệ thống tra cứu ảnh dựa nội dung Một thách thức tra cứu ảnh dựa nội dung khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao Đây động lực nghiên cứu luận án Mục tiêu luận án cải tiến số phương pháp CBIR để nâng cao hiệu tra cứu ảnh dựa hiệu chỉnh độ đo tương tự phản hồi liên quan Các mục tiêu cụ thể bao gồm tiến hành nghiên cứu hai vấn đề lĩnh vực CBIR là: 1) Xây dựng độ đo tương tự, 2) Thu hẹp khoảng cách ngữ nghĩa dựa thông tin phản hồi từ người dùng - Mục tiêu nghiên cứu tiến hành nghiên cứu xây dựng độ đo tương tự hiệu Với mục tiêu này, luận án giải hai vấn đề cụ thể: 1) Cải tiến phương pháp tính toán độ đo tương tự cho hình dạng dựa đối sánh xương chúng 2) Xây dựng mô hình phù hợp cho việc kết hợp nhiều đặc trưng để xây dựng độ đo tương tự - Mục tiêu thứ hai tiến hành nghiên cứu khai thác hiệu thông tin phản hồi từ người dùng để điều chỉnh kết truy vấn Trong tra cứu ảnh với phản hồi liên quan, hệ thống cần phải thực số vòng lặp Trong vòng lặp, hệ thống trả lại danh sách ảnh tương tự với ảnh truy vấn dựa độ tương tự chúng Sau đó, ảnh đưa cho người sử dụng gán nhãn liên quan không liên quan với ảnh truy vấn Sử dụng ảnh gán nhãn mẫu, kỹ thuật học áp dụng để điều chỉnh độ đo tương tự cho phù hợp với mong muốn người dùng Với mục tiêu này, luận án tập trung giải vấn đề làm để hệ thống cho kết tốt sau vòng phản hồi Nội dung nghiên cứu luận án tập trung vào vấn đề sau Chương Trình bày số vấn đề tra cứu ảnh dựa nội dung với phản hồi liên quan, sở đưa số kết luận định hướng cho nghiên cứu Chương Trình bày chi tiết thách thức đối sánh hình dạng sử dụng xương, đề xuất phương pháp hiệu cho đối sánh đồ thị xương thông qua việc nhúng thông tin cấu trúc vào toán đối sánh đồ thị xương Chương Trình bày mô hình tích hợp nhiều đặc trưng để xây dựng độ đo tương tự cho tra cứu ảnh Đề xuất mô hình kết hợp độ đo tương tự đặc trưng dựa tích phân Choquet Chương Giải vấn đề thu hẹp khoảng cách ngữ nghĩa CBIR với phản hồi liên quan dựa mô hình học chủ động Luận án đề xuất kỹ thuật xây dựng tập huấn luyện hiệu dựa thông tin phản hồi từ người dùng để cải thiện hiệu tra cứu Chương Tra cứu ảnh dựa nội dung 1.1 Tra cứu ảnh dựa nội dung Tra cứu ảnh dựa nội dung nhằm mục đích tìm kiếm ảnh việc phân tích nội dung ảnh thực tại, mà thường miêu tả đặc trưng trực quan màu sắc, kết cấu hình dạng Phần giới thiệu việc tra cứu ảnh dựa nội dung nhằm cung cấp nhìn tổng quát lĩnh vực CBIR 1.1.1 Kiến trúc tổng quan hệ thống CBIR Sơ đồ kiến trúc chung hệ thống tra cứu ảnh dựa nội dung hình 1.1 Trong quy trình tra cứu thông thường, người dùng đưa vào ảnh mẫu để truy vấn hệ thống CBIR Ảnh mẫu sử dụng để miêu tả thông tin người dùng cần Để trả lời truy vấn, hệ thống CBIR tìm tập ảnh để đưa ảnh tương tự ảnh mẫu Trong ngữ cảnh CBIR, độ tương tự xác định dựa nội dung ảnh mô tả đặc trưng trực quan Do đó, trước tiên hệ thống CBIR trích xuất đặc trưng trực quan từ ảnh mẫu Sau phép đo tương tự thực dựa đặc trưng trực quan ảnh mẫu ảnh sưu tập ảnh Cuối cùng, ảnh sưu tập xếp hạng theo thứ tự tương đồng với ảnh truy vấn, ảnh xếp hạng phía cao trả kết tìm kiếm Để cải thiện hiệu suất hệ thống, vài kỹ thuật đưa vào hệ thống CBIR Phản hồi liên quan đưa vào hệ thống CBIR nhằm thu lượm thông tin phản hồi từ người dùng để hiệu chỉnh kết truy vấn Các kỹ thuật phân lớp phân cụm ảnh đưa vào hệ thống CBIR nhằm cải tiến tốc độ độ xác tra cứu ảnh Được thực offline Ảnh truy vấn Các đặc trưng Cơ sở liệu Các đặc trưng truy vấn Phân tích truy vấn Phản hồi người dùng Kĩ thuật đối sánh Người dùng Kĩ thuật đánh mục Tự động phản hồi CƠ SỞ DỮ LIỆU ẢNH Trích chọn đặc trưng Ảnh tra cứu Hình 1.1: : Một kiến trúc chung hệ thống CBIR 1.1.2 Mô hình truy vấn Phương pháp truy vấn dựa thuộc tính thể tính tự nhiên Người sử dụng thường thích truy vấn hệ thống câu hỏi tự nhiên “Tìm tất ảnh sưu tập mà có hình ảnh mèo” Tuy nhiên, việc ánh xạ câu hỏi ngôn ngữ tự nhiên thành truy vấn sở liệu ảnh vô khó việc sử dụng phương pháp tự động Khả máy tính thực nhận dạng đối tượng tự động ảnh vấn đề nghiên cứu mở Hầu hết nghiên cứu hệ thống mang tính thương mại tập trung xây dựng hệ thống thực truy vấn dựa phương pháp QBE(Query by Example) Đây mô hình truy vấn sử dụng thực nghiệm đánh giá luận án 1.1.3 Trích chọn đặc trưng Dữ liệu ảnh thô không sử dụng trực tiếp hầu hết hệ thống thị giác máy hai lý do: Thứ nhất, tốn nhiều không gian để lưu trữ ảnh độ phức tạp tính toán lớn Thứ hai, nhiều thông tin ảnh dư thừa (hoặc) không hữu ích Thay sử dụng toàn ảnh, cần sử dụng số biểu diễn quan trọng Bước biểu diễn ảnh gọi trích chọn đặc trưng kết biểu diễn véc-tơ đặc trưng Trích chọn đặc trưng xem việc ánh xạ ảnh từ không gian ảnh sang không gian đặc trưng Trong ngữ cảnh CBIR, đặc trưng ảnh phân thành đặc trưng thị giác đặc trưng ngữ nghĩa Các đặc trưng thị giác bao gồm màu, kết cấu, hình dạng quan hệ không gian Đặc trưng ngữ nghĩa không dễ dàng trích rút thường suy diễn từ đặc trưng mức thấp sử dụng văn mô tả ảnh Hiệu tra cứu ảnh phụ thuộc vào khả mô tả nội dung ảnh cho ứng dụng cụ thể Trong luận án sử dụng đặc trưng mức thấp cho đánh giá thực nghiệm 1.1.4 Độ đo tương tự Trong tra cứu ảnh dựa nội dung, độ đo độ tương tự phù hợp với tương tự nhận thức người vấn đề định đến khả đáp ứng yêu cầu từ người dùng hệ thống Một cách đơn giản để đo độ tương tự ảnh sử dụng độ đo khoảng cách Trong năm qua, số lượng lớn độ đo tương tự khác đề xuất cộng đồng nhà nghiên cứu Lựa chọn độ đo tương tự phụ thuộc vào mô tả đặc trưng chọn Trong thực tế, số mô tả sử dụng với độ đo chuẩn, số khác đòi hỏi độ đo đặc biệt thiết kế cho phù hợp Do vậy, cần phải phát triển độ đo hiệu cho ứng dụng cụ thể Luận án nghiên cứu phương pháp xây dựng độ đo tương tự cho mục đích 1.2 Kết hợp đa đặc trưng để đo độ tương tự Kết hợp đặc trưng nhằm mục đích đo độ tương tự ảnh sử dụng nhiều đặc trưng thị giác Có hai hướng tiếp cận kết hợp đặc trưng, hợp đặc trưng tích hợp đặc trưng Hợp đặc trưng sử dụng độ đo thống để xây dựng độ đo tương tự biểu diễn ảnh thống hình thành từ nhiều đặc trưng thị giác Trong trường hợp này, đặc trưng biểu diễn véc-tơ Các véc-tơ đặc trưng kết hợp với thành véc-tơ tổng thể để biểu diễn ảnh Ngược lại với phương pháp hợp đặc trưng, tích hợp đặc trưng sử dụng tiếp cận khác kết hợp nhiều độ đo khoảng cách đặc trưng để xây dựng độ đo tương tự ảnh Các đặc trưng khác đòi hỏi độ đo khoảng cách khác để đo độ tương tự Lợi kết hợp đặc trưng độ đo khoảng cách riêng áp dụng cho đặc trưng thị giác khác Hơn nữa, độ đo khoảng cách thiết kế đặc biệt cách xét đến tính chất tự nhiên đặc trưng thị giác cho phù hợp với cảm nhận độ tương tự Làm để kết hợp đặc trưng cách hiệu nghiên cứu luận án 1.3 Phản hồi liên quan CBIR Trong tra cứu ảnh dựa nội dung (CBIR), ảnh đánh mục tra cứu dựa nội dung trực quan chúng, chẳng hạn màu sắc, kết cấu, hình dạng, đặc trưng mức thấp Tuy nhiên, Trong thực tế, người có xu hướng sử dụng đặc trưng mức cao (khái niệm), chẳng hạn từ khóa, mô tả văn để giải thích hình ảnh đo độ tương tự chúng Trong đặc trưng trích chọn cách tự động cách sử dụng kỹ thuật thị giác máy chủ yếu đặc trưng mức thấp thấp (màu, kết cấu, hình dạng, vị trí không gian ) Mặc dù nhiều thuật toán phức tạp thiết kế để mô tả màu sắc, hình dáng đặc trưng kết cấu thuật toán phản ánh thỏa đáng ngữ nghĩa ảnh Do vậy, khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao lớn nên hiệu suất CBIR chưa thỏa mãn mong đợi người dùng Phản hồi nhằm mục đích cải thiện hiệu tra cứu thông qua học với điều chỉnh người dùng kết tra cứu Theo cách này, hệ thống cần phải chạy qua số vòng lặp Trong vòng lặp, hệ thống trước tiên trả danh sách ảnh kết xếp gần với ảnh truy vấn dựa độ đo tương tự Sau đó, số ảnh đưa để người dùng gán nhãn liên quan không liên quan tới ảnh truy vấn Sử dụng ảnh gán nhãn mẫu, kỹ thuật học máy sử dụng để học định nghĩa lại kết tra cứu Tuy nhiên, ngữ cảnh CBIR, việc học gặp nhiều khó khăn khan cân thông tin phản hồi Người dùng không muốn thao tác nhiều số lần lặp phản hồi để có kết tốt nên số lượng ảnh gán nhãn từ người dùng phiên RF để làm liệu huấn luyện nhỏ so với chiều không gian đặc trưng Với tập liệu huấn luyện nhỏ hầu hết thuật toán máy học cho kết xác Hơn nữa, số lượng ảnh gán nhãn không liên quan (mẫu âm) thường lớn số lượng ảnh gán nhãn có liên quan (mẫu dương) Sự cân đối tập liệu huấn luyện ảnh hưởng tới hiệu thuật toán học máy Do vậy, làm để thiết kế mô hình phản hồi liên quan khai thác hiệu thông tin phản hồi từ người dùng, cải thiện hiệu tra cứu Vấn đề nghiên cứu giải luận án 1.4 Tổng kết chương Chương giới thiệu khái quát tra cứu ảnh dựa nội dung bao gồm: Các đặc trưng ảnh, độ đo tương tự đặc trưng, kỹ thuật phản hồi liên quan Có ba chủ đề nghiên cứu quan trọng nghiên cứu luận án Phát triển độ đo tương tự hiệu cho đơn đặc trưng Trong thực tế, số mô tả sử dụng với độ đo chuẩn, số khác đòi hỏi độ đo đặc biệt thiết kế cho phù hợp Làm để xây dựng độ đo tương tự hiệu cho đặc trưng ảnh sử dụng biểu diễn phức tạp Vấn đề giải chương Kết hợp đặc trưng để xây dựng độ đo tương tự Mỗi đặc trưng mô tả vài khía cạnh nội dung ảnh Kết hợp nhiều đặc trưng giúp mô tả đầy đủ nội dung ảnh Làm để xây dựng mô hình phù hợp cho kết hợp đặc trưng, làm để điều chỉnh độ quan trọng đặc trưng cho xây dựng độ đo tương tự Hai vấn đề giải chương Thu hẹp khoảng cách ngữ nghĩa dựa phản hồi liên quan với vấn đề nghiên cứu cụ thể làm để thiết kế mô hình phản hồi liên quan để khai thác hiệu thông tin phản hồi từ người dùng, cải thiện hiệu tra cứu Vấn đề giải chương Chương Đo độ tương tự hình dạng dựa đối sánh đồ thị xương 2.1 Giới thiệu Xương hay gọi trục trung vị dạng mô tả hình dạng với đặc trưng tô pô cấu trúc hình học đối tượng Độ tương tự hình dạng dựa đối sánh xương thường cho kết tốt đối sánh dựa đường bao dựa mô tả khác trường hợp đối tượng có phần bị biến dạng, bị chồng lấp có khớp nối Tuy nhiên, nhận dạng đối tượng tự động sử dụng xương chúng nhiệm vụ khó khăn xương nhạy cảm với đường bao đối tượng Thông thường, nhánh xương cần phải cắt tỉa trước đối sánh, nhận dạng đối tượng Ngoài ra, kiến trúc xương thực phức tạp cho dù chỉnh sửa vài thao tác cắt trộn Do đó, độ xác phương pháp đối sánh hình dạng dựa xương bị ảnh hưởng lớn hạn chế Xương chứa thông tin cấu trúc quan trọng hình dạng Vì vậy, việc tổ chức chúng thành đồ thị quan hệ thuộc tính (ARG) điều tự nhiên Sau đó, điểm tương đồng hai đối tượng đo cách đối sánh đồ thị ARG chúng Do công việc đối sánh ARG chứng minh toán NP-hard nên nhiều thuật toán đề xuất để tìm giải pháp xấp xỉ Zaboli cộng định nghĩa khoảng cách chỉnh sửa hai đồ thị xương Tuy nhiên, độ phức tạp tính toán cao phép toán sửa đổi phức tạp, phương pháp thất bại đối tượng có khớp nối bị chồng lấp phần Một vài phương pháp khác nhận tương quan đỉnh cách chuyển đổi đồ thị xương thành hình dạng so sánh cách đối sánh Tuy nhiên, chuyển đổi đòi hỏi lựa chọn tối ưu gốc cần luật theo kinh nghiệm Hơn nữa, thay đổi tương đối nhỏ hình dạng làm cho gốc thay đổi dẫn đến tô pô khác hoàn toàn cho xương tương tự Việc chuyển đổi thành xương dẫn tới thông tin cấu trúc quan trọng đó, gây ảnh hưởng xấu tới kết đối sánh Một phương pháp đề xuất Bai cộng cho kết đối sánh tốt Trong phương pháp này, điểm cuối xương biểu diễn đường ngắn xương đối sánh đồ thị xương giải cách đối sánh chuỗi điểm cuối xương cắt tỉa Tuy nhiên, phương pháp không xem xét cách rõ ràng cấu trúc tô pô đồ thị xương Thay vào đó, tập trung vào độ tương tự đường kết nối điểm cuối xương Hơn nữa, phương pháp họ phụ thuộc lớn vào lựa chọn tham số tỉa Trong đề xuất này, luận án cải tiến phương pháp Bai việc thiết lập tương quan hai đồ thị xương với thông tin cụm đỉnh Dựa xương tính toán, luận án đề xuất mô hình siêu đồ thị xương, với mối quan hệ cụm đỉnh biểu diễn siêu cạnh Luận án coi đỉnh đồ thị đỉnh "trọng tâm" lập siêu cạnh "trọng tâm" k láng giềng gần Theo cách này, thông tin nhóm mối quan hệ cục đỉnh mô tả siêu cạnh Sau đó, đối sánh hai hình dạng đối tượng mô hình hóa toán đối sánh siêu đồ thị, giải giải thuật xếp hạng siêu đồ thị kết hợp dựa bước ngẫu nhiên (RW) Bằng cách lặp lại nhiều lần việc cập nhật trọng số khai thác độ tin cậy tương quan, phương pháp đề xuất phản ánh hiệu ràng buộc đối sánh để tạo đối sánh hiệu quả, loại bỏ đối sánh không tin cậy bị ảnh hưởng nhiễu biến dạng Do vậy, độ xác đối sánh cải thiện 2.2 2.2.1 Phương pháp đề xuất Xây dựng siêu đồ thị xương Để biểu diễn đồ thị xương, luận án coi tập điểm xương S tập kết nối liên tục điểm xương đường bao đóng giả thiết đường bao có độ dày điểm ảnh Định nghĩa 2.2.1 Đồ thị xương Đồ thị xương xây dựng theo quy ước sau: Tập điểm xương cuối điểm xương giao gọi đỉnh đồ thị xương, chuỗi điểm xương kết nối đỉnh gọi cạnh hai đỉnh Các đỉnh tạo điểm xương cuối gọi đỉnh cuối, đỉnh tạo điểm xương giao gọi đỉnh giao đồ thị xương Định nghĩa 2.2.2 Siêu đồ thị xương (SHG): Siêu đồ thị xương ba thứ tự tập thứ tự G= (V, E, A) Trong đó: • V tập hữu hạn đỉnh cuối đồ thị xương • E tập (họ) siêu cạnh đồ thị xương Một siêu cạnh e ∈ E tập đỉnh với cỡ δ(e) từ V, với δ(e) = |e| ký hiệu bậc siêu cạnh với σ số điều chỉnh Khoảng cách hai đỉnh tam giác xấp xỉ khoảng cách hai đỉnh Để đơn giản tính toán, công thức (2.2) thay việc sử dụng độ lệch sin góc Ω3 cwi , cwj , cwk = exp − sin(θi ) − sin(θi ) + sin(θj ) − sin(θj ) + sin(θk ) − sin(θk ) (2.3) σ2 Độ tương tự bậc ba Ω3 biểu diễn tensor bậc ba sau: T3 (cwi , cwj , cwk ) = Ω3 cwi , cwj , cwk Bài toán đối sánh hai SHG G P G Q giải thích ngữ cảnh RW việc xây dựng SHG kết hợp SHG kết hợp G w = (V w , E w , Aw ) xây dựng việc xem xét tương quan cw = (vpP , vqQ ) đỉnh vw ∈ V w Ở đây, bước ngẫu nhiên đỉnh vw1 tới đỉnh khác vw2 đồ thị G w nghĩa bước ngẫu nhiên từ tương quan cw1 tới tương quan khác cw2 đồ thị G P Q G Q Trong SHG G P G Q , hai siêu cạnh bậc ba eP pi ,pj ,pk eqi ,qj ,qk hình thành từ ba tương quan cwi = (vpPi , vqQi ), cwj = (vpPj , vqQj ), cwk = (vpPk , vqQk ) Do siêu cạnh ewi ,wj wk gán giá trị trọng số tính toán công thức (2.3) Algorithm Đối sánh siêu đồ thị xương Input: Ma trận độ tương tự bậc cao T3 , tham số cập nhật trọng số α, tham số phân hóa β Số đỉnh SHG: nP , nQ Output: Ma trận gán tối ưu X xác định tương quan đỉnh hai đồ thị Procedure: 1: Khởi tạo véc-tơ gán tối ưu x đồng 2: Khởi tạo dmax = maxw (T ⊗j ⊗k 1)w ; 3: Khởi tạo tensor chuyển P = T /dmax ; 4: repeat 5: x = P ⊗j x ⊗k x; 6: y = exp(βx/max x); {Cập nhật trọng số với ràng buộc hai chiều} 7: repeat nQ 8: yia = yia / a=1 yia ; {Chuẩn hóa theo dòng} nP 9: yia = yia / i=1 yia ; {Chuẩn hóa theo cột} 10: until y hội tụ 11: y = y/ yia ; 12: x = αx + (1 − α)y; {Bước ngẫu nhiên với bước nhảy cập nhật trọng số} 13: x = x/ xia ; 14: until x hội tụ; 15: return : Chuyển đổi x thành ma trận gán tối ưu X Bài toán đối sánh hai SHG G P G Q tương đương với lựa chọn đỉnh tin cậy SHG kết hợp G w đỉnh lựa chọn G w tương ứng với đối 10 sánh đồ thị G P G Q Sử dụng thống kê bước ngẫu nhiên, toán chuyển thành toán xếp hạng lựa chọn đỉnh RW SHG kết hợp G w Đỉnh G w có điểm số cao tương quan đỉnh G P G Q mà biểu diễn tốt Áp dụng thuật toán RRW với ma trận khoảng cách (2.3), xác định tương quan giá trị đối sánh hai đồ thị xương GP and GQ Thủ tục đối sánh mô tả Thuật toán 2.3 Thực nghiệm đánh giá Mục đích luận án cải tiến phương pháp đối sánh hình dạng cách sử dụng thông tin cấu trúc hình học đỉnh xương cuối thay sử dụng mối quan hệ cặp phương pháp Bai Do luận án so sánh trực tiếp với phương pháp với tham số M = 50 điểm mẫu nhánh xương trọng số γ =30 để xây dựng đồ thị tính toán độ tương tự hai nhánh xương Ngoài luận án so sánh với phương pháp đối sánh hình dạng dựa trêng xương Graph Editdistance, Distortion-free Embedding phương pháp sử dụng đặc trưng khoảng cách Inner Distance để làm rõ tính hiệu phương pháp đề xuất Bảng 2.1: Số lượng ảnh đối sánh k hình gần với truy vấn tập liệu Kimia’s 99 Giá trị tốt 99 Phương pháp 1st 2nd 3rd 4th 5th 6th 7th 8th 9th 10th Shock Edit 99 99 99 98 98 97 96 95 93 82 IDSC + DP 99 99 99 98 98 97 97 98 94 79 Many-to-many 99 99 98 99 98 97 98 97 92 84 Path Similarity 99 99 99 99 96 97 95 93 89 73 Đề xuất 99 99 99 99 98 97 97 97 94 89 Trong thí nghiệm, hình dạng tập liệu so sánh với tất hình dạng khác, đếm số lượng hình lớp Chúng tính toán hiệu dựa số lượng đối sánh gần thứ k lớp với truy vấn, với k=1, ,10 tập liệu Kimia’s 99 k=1, ,11 tập liệu Kimia’s 216 Kết trình bầy bảng 2.1 bảng 2.2 phương pháp đề xuất thực hiệu so với Bảng 2.2: Số lượng ảnh đối sánh k hình gần với truy vấn tập liệu Kimia’s 216 Giá trị tốt 216 Phương pháp Shock Edit IDSC + DP Many-to-many Path Similarity Đề xuất 1st 216 216 216 216 216 2nd 216 216 216 216 216 3rd 216 215 216 215 216 4th 215 216 216 216 216 5th 210 215 215 213 216 11 6th 210 210 213 210 215 7th 207 210 210 210 211 8th 204 209 209 207 211 9th 200 205 206 205 209 10th 187 190 199 191 205 11th 163 179 193 177 197 phương pháp khác dựa kết công bố tập liệu Phương pháp đề xuất cho kết tốt dựa tổng số sai lệch đứng tốp 10 sở liệu Kimia’s 99 đứng tốp 11 sở liệu Kimia’s 216 Những kết ghi nhận 34, 32, 51, 28, 22 sở liệu Kimia’s 99 132, 95, 100, 67, 48 sở liệu Kimia’s 216 Graph Edit-distance, Inner Distance, Path Similarity, Distortion-free Embedding phương pháp đề xuất tương ứng Bên cạnh đó, luận án thực nghiệm phương pháp đề xuất tập liệu MPEG-7 Bảng 2.3 liệt kê kết công bố tập liệu phương pháp khác nhau, phương pháp đề xuất cho độ xác cao Bảng 2.3: Hiệu tra cứu số phương pháp tập liệu MPEG7 Phương pháp Score % 2.4 IDSC + DP 85.40 Shock Edit 87.70 Path similarity 86.70 Đề xuất 89.05 Kết luận chương Chương này, luận án đề xuất kỹ thuật cải tiến để xây dựng độ đo tương tự hình dạng dựa đối sánh đồ thị xương với kết sau: - Luận án phát biểu mô hình siêu đồ thị xương để biểu diễn mối quan hệ liên quan đỉnh đồ thị xương với đỉnh xem đỉnh trọng tâm tạo siêu cạnh đỉnh hai láng giềng gần tạo thành cụm bậc ba Sau thuộc tính tam giác sử dụng để mô tả đặc trưng cho đỉnh Với cách biểu diễn tạo độ đo tương tự bất biến với phép biến đổi affine tỷ lệ - Thủ tục đối sánh hai đồ thị xương dựa phát biểu toán đối sánh siêu đồ thị Để ước lượng tương quan hai đồ thị xương, luận án sử dụng lược đồ bước ngẫu nhiên cập nhật trọng số Với mô hình này, độ tương tự hình dạng tính toán xác xem xét tới cấu trúc không gian xương biểu diễn hình dạng - Luận án thực thực nghiệm để so sánh phương pháp đề xuất với phương pháp đối sánh sử dụng đồ thị xương hai tập liệu Kimia tập liệu MPEG-7 Bên cạnh đó, số phương pháp khác sử dụng cho đối sánh hình dạng xem xét so sánh luận án Trong thực nghiệm, độ xác đối sánh phương pháp đề xuất cao phương pháp khác Kết chương công bố công trình CT1, CT2, CT3 CT6 12 Chương Tích hợp đặc trưng phản hồi liên quan 3.1 Giới thiệu Trong hệ thống CBIR, hình ảnh sưu tập xếp hạng theo độ tương tự với truy vấn dựa độ đo tương tự đặc trưng thị giác mức thấp màu sắc, kết cấu hình dạng Mỗi đặc trưng thị giác thường mô tả khía cạnh nội dung ảnh, kết hợp nhiều đặc trưng thị giác mô tả nội dung ảnh cách đầy đủ Những phương pháp kết hợp đặc trưng phân thành hai loại, hợp đặc trưng kết hợp đặc trưng Các phương pháp hợp kết hợp nhiều đặc trưng trực quan để tạo thành véc tơ đặc trưng độ đo tương tự ảnh đo khoảng cách đặc trưng sử dụng độ đo thống Những phương pháp sử dụng phổ biến hệ thống CBIR thuận tiện tính toán phân tích toán học Ngược lại, phương pháp kết hợp, tích hợp nhiều độ đo khoảng cách không gian đặc trưng riêng biệt thành độ đo toàn Những độ đo đặc biệt thiết kế cho đặc trưng thị giác khác để phù hợp với tương tự chúng Kết hợp đặc trưng kỹ thuật đầy hứa hẹn cho việc đo độ tương tự CBIR Trong cách tiếp cận kết hợp đặc trưng, khoảng cách đặc trưng ảnh sở liệu ảnh với ảnh truy vấn đo không gian đặc trưng riêng chúng Khoảng cách này, sau kết hợp thành độ đo tương tự tổng thể ảnh sở liệu xếp theo độ tương tự Do hiệu tra cứu phụ thuộc lớn vào mô hình kết hợp sử dụng Chương trình bày hướng tiếp cận sử dụng phản hồi liên quan để kết hợp phương pháp kết hợp nhiều độ đo tương tự dựa phản hồi liên quan CBIR Trong tiếp cận này, độ đo tương tự toàn hai ảnh tính toán kết 13 hợp không cộng tính độ tương tự đặc trưng thành phần sử dụng tích phân Choquet Các trọng số quan trọng định nghĩa không cho đặc trưng riêng lẻ mà định nghĩa cho tất kết hợp chúng nhờ thuật toán đơn hình tối ưu hàm mục tiêu tuyến tính dựa thông tin phản hồi người dùng Do vậy, độ đo tương tự toàn kết hợp phản ảnh phù hợp hơn với mục tiêu truy vấn người dùng 3.2 Phương pháp đề xuất Gọi F = {ft }T t=1 tập n không gian đặc trưng sử dụng hệ thống CBIR Ở đây, ft vecto đa chiều biểu diễn không gian đặc trưng màu sắc, kết cấu, hình dạng (Để ngắn gọn từ đến cuối chương, không gian đặc trưng gọi tắt đặc trưng) Gọi F q F j hai véc tơ đặc trưng biểu diễn hai ảnh q, j cần so sánh Định nghĩa 3.2.1 Độ đo tương tự đa đặc trưng hai ảnh q j, ký hiệu SimT (q, j) định nghĩa sau:: SimT (q, j) = Φ Ở đây, Simt ftq , ftj Simt ftq , ftj |t = T (3.1) độ đo tương tự ảnh truy vấn ảnh j theo đặc trưng tth , Φ hàm kết hợp độ tương tự đặc trưng thành độ đo tương tự tổng thể Hàm kết hợp sử dụng phổ biến hệ thống CBIR trung bình số học có trọng số Hàm định nghĩa sau: T Φ Simt ftq , ftj |t = T λt Simt ftq , ftj = (3.2) t=1 T Với t λt = 1, and λt ≥ 0, ∀t = T Tuy nhiên, hàm không đủ linh hoạt coi đặc trưng độc lập, tương tác lẫn Trong công việc này, Luận án đề xuất sử dụng tích phân Choquet với độ đo mờ để định nghĩa hàm kết hợp Φ hàm tương tự đặc trưng xem thông tin nguồn độ liên quan đặc trưng xem mật độ mờ sử dụng tích phân Choquet Do đó, công thức 3.1 viết lại sau: def SimT (q, j) = Choquetµ (q, j) = T Simt(i) ftq , ftj − Simt(i−1) ftq , ftj (3.3) i=1 ×µ ({fi , , fT }) Ở đây, {ti }1≤i≤T nghĩa số đặc trưng hoán vị cho: Simt1 ftq , ftj ≤ ≤ Simt(T ) ftq , ftj , quy ước Simt0 ftq , ftj 14 = Kí hiệu µ(.) biểu diễn độ liên quan đặc trưng thỏa mãn ràng buộc độ đo mờ:   {µ(A)}A∈2{1,2, ,T} , ∀A ∈ 2{1,2, ,T} , ≤ µ(A) ≤   µ(∅) = 0, µ ({1, 2, T }) = (3.4)   max {µ(B)} ≤ µ(A)  ∀A ∈ 2{1,2, ,T} , A = ∅, B⊂A,|B|=A−1 Để sử dụng tích phân Choquet, cần phải tìm 2n − giá trị độ đo mờ µg (2 giá trị cố định µ {∅} = 0, µ {color, texture, shape} = 1) Tuy nhiên, việc ước lượng giá trị độ đo mờ khó khăn số biến n tăng cao Đã có nhiều phương pháp đề xuất để xác định độ đo mờ này, hầu hết chúng phát biểu dạng toán tối ưu Tính hữu dụng phương pháp phụ thuộc vào nhiều yếu tố như: kiểu liệu đầu vào, số lượng biến liệu đầu vào số giá trị độ đo mờ cần sử dụng Trong luận án, học trọng số liên quan tiếp cận theo hướng giải toán tối ưu đa mục tiêu có ràng buộc với hàm mục tiêu xây dựng theo ngữ cảnh độ lệch nhỏ Bằng cách này, ước lượng độ liên quan chuyển thành toán quy hoạch tuyến tính để giải nhanh thuật toán đơn hình 3.3 Thực nghiệm Luận án đánh giá hiệu phương pháp đề xuất hai tập liệu: Tập liệu Caltech101 tập liệu Corel15K Các tập liệu tổ chức thành lớp ngữ nghĩa theo cách người nhận thức độ tương tự, ảnh lớp xem liên quan không lớp xem không liên quan Để đánh giá hiệu phương pháp đề xuất, luận án dựa hai tiêu chí: Hiệu việc học trọng số quan trọng đặc trưng hiệu mô hình kết hợp có xét đến tương tác đặc trưng Với tiêu chí thứ nhất, luận án so sánh phương pháp đề xuất với phương pháp sử dụng tích phân Choquet với độ đo Sugeno để kết hợp Hình 3.1 3.2 kết so sánh theo tiêu chí với giá trị MAP phạm vi 20, 40, 60, 80 100 ảnh tra cứu sau bốn vòng phản hồi liên quan từ người dùng hai tập liệu Kết cho thấy, sử dụng phương pháp đề xuất việc học trọng số tương tác đặc trưng đem lại hiệu vượt trội so với phương pháp sử dụng độ đo Sugeno Kết phương pháp đề xuất, tương tác đặc trưng xem xét đầy đủ dựa mô hình học suốt trình phản hồi người dùng, vậy, trọng số quan trọng đặc trưng tương tác cập nhật phản ảnh mục tiêu người dùng cách sát Điều sử dụng độ đo Sugeno độ đo học độ quan trọng đặc trưng đơn dựa hệ số λ ước lượng để xác định tất độ đo tương tác đặc trưng, nghĩa coi tương tác đặc trưng theo cách Các kết so sánh theo tiêu chí hình 3.3, hình 3.4 Trong trường hợp, phương pháp đề xuất cho kết tốt phương pháp khác Như phân tích phần trên, mô hình kết hợp dựa tích phân Choquet xem xét tới 15 Number of feedback iterations: Number of feedback iterations: 0.5 ChoquetSugeno OurMethod 0.4 Mean Average Precision Mean Average Precision 0.5 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 ChoquetSugeno OurMethod 0.4 0.3 0.2 0.1 100 20 40 Number of feedback iterations: 0.7 80 100 0.7 ChoquetSugeno OurMethod 0.6 Mean Average Precision Mean Average Precision 60 Top of Returned Image Number of feedback iterations: 0.5 0.4 0.3 0.2 0.1 ChoquetSugeno OurMethod 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 40 60 Top of Returned Image 80 100 Hình 3.1: Hiệu tra cứu sử dụng độ đo mờ khác tập liệu Caltech101 Number of feedback iterations: Number of feedback iterations: 0.7 ChoquetSugeno OurMethod 0.6 Mean Average Precision Mean Average Precision 0.7 0.5 0.4 0.3 0.2 0.1 ChoquetSugeno OurMethod 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 Number of feedback iterations: 80 100 0.8 ChoquetSugeno OurMethod ChoquetSugeno OurMethod 0.7 Mean Average Precision 0.7 Mean Average Precision 60 Top of Returned Image Number of feedback iterations: 0.8 0.6 0.5 0.4 0.3 0.2 0.1 40 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 40 60 Top of Returned Image 80 100 Hình 3.2: Hiệu tra cứu sử dụng độ mờ khác tập liệu Corel15K Number of feedback iterations: Number of feedback iterations: 0.7 EMR−WS EMR−Prob EMR−OurMethod 0.4 Mean Average Precision Mean Average Precision 0.5 0.3 0.2 0.1 EMR−WS EMR−Prob EMR−OurMethod 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 Number of feedback iterations: 80 100 0.7 EMR−WS EMR−Prob EMR−OurMethod 0.6 Mean Average Precision Mean Average Precision 60 Top of Returned Image Number of feedback iterations: 0.7 0.5 0.4 0.3 0.2 0.1 40 EMR−WS EMR−Prob EMR−OurMethod 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 40 60 Top of Returned Image 80 100 Hình 3.3: Hiệu tra cứu sử dụng mô hình kết hợp khác tập liệu Caltech101 16 Number of feedback iterations: Number of feedback iterations: 0.8 EMR−WS EMR−Prob EMR−OurMethod 0.6 0.5 0.4 0.3 0.2 0.1 EMR−WS EMR−Prob EMR−OurMethod 0.7 Mean Average Precision Mean Average Precision 0.7 0.6 0.5 0.4 0.3 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 Number of feedback iterations: 60 Top of Returned Image 80 100 Number of feedback iterations: 0.8 0.6 Mean Average Precision EMR−WS EMR−Prob EMR−OurMethod 0.7 Mean Average Precision 40 0.5 0.4 0.3 0.2 EMR−WS EMR−Prob EMR−OurMethod 0.8 0.6 0.4 0.2 0.1 20 40 60 Top of Returned Image 80 100 20 40 60 Top of Returned Image 80 100 Hình 3.4: Hiệu tra cứu sử dụng mô hình kết hợp khác tập liệu Corel15K tất mối tương tác tập đặc trưng, nên kết hợp phản ảnh đầy đủ mối quan hệ tương tác đặc trưng, điều thường gặp hệ thống tra cứu có tương tác với người dùng Đặc biệt ảnh xuất nhiều khái niệm ngữ nghĩa tập liệu Corel15K, phương pháp tỏ hiệu hình 3.4 Việc tính toán trọng số tương tác phức tạp phải xét tới tất mối tương tác Tuy nhiên, phương pháp đề xuất sử dụng mô hình kết hợp độ tương tự đa đặc trưng thay kết hợp độ tương tự thành phần đặc trưng, nên vấn đề khắc phục 3.4 Tổng kết chương Chương trình bày tiếp cận xây dựng độ đo tương tự dựa kết hợp nhiều đặc trưng sử dụng tích phân Choquet với phản hồi liên quan Trong cách tiếp cận này, thông tin phản hồi từ người dùng mô hình hóa tập mờ sử dụng để học trọng số liên quan đặc trưng Các trọng số liên quan sau sử dụng hàm mật độ mờ tích phân Choquet để định nghĩa độ đo tương tự tổng thể Để ước lượng độ liên quan đặc trưng, luận án đề xuất tiếp cận theo hướng giải toán tối ưu đa mục tiêu có ràng buộc với hàm mục tiêu xây dựng theo ngữ cảnh độ lệch nhỏ Theo cách này, ước lượng độ liên quan đặc trưng chuyển thành toán quy hoạch tuyến tính giải nhanh phương pháp đơn hình Bên cạnh đó, trọng số liên quan điều chỉnh cho đặc trưng, thay cho đặc trưng riêng lẻ tạo độ đo tương tự thể sát với mong muốn người dùng Do độ xác tra cứu tăng lên tốt phương pháp khác Kết chương công bố công trình CT7 17 Chương Học chủ động SVM dựa phản hồi liên quan 4.1 Giới thiệu SVM học chủ động kỹ thuật thành công phổ biến cho phản hồi liên quan ứng dụng tra cứu ảnh dựa nội dung SVM học chủ động xem ảnh gần với đường biên định ảnh chứa nhiều thông tin chúng lựa chọn người dùng gán nhãn vòng phản hồi liên quan Mặc dù thành công, hiệu SVM học chủ động cổ điển thường bị hạn chế số mẫu gán nhãn Vấn đề thường gặp phải trường hợp phản hồi liên quan Để giải vấn đề này, gần có số đề xuất nhà nghiên cứu Hoi cộng đề xuất mô hình SVM học chủ động bán giám sát Phương pháp trước hết xây dựng hàm nhân học hỗn hợp liệu gán nhãn chưa gán nhãn Sau đó, kernel sử dụng để học hàm phân lớp cho học chủ động thông qua toán tối ưu min-max Wang cộng đề xuất mô hình phân lớp SVM kết hợp cho CBIR với phản hồi liên quan sử dụng ước lượng tham số kỳ vọng cực đại Trong phương pháp này, mô hình SVM bất đối xứng trước tiên sử dụng để cải thiện tính ổn định phân lớp SVM cân huấn luyện Sau đó, SVM không gian ngẫu nhiên sử dụng để khắc phục vấn đề khớp liệu huấn luyện Cuối cùng, SVM tích hợp hình thành từ SVM bất đối xứng SVM không gian ngẫu nhiên sử dụng ước lượng tham số kỳ vọng cực đại Zhang cộng đề xuất sơ đồ học chủ động SVM với mô hình lựa chọn động mẫu cho học chủ động Việc lựa chọn thực bước, sử dụng nhãn mẫu lựa chọn trước để hướng dẫn lựa chọn mẫu Các mẫu phản hồi xác đinh đường biên phân lớp ví dụ gán nhãn trước Trong phương pháp giới thiệu, việc 18 lựa chọn mẫu để người dùng gán nhãn vòng lặp phản hồi xác định đường biên định SVM Tuy nhiên, vòng lặp ban đầu, đường biên định SVM không xác thiếu mẫu huấn luyện Do vậy, việc xếp hạng kết lựa chọn các ảnh chứa nhiều thông tin dựa đường biên định không hiệu Trong trường hợp này, kết hợp với độ đo tương tự đặc trưng mức thấp tốt để xếp hạng kết dùng để lựa chọn mẫu thông tin cho người dùng gán nhãn Trong phần này, luận án đề xuất phương pháp phản hồi chủ động dựa SVM sử dụng kết hợp với phương pháp láng giềng gần Thứ nhất, luận án lựa chọn ảnh chứa nhiều thông tin cho người sử dụng gán nhãn cách sử dụng hàm xếp hạng kết hợp thay sử dụng hàm định SVM phương pháp truyền thống Cụ thể, luận án kết hợp hàm định SVM với độ đo tương tự láng giềng gần để tạo thành hàm lựa chọn Với giúp đỡ hàm xếp hạng kết hợp này, ảnh hưởng thiếu hụt liệu học SVM khắc phục, hiệu suất tra cứu tăng lên đáng kể 4.2 4.2.1 Phương pháp đề xuất Phát biểu toán Trong hệ thống tra cứu ảnh dựa nội dung, phản hồi liên quan phát biểu toán học chủ động Ở đây, ảnh chứa nhiều thông tin chưa gán nhãn lựa chọn để xây dựng tập huấn luyện để cập nhật đường biên định Ký hiệu L = {(x1 , y1 ), , (xl , yl )} l ảnh gán nhãn thông qua trình phản hồi liên quan từ người dùng, U = {xl+1 , , xl+u } u ảnh chưa gán nhãn với xi ∈ Rd biểu diễn ảnh véc-tơ d chiều Ký hiệu S tập k ảnh chưa gán nhãn để người dùng lựa chọn vòng phản hồi, risk(f, S, L, U ) hàm thử dựa phân lớp f Lựa chọn ảnh chưa gán nhãn cho phản hồi liên quan phát biểu toán tối ưu: S ∗ = arg risk(f, S, L, U ) (4.1) S⊆U ∧|S|=k 4.2.2 Xây dựng hàm lựa chọn tập huấn luyện Như tình bày trên, phương pháp SVM chủ động lựa chọn ảnh gần đường biên định Với truy vấn, sau đường biên định học, ảnh gần với đường biên định dùng để người dùng lựa chọn gán nhãn Tuy nhiên, vòng lặp ban đầu, đường biên định không xác thiếu mẫu huấn luyện mẫu huấn luyện âm nhiều mẫu huấn luyện dương Do vậy, việc xếp hạng kết lựa chọn mẫu để xây dựng tập huấn luyện dựa đường biên định không hiệu Trong trường hợp này, kết hợp với độ đo tương tự đặc trưng mức thấp tốt để xếp hạng kết 19 dùng để lựa chọn mẫu để xây dựng tập huấn luyện có khả thay đổi đường biên định SVM Ký hiệu DE(xi ) khoảng cách ảnh i so với đường biên định SVM Khoảng cách định nghĩa bởi: DE(xi ) = |f (xi )| = |(wT xi + b)| (4.2) với w b véc-tơ chuẩn bias siêu phẳng phân tách tương ứng, xi véc tơ đặc trưng biểu diễn ảnh i Gọi DS(xi ) độ đo khoảng cách ảnh i với ảnh truy vấn Khoảng cách định nghĩa bởi:   x −x if f (xi ) ≥ c i (4.3) DS(xi ) = ∞ ngược lại với xi − xc khoảng cách Ơ-cơ-lit ảnh i ảnh c Hàm lựa chọn ảnh thứ i định nghĩa sau: DSE(xi ) = Nrel Nrel DE(xi ) + (1 − )DS(xi ) Nrel + Nnonrel Nrel + Nnonrel (4.4) Ở đây, Nrel tổng số ảnh liên quan Nnonrel tổng số ảnh không liên quan vòng phản hồi Cả DE, DS chuẩn hóa để phần tử nằm khoảng [0,1] Trong luận án,Hàm lựa chọn ảnh cho gán nhãn định nghĩa sau: x∗ = arg DSE(x) (4.5) x∈U Thủ tục lựa chọn ảnh để xây dựng tập huấn luyện mô tả tóm tắt Thuật toán 4.3 Thực nghiệm Trong thí nghiệm này, luận án sử dụng tập liệu Corel Photo Gallery tổ chức thành nhóm đồng để đánh giá hiệu phương pháp đề xuất Ba kiểu đặc trưng sử dụng thực nghiệm: Màu sắc, kết cấu hình dạng Mô men màu biểu diễn véc-tơ chiều cho đặc trưng màu, véc-tơ đặc trưng chiều biểu diễn kết cấu, véc-tơ đặc trưng 18 chiều biểu diễn đặc trưng cạnh Tất đặc trưng kết hợp thành véc-tơ đặc trưng 36 chiều sau chúng chuẩn hóa thành phân bố chuẩn để loại bỏ ảnh hưởng co dãn Khoảng cách Ơ-cơ-lit sử dụng để để tính toán độ tương tự ảnh Trong thí nghiệm, 200 truy vấn lựa chọn ngẫu nhiên từ sở liệu ảnh sau phản hồi liên quan thực tự động máy tính Tại vòng phản hồi, 20 kết tra cứu kiểm tra tất ảnh không gán 20 Algorithm : Học chủ động với SVM Input: L, U /* Dữ liệu gán nhãn chưa gán nhãn */ k,K /* Số ảnh lựa chọn hàm nhân cho SVM, */ Output: Danh sách ảnh lựa chọn cho gán nhãn S Procedure: 1: Huấn luyện phân lớp SVM: f ∗ = SV M T rain(L, K); 2: Tính toán DE = (|f ∗ (xl+1 )|, , |f ∗ (xn )|); theo công thức (4.2) 3: Tính toán DS = (DS(xl+1 ), , DS(xn )); theo công thức (4.3) 4: S = φ; 5: while |S| k 6: for each xj ∈ U Nrel Nrel DE(xj ) + (1 − N +N )DS(xj ) 7: DSE(xj ) = N +N rel nonrel rel nonrel 8: end for 9: x∗ = arg minx∈U DSE(x); 10: S ← S ∪ {x∗ }; 11: U ← U {x∗ }; 12: end while 13: return S nhãn bên phạm vi xem xét tự động gán nhãn sử dụng liệu thực để minh họa phản hồi người dùng Tất ảnh gán nhãn vòng lặp phản hồi sử dụng để huấn luyện mô hình Độ đo Average Precision sử dụng để đánh giá hiệu thuật toán Hình 4.1: Mối quan hệ average AP số ảnh trả về: (a) Vòng phản hồi thứ nhất, (b) vòng phản hồi thứ hai, (c) vòng phản hồi thứ ba (d) vòng phản hồi thứ tư 21 Luận án thực thực nghiệm để tính hiệu phương pháp đề xuất so sánh hiệu với phương pháp phản hồi liên quan Kết hình 4.1 hình 4.2 biến thiên giá trị AP theo số vòng lặp phản hồi Phương pháp đề xuất cho kết tốt từ vòng lặp phản hồi Tuy nhiên số vòng lặp tăng lên, kết phương pháp gần tiệm cận Điều số vòng lặp tăng lên số ảnh gán nhãn tăng lên, đó, độ đo dựa vào láng giềng gần không nhiều tác dụng độ xác phụ thuộc vào phân lớp SVM Hình 4.2: Mối quan hệ average AP số lần lặp: (a) hai mươi ảnh trả về, (b) bốn mươi ảnh trả về, (c) sáu mươi ảnh trả về, (d) tám mươi ảnh trả 4.4 Tổng kết chương Trong chương này, luận án đề xuất phương pháp pháp phản hồi chủ động để xây dựng tập huấn luyện hiệu cho SVM CBIR Điều kiện để lựa chọn ảnh để xây dựng tập huấn luyện SVM định nghĩa dựa kết hợp hàm định SVM với độ đo tương tự láng giềng gần Với điều kiện này, luận án giải hạn chế SVM thiếu hụt liệu huấn luyện tra cứu ảnh để tăng độ xác tra cứu từ vòng lặp ban đầu Các thực nghiệm thực để so sánh hiệu phương pháp đề xuất với ba phương pháp phản hồi liên quan khác Ngay vòng phản hồi thứ nhất, thứ hai, thứ ba, phương pháp đề xuất cho kết tra cứu cao phương pháp khác Kết chương công bố công trình CT4 CT5 22 Kết luận Luận án trình bày khái quát vấn đề CBIR Trên sở khảo sát phân tích nghiên cứu liên quan, luận án tập trung nghiên cứu hai vấn đề tra cứu ảnh xây dựng độ đo tương tự thu hẹp khoảng cách ngữ nghĩa dựa RF Các kết đạt luận án tóm tắt sau: - Đề xuất cải tiến kỹ thuật đối sánh hình dạng dựa đối sánh đồ thị xương nhằm tăng độ xác Trong đề xuất này, mối quan hệ không gian đỉnh đồ thị xương kết hợp để xây dựng độ tương tự đỉnh thay sử dụng độ đo cặp đề xuất Bai Độ tương tự đỉnh xây dựng dựa mối quan hệ ba tạo khả bất biến với phép biến đổi affine tỷ lệ Bài toán đối sánh hai đồ thị xương, sau phát biểu ngữ cảnh đối sánh siêu đồ thị giải giải pháp xếp hạng siêu đồ thị kết hợp thông qua thuật toán bước ngẫu nhiên Với mô hình này, độ tương tự hình dạng tính toán xác xét tới cấu trúc không gian xương biểu diễn hình dạng - Đề xuất mô hình xây dựng độ tương tự kết hợp nhiều đặc trưng tra cứu ảnh với phản hồi liên quan Đề xuất dựa mô hình toán học sử dụng rộng rãi hệ thống hỗ trợ định Trong mô hình này, thông tin phản hồi từ người dùng mô hình hóa tập mờ sử dụng để học trọng số liên quan đặc trưng Các trọng số liên quan sau sử dụng hàm mật độ mờ tích phân Choquet để kết hợp độ đo tương tự đặc trưng thành phần thành độ đo chung Trong đề xuất, học độ liên quan đặc trưng phát biểu theo toán tối ưu đa mục tiêu có ràng buộc với hàm mục tiêu tuyến tính Trọng số liên quan điều chỉnh cho đặc trưng có xét đến mức độ tương tác chúng, thay cho đặc trưng riêng lẻ tạo độ đo tương tự thể sát với mong muốn người dùng Do vậy, độ xác tra cứu tăng lên - Trong CBIR, RF thường sử dụng để thu hẹp khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao dựa việc học từ thông tin phản hồi từ người dùng Hiệu phương pháp RF phụ thuộc vào việc thiết kế chiến lược xây dựng tập huấn luyện phù hợp với mô hình học Luận án đề xuất phương pháp pháp phản hồi chủ động để xây dựng tập huấn luyện hiệu cho SVM CBIR Điều kiện lựa chọn ảnh để xây dựng tập huấn luyện cho SVM định nghĩa dựa kết hợp hàm định SVM với độ đo tương tự láng giềng gần Điều kiện cho phép chọn ảnh chứa nhiều thông tin để xây dựng tập huấn luyện, cải thiện hiệu phân lớp SVM Do vậy, độ xác tra cứu tăng lên từ vòng lặp ban đầu 23 NHỮNG ĐÓNG GÓP MỚI CỦA LUẬN ÁN 1) Kỹ thuật đối sánh hình dạng đối tượng cải tiến dựa đối sánh siêu đồ thị xương nhằm tăng độ xác tìm kiếm ảnh theo nội dung 2) Mô hình kết hợp nhiều đặc trưng việc xây dựng độ đo tương tự để thu hẹp khoảng cách ngữ nghĩa tra cứu ảnh 3) Kỹ thuật lựa chọn liệu học chủ động với phản hồi liên quan để tăng độ xác tra cứu ảnh theo nội dung với vòng phản hồi DANH MỤC CÔNG TRÌNH CỦA TÁC GIẢ CT1 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Applying Random Walks for Shape Matching”, Kỷ yếu hội thảo Quốc gia lần thứ 15 “Một số vấn đề chọn lọc Công nghệ thông tin truyền thông”, Hà Nội, 12-2012 CT2 Ngô Trường Giang, Ngô Quốc Tạo, Nguyễn Đức Dũng, “Shape Similarity Based on Skeleton Hyper-Graph Matching” Hội nghị quốc gia lần thứ VI “Nghiên cứu ứng dụng Công nghệ thông tin – FAIR(Fundamental and Applied IT Research)”, Huế, 6-2013 CT3 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Skeleton Based Shape Matching Using Reweighted Random Walks” Proc of IEEE on 9th International Conference on Information, Communications and Signal Processing (ICICS), pp 1-5, Dec, 2013 CT4 Giang, N.T., Tao, N.Q., Dung, N.D and The, N.T., “Batch Mode Active Learning for Interactive Image Retrieval”, Proc of IEEE on International Symposium on Multimedia (ISM 2014) CT5 Giang, N.T., Tao, N.Q., Dung, N.D , “Image Retrieval with Relevance Feedback using SVM Active Learning” International Journal of Electrical and Computer Engineering, Vol.6, No.6, 2016, (Scopus) CT6 Giang, N.T.,The, N.T., Tao, N.Q., Dung, N.D., Chu, S.C., “Similarity Shape Based on Skeleton Graph Matching” Journal of Information Hiding and Multimedia Signal Processing, Vol.7, No.6, 2016, (Scopus) CT7 Giang, N.T., Tao, N.Q., Dung, N.D , Huy, N.H, “Learning Interaction Measure with Relevance Feedback in Image Retrieval” Journal of Computer Science and Cybernetics, Vol.32, No.2, 2016 24 ... huấn luyện hiệu dựa thông tin phản hồi từ người dùng để cải thiện hiệu tra cứu Chương Tra cứu ảnh dựa nội dung 1.1 Tra cứu ảnh dựa nội dung Tra cứu ảnh dựa nội dung nhằm mục đích tìm kiếm ảnh việc... cảm nhận độ tương tự Làm để kết hợp đặc trưng cách hiệu nghiên cứu luận án 1.3 Phản hồi liên quan CBIR Trong tra cứu ảnh dựa nội dung (CBIR), ảnh đánh mục tra cứu dựa nội dung trực quan chúng,... triển độ đo hiệu cho ứng dụng cụ thể Luận án nghiên cứu phương pháp xây dựng độ đo tương tự cho mục đích 1.2 Kết hợp đa đặc trưng để đo độ tương tự Kết hợp đặc trưng nhằm mục đích đo độ tương tự ảnh