Học bán giám sát trên đồ thị với ứng dụng tra cứu ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG ISO 9001:2008 TRỊNH KHẮC DŨNG LUẬN VĂN THẠC SĨ NGÀNH HỆ THỐNG THÔNG TIN Hải Phòng - 2016 i BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG TRỊNH KHẮC DŨNG HỌC BÁN GIÁM SÁT TRÊN ĐỒ THỊ VỚI ỨNG DỤNG TRA CỨU ẢNH LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 60 48 01 04 NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS Ngô Quốc Tạo ii MỤC LỤC LỜI CẢM ƠN v LỜI CAM ĐOAN vi DANH MỤC CHỮ VIẾT TẮT vii DANH MỤC HÌNH VẼ viii DANH MỤC BẢNG BIỂU ix MỞ ĐẦU x CHƢƠNG 1: KHÁI QUÁT VỀ CBIR VÀ HỌC TRÊN ĐỒ THỊ 1.1 Tra cứu ảnh dựa nội dung với phản hồi liên quan 1.1.1 Giới thiệu 1.1.2 Kiến trúc tổng quan hệ thống CBIR với phản hồi liên quan 1.1.3 Các kỹ thuật phản hồi liên quan 1.2 Học máy thống kê 1.2.1 Một số khái niệm 1.2.2 Các phương pháp học máy 10 1.3 Học đồ thị 15 1.3.1 Giới thiệu 15 1.3.2 Xây dựng đồ thị 16 1.3.3 Phân tích đồ thị 17 1.3.4 Các mô hình học dựa đồ thị 23 CHƢƠNG 2: TRA CỨU ẢNH DỰA TRÊN XẾP HẠNG ĐA TẠP 34 2.1 Thuật toán lan truyền nhãn 34 2.1.1 Ký hiệu 34 2.1.2 Nội dung thuật toán 34 2.1.3 Sự hội tụ thuật toán 36 2.1.4 Phương pháp xác định siêu tham số đồ thị 38 2.1.5 Độ phức tạp thuật toán 40 2.2 CBIR dựa Xếp hạng đa tạp 41 2.2.1 Giới thiệu 41 2.2.2 Học truyền dẫn CBIR 42 2.2.3 Học truyền dẫn với phản hồi liên quan 44 iii 2.3 Kỹ thuật xếp hạng đa tạp cải tiến 47 2.3.1 Giới thiệu 47 2.3.2 Xây dựng đồ thị 48 2.3.3 Tính toán xếp hạng 52 2.3.4 Phân tích độ phức tạp 54 CHƢƠNG 3: THỰC NGHIỆM 56 3.1 Môi trường thực nghiệm 56 3.1.1 Cơ sở liệu 56 3.1.2 Trích chọn đặc trưng 56 3.2 Mô tả chương trình thực nghiệm 57 3.2.1 Mở ảnh truy vấn 57 3.2.2 Tra cứu ảnh 58 3.2.3 Phản hồi liên quan 59 3.3 Đánh giá hiệu 60 3.3.1 Đánh giá qua độ xác với ảnh trả khác 60 3.3.2 Đánh giá qua khảo sát tập liệu khác 62 3.3.3 Đánh giá thời gian thực 63 KẾT LUẬN 65 TÀI LIỆU THAM KHẢO 67 iv LỜI CẢM ƠN Trước tiên, em xin bày tỏ lòng biết ơn sâu sắc tới PGS.TS Ngô Quốc Tạo, Viện Công nghệ Thông tin thuộc Viện Khoa học Công nghệ Việt Nam cán trực tiếp hướng dẫn khoa học cho em trình thực luận văn Em xin chân thành cảm ơn Th.S Ngô Trường Giang, Khoa Công nghệ thông tin trường Đại học Dân lập Hải Phòng tận tình giúp đỡ đóng góp ý kiến quý báu suốt trình hoàn thành luận văn Xin trân trọng cảm ơn Thầy cô Trường Đại Học Dân Lập Hải Phòng, đặc biệt Thầy Cô khoa Công Nghệ Thông Tin nhà trường tận tình bảo, giúp đỡ em suốt thời gian học tập nhà trường trình làm luận văn Bên cạnh đó, để hoàn thành luận văn này, em nhận nhiều giúp đỡ, lời động viên quý báu bạn bè, gia đình đồng nghiệp Em xin chân thành cảm ơn Tuy nhiên, thời gian hạn hẹp, nỗ lực mình, luận văn khó tránh khỏi thiếu sót Em mong nhận thông cảm bảo tận tình quý thầy cô bạn Hải Phòng, ngày tháng năm 2016 HỌC VIÊN Trịnh Khắc Dũng v LỜI CAM ĐOAN Tôi xin cam đoan kết đạt luận văn sản phẩm nghiên cứu thân thực hướng dẫn Giáo viên hướng dẫn khoa học Trong toàn nội dung luận văn, điều trình bày cá nhân tôi, tổng hợp từ nhiều nguồn tài liệu Tất tài liệu tham khảo trích dẫn hợp pháp xuất xứ rõ ràng Tôi xin chịu hoàn toàn trách nhiệm với nội dung viết luận văn Hải Phòng, ngày tháng năm 2016 HỌC VIÊN Trịnh Khắc Dũng vi DANH MỤC CHỮ VIẾT TẮT Stt Từ viết tắt Mô tả ARE Augmented Relation Embedding CBIR Content-Based Image Retrieval CRF Conditional Random Field EMR Efficient Manifold Ranking k-NN k-Nearest Neighbor LGRM Local and Global Regressive Mapping MDP Markov Decision Process MR Manifold Ranking MRBIR Manifold Ranking Based Image Retrieval 10 MRF Markov Random Field 11 RF Relevance Feedback 12 SVM Support Vector Machine 13 TSVM Transductive Support Vector Machine vii DANH MỤC HÌNH VẼ Hình 1-1: Kiến trúc tổng quan hệ thống tra cứu ảnh dựa nội dung Hình 1-2: Mô hình tổng quát hệ thống CBIR với phản hồi liên quan Hình 1-3: Minh họa Phân cụm liệu 12 Hình 1-4: Sơ đồ trình thực Học bán giám sát 15 Hình 1-5: chuỗi cấu trúc MRF 20 Hình 1-6: chuỗi cấu trúc CRF 20 Hình 2-1: Đồ thị với trọng số cạnh 34 Hình 2-2: Ví dụ minh họa ưu điểm kỹ thuật đa tạp 42 Hình 3-1: Tập sở liệu ảnh COREL 56 Hình 3-2: Giao diện chọn ảnh truy vấn chương trình 57 Hình 3-3: Giao diện hiển thị ảnh truy vấn 58 Hình 3-4: Giao diện hiển thị kết tra cứu ảnh ban đầu 58 Hình 3-5: Giao diện người dùng chọn ảnh liên quan 59 Hình 3-6: Giao diện hiển thị kết sau phản hồi 60 Hình 3-7: Biểu đồ so sánh độ xác số ảnh lấy ngẫu nhiên sau vòng phản hồi 62 Hình 3-8: Biểu đồ so sánh tập sở liệu Caltech 63 Hình 3-9: Biểu đồ so sánh thời gian thực 64 viii DANH MỤC BẢNG BIỂU Bảng 1: Độ xác số ảnh lấy ngẫu nhiên sở liệu sau lần phản hồi 61 Bảng 2: So sánh độ xác trung bình số lượng ảnh lấy ngẫu nhiên [20,40,60,80,100] ảnh CSDL sau lần phản hồi 61 Bảng 3: Kết khảo sát tập sở liệu Caltech 62 Bảng 4: So sánh thời gian thực phương pháp tập CSDL63 ix MỞ ĐẦU Trong tra cứu ảnh dựa nội dung, đặc trưng trích chọn cách tự động cách sử dụng kỹ thuật thị giác máy chủ yếu đặc trưng mức thấp thấp (màu, kết cấu, hình dạng, vị trí không gian…)[4] Mặc dù nhiều thuật toán phức tạp thiết kế để mô tả màu sắc, hình dáng đặc trưng kết cấu, thuật toán phản ánh thỏa đáng ngữ nghĩa ảnh Do vậy, khoảng cách ngữ nghĩa đặc trưng mức thấp khái niệm mức cao lớn nên hiệu suất CBIR xa với mong đợi người dùng [9] Để thu hẹp khoảng cách ngữ nghĩa, phản hồi liên quan (Relevance Feedback - RF) xem công cụ hiệu để cải thiện hiệu hệ thống CBIR [8], [1] Gần đây, nhiều nhà nghiên cứu bắt đầu xem phản hồi liên quan toán phân lớp toán học Người sử dụng cung cấp mẫu dương mẫu âm hệ thống học từ mẫu để phân tách tất liệu thành nhóm liên quan không liên quan Do vậy, nhiều phương pháp học máy áp dụng Những phương pháp học phân thành hai lớp: Quy nạp Truyền dẫn tùy theo liệu không gán nhãn có dùng chiến lược huấn luyện hay không Những phương pháp quy nạp chủ yếu dựa Support Vector Machines [10], [7], boosting [6] mạng neuron [11] Chúng xem giải toán phân lớp nhị phân (liên quan không liên quan) xếp hạng ảnh theo kết phân lớp Trong phương pháp truyền dẫn, ảnh sở liệu biểu diễn đỉnh đồ thị có trọng số Phản hồi liên quan người dùng sử dụng để tạo mẫu gán nhãn Những mẫu sử dụng để làm sở tính toán khả truyền dẫn cho ảnh [5],[12] Các phương pháp không sử dụng mối quan hệ cặp ảnh truy vấn x vector (tránh ma trận nhân ma trận) Từ ta tính hàm xếp hạng EMR có phức tạp O(dn+d3) 2.3.4 Phân tích độ phức tạp Trong phần này, ta thực phân tích phức tạp toàn diện MR EMR, bao gồm chi phí tính toán chi phí lưu trữ Như đề cập, MR EMR có hai giai đoạn giai đoạn xây dựng đồ thị giai đoạn tính toán xếp hạng Đối với mô hình MR:  MR xây dựng đồ thị kNN, tức cho mẫu liệu, cần phải tính toán mối quan hệ để k-láng giềng gần Vì vậy, chi phí tính toán O (n2 log k) Đồng thời ta lưu lại ma trận kề W∈ Rn×n với chi phí lưu trữ O(kn) W đồ thị thưa  Trong giai đoạn tính toán xếp hạng, bước tính nghịch đảo ma trận, có khoảng O(n3) Đối với mô hình EMR:  EMR xây dựng đồ thị cố định Tức là, cho mẫu liệu, ta tính toán mối quan hệ để xác định s- khu vực gần điểm cố định Chi phí tính toán O(nd log s) Ta sử dụng k-means để chọn điểm cố định, cần chi phí O(Tdn), T số lần lặp Nhưng bước lựa chọn thực off-line không cần thiết cập nhật thường xuyên Đồng thời, lưu ma trận thưa Z ∈ Rd × n với chi phí lưu trữ O(sn)  Trong giai đoạn tính toán xếp hạng, bước phương trình (2.25), có tính toán phức tạp O (dn + d3) Kết là, EMR có chi phí tính toán O(dn) + O(d3) (bỏ qua s, T) chi phí lưu trữ O(sn), MR có chi phí tính toán O(n2) + O(n3) chi 54 phí lưu trữ O(kn) Rõ ràng, d