Truy xuất thông tin máy học và ứng dụng
Báo cáo chuyên đề NCS MÁY HỌC VÀ ỨNG DỤNG Hướng dẫn khoa học: GS.TSKH HOÀNG VĂN KIẾM Nội dung Giới thiệu Nội dung chuyên đề Xác định điểm đặc trưng cục Mô tả đặc trưng ảnh Các phương pháp máy học ứng dụng Kết thực nghiệm Kết luận hướng phát triển Giới thiệu • Nhu cầu tìm kiếm truy xuất dựa khái niệm ngữ nghĩa ảnh • Cần phải có mô hình cách mô tả ảnh cho xác định khái niệm có ảnh/video Bài toán xác định khái niệm • Cho trước tập liệu huấn luyện gồm: – Danh sách khái niệm – Tập ảnh liên quan đến khái niệm: cho biết ảnh có chứa khái niệm ảnh thuộc khái niệm • Yêu cầu: cần xác định xem ảnh có chứa khái niệm ? • Đây toán phân lớp ảnh trường hợp ảnh thuộc nhiều lớp Những thách thức • Tập liệu ảnh chia sẻ từ internet, hình ảnh thực tế,… Những thách thức • Một khái niệm có nhiều ảnh khác timeofday_day Chair Những thách thức • Một ảnh có chứa nhiều khái niệm khác Ảnh có chứa khái niệm Những thách thức • Dữ liệu huấn luyện bị nhiễu • ( ảnh chứa mặt trăng thuộc khái niệm timeofday_day ảnh chứa mặt trời gán timeofday_night… ) Những kết liên quan • Kết cao năm 2012 tập liệu có MiAP 0.4367 Những kết liên quan • Bảng so sánh kết khái niệm Mô hình bag of word • Ví dụ: biểu diễn vector đặc trưng cho ảnh Các thuật toán máy học • Áp dụng phương pháp học có giám sát để tiến hành xác định khái niệm: thuật toán SVM,… • Áp dụng phương pháp học không giám sát để xây dựng visual word: thuật toán K-Means, GMM, Quá trình phân lớp ( xác định khái niệm) • Giai đoạn huấn luyện: dựa tập mẫu • Xác định ảnh thuộc mẫu dương • Các ảnh thuộc mẫu âm • Dùng phương pháp SVM để học • Giai đoạn kiểm tra: xác định xem ảnh kiểm tra có chứa khái niệm không ? Kết thực nghiệm • Tập liệu chuẩn ImageClef 2012: – Train: 15.000 ảnh (kích thước 500x, x500) – Test: 10.000 ảnh – Số khái niệm sử dụng 20/94 • Đặc trưng: – Sử dụng phương pháp rút trích keypoint: SIFT, SURF HARRIS – Sử dụng phương pháp mô tả tương ứng: SIFT, SURF ColorDescriptor (OpponentSIFT) Kết thực nghiệm • Phương pháp máy học: – Xác định khái niệm: • SVM ( one versus all) • Mẫu dương: dựa tập huấn luyện • Mẫu âm: chọn ngẫu nhiên – Xác định từ từ điển: dùng k-means++ • Từ điển – Sử dụng kích thước: 1.000, 1.500 2.000 từ • Độ đo: MAP GMAP Kết thực nghiệm Kết thực nghiệm • Kết theo độ đo MAP cho 20 khái niệm Kết thực nghiệm • Kết theo độ đo GMAP cho 20 khái niệm Kết thực nghiệm • Kết theo độ đo GMAP cho 20 khái niệm Kết thực nghiệm • So sánh kết thực nghiệm chuyên đề so với kết cao ImageClef 2012 Kết luận hướng phát triển • Kết luận: – Nghiên cứu tìm hiểu phương pháp mô tả ảnh dựa đặc trưng cục – Sử dụng mô hình bag of word để mô tả ảnh – Các phương pháp máy học ứng dụng toán xác định khái niệm – Tiến hành thực nghiệm tập liệu chuẩn liên quan Kết luận hướng phát triển • Hướng phát triển: – Tiến hành thêm thực nghiệm mô tả khác nhau, kết hợp với phương pháp xác định điểm quan tâm – Tăng kích thước từ điển để kiểm tra mối liên quan từ điển độ xác – Tăng số lượng khái niệm thực nghiệm – Chọn lọc liệu học thử nghiệm phương pháp phân lớp khác phương pháp SVM – Viết báo dựa kết đạt Góp ý hội đồng • Thầy Kiếm: tên chuyên đề nên đổi thành “xác định khái niệm ảnh dựa thuật toán máy học” để phù hợp • Thầy Khứ: – Nên đổi theo ý kiến Thầy Kiếm in lại – Phần related work: nên bổ sung công trình viết lại khoảng trang Vì toán quan trọng: bắt buộc hình ảnh = tiếng nói Góp ý hội đồng • Thầy Khứ: – Cách đặt vấn đề toán: cần xác định rõ, nên chọn số tltk gần với luận án để tập trung chuyên sâu – Trong phần thực nghiệm: bỏ sót phần bình kết quả, cần cho biết kết đó, phương pháp đó, nguồn tài liệu để so sánh, nêu tác dụng pp mình, triển vọng pp – Câu hỏi: dựa đâu để xác định đặc trưng ? Ngoài k-means có sử dụng SNN ? Góp ý hội đồng • Thầy Nhơn: – Bài toán mô tả chưa rõ khái niệm, biểu diễn nào, xác định khái niệm ( tập ảnh ), mô tả để biết khái niệm • Tp.HCM, ngày 28/02/2013 [...]... niệm sử dụng 20/94 • Đặc trưng: – Sử dụng 3 phương pháp rút trích keypoint: SIFT, SURF và HARRIS – Sử dụng 3 phương pháp mô tả tương ứng: SIFT, SURF và ColorDescriptor (OpponentSIFT) Kết quả thực nghiệm • Phương pháp máy học: – Xác định khái niệm: • SVM ( one versus all) • Mẫu dương: dựa trên tập huấn luyện • Mẫu âm: chọn ngẫu nhiên – Xác định từ trong từ điển: dùng k-means++ • Từ điển – Sử dụng 3 kích... ảnh Các thuật toán máy học • Áp dụng phương pháp học có giám sát để tiến hành xác định các khái niệm: thuật toán SVM,… • Áp dụng phương pháp học không giám sát để xây dựng các visual word: thuật toán K-Means, GMM, Quá trình phân lớp ( xác định khái niệm) • Giai đoạn huấn luyện: dựa trên tập mẫu • Xác định các ảnh thuộc mẫu dương và • Các ảnh thuộc mẫu âm • Dùng phương pháp SVM để học • Giai đoạn kiểm... nhất trong ImageClef 2012 Kết luận và hướng phát triển • Kết luận: – Nghiên cứu và tìm hiểu về các phương pháp mô tả ảnh dựa trên các đặc trưng cục bộ – Sử dụng mô hình bag of word để mô tả ảnh – Các phương pháp máy học ứng dụng trong bài toán xác định khái niệm – Tiến hành thực nghiệm trên tập dữ liệu chuẩn liên quan Kết luận và hướng phát triển • Hướng phát triển: – Tiến hành thêm thực nghiệm trên các... liên quan giữa từ điển và độ chính xác – Tăng số lượng khái niệm thực nghiệm – Chọn lọc dữ liệu học và thử nghiệm các phương pháp phân lớp khác ngoài phương pháp SVM – Viết bài báo dựa trên kết quả đạt được Góp ý của hội đồng • Thầy Kiếm: tên chuyên đề nên đổi thành “xác định khái niệm trong ảnh dựa trên thuật toán máy học để phù hợp hơn • Thầy Khứ: – Nên đổi theo ý kiến Thầy Kiếm và in lại – Phần related... ; 1 0 0 0 0 0 1 10 2 1 7 1 0 0 1 8 0 3 6 0 0 0 4 3 0 0 0 0 0 0 4 5 6 1 0 Biễu diễn vector đặc trưng • Vì số lượng descriptor trong ảnh thường rất lớn và khác nhau ( từ vài trăm đến vài chục nghìn) • Chi phí để thực hiện so sánh tìm điểm giống nhau giữa các ảnh là rất lớn • Cần phải biểu diễn ảnh trong một không gian có số chiều giống nhau Mô hình bag of word •... thước: 1.000, 1.500 và 2.000 từ • Độ đo: MAP và GMAP Kết quả thực nghiệm Kết quả thực nghiệm • Kết quả theo độ đo MAP cho 20 khái niệm Kết quả thực nghiệm • Kết quả theo độ đo GMAP cho 20 khái niệm Kết quả thực nghiệm • Kết quả theo độ đo GMAP cho 20 khái niệm Kết quả thực nghiệm • So sánh kết quả thực nghiệm trong chuyên đề so với kết quả cao nhất trong ImageClef 2012 Kết luận và hướng phát triển... hơn – Trong phần thực nghiệm: bỏ sót phần bình về kết quả, cần cho biết kết quả đó, phương pháp đó, nguồn tài liệu để so sánh, nêu tác dụng của nó đối với pp của mình, triển vọng trong pp của mình – Câu hỏi: dựa trên đâu để xác định đặc trưng ? Ngoài k-means có sử dụng SNN ? Góp ý của hội đồng • Thầy Nhơn: – Bài toán mô tả chưa rõ về khái niệm, biểu diễn nó như thế nào, căn cứ xác định khái niệm (...Mô hình chung xác định khái niệm Các khái niệm Rút trích đặc trưng ảnh • Mỗi ảnh sẽ được mô tả bằng một vector đặc trưng sao cho có thể thực hiện các tính toán và so sánh dựa trên vector đặc trưng • Trong chuyên đề này, chúng tôi xét các đặc trưng cục bộ dựa trên hình ảnh (visual): SIFT, SURF,… Đặc trưng cục bộ Các bước xác định đặc trưng cục bộ: • Xác định các