GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN (Luận văn thạc sĩ)
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ DƢƠNG GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN LUẬN VĂN THẠC SĨ ĐIỆN TỬ - VIỄN THÔNG HÀ NỘI - 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ NGUYỄN THỊ DƢƠNG GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN Ngành: Điện tử truyền thông Chuyên ngành:Kỹ thuật điện tử Mã số: 60530203 LUẬN VĂN THẠC SĨ ĐIỆN TỬ- VIỄN THÔNG NGƢỜI HƢỚNG DẪN KHOA HỌC: TS LÊ VŨ HÀ HÀ NỘI - 2017 LỜI CẢM ƠN Đầu tiên xin chân thành cảm ơn đến Ban Giám Hiệu tập thể thầy cô khoa Điện Tử - Viễn Thông, Trƣờng Đại Học Công Nghệ , Đại Học Quốc Gia Hà Nội tổ chức giảng dạy tạo môi trƣờng thuận lợi cho đƣợc học tập nghiên cứu chuyên sâu lĩnh vực Điện tử viễn thông Xin chân thành cảm ơn anh chị đồng nghiệp quan cơng tác tạo điều kiện thuận lợi, đóng góp ý kiến quý báu Xin cảm ơn bạn bè bảo tơi suốt q trình học tập hoàn thành luận văn Đặc biệt xin gửi lời cảm ơn sâu sắc đến Thầy hƣớng dẫn khoa học TS Lê Vũ Hà TS Nguyễn Hồng Thịnh tận tình hƣớng dẫn, bảo tơi suốt trình nghiên cứu thực luận văn Cuối cùng, tơi xin biết ơn gia đình tạo điều kiện thuận lợi cho yên tâm suốt thời gian học tập nhƣ thời gian nghiên cứu hoàn thành luận văn cao học Nghiên cứu đƣợc tài trợ trung tâm nghiên cứu Châu Á, Đại học Quốc Gia Hà Nội đề tài mã số CA.15.10A Hà Nội, ngày 05 tháng năm 2017 Tác giả luận văn Nguyễn Thị Dƣơng LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn thực dƣới hƣớng dẫn TS Lê Vũ Hà Các số liệu, kết trình bày luận văn trung thực Những tƣ liệu đƣợc sử dụng luận văn có nguồn gốc trích dẫn rõ ràng, đầy đủ Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá tơi xin chịu hồn tồn trách nhiệm Tác giả luận văn Nguyễn Thị Dƣơng MỤC LỤC PHẦN MỞ ĐẦU 1 Tính cấp thiết luận văn Mục tiêu luận văn Các đóng góp luận văn Bố cục luận văn Chƣơng TỔNG QUAN VỀ PHƢƠNG PHÁP GÁN NHÃN TỰ ĐỘNG CHO ẢNH 1.1 Tổng quan 1.2 Các nghiên cứu lĩnh vực gần 1.3 Bài toán phân loại gán nhãn ảnh tự động 1.4 Biểu diễn ảnh dƣới dạng vector đặc trƣng (Low level features) 10 1.4.1 Tại phải biểu diễn ảnh 10 1.4.2 Đặc trƣng ảnh 11 1.4.2.1 Đặc trƣng toàn cục 12 1.4.2.2 Đặc trƣng cục 12 1.4.3 Các vector đặc trƣng 12 1.4.3.1 Lƣợc đồ màu CH 12 1.4.3.2 Đặc trƣng tƣơng quan màu CORR 13 1.4.3.3 Lƣợc đồ hệ số góc EDH 14 1.4.3.4 Cấu trúc sóng WT 15 1.4.3.5 Mô-men màu CM55 16 1.4.3.6 Phƣơng pháp túi từ điển BOW 16 1.5 Các nguồn thông tin phụ trợ 18 1.6 Phƣơng pháp huấn luyện dùng để phân loại gán nhãn 20 1.6.1 Phƣơng pháp K - láng giềng gần (K-Nearest Neighbors) 20 1.6.2 Phƣơng pháp SVM - Support Vector Machine 21 1.6.3 Đánh giá .23 Chƣơng THUẬT TOÁN GÁN NHÃN ẢNH CHỈ SỬ DỤNG CÁC VECTOR ĐẶC TRƢNG 25 2.1 Ảnh giải (Tags) 25 2.2 Giới thiệu cách tạo 81 nhãn tập liệu NUS-WIDE 26 2.3 Biểu diễn ảnh dƣới dạng vector đặc trƣng 27 2.4 Thuật toán K-NN 29 2.4.1 Phân tích liệu thực nghiệm với K-NN .29 2.4.2 Kết recall K-NN 31 2.5 Thuật toán SVM 32 2.5.1 Phân tích liệu thực nghiệm với SVM .32 2.5.2 Kết recall SVM 33 Chƣơng 3: THUẬT TOÁN SỬ DỤNG KẾT HỢP THÔNG TIN PHỤ TRỢ 35 3.1 Sử dụng thông tin giải 35 3.1.1 Phân tích mối quan hệ giải nhãn 35 3.1.2 Thực nghiệm sử dụng thông tin giải ngƣời dùng tập kiểm thử 37 3.2 Sử dụng vector đặc trƣng giải 38 3.2.1 Dựa thông tin giải ảnh kiểm thử .38 3.2.2 Dựa thông tin giải ảnh huấn luyện 39 KẾT LUẬN 42 TÀI LIỆU THAM KHẢO 44 PHỤ LỤC : DANH MỤC HÌNH ẢNH Hình 1 Một hệ thống CBIR điển hình [Manal and Nordin 2009] Hình Sơ đồ khối khung công việc gán nhãn ảnh tự động Hình Phƣơng pháp tổng quát cách thức thực toán gán nhãn ảnh sử dụng nguồn thông tin khác [Li et al 2016] Hình Ví dụ tìm kiếm ảnh với từ khóa “mountain” Flickr.com Hình Ví dụ minh họa dùng lƣợc đồ màu để phân biệt bò ngựa thảo nguyên 11 Hình Minh họa hai ảnh giống nhƣng góc nhìn khác 11 Hình Minh họa hai ảnh có đặc trƣng tƣơng quan màu giống 14 Hình Minh họa phƣơng pháp túi từ điển [Fei et al 2005] 17 Hình Túi từ - miêu tả đối tƣợng với biểu đồ từ xuất hiện[Fei et al 2005] 18 Hình 10 Ví dụ ảnh tag ngƣời dùng gán cho ảnh 18 Hình 11 Thông tin thông số máy ảnh EXIF ảnh 19 Hình 12 Ví dụ phân lớp cho X thuật toán K-NN 21 Hình 13 Ví dụ phân lớp hai tập hợp bóng Xanh - Đỏ sử dụng SVM 23 Hình 81 nhãn tập liệu NUS-WIDE 28 Hình 2 Số hình ảnh có liên quan đến 81 nhãn NUS-WIDE 29 Hình Sơ đồ tóm tắt bƣớc thực trình phân loại gán nhãn cho ảnh kiểm thử sử dụng K-NN 30 Hình Biểu đồ so sánh kết recall đặc trƣng kết hợp đặc trƣng với K = 50 số nhãn gán cho ảnh (N) tăng dần từ đến 10 31 Hình Sơ đồ tóm tắt bƣớc thực trình phân loại gán nhãn cho ảnh kiểm thử sử dụng SVM 33 Hình Biểu đồ so sánh kết recall đặc trƣng sử dụng thuật toán SVM 34 Hình Biểu đồ Recall sử dụng thông tin giải ngƣời dùng tập kiểm thử 37 Hình Sơ đồ khối trình kết hợp đặc trƣng ảnh giải ảnh kiểm thử 38 Hình 3 Biểu đồ so sánh kết recall đặc trƣng ảnh đặc trƣng kết hợp với giải ảnh kiểm thử 39 Hình Sơ đồ khối dựa thông tin giải ảnh huấn luyện theo cách a 40 Hình Biểu đồ so sánh kết recall đặc trƣng ảnh đặc trƣng ảnh kết hợp với giải ảnh huấn luyện theo cách a 40 Hình Sơ đồ khối dựa thông tin giải ảnh huấn luyện theo cách b 41 Hình Biểu đồ so sánh kết recall đặc trƣng ảnh đặc trƣng ảnh kết hợp với giải ảnh huyến luyện theo cách b 41 DANH MỤC BẢNG Bảng 1 So sánh kỹ thuật gán nhãn Bảng So sánh ƣu điểm nhƣợc điểm kỹ thuật gán nhãn Bảng Chú giải phổ biến tập NUS-WIDE 26 Bảng 2 Kết recall đặc trƣng sử dụng thuật toán K-NN 31 Bảng Kết recall đặc trƣng sử dụng thuật toán SVM 34 Bảng Ví dụ số kết khảo sát mối liên hệ giải (tag) nhãn (concept) 36 PHẦN MỞ ĐẦU Tính cấp thiết luận văn Những năm gần đây, phát triển khoa học công nghệ đặc biệt thiết bị chụp ảnh video nhƣ mạng Internet dẫn đến bùng nổ thơng tin đa phƣơng tiện Lƣợng lớn thơng tin hình ảnh, video với đa dạng chủ đề đƣợc lƣu trữ chia sẻ truy cập mạng Điều đồng nghĩa với yêu cầu thiết vấn đề lƣu trữ, quản lí truy cập liệu Gán nhãn ảnh tự động trở thành chủ đề nóng thách thức lớn xử lý thơng tin khoa học máy tính Mục tiêu kỹ thuật thiết lập trình mà hệ thống máy tính tự động gán cho đối tƣợng ảnh vài nhãn thông tin, vào ta dễ dàng tìm kiếm, phân loại truy xuất ảnh Hiện nay, kỹ thuật đƣợc sử dụng để phân loại truy xuất ảnh thƣờng sử dụng thông tin văn (text) từ nguồn thơng tin phụ trợ (metadata) liệu ví dụ nhƣ nhãn, giải (tag), bình luận (comment) ngƣời dùng (ví dụ nhƣ Google tìm kiếm văn bản) Tuy nhiên lúc thông tin có sẵn, xác, đặc biệt lại phụ thuộc lớn vào quan điểm ngƣời dùng nhƣ ngôn ngữ mà ngƣời dùng sử dụng Hơn việc mô tả ảnh vài từ khóa khơng phải công việc dễ dàng Việc gán nhãn ảnh tay thực khó khăn tốn trở lên bất khả thi số lƣợng ảnh tăng lên nhanh chóng nhƣ Xu hƣớng gán nhãn ảnh cách tự động sử dụng trực tiếp nội dung ảnh (image content), gán nhãn cho ảnh đó, qua giúp dễ dàng quản lí ảnh nhƣ tìm kiếm ảnh Vấn đề ln nhận đƣợc quan tâm nhà nghiên cứu với hi vọng cải thiện độ xác, tốc độ xử lý, đa dạng độ khó tập ảnh Xu hƣớng chung nghiên cứu tìm đặc trƣng tốt việc đặc tả ảnh, qua cải thiện đƣợc độ xác q trình nhận dạng gán nhãn ảnh Một xu hƣớng đƣợc quan tâm sử dụng khai thác triệt để tất thơng tin có từ ảnh ... NGUYỄN THỊ DƢƠNG GÁN NHÃN ẢNH TỰ ĐỘNG SỬ DỤNG KẾT HỢP NHIỀU NGUỒN THÔNG TIN Ngành: Điện tử truyền thông Chuyên ngành:Kỹ thuật điện tử Mã số: 60530203 LUẬN VĂN THẠC SĨ ĐIỆN TỬ- VIỄN THÔNG NGƢỜI HƢỚNG... Việc gán nhãn ảnh tay thực khó khăn tốn trở lên bất khả thi số lƣợng ảnh tăng lên nhanh chóng nhƣ Xu hƣớng gán nhãn ảnh cách tự động sử dụng trực tiếp nội dung ảnh (image content), gán nhãn cho ảnh. .. HÌNH ẢNH Hình 1 Một hệ thống CBIR điển hình [Manal and Nordin 2009] Hình Sơ đồ khối khung công việc gán nhãn ảnh tự động Hình Phƣơng pháp tổng quát cách thức thực toán gán nhãn ảnh sử dụng nguồn