Xây dựng hệ thống tìm kiếm ảnh theo nội dung 9

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh Đức XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh Đức XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS Nguyễn Hải Châu HÀ NỘI - 2015 LỜI CẢM ƠN Lời đầu tiên, xin bày tỏ lòng biết ơn chân thành đến thầy cô giáo trƣờng Đại học Công Nghệ, Đại học Quốc Gia Hà Nội nói chung thầy cô môn Hệ thống thông tin nói riêng Trong suốt năm học tập trƣờng, thầy cô tận tình truyền đạt kiến thức mà động viên giúp đỡ học tập nhƣ sống Đặc biệt, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, phó giáo sƣ, tiến sĩ Nguyễn Hải Châu, ngƣời tận tình bảo, hƣớng dẫn suốt trình nghiên cứu hoàn thiện luận văn tốt nghiệp Tôi xin cảm ơn bạn học viên khóa, nghiên cứu học tập, cho ý kiến đóng góp giá trị suốt thời gian học tập nhƣ trình nghiên cứu đề tài khóa luận tốt nghiệp Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình bạn bè, ngƣời động viên giúp đỡ vƣợt qua khó khăn sống Hà Nội, ngày 21 tháng năm 2015 Học viên Vũ Minh Đức i LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn thực dƣới hƣớng dẫn trực tiếp PGS TS Nguyễn Hải Châu Mọi nội dung tham khảo dùng luận văn đƣợc trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo xin chịu hoàn toàn trách nhiệm Hà Nội, ngày 21 tháng năm 2015 Học viên Vũ Minh Đức ii TÓM TẮT LUẬN VĂN Trong chủ đề thuộc lĩnh vực xử lý nhận dạng hình ảnh, tìm kiếm ảnh theo nội dung toán đƣợc đặt để thay cho phƣơng pháp tìm kiếm ảnh thông thƣờng dựa từ khóa mô tả ảnh Tìm kiếm theo nội dung tức thân ảnh đƣợc phân tích để phục vụ cho việc tìm kiếm (chứ không dựa vào từ khóa, tag mô tả ảnh) Nội dung ảnh đối tƣợng, kết cấu, đặc trƣng khác đƣợc trích xuất từ ảnh Việc hệ thống tìm kiếm ảnh theo nội dung đƣợc cho ƣu việt tìm kiếm theo từ khóa chỗ thực tế ngƣời dùng không tìm đƣợc đủ từ khóa để mô tả ảnh Trong số trƣờng hợp cụ thể (ví dụ nhƣ tìm kiếm ảnh giống nội dung nhƣng khác kích thƣớc màu sắc tìm kiếm ảnh có vật thể đối tƣợng ngƣời tìm kiếm chƣa biết tên gọi), chí phƣơng pháp tìm kiếm theo từ khóa áp dụng hiệu đƣợc Khi áp dụng phƣơng pháp tìm kiếm theo nội dung hiệu Do số lƣợng yếu tố xem nội dung ảnh đa dạng theo nhu cầu ngƣời tìm kiếm nhƣng thời gian nghiên cứu hoàn thành luận văn có hạn nên xin phép giới hạn lại Nội dung ảnh luận văn xoay quanh khuôn mặt trực diện ngƣời động vật có vú Theo hệ thống tìm kiếm theo nội dung ảnh đƣợc xây dựng trích rút nội dung nhƣ: ảnh có xuất khuôn mặt hay không, số lƣợng khuôn mặt xuất ảnh bao nhiêu, danh tính khuôn mặt ảnh thân toàn ảnh coi nội dung đƣợc trích rút từ ảnh Từ hệ thống tìm đƣợc ảnh ngƣời động vật có vú, ảnh trực diện ngƣời vật thuộc loài có vú, tìm đƣợc ảnh có số lƣợng ngƣời số lƣợng động vật có vú, tìm đƣợc ảnh có ngƣời iii động vật có vú giống hệt nhƣng khác biệt kích thƣớc màu sắc Để trích rút đƣợc nội dung nhƣ vậy, luận văn tập trung nghiên cứu để giải hai toán Bài toán xác định vị trí khuôn mặt ngƣời vật Từ đếm đƣợc số lƣợng khoanh vùng đƣợc khuôn mặt để tiến hành tiếp bƣớc Bài toán thứ hai nhận diện khuôn mặt đƣợc khoanh vùng ảnh với tập ảnh ngƣời dùng mong muốn tìm kiếm ảnh Bài toán – xác định vị trí khuôn mặt có nhiều cách tiếp cận để giải vấn đề tìm kiếm khoanh vùng nội dung đối tƣợng ảnh nhƣ phƣơng pháp xác định khuôn mặt theo mẫu nhị phân cục (LBP) phƣơng pháp xác định khuôn mặt theo đặc trƣng Haar… Các phƣơng pháp có độ xác cao Tuy phƣơng pháp có nhƣợc điểm yêu cầu liệu huấn luyện lớn khuôn mặt ngƣời Việc chuẩn bị liệu huấn luyện tốn nhiều công sức, thời gian chi phí nhân lực Vì luận văn đề xuất phƣơng pháp kết hợp thuật toán xác định khuôn mặt dựa vào mẫu nhị phân cục nhóm (MB-LBP) phƣơng pháp học máy bán giám sát Phƣơng pháp cho phép cần gán nhãn số lƣợng nhỏ liệu huấn luyện kết hợp với lƣợng lớn liệu huấn luyện không gán nhãn mà mô hình xác định khuôn mặt cuối đạt đƣợc độ xác gần với huấn luyện với lƣợng lớn liệu gán nhãn Bài toán thứ hai – nhận diện khuôn mặt sau khoanh vùng tách đƣợc khuôn mặt ảnh, hệ thống sử dụng thuật toán nhận diện theo mẫu nhị phân cục (LBP Do khuôn mặt ngƣời đặc trƣng theo LBP nên số lƣợng mẫu huấn luyện không cần nhiều Thực tế cần ảnh ngƣời động vật có vú nhận diện xác ngƣời vật iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii TÓM TẮT LUẬN VĂN iii MỤC LỤC v DANH MỤC CÁC CÔNG THỨC .vii DANH MỤC CÁC HÌNH VẼ viii DANH MỤC CÁC BẢNG BIỂU ix BẢNG CÁC CHỮ VIẾT TẮT x CHƢƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Đối tƣợng phƣơng pháp nghiên cứu 1.4 Cấu trúc khóa luận CHƢƠNG 2: CÁC THUẬT TOÁN NHẬN DẠNG KHUÔN MẶT ÁP DỤNG TRONG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 2.1 Thuật toán xác định vị trí khuôn mặt .6 2.1.1 Một số thuật toán xác định vị trí khuôn mặt thƣờng gặp .6 2.1.2 Đặc trƣng theo mẫu nhị phân cục (LBP) 2.1.3 Các phân lớp yếu huấn luyện chồng tầng 12 2.2 Thuật toán học bán giám sát Bootstrapping 14 2.3 Thuật toán nhận diện khuôn mặt theo biểu đồ tần suất mẫu nhị phân cục (LBPH) 17 2.3.1 Sơ lƣợc thuật toán Eigenfaces (các khuôn mặt đặc biệt) .17 2.3.2 Thuật toán nhận dạng khuôn mặt sử dụng biểu đồ tần suất mẫu nhị phân cục .18 CHƢƠNG 3: HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 21 3.1 Bộ công cụ OpenCV 21 v 3.2 Hệ thống tìm kiếm ảnh theo nội dung ảnh .22 3.2.1 Các công cụ chuẩn bị liệu .22 3.2.2 Hệ thống tìm kiếm ảnh theo nội dung 26 3.2.3 Các hàm công cụ khác 33 CHƢƠNG 4: KẾT QUẢ THỰC NGHIỆM 34 4.1 Thí nghiệm 1: 34 4.1.1 Mục đích thực nghiệm: .34 4.1.2 Bố trí thí nghiệm: .34 4.1.3 Kết thí nghiệm: 36 4.2 Thí nghiệm 2: 36 4.2.1 Mục đích thực nghiệm: .36 4.2.2 Bố trí thí nghiệm: .36 4.2.3 Kết thí nghiệm .39 4.3 Thí nghiệm 3: 40 4.3.1 Mục đích thí nghiệm: 40 4.3.2 Bố trí thí nghiệm: .40 4.3.3 Kết thực nghiệm 42 CHƢƠNG 5: KẾT LUẬN 43 5.1 Các kết đạt đƣợc hạn chế .43 5.2 Các công việc tƣơng lai 45 Tài liệu tham khảo 47 vi DANH MỤC CÁC CÔNG THỨC Công thức 2.1: Công thức tính LBP điểm ảnh Công thức 2.2: Công thức phân lớp yếu 12 Công thức 2.3: Công thức tính bảng trọng số mã nhị phân điểm ảnh p 13 Công thức 2.4: Công thức tính biểu đồ tần xuất ảnh 18 Công thức 2.5: Công thức tính biểu đồ tần xuất ảnh chia nhỏ thành vùng 18 Công thức 2.6: Công thức tính độ tƣơng giao hai biểu đồ tần xuất 19 Công thức 2.7: Công thức thống kê Chi square hai biểu đồ tần xuất 19 vii DANH MỤC CÁC HÌNH VẼ Hình 2.1: Các đặc trƣng Haar Hình 2.2: Các đặc trƣng Haar mở rộng Hình 2.3: Hình minh họa cách tính LBP Hình 2.4: Hình minh họa cách chia vùng 3x3 MB-LBP 10 Hình 2.5: Hình minh họa khuôn mặt sau áp dụng MB-LBP 11 Hình 2.7: bƣớc thuật toán nhận diện khuôn mặt 20 Hình 3.1: Các bƣớc thực thi chuẩn bị liệu huấn luyện xác định vị trí khuôn mặt 23 Hình 3.2: Giao diện công cụ chuẩn bị liệu huấn luyện xác định vị trí khuôn mặt 24 Hình 3.3: Các bƣớc thực thi công cụ huấn luyện mô hình phân lớp xác định vị trí khuôn mặt 25 Hình 3.4: Các bƣớc thực thi tính tìm kiếm ảnh xuất khuôn mặt 26 Hình 3.5: Giao diện tính tìm kiếm ảnh xuất khuôn mặt 27 Hình 3.6: Các bƣớc thực thi tính tìm kiếm ảnh giống nhƣng khác kích thƣớc màu sắc 28 Hình 3.7: Giao diện tính tìm kiếm ảnh giống nhƣng khác kích thƣớc màu sắc 29 Hình 3.8: Các bƣớc thực thi tính tìm kiếm ảnh có số lƣợng ngƣời ảnh 30 Hình 3.9: Giao diện tính tìm kiếm ảnh có số lƣợng ngƣời ảnh 31 Hình 3.10: Các bƣớc thực thi tính tìm kiếm khuôn mặt giống khuôn mặt cho 33 Hình 3.11: Giao diệncủa tính tìm kiếm khuôn mặt giống khuôn mặt cho 33 Hình 4.1: bƣớc thực thí nghiệm 35 Hình 4.2: bƣớc thực thí nghiệm 38 Hình 4.3: Các bƣớc thí nghiệm 41 viii CHƢƠNG 4: KẾT QUẢ THỰC NGHIỆM Các chƣơng trƣớc trình bày cụ thể thuật toán xác định vị trí khuôn mặt kết hợp với huấn luyện bán giám sát bootstraping, thuật toán so sánh độ khác biệt hai khuôn mặt thuật toán tìm kiếm ảnh giống nhƣng khác biệt màu sắc kích thƣớc Chƣơng nêu kết thực nghiệm, đo đạc độ xác thuật toán 4.1 Thí nghiệm 1: 4.1.1 Mục đích thực nghiệm: Đo đạc độ xác thuật toán xác định vị trí khuôn mặt sử dụng phân lớp dựa đặc trƣng MB-LBP liệu khuôn mặt diện nghiêng nhẹ mèo 4.1.2 Bố trí thí nghiệm: Chuẩn bị liệu gán nhãn tọa độ gồm 9996 ảnh chứa khuôn mặt chụp diện nghiêng nhẹ mèo thành tập ảnh A, T lần lƣợt có số lƣợng 8996, 1000: Trong đó: o A đóng vai trò tập huấn luyện cho phân lớp; o T tập liệu kiểm thử để đánh giá độ xác cuối Bổ sung 500 ảnh không chứa khuôn mặt mèo vào tập T Sử dụng liệu G gồm 5070 ảnh không chứa khuôn mặt mèo để làm ảnh huấn luyện Tập ảnh A T đƣợc lấy nguyên vẹn từ ảnh khuôn mặt trực diện mèo Microsoft (Microsoft Cat Dataset 2008) Tập ảnh G đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech ảnh PASCAL VOC 2007 Ta tiến hành thí nghiệm nhƣ sau: 34 Bắt đầu Gán nhãn vị trí cho tập A Tiến hành huấn luyện phân lớp tập ảnh A Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp Kết thúc Hình 4.1: bƣớc thực thí nghiệm 35 4.1.3 Kết thí nghiệm: Dƣơng tính - Dƣơng tính - Âm tính - Âm tính - Dữ liệu Đúng Sai Đúng Sai 170 26 490 314 Đã đƣợc xoay 270 26 490 214 Đủ góc thẳng Bảng 4.1: Kết thí nghiệm Nhƣ vậy, kết kiểm thử với tập ảnh tự nhiên, khuôn mặt xoay góc tùy ý không đƣợc tốt Khi kiểm tra với tập ảnh nhƣ nhƣng khuôn mặt đƣợc xử lý trƣớc, xoay góc cho đƣờng nối hai mắt song song với chiều rộng ảnh kết đƣợc cài thiện rõ rệt Nhƣ kết luận đƣợc phân lớp xác định khuôn mặt nhạy cảm với góc xoay khác khuôn mặt 4.2 Thí nghiệm 2: 4.2.1 Mục đích thực nghiệm: Đo đạc độ xác thuật toán xác định vị trí khuôn mặt sử dụng phân lớp chồng tầng dựa đặc trƣng MB-LBP liệu khuôn mặt diện nghiêng nhẹ loài mèo So sánh kết huấn luyện phân lớp hoàn toàn liệu huấn luyện xác định vị trí khuôn mặt theo cách thủ công với áp dụng kết hợp với thuật toán huấn luyện bán giám sát bootstrapping 4.2.2 Bố trí thí nghiệm: Chia liệu gồm 9996 ảnh chứa khuôn mặt chụp diện nghiêng nhẹ mèo thành tập ảnh A1, A2, B, T lần lƣợt có số lƣợng 2000, 500, 6996, 500: Trong đó: o A1, A2 đóng vai trò tập huấn luyện mồi tập huấn luyện kiểm thử vòng lặp thuật toán bootstapping; o B tập liệu không xác định vị trí khuôn mặt sử dụng để mở rộng liệu huấn luyện tự động vòng lặp thuật toán bootstrapping 36 o T tập liệu kiểm thử để đánh giá độ xác cuối Bổ sung 500 ảnh không chứa khuôn mặt mèo vào tập T Sử dụng liệu G gồm 5070 ảnh không chứa khuôn mặt mèo để làm ảnh huấn luyện Tập ảnh A1, A2, B T đƣợc lấy nguyên vẹn từ ảnh khuôn mặt trực diện mèo Microsoft (Microsoft Cat Dataset 2008) Tập ảnh G đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech ảnh PASCAL VOC 2007 Để so sánh kết việc sử dụng phân lớp chồng tầng dựa đặc trƣng MB-LBP với kết hợp với thuật toán bootstapping, ta tiến hành thí nghiệm nhƣ sau 37 Bắt đầu Gán nhãn vị trí cho tập A1, A2, T Tiến hành huấn luyện phân lớp tập ảnh A1 G Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp Tiếp tục huấn luyện phân lớp thuật toán bootstrapping, tập ảnh A2 B Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp sau bootstrapping Kết thúc Hình 4.2: bƣớc thực thí nghiệm 38 4.2.3 Kết thí nghiệm Số mẫu Tổng số Dƣơng Dƣơng gán nhãn mẫu gán tính - tính - Sai Vòng tự động nhãn Đúng lặp đƣợc tăng thêm Âm tính - Âm tính Đúng Sai 0 2000 28 500 25 2643 4643 111 11 498 Bảng 4.2: Các vòng lặp huấn luyện thí nghiệm Trong thí nghiệm nhờ vào bootstrapping, độ xác tăng lên đáng kể chứng tỏ đƣợc hiệu việc sử dụng thuật toán bootstrapping Mặc dù độ xác mẫu gán nhãn không đƣợc xác hoàn toàn nhƣ gán nhãn thủ công dẫn đến kết phân lớp chồng tầng áp dụng huấn luyện bootstrapping đạt đƣợc không kết phân lớp có giám sát công sức bỏ hẳn so với gán nhãn thủ công Tốc độ hội tụ phƣơng pháp huấn luyện nhanh chƣa áp dụng phƣơng pháp tính toán song song vòng lặp (mặc dù chƣơng trình huấn luyện bootstrapping luân văn chƣa áp dụng nhƣng chất huấn luyện đƣợc phân lớp chồng tầng vòng lăp, ta xác định vị trí khuôn mặt đồng thời nhiều ảnh mẫu chƣa gán nhãn để tận dụng sức mạnh tính toán song song máy tính nay) 39 4.3 Thí nghiệm 3: 4.3.1 Mục đích thí nghiệm: Đo đạc độ xác thuật toán nhận diện danh tính khuôn mặt sử dụng phân lớp LBPH liệu khuôn mặt diện loài ngƣời 4.3.2 Bố trí thí nghiệm: Chuẩn bị sẵn tập 450 khuôn mặt nhiều ngƣời, ngƣời xuất nhiều ảnh Tập ảnh đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech Các bƣớc thí nghiệm nhƣ sau: Bắt đầu Trong thư mục ảnh chưa chọn Kết thúc Chọn ảnh Trong thư mục ảnh chưa nhận dạng Nhận dạng ảnh So sánh với liệu gán nhãn sẵn ghi lại kết 40 Hình 4.3: Các bƣớc thí nghiệm 41 4.3.3 Kết thực nghiệm Ngƣời Tổng số ảnh Dƣơng tính - Dƣơng tính - Âm tính - Âm tính xuất Đúng Sai Đúng Sai 21 14 432 20 14 26 404 445 22 14 24 404 21 19 429 23 427 16 20 10 429 10 445 21 21 24 405 10 443 11 444 12 445 13 20 12 430 14 21 429 15 15 25 20 23 402 16 22 12 421 10 17 19 14 32 399 18 20 430 17 19 20 18 16 414 20 20 8 422 12 21 22 17 427 22 21 429 11 23 22 428 13 Bảng 4.3: Kết thí nghiệm Độ xác phân lớp chƣa tốt, số lƣợng kết sai nhiều, điều giải thích phân loại, ta lấy ảnh làm liệu huấn luyện nên mô hình phân lớp đƣợc huẩn luyện chƣa thật đáng tin cậy Tuy thƣờng tình hay xảy thực tế Ngƣời dùng hệ thống tìm kiếm ảnh thƣờng đƣa ảnh ngƣời họ muốn tìm, hệ thống dựa vào ảnh để tìm kiếm liệu Để cải thiện ta yêu cầu ngƣời dùng cung cấp thêm ảnh muốn kết tìm kiếm xác chọn ngƣỡng thấp để loại bỏ lƣợng Dƣơng tính – Sai (nhƣng làm tăng số Âm tính – Sai) 42 CHƢƠNG 5: KẾT LUẬN 5.1 Các kết đạt đƣợc hạn chế Qua trình nghiên cứu xây dựng hệ thống tìm kiếm ảnh theo nội dung, luận văn đạt đƣợc kết sau Thứ nhất, luận văn nghiên cứu kỹ lƣỡng thuật toán cho phép trích chọn yếu tố ảnh thuật toán hàm phân lớp chồng tầng dựa vào đặc trƣng MB-LBP để xác định đƣợc xác vị trí khuôn mặt ngƣời động vật có vú Thứ hai, luận văn đề xuất đƣợc phƣơng pháp áp dụng học máy bán giám sát bootstrapping vào trình huấn luyện hàm phân lớp Phƣơng pháp cho phép rút bớt công sức chuẩn bị thủ công liệu huấn luyện mà cho kết cuối gần tƣơng đƣơng với phân lớp đƣợc huấn luyện tập lớp liệu chuẩn bị thủ công Kế tiếp, luận văn nghiên cứu, áp dụng đƣợc thuật toán phân lớp LBPH vào việc nhận dạng khuôn mặt ảnh Từ kết nghiên cứu thuật toán liên quan đến khuôn mặt, luận văn xây dựng đƣợc hệ thống tìm kiếm ảnh theo nội dung xoay quanh nội dung liên quan đến khuôn mặt ngƣời động vật có vú Cụ thể, hệ thống tìm kiếm tìm kiếm theo số tiêu chí nhƣ sau: tìm kiếm ảnh có xuất khuôn mặt ngƣời/động vật có vú, tìm kiếm ảnh giống nhƣng khác màu sắc kích thƣớc, tìm kiếm ảnh có số lƣợng khuôn mặt, tìm kiếm ảnh có khuôn mặt giống khuôn mặt cho trƣớc 43 Tuy vậy, phủ định nghiên cứu đề tài xâydựng hệ thống tìm kiếm ảnh theo nội dung có hạn chế Hạn chế việc ứng dụng đƣợc phân lớp chồng tầng sử dụng đặc trƣng MB-LBP vào việc xác định vị trí khuôn mặt ngƣời động vật có vú Tiềm phân lớp lớn, áp dụng để xác định vị trí nhiều đối tƣợng khác ảnh nhƣ logo nhãn hàng, công ty, loại hoa quả, vật dụng gia đình nhiều đối tƣợng khác Nếu huấn luyện đƣợc nhiều mô hình phân lớp cho đối tƣợng khác hệ thống tìm kiếm ảnh theo nội dung tìm kiếm theo nhiều tiêu chí nữa, tận dụng đƣợc hết khả phân lớp nghiên cứu Điểm hạn chế khác hệ thống tìm kiếm ảnh theo nội dung độ xác phân lớp LBPH chƣa cao Đặc biệt với khuôn mặt phổ biến việc nhận dạng sai, lẫn nhiều ảnh không xác vào danh sách Điều cải thiện cách áp dụng số lần lặp hạn chế thuật toán học bán giám sát boot strapping để bổ trợ thêm cho phân lớp LBPH Tuy điều ảnh hƣởng đến tốc độ thực thi thực tế Ngoài ra, LBPH chủ yếu dựa vào cấp độ xám để phân biệt khuôn mặt với vật ví dụ nhƣ mèo có khuôn mặt giống nhƣ khác hoàn toàn màu sắc lông thuật toán không phân biệt đƣợc khác biệt Thuật toán đề luận văn không phân biệt đƣợc trƣờng hợp hình ảnh khuôn mặt bị phản chiếu ngƣớc lại Trong số trƣờng hợp hai nửa khuôn mặt khác tƣơng đối, khuôn mặt đƣợc chụp diện chụp ảnh qua gƣơng thuật toán đề nhận nhầm hai khuôn mặt khác 44 Một hạn chế hệ thống chƣa sử dụng sở liệu để lƣu trữ nội dung ảnh trích xuất đƣợc Hệ thống hoàn toàn làm việc thƣ mục ảnh Nhƣ với thƣ mục ảnh lớn 500 ảnh tốc độ tìm kiếm chậm Các ảnh thay cần phân tích lần đƣa vào hệ thống kết phân tích đƣợc dùng để thực thi lệnh tìm kiếm lại phải phân tích lại lần ngƣời dùng thao tác Hạn chế cuối luận văn áp dụng đƣợc cho khuôn mặt chụp diện có nghiêng nhẹ Tuy nhiên thực tế khuôn mặt chụp nghiêng hẳn nửa khuôn mặt xuất nhiều Với ảnh có nửa khuôn mặt thuật toán chƣơng trình đề cập đến luận văn cho kết hạn chế, đặc biệt nhận diện danh tính Kết đề tài khóa luận hạn chế định nhƣ trình bày nhƣng có ý nghĩa nhƣ bƣớc đƣờng xây dựng hệ thống tìm kiếm ảnh theo nội dung hoàn chỉnh Hơn nữa, qua trình nghiên cứu đề tài khóa luận này, đƣợc va chạm, nghiên cứu vấn đề cụ thể thực tế đúc rút đƣợc nhiều kinh nghiệm quý báu, làm tảng cho công tác nghiên cứu sau 5.2 Các công việc tƣơng lai Tôi dự định tiếp tục nghiên cứu sâu hoàn thiện thêm đề tài khóa luận này, đặc biệt việc khắc phục hạn chế nhƣ nêu phần Cụ thể tiếp tục nghiên cứu cách thức áp dụng phân lớp vào việc xác định vị trí nhiều đối tƣợng từ trích rút đƣợc nhiều nội dung ảnh, làm phong phú thêm cho tính tìm kiếm theo nội dung hệ thống Tôi muốn tiếp tục nghiên cứu cụ thể cách thức áp dụng thuật toán học bán giám sát bootstrapping bổ trợ cho phân lớp LBPH mà không làm ảnh hƣởng nhiều đến tốc độ thực thi Từ nhận diện xác danh tính khuôn mặt, cải thiện đƣợc chất lƣợng tìm kiếm danh tính hệ thống 45 Việc giải vấn đề với ảnh khuôn mặt bị phản chiếu, xoay ngƣợc khuôn mặt cần thiết để tránh việc nhận nhầm khuôn mặt thành nhiều khuôn mặt khác Nếu giải đƣợc vấn đề ta từ đƣa thêm tính nhƣ nhận diện ảnh khuôn mặt bị xoay ngƣợc ảnh bị phản chiếu ngƣợc Việc đoán khuôn mặt danh tính khuôn mặt có phần khuôn mặt xuất ảnh hƣớng nghiên cứu quan trọng để hoàn thiện hệ thống tìm kiếm ảnh theo nội dung Cuối sử dụng sở liệu để lƣu trữ nội dung trích rút đƣợc từ ảnh Việc quan trọng cần đƣợc hoàn thiện, tƣơng lai với hƣớng phát triển nêu trên, số lƣợng nội dung trích rút đƣợc từ ảnh đƣợc nâng lên đáng kể Khi việc lƣu trữ lại nội dung trích rút gần nhƣ bắt buộc muốn ứng dụng hệ thống tìm kiếm ảnh theo nội dung thực tế 46 TÀI LIỆU THAM KHẢO [1] Shengcai Liao, Xiangxin Zhu, Zhen Lei, Lun Zhang, and Stan Z Li (2007); Learning Multi-scale Block Local Binary Patterns for Face Recognition, Center for Biometrics and Security Research & National Laboratory of Pattern Recognition,Institute of Automation, Chinese Academy of Sciences, 95 Zhongguancun Donglu, Beijing 100080, China Springer Lecture Notes in Computer Science Volume 4642, 2007, pp 828-837 [2] Ahonen, T., Hadid, A., Pietikainen, M (2004) Face recognition with local binary patterns In: Proceedings of the European Conference on Computer Vision, Prague, Czech, pp 469–481 [3] Belhumeur, P.N., Hespanha, J.P., Kriegman, D.J (1997): Eigenfaces vs Fisherfaces: Recognition using class specific linear projection IEEE Transactions on Pattern Analysis and Machine Intelligence 19(7), 711–720 [4] Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky; (2003) Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection; Springer, Lecture Notes in Computer Science Volume 2781, 2003, pp 297-304 [5] Yann RODRIGUEZ (2006) Face Detection and Verification using Local Binary Patterns, ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE [6] Yakowsky, David (1995); Unsupervised Word Sense Disambiguation Rivaling Supervised Methods ; Department of Computer and Information Science, University of Pennsylvania, Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics Cambridge, MA, pp 189–196 47 [7] Ojala, T., Pietikainen, M., Harwood, D (1996): A comparative study of texture measureswith classification based on feature distributions Pattern Recognition 29(1), 51–59 [8] Ojala, T., Pietikainen, M., Maenpaa, M (2002): Multiresolution gray-scale and rotation invariant texture classification with local binary patterns IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7), 971–987 [9] Phillips, P.J., Flynn, P.J., Scruggs, T., Bowyer, K.W., Chang, J., Hoffman, K., Marques, J., Min, J., Worek, W (2005): Overview of the face recognition grand challenge In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE Computer Society Press, Los Alamitos [10] Turk, M.A., Pentland, A.P (1991): Eigenfaces for recognition Journal of Cognitive Neuroscience 3(1), 71–86 [11] Viola, P., Jones, M (2001): Robust real time object detection In: IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, July 13, 2001 [12] Zhang, G., Huang, X., Li, S.Z., Wang, Y., Wu, X (2004): Boosting local binary pattern (LBP)-based face recognition In: Li, S.Z., Lai, J.-H., Tan, T., Feng, G.-C., Wang, Y (eds.) SINOBIOMETRICS 2004 LNCS, vol 3338, pp 180–187 Springer, Heidelberg [13] M Jones, P Viola (2003) Fast multi-view face detection In IEEE Conference on Computer Vision and Pattern Recognition [14] R Meir and G Rätsch (2003) An introduction to Boosting and Leveraging Springer [15] http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html 48 [...]... tiêu của đề tài xây dựng hệ thống tìm kiếm ảnh theo nội dung của bức ảnh  Chƣơng 2: Các thuật toán nhận dạng khuôn mặt áp dụng trong hệ thống tìm kiếm ảnh theo nội dung Chƣơng này nêu lên các thuật toán học máy có giám sát đƣợc áp dụng để tìm kiếm và nhận dạng khuôn mặt ngƣời và động vật có vú Từ đó, dựa 3 vào các thuật toán này để giải quyết bài toán tìm kiếm ảnh theo nội dung trong ảnh 4 Chƣơng này... tìm kiếm theo nội dung tức là bản thân bức ảnh sẽ đƣợc phân tích để phục vụ cho việc tìm kiếm (chứ không dựa vào các từ khóa, các tag hoặc các mô tả của bức ảnh) Nội dung của bức ảnh ở đây có thể là các đối tƣợng, kết cấu, hoặc các đặc trƣng khác đƣợc trích xuất từ chính bức ảnh Việc hệ thống tìm kiếm ảnh theo nội dung đƣợc cho là ƣu việt hơn tìm kiếm theo từ khóa ở chỗ trên thực tế không phải bức ảnh. .. máy có giám sát để xác định vị trí các đối tƣợng trong bức ảnh với một bộ dữ liệu huấn luyện gán nhãn nhỏ  Chƣơng 3: Hệ thống tìm kiếm ảnh theo nội dung Chƣơng này giới thiệu sơ lƣợc về hệ thống tìm kiếm ảnh theo nội dung Các thƣ viện sử dụng, cấu trúc chƣơng trình, và cách thức áp dụng các thuật toán vào bài toán tìm kiếm ảnh theo nội dung của ảnh  Chƣơng 4: Kết quả thực nghiệm Chƣơng này nêu kết quả... là nội dung của một bức ảnh rất đa dạng theo nhu cầu của từng ngƣời tìm kiếm nhƣng thời gian nghiên cứu và hoàn thành luận văn có hạn nên tôi xin phép giới hạn lại Nội dung của một bức ảnh đƣợc đề cập trong luận văn này sẽ xoay quanh khuôn mặt trực diện của ngƣời và các động vật có vú Theo đó hệ thống tìm kiếm theo nội dung ảnh đƣợc xây dựng trong luận văn sẽ trích rút các nội dung nhƣ: một bức ảnh. .. nhận dạng hình ảnh, tìm kiếm ảnh theo nội dung là một bài toán đƣợc đặt ra để thay thế cho phƣơng pháp tìm kiếm ảnh thông thƣờng dựa trên các từ khóa hoặc các mô tả của ảnh Các hệ thống tìm kiếm ảnh thông thƣờng chủ yếu dựa vào các từ khóa Các từ khóa này có thể trong metadata của mỗi bức ảnh Ngƣời dùng buộc phải nhập các thông tin này bằng tay trƣớc khi đƣa vào hệ thống tìm kiếm Hệ thống sẽ quét và... sắc hoặc tìm kiếm các bức ảnh có cùng một vật thể hoặc đối tƣợng ngƣời tìm kiếm chƣa biết tên gọi) thậm 1 chí phƣơng pháp tìm kiếm theo từ khóa không thể áp dụng hiệu quả đƣợc Khi đó có thể áp dụng phƣơng pháp tìm kiếm theo nội dung 1.2 Mục tiêu đề tài Những vấn đề đã nêu ở trên cho ta thấy đƣợc sự cần thiết của việc nghiên cứu, xây dựng một hệ thống tìm kiếm ảnh dựa vào chính nội dung của ảnh Do số... hoặc có văn bản kèm theo Thậm chí văn bản kèm theo các bức ảnh có thể không có liên quan đến nội dung bức ảnh Nhƣ vậy ngƣời dùng sẽ nhận đƣợc kết quả tìm kiếm sai từ hệ thống tìm kiếm dựa trên từ khóa Ngoài ra, trong nhiều trƣờng hợp ngƣời dùng không tìm đƣợc đúng và đủ từ khóa để mô tả bức ảnh Trong một số loại hình tìm kiếm ảnh cụ thể (ví dụ nhƣ tìm kiếm các bức ảnh giống nhau về nội dung nhƣng khác... một hệ thống tìm kiếm ảnh theo nội dung đơn giản Dựa vào các thuật toán đã nghiên cứu liên quan đến khuôn mặt, hệ thống sẽ trích rút đƣợc các nội dung nhƣ: một bức ảnh có xuất hiện khuôn mặt hay không, số lƣợng khuôn mặt xuất hiện trong bức ảnh là bao nhiêu, danh tính của các khuôn mặt trong bức ảnh và bản thân toàn bộ bức ảnh cũng coi là một nội dung đƣợc trích rút từ bức ảnh Từ đó hệ thống có thể tìm. .. ảnh này để phục vụ tìm kiếm sau này Một phƣơng pháp khác có thể áp dụng với những ảnh vốn dùng để minh họa cho các văn bản (nhƣ các ảnh trên các trang web) Ngƣời ta có thể coi nội dung của văn bản đó có miêu tả nội dung bức ảnh hoặc có liên qua đến nội dung bức ảnh Nhƣ vậy các từ trong văn bản có thể dùng làm các từ khóa để tìm kiếm chính bức ảnh đó Khác với phƣơng pháp tìm kiếm ảnh bằng từ khóa, tìm. .. Kết luận Chƣơng này nêu lên và đánh giá những kết quả đã đạt đƣợc, đồng thời đƣa ra những công việc cần làm trong tƣơng lai để cải tiến hệ thống tìm kiếm ảnh theo nội dung 5 CHƢƠNG 2: CÁC THUẬT TOÁN NHẬN DẠNG KHUÔN MẶT ÁP DỤNG TRONG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 2.1 Thuật toán xác định vị trí khuôn mặt 2.1.1 Một số thuật toán xác định vị trí khuôn mặt thƣờng gặp Xác định vị trí của một vật thể ... nghiên cứu, mục tiêu đề tài xây dựng hệ thống tìm kiếm ảnh theo nội dung ảnh  Chƣơng 2: Các thuật toán nhận dạng khuôn mặt áp dụng hệ thống tìm kiếm ảnh theo nội dung Chƣơng nêu lên thuật toán... 3.2 Hệ thống tìm kiếm ảnh theo nội dung ảnh Đây hệ thống lập trình ngôn ngữ Python với mục đích kiểm tra thực tế thuật toán có cho lại hiệu tốt không tạo nên hệ thống tìm kiếm ảnh theo nội dung. .. ảnh trang web) Ngƣời ta coi nội dung văn có miêu tả nội dung ảnh có liên qua đến nội dung ảnh Nhƣ từ văn dùng làm từ khóa để tìm kiếm ảnh Khác với phƣơng pháp tìm kiếm ảnh từ khóa, tìm kiếm theo