Xây dựng hệ thống tìm kiếm ảnh theo nội dung

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh Đức XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ Vũ Minh Đức XÂY DỰNG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS TS Nguyễn Hải Châu HÀ NỘI - 2015 LỜI CẢM ƠN Lời đầu tiên, tơi xin bày tỏ lịng biết ơn chân thành đến thầy cô giáo trƣờng Đại học Công Nghệ, Đại học Quốc Gia Hà Nội nói chung thầy cô môn Hệ thống thông tin nói riêng Trong suốt năm học tập trƣờng, thầy khơng tận tình truyền đạt kiến thức mà cịn ln động viên giúp đỡ tơi học tập nhƣ sống Đặc biệt, muốn gửi lời cảm ơn sâu sắc đến thầy giáo, phó giáo sƣ, tiến sĩ Nguyễn Hải Châu, ngƣời tận tình bảo, hƣớng dẫn tơi suốt q trình nghiên cứu hồn thiện luận văn tốt nghiệp Tôi xin cảm ơn bạn học viên khóa, ln tơi nghiên cứu học tập, cho tơi ý kiến đóng góp giá trị suốt thời gian học tập nhƣ trình nghiên cứu đề tài khóa luận tốt nghiệp Cuối cùng, xin gửi lời cảm ơn sâu sắc đến gia đình bạn bè, ngƣời ln động viên giúp đỡ tơi vƣợt qua khó khăn sống Hà Nội, ngày 21 tháng năm 2015 Học viên Vũ Minh Đức i LỜI CAM ĐOAN Tôi xin cam đoan nội dung luận văn thực dƣới hƣớng dẫn trực tiếp PGS TS Nguyễn Hải Châu Mọi nội dung tham khảo dùng luận văn đƣợc trích dẫn rõ ràng tên tác giả, tên cơng trình, thời gian, địa điểm công bố Mọi chép không hợp lệ, vi phạm quy chế đào tạo tơi xin chịu hồn toàn trách nhiệm Hà Nội, ngày 21 tháng năm 2015 Học viên Vũ Minh Đức ii TÓM TẮT LUẬN VĂN Trong chủ đề thuộc lĩnh vực xử lý nhận dạng hình ảnh, tìm kiếm ảnh theo nội dung toán đƣợc đặt để thay cho phƣơng pháp tìm kiếm ảnh thơng thƣờng dựa từ khóa mơ tả ảnh Tìm kiếm theo nội dung tức thân ảnh đƣợc phân tích để phục vụ cho việc tìm kiếm (chứ khơng dựa vào từ khóa, tag mô tả ảnh) Nội dung ảnh đối tƣợng, kết cấu, đặc trƣng khác đƣợc trích xuất từ ảnh Việc hệ thống tìm kiếm ảnh theo nội dung đƣợc cho ƣu việt tìm kiếm theo từ khóa chỗ thực tế ngƣời dùng khơng tìm đƣợc đủ từ khóa để mơ tả ảnh Trong số trƣờng hợp cụ thể (ví dụ nhƣ tìm kiếm ảnh giống nội dung nhƣng khác kích thƣớc màu sắc tìm kiếm ảnh có vật thể đối tƣợng ngƣời tìm kiếm chƣa biết tên gọi), chí phƣơng pháp tìm kiếm theo từ khóa khơng thể áp dụng hiệu đƣợc Khi áp dụng phƣơng pháp tìm kiếm theo nội dung hiệu Do số lƣợng yếu tố xem nội dung ảnh đa dạng theo nhu cầu ngƣời tìm kiếm nhƣng thời gian nghiên cứu hồn thành luận văn có hạn nên tơi xin phép giới hạn lại Nội dung ảnh luận văn xoay quanh khuôn mặt trực diện ngƣời động vật có vú Theo hệ thống tìm kiếm theo nội dung ảnh đƣợc xây dựng trích rút nội dung nhƣ: ảnh có xuất khn mặt hay khơng, số lƣợng khuôn mặt xuất ảnh bao nhiêu, danh tính khn mặt ảnh thân toàn ảnh coi nội dung đƣợc trích rút từ ảnh Từ hệ thống tìm đƣợc ảnh ngƣời động vật có vú, ảnh trực diện ngƣời vật thuộc lồi có vú, tìm đƣợc ảnh có số lƣợng ngƣời số lƣợng động vật có vú, tìm đƣợc ảnh có ngƣời iii động vật có vú giống hệt nhƣng khác biệt kích thƣớc màu sắc Để trích rút đƣợc nội dung nhƣ vậy, luận văn tập trung nghiên cứu để giải hai toán Bài tốn xác định vị trí khn mặt ngƣời vật Từ đếm đƣợc số lƣợng khoanh vùng đƣợc khuôn mặt để tiến hành tiếp bƣớc Bài toán thứ hai nhận diện khuôn mặt đƣợc khoanh vùng ảnh với tập ảnh ngƣời dùng mong muốn tìm kiếm ảnh Bài toán – xác định vị trí khn mặt có nhiều cách tiếp cận để giải vấn đề tìm kiếm khoanh vùng nội dung đối tƣợng ảnh nhƣ phƣơng pháp xác định khuôn mặt theo mẫu nhị phân cục (LBP) phƣơng pháp xác định khuôn mặt theo đặc trƣng Haar… Các phƣơng pháp có độ xác cao Tuy phƣơng pháp có nhƣợc điểm yêu cầu liệu huấn luyện lớn khuôn mặt ngƣời Việc chuẩn bị liệu huấn luyện tốn nhiều cơng sức, thời gian chi phí nhân lực Vì luận văn đề xuất phƣơng pháp kết hợp thuật toán xác định khn mặt dựa vào mẫu nhị phân cục nhóm (MB-LBP) phƣơng pháp học máy bán giám sát Phƣơng pháp cho phép cần gán nhãn số lƣợng nhỏ liệu huấn luyện kết hợp với lƣợng lớn liệu huấn luyện không gán nhãn mà mô hình xác định khn mặt cuối đạt đƣợc độ xác gần với huấn luyện với lƣợng lớn liệu gán nhãn Bài toán thứ hai – nhận diện khuôn mặt sau khoanh vùng tách đƣợc khuôn mặt ảnh, hệ thống sử dụng thuật toán nhận diện theo mẫu nhị phân cục (LBP Do khuôn mặt ngƣời đặc trƣng theo LBP nên số lƣợng mẫu huấn luyện không cần nhiều Thực tế cần ảnh ngƣời động vật có vú nhận diện xác ngƣời vật iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii TÓM TẮT LUẬN VĂN iii MỤC LỤC v DANH MỤC CÁC CÔNG THỨC .vii DANH MỤC CÁC HÌNH VẼ viii DANH MỤC CÁC BẢNG BIỂU ix BẢNG CÁC CHỮ VIẾT TẮT x CHƢƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Mục tiêu đề tài 1.3 Đối tƣợng phƣơng pháp nghiên cứu 1.4 Cấu trúc khóa luận CHƢƠNG 2: CÁC THUẬT TỐN NHẬN DẠNG KHN MẶT ÁP DỤNG TRONG HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 2.1 Thuật toán xác định vị trí khn mặt .6 2.1.1 Một số thuật tốn xác định vị trí khn mặt thƣờng gặp .6 2.1.2 Đặc trƣng theo mẫu nhị phân cục (LBP) 2.1.3 Các phân lớp yếu huấn luyện chồng tầng 12 2.2 Thuật toán học bán giám sát Bootstrapping 14 2.3 Thuật tốn nhận diện khn mặt theo biểu đồ tần suất mẫu nhị phân cục (LBPH) 17 2.3.1 Sơ lƣợc thuật tốn Eigenfaces (các khn mặt đặc biệt) .17 2.3.2 Thuật tốn nhận dạng khn mặt sử dụng biểu đồ tần suất mẫu nhị phân cục .18 CHƢƠNG 3: HỆ THỐNG TÌM KIẾM ẢNH THEO NỘI DUNG 21 3.1 Bộ công cụ OpenCV 21 v 3.2 Hệ thống tìm kiếm ảnh theo nội dung ảnh .22 3.2.1 Các công cụ chuẩn bị liệu .22 3.2.2 Hệ thống tìm kiếm ảnh theo nội dung 26 3.2.3 Các hàm công cụ khác 33 CHƢƠNG 4: KẾT QUẢ THỰC NGHIỆM 34 4.1 Thí nghiệm 1: 34 4.1.1 Mục đích thực nghiệm: .34 4.1.2 Bố trí thí nghiệm: .34 4.1.3 Kết thí nghiệm: 36 4.2 Thí nghiệm 2: 36 4.2.1 Mục đích thực nghiệm: .36 4.2.2 Bố trí thí nghiệm: .36 4.2.3 Kết thí nghiệm .39 4.3 Thí nghiệm 3: 40 4.3.1 Mục đích thí nghiệm: 40 4.3.2 Bố trí thí nghiệm: .40 4.3.3 Kết thực nghiệm 42 CHƢƠNG 5: KẾT LUẬN 43 5.1 Các kết đạt đƣợc hạn chế .43 5.2 Các công việc tƣơng lai 45 Tài liệu tham khảo 47 vi DANH MỤC CÁC CƠNG THỨC Cơng thức 2.1: Cơng thức tính LBP điểm ảnh Công thức 2.2: Công thức phân lớp yếu 12 Cơng thức 2.3: Cơng thức tính bảng trọng số mã nhị phân điểm ảnh p 13 Công thức 2.4: Công thức tính biểu đồ tần xuất ảnh 18 Cơng thức 2.5: Cơng thức tính biểu đồ tần xuất ảnh chia nhỏ thành vùng 18 Cơng thức 2.6: Cơng thức tính độ tƣơng giao hai biểu đồ tần xuất 19 Công thức 2.7: Công thức thống kê Chi square hai biểu đồ tần xuất 19 vii DANH MỤC CÁC HÌNH VẼ Hình 2.1: Các đặc trƣng Haar Hình 2.2: Các đặc trƣng Haar mở rộng Hình 2.3: Hình minh họa cách tính LBP Hình 2.4: Hình minh họa cách chia vùng 3x3 MB-LBP 10 Hình 2.5: Hình minh họa khn mặt sau áp dụng MB-LBP 11 Hình 2.7: bƣớc thuật tốn nhận diện khuôn mặt 20 Hình 3.1: Các bƣớc thực thi chuẩn bị liệu huấn luyện xác định vị trí khn mặt 23 Hình 3.2: Giao diện cơng cụ chuẩn bị liệu huấn luyện xác định vị trí khn mặt 24 Hình 3.3: Các bƣớc thực thi cơng cụ huấn luyện mơ hình phân lớp xác định vị trí khn mặt 25 Hình 3.4: Các bƣớc thực thi tính tìm kiếm ảnh xuất khuôn mặt 26 Hình 3.5: Giao diện tính tìm kiếm ảnh xuất khn mặt 27 Hình 3.6: Các bƣớc thực thi tính tìm kiếm ảnh giống nhƣng khác kích thƣớc màu sắc 28 Hình 3.7: Giao diện tính tìm kiếm ảnh giống nhƣng khác kích thƣớc màu sắc 29 Hình 3.8: Các bƣớc thực thi tính tìm kiếm ảnh có số lƣợng ngƣời ảnh 30 Hình 3.9: Giao diện tính tìm kiếm ảnh có số lƣợng ngƣời ảnh 31 Hình 3.10: Các bƣớc thực thi tính tìm kiếm khuôn mặt giống khuôn mặt cho 33 Hình 3.11: Giao diệncủa tính tìm kiếm khn mặt giống khn mặt cho 33 Hình 4.1: bƣớc thực thí nghiệm 35 Hình 4.2: bƣớc thực thí nghiệm 38 Hình 4.3: Các bƣớc thí nghiệm 41 viii CHƢƠNG 4: KẾT QUẢ THỰC NGHIỆM Các chƣơng trƣớc trình bày cụ thể thuật tốn xác định vị trí khn mặt kết hợp với huấn luyện bán giám sát bootstraping, thuật toán so sánh độ khác biệt hai khn mặt thuật tốn tìm kiếm ảnh giống nhƣng khác biệt màu sắc kích thƣớc Chƣơng nêu kết thực nghiệm, đo đạc độ xác thuật tốn 4.1 Thí nghiệm 1: 4.1.1 Mục đích thực nghiệm: Đo đạc độ xác thuật tốn xác định vị trí khn mặt sử dụng phân lớp dựa đặc trƣng MB-LBP liệu khn mặt diện nghiêng nhẹ mèo 4.1.2 Bố trí thí nghiệm: Chuẩn bị liệu gán nhãn tọa độ gồm 9996 ảnh chứa khn mặt chụp diện nghiêng nhẹ mèo thành tập ảnh A, T lần lƣợt có số lƣợng 8996, 1000: Trong đó: o A đóng vai trò tập huấn luyện cho phân lớp; o T tập liệu kiểm thử để đánh giá độ xác cuối Bổ sung 500 ảnh khơng chứa khuôn mặt mèo vào tập T Sử dụng liệu G gồm 5070 ảnh không chứa khuôn mặt mèo để làm ảnh huấn luyện Tập ảnh A T đƣợc lấy nguyên vẹn từ ảnh khuôn mặt trực diện mèo Microsoft (Microsoft Cat Dataset 2008) Tập ảnh G đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech ảnh PASCAL VOC 2007 Ta tiến hành thí nghiệm nhƣ sau: 34 Bắt đầu Gán nhãn vị trí cho tập A Tiến hành huấn luyện phân lớp tập ảnh A Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp Kết thúc Hình 4.1: bƣớc thực thí nghiệm 35 4.1.3 Kết thí nghiệm: Dƣơng tính - Dƣơng tính - Âm tính - Âm tính - Dữ liệu Đúng Sai Đúng Sai 170 26 490 314 Đã đƣợc xoay 270 26 490 214 Đủ góc thẳng Bảng 4.1: Kết thí nghiệm Nhƣ vậy, kết kiểm thử với tập ảnh tự nhiên, khn mặt xoay góc tùy ý không đƣợc tốt Khi kiểm tra với tập ảnh nhƣ nhƣng khuôn mặt đƣợc xử lý trƣớc, xoay góc cho đƣờng nối hai mắt song song với chiều rộng ảnh kết đƣợc cài thiện rõ rệt Nhƣ kết luận đƣợc phân lớp xác định khn mặt nhạy cảm với góc xoay khác khn mặt 4.2 Thí nghiệm 2: 4.2.1 Mục đích thực nghiệm: Đo đạc độ xác thuật tốn xác định vị trí khn mặt sử dụng phân lớp chồng tầng dựa đặc trƣng MB-LBP liệu khn mặt diện nghiêng nhẹ loài mèo So sánh kết huấn luyện phân lớp hoàn toàn liệu huấn luyện xác định vị trí khn mặt theo cách thủ công với áp dụng kết hợp với thuật toán huấn luyện bán giám sát bootstrapping 4.2.2 Bố trí thí nghiệm: Chia liệu gồm 9996 ảnh chứa khn mặt chụp diện nghiêng nhẹ mèo thành tập ảnh A1, A2, B, T lần lƣợt có số lƣợng 2000, 500, 6996, 500: Trong đó: o A1, A2 đóng vai trị tập huấn luyện mồi tập huấn luyện kiểm thử vịng lặp thuật tốn bootstapping; o B tập liệu khơng xác định vị trí khn mặt sử dụng để mở rộng liệu huấn luyện tự động vịng lặp thuật tốn bootstrapping 36 o T tập liệu kiểm thử để đánh giá độ xác cuối Bổ sung 500 ảnh không chứa khuôn mặt mèo vào tập T Sử dụng liệu G gồm 5070 ảnh không chứa khuôn mặt mèo để làm ảnh huấn luyện Tập ảnh A1, A2, B T đƣợc lấy nguyên vẹn từ ảnh khuôn mặt trực diện mèo Microsoft (Microsoft Cat Dataset 2008) Tập ảnh G đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech ảnh PASCAL VOC 2007 Để so sánh kết việc sử dụng phân lớp chồng tầng dựa đặc trƣng MB-LBP với kết hợp với thuật tốn bootstapping, ta tiến hành thí nghiệm nhƣ sau 37 Bắt đầu Gán nhãn vị trí cho tập A1, A2, T Tiến hành huấn luyện phân lớp tập ảnh A1 G Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp Tiếp tục huấn luyện phân lớp thuật toán bootstrapping, tập ảnh A2 B Tiến hành phân lớp tập ảnh T ghi lại độ xác phân lớp sau bootstrapping Kết thúc Hình 4.2: bƣớc thực thí nghiệm 38 4.2.3 Kết thí nghiệm Số mẫu Tổng số Dƣơng Dƣơng gán nhãn mẫu gán tính - tính - Sai Vòng tự động nhãn Đúng lặp đƣợc tăng thêm Âm tính - Âm tính Đúng Sai 0 2000 28 500 25 2643 4643 111 11 498 Bảng 4.2: Các vịng lặp huấn luyện thí nghiệm Trong thí nghiệm nhờ vào bootstrapping, độ xác tăng lên đáng kể chứng tỏ đƣợc hiệu việc sử dụng thuật toán bootstrapping Mặc dù độ xác mẫu gán nhãn khơng đƣợc xác hồn tồn nhƣ gán nhãn thủ công dẫn đến kết phân lớp chồng tầng áp dụng huấn luyện bootstrapping đạt đƣợc không kết phân lớp có giám sát cơng sức bỏ hẳn so với gán nhãn thủ công Tốc độ hội tụ phƣơng pháp huấn luyện nhanh chƣa áp dụng phƣơng pháp tính tốn song song vịng lặp (mặc dù chƣơng trình huấn luyện bootstrapping luân văn chƣa áp dụng nhƣng chất huấn luyện đƣợc phân lớp chồng tầng vịng lăp, ta xác định vị trí khn mặt đồng thời nhiều ảnh mẫu chƣa gán nhãn để tận dụng sức mạnh tính tốn song song máy tính nay) 39 4.3 Thí nghiệm 3: 4.3.1 Mục đích thí nghiệm: Đo đạc độ xác thuật tốn nhận diện danh tính khn mặt sử dụng phân lớp LBPH liệu khn mặt diện lồi ngƣời 4.3.2 Bố trí thí nghiệm: Chuẩn bị sẵn tập 450 khn mặt nhiều ngƣời, ngƣời xuất nhiều ảnh Tập ảnh đƣợc lấy từ nguồn 450 ảnh liệu khuôn mặt trực diện Caltech Các bƣớc thí nghiệm nhƣ sau: Bắt đầu Trong thư mục ảnh chưa chọn Kết thúc Chọn ảnh Trong thư mục ảnh chưa nhận dạng Nhận dạng ảnh So sánh với liệu gán nhãn sẵn ghi lại kết 40 Hình 4.3: Các bƣớc thí nghiệm 41 4.3.3 Kết thực nghiệm Ngƣời Tổng số ảnh Dƣơng tính - Dƣơng tính - Âm tính - Âm tính xuất Đúng Sai Đúng Sai 21 14 432 20 14 26 404 445 22 14 24 404 21 19 429 23 427 16 20 10 429 10 445 21 21 24 405 10 443 11 444 12 445 13 20 12 430 14 21 429 15 15 25 20 23 402 16 22 12 421 10 17 19 14 32 399 18 20 430 17 19 20 18 16 414 20 20 8 422 12 21 22 17 427 22 21 429 11 23 22 428 13 Bảng 4.3: Kết thí nghiệm Độ xác phân lớp chƣa tốt, số lƣợng kết sai cịn nhiều, điều giải thích phân loại, ta lấy ảnh làm liệu huấn luyện nên mơ hình phân lớp đƣợc huẩn luyện chƣa thật đáng tin cậy Tuy thƣờng tình hay xảy thực tế Ngƣời dùng hệ thống tìm kiếm ảnh thƣờng đƣa ảnh ngƣời họ muốn tìm, hệ thống dựa vào ảnh để tìm kiếm liệu Để cải thiện ta yêu cầu ngƣời dùng cung cấp thêm ảnh muốn kết tìm kiếm xác chọn ngƣỡng thấp để loại bỏ lƣợng Dƣơng tính – Sai (nhƣng làm tăng số Âm tính – Sai) 42 CHƢƠNG 5: KẾT LUẬN 5.1 Các kết đạt đƣợc hạn chế Qua trình nghiên cứu xây dựng hệ thống tìm kiếm ảnh theo nội dung, luận văn đạt đƣợc kết sau Thứ nhất, luận văn nghiên cứu kỹ lƣỡng thuật toán cho phép trích chọn yếu tố ảnh thuật toán hàm phân lớp chồng tầng dựa vào đặc trƣng MB-LBP để xác định đƣợc xác vị trí khn mặt ngƣời động vật có vú Thứ hai, luận văn đề xuất đƣợc phƣơng pháp áp dụng học máy bán giám sát bootstrapping vào trình huấn luyện hàm phân lớp Phƣơng pháp cho phép rút bớt công sức chuẩn bị thủ công liệu huấn luyện mà cho kết cuối gần tƣơng đƣơng với phân lớp đƣợc huấn luyện tập lớp liệu chuẩn bị thủ công Kế tiếp, luận văn nghiên cứu, áp dụng đƣợc thuật toán phân lớp LBPH vào việc nhận dạng khuôn mặt ảnh Từ kết nghiên cứu thuật toán liên quan đến khuôn mặt, luận văn xây dựng đƣợc hệ thống tìm kiếm ảnh theo nội dung xoay quanh nội dung liên quan đến khuôn mặt ngƣời động vật có vú Cụ thể, hệ thống tìm kiếm tìm kiếm theo số tiêu chí nhƣ sau: tìm kiếm ảnh có xuất khn mặt ngƣời/động vật có vú, tìm kiếm ảnh giống nhƣng khác màu sắc kích thƣớc, tìm kiếm ảnh có số lƣợng khn mặt, tìm kiếm ảnh có khn mặt giống khn mặt cho trƣớc 43 Tuy vậy, phủ định nghiên cứu đề tài xâydựng hệ thống tìm kiếm ảnh theo nội dung có hạn chế Hạn chế việc ứng dụng đƣợc phân lớp chồng tầng sử dụng đặc trƣng MB-LBP vào việc xác định vị trí khn mặt ngƣời động vật có vú Tiềm phân lớp cịn lớn, áp dụng để xác định vị trí nhiều đối tƣợng khác ảnh nhƣ logo nhãn hàng, công ty, loại hoa quả, vật dụng gia đình nhiều đối tƣợng khác Nếu huấn luyện đƣợc nhiều mơ hình phân lớp cho đối tƣợng khác hệ thống tìm kiếm ảnh theo nội dung tìm kiếm theo nhiều tiêu chí nữa, tận dụng đƣợc hết khả phân lớp nghiên cứu Điểm hạn chế khác hệ thống tìm kiếm ảnh theo nội dung độ xác phân lớp LBPH chƣa cao Đặc biệt với khuôn mặt phổ biến việc nhận dạng sai, lẫn nhiều ảnh khơng xác vào danh sách Điều cải thiện cách áp dụng số lần lặp hạn chế thuật toán học bán giám sát boot strapping để bổ trợ thêm cho phân lớp LBPH Tuy điều ảnh hƣởng đến tốc độ thực thi thực tế Ngoài ra, LBPH chủ yếu dựa vào cấp độ xám để phân biệt khn mặt với vật ví dụ nhƣ mèo có khn mặt giống nhƣ khác hồn tồn màu sắc lơng thuật tốn khơng phân biệt đƣợc khác biệt Thuật tốn đề luận văn khơng phân biệt đƣợc trƣờng hợp hình ảnh khn mặt bị phản chiếu ngƣớc lại Trong số trƣờng hợp hai nửa khuôn mặt khác tƣơng đối, khn mặt đƣợc chụp diện chụp ảnh qua gƣơng thuật tốn đề nhận nhầm hai khn mặt khác 44 Một hạn chế hệ thống chƣa sử dụng sở liệu để lƣu trữ nội dung ảnh trích xuất đƣợc Hệ thống hoàn toàn làm việc thƣ mục ảnh Nhƣ với thƣ mục ảnh lớn 500 ảnh tốc độ tìm kiếm chậm Các ảnh thay cần phân tích lần đƣa vào hệ thống kết phân tích đƣợc dùng để thực thi lệnh tìm kiếm lại phải phân tích lại lần ngƣời dùng thao tác Hạn chế cuối luận văn áp dụng đƣợc cho khn mặt chụp diện có nghiêng nhẹ Tuy nhiên thực tế khn mặt chụp nghiêng hẳn cịn nửa khn mặt xuất nhiều Với ảnh có nửa khn mặt thuật tốn chƣơng trình đề cập đến luận văn cho kết hạn chế, đặc biệt nhận diện danh tính Kết đề tài khóa luận cịn hạn chế định nhƣ trình bày nhƣng có ý nghĩa nhƣ bƣớc đƣờng xây dựng hệ thống tìm kiếm ảnh theo nội dung hoàn chỉnh Hơn nữa, qua trình nghiên cứu đề tài khóa luận này, tơi đƣợc va chạm, nghiên cứu vấn đề cụ thể thực tế đúc rút đƣợc nhiều kinh nghiệm quý báu, làm tảng cho công tác nghiên cứu sau 5.2 Các công việc tƣơng lai Tôi dự định tiếp tục nghiên cứu sâu hồn thiện thêm đề tài khóa luận này, đặc biệt việc khắc phục hạn chế nhƣ nêu phần Cụ thể tiếp tục nghiên cứu cách thức áp dụng phân lớp vào việc xác định vị trí nhiều đối tƣợng từ trích rút đƣợc nhiều nội dung ảnh, làm phong phú thêm cho tính tìm kiếm theo nội dung hệ thống Tôi muốn tiếp tục nghiên cứu cụ thể cách thức áp dụng thuật toán học bán giám sát bootstrapping bổ trợ cho phân lớp LBPH mà không làm ảnh hƣởng nhiều đến tốc độ thực thi Từ nhận diện xác danh tính khn mặt, cải thiện đƣợc chất lƣợng tìm kiếm danh tính hệ thống 45 Việc giải vấn đề với ảnh khuôn mặt bị phản chiếu, xoay ngƣợc khuôn mặt cần thiết để tránh việc nhận nhầm khuôn mặt thành nhiều khuôn mặt khác Nếu giải đƣợc vấn đề ta từ đƣa thêm tính nhƣ nhận diện ảnh khuôn mặt bị xoay ngƣợc ảnh bị phản chiếu ngƣợc Việc đốn khn mặt danh tính khn mặt có phần khuôn mặt xuất ảnh hƣớng nghiên cứu quan trọng để hoàn thiện hệ thống tìm kiếm ảnh theo nội dung Cuối sử dụng sở liệu để lƣu trữ nội dung trích rút đƣợc từ ảnh Việc quan trọng cần đƣợc hoàn thiện, tƣơng lai với hƣớng phát triển nêu trên, số lƣợng nội dung trích rút đƣợc từ ảnh đƣợc nâng lên đáng kể Khi việc lƣu trữ lại nội dung trích rút gần nhƣ bắt buộc muốn ứng dụng hệ thống tìm kiếm ảnh theo nội dung thực tế 46 TÀI LIỆU THAM KHẢO [1] Shengcai Liao, Xiangxin Zhu, Zhen Lei, Lun Zhang, and Stan Z Li (2007); Learning Multi-scale Block Local Binary Patterns for Face Recognition, Center for Biometrics and Security Research & National Laboratory of Pattern Recognition,Institute of Automation, Chinese Academy of Sciences, 95 Zhongguancun Donglu, Beijing 100080, China Springer Lecture Notes in Computer Science Volume 4642, 2007, pp 828-837 [2] Ahonen, T., Hadid, A., Pietikainen, M (2004) Face recognition with local binary patterns In: Proceedings of the European Conference on Computer Vision, Prague, Czech, pp 469–481 [3] Belhumeur, P.N., Hespanha, J.P., Kriegman, D.J (1997): Eigenfaces vs Fisherfaces: Recognition using class specific linear projection IEEE Transactions on Pattern Analysis and Machine Intelligence 19(7), 711–720 [4] Rainer Lienhart, Alexander Kuranov, Vadim Pisarevsky; (2003) Empirical Analysis of Detection Cascades of Boosted Classifiers for Rapid Object Detection; Springer, Lecture Notes in Computer Science Volume 2781, 2003, pp 297-304 [5] Yann RODRIGUEZ (2006) Face Detection and Verification using Local Binary Patterns, ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE [6] Yakowsky, David (1995); Unsupervised Word Sense Disambiguation Rivaling Supervised Methods ; Department of Computer and Information Science, University of Pennsylvania, Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics Cambridge, MA, pp 189–196 47 [7] Ojala, T., Pietikainen, M., Harwood, D (1996): A comparative study of texture measureswith classification based on feature distributions Pattern Recognition 29(1), 51–59 [8] Ojala, T., Pietikainen, M., Maenpaa, M (2002): Multiresolution gray-scale and rotation invariant texture classification with local binary patterns IEEE Transactions on Pattern Analysis and Machine Intelligence 24(7), 971–987 [9] Phillips, P.J., Flynn, P.J., Scruggs, T., Bowyer, K.W., Chang, J., Hoffman, K., Marques, J., Min, J., Worek, W (2005): Overview of the face recognition grand challenge In: Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition IEEE Computer Society Press, Los Alamitos [10] Turk, M.A., Pentland, A.P (1991): Eigenfaces for recognition Journal of Cognitive Neuroscience 3(1), 71–86 [11] Viola, P., Jones, M (2001): Robust real time object detection In: IEEE ICCV Workshop on Statistical and Computational Theories of Vision, Vancouver, Canada, July 13, 2001 [12] Zhang, G., Huang, X., Li, S.Z., Wang, Y., Wu, X (2004): Boosting local binary pattern (LBP)-based face recognition In: Li, S.Z., Lai, J.-H., Tan, T., Feng, G.-C., Wang, Y (eds.) SINOBIOMETRICS 2004 LNCS, vol 3338, pp 180–187 Springer, Heidelberg [13] M Jones, P Viola (2003) Fast multi-view face detection In IEEE Conference on Computer Vision and Pattern Recognition [14] R Meir and G Rätsch (2003) An introduction to Boosting and Leveraging Springer [15] http://docs.opencv.org/modules/contrib/doc/facerec/facerec_tutorial.html 48 ... pháp nghiên cứu, mục tiêu đề tài xây dựng hệ thống tìm kiếm ảnh theo nội dung ảnh  Chƣơng 2: Các thuật tốn nhận dạng khn mặt áp dụng hệ thống tìm kiếm ảnh theo nội dung Chƣơng nêu lên thuật tốn... 3.2 Hệ thống tìm kiếm ảnh theo nội dung ảnh Đây hệ thống lập trình ngơn ngữ Python với mục đích kiểm tra thực tế thuật tốn có cho lại hiệu tốt khơng tạo nên hệ thống tìm kiếm ảnh theo nội dung. .. pháp tìm kiếm theo nội dung 1.2 Mục tiêu đề tài Những vấn đề nêu cho ta thấy đƣợc cần thiết việc nghiên cứu, xây dựng hệ thống tìm kiếm ảnh dựa vào nội dung ảnh Do số lƣợng yếu tố xem nội dung ảnh