Nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG NGUYỄN VĂN TỒN NGHIÊN CỨU PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG PHÂN CỤM GIA TĂNG VỚI PHẢN HỒI LIÊN QUAN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN, 2018 i LỜI CẢM ƠN Luận văn hoàn thành với hướng dẫn tận tình PGS.TS Nguyễn Hữu Quỳnh – Khoa Cơng nghệ thông tin - Đại học Điện lực Trước tiên tơi xin chân thành bày tỏ lịng biết ơn sâu sắc tới PGS.TS Nguyễn Hữu Quỳnh người tận tình hướng dẫn, động viên giúp đỡ suốt thời gian thực luận văn Tôi xin chân thành cảm ơn thầy cô trường Đại học Công Nghệ thông tin Truyền thông – Đại học Thái Ngun, tạo điều kiện thuận lợi cho tơi hồn thành tốt khóa học Xin chân thành cảm ơn anh, chị bạn học viên lớp Cao học CHK15A ln động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khố học Cuối cùng, tơi xin gửi lời cảm ơn sâu sắc đến gia đình, người thân, bạn bè động viên, khuyến khích hỗ trợ cần thiết để tơi hồn thành luận văn Mặc dù cố gắng, song luận văn tránh khỏi thiếu sót, kính mong dẫn quý thầy cô bạn Thái Nguyên, ngày tháng năm 2018 Người viết Nguyễn Văn Tồn ii LỜI CAM ĐOAN Tơi xin cam đoan số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc Thái Nguyên, ngày tháng năm 2018 Người cam đoan Nguyễn Văn Toàn iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT vi DANH MỤC CÁC BẢNG BIỂU vii DANH MỤC CÁC HÌNH viii MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH DỰA VÀO NỘI DUNG VỚI PHẢN HỒI LIÊN QUAN 1.1 Tổng quan tra cứu ảnh dựa vào nội dung 1.1.1 Vấn đề tra cứu ảnh dựa vào nội dung 1.2 Tra cứu ảnh sử dụng phản hồi liên quan 14 1.3 Vấn đề phân cụm[1] 16 1.3.1 Thuật toán K-Means 20 1.3.2 Phân cụm phân cấp 21 1.3.3 Phân cụm dựa vào mật độ 23 1.3.4 Phân cụm dựa vào mô hình 23 1.3.5 Phân cụm dựa vào đồ thị 26 1.4 Tiểu kết chương 26 CHƯƠNG 2: PHƯƠNG PHÁP TRA CỨU ẢNH VỚI PHẢN HỒI LIÊN QUAN SỬ DỤNG PHÂN CỤM GIA TĂNG 27 2.1 Tra cứu ảnh với ngữ nghĩa mức cao 27 2.1.1 Giới thiệu tra cứu ảnh với ngữ nghĩa mức cao 27 2.1.2 Khoảng cách ngữ nghĩa 28 2.1.3 Phản hồi liên quan 29 2.2 Tra cứu ảnh với phản hồi liên quan 31 2.3 Kỹ thuật phân tích phân biệt tuyến tính (LDA-Linear Discriminant Analysis) 32 iv 2.3.1 Định nghĩa LDA 32 2.3.2 Tính toán phương sai between-class (𝑺𝑩) 32 2.3.3 Tính phương sai within-class (𝑺𝒘) 34 2.3.4 Xây dựng không gian thấp chiều 36 2.3.5 Sơ đồ phương pháp tra cứu ảnh sử dụng phân cụm gia tăng phản hồi liên quan 37 2.4 Tiểu kết chương 39 CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 40 3.1 Giới thiệu toán tra cứu ảnh dựa vào nội dung 40 3.2 Môi trường thực nghiệm 41 3.2.1 Cơ sở liệu ảnh 42 3.2.2 Vec-tơ đặc trưng 43 3.2.3 Tập tin cậy 44 3.2.4 Cấu hình đề xuất thiết bị chạy thực nghiệm 44 3.3 Đánh giá kết thực nghiệm 44 3.3.1 Chiến lược mô phản hồi liên quan 44 3.3.2 Kết đánh giá 45 3.4 Giao diện hệ thống 47 3.5 Tiểu kết chương 51 KẾT LUẬN 52 TÀI LIỆU THAM KHẢO 53 v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Từ viết tắt Diễn giải CBIR Tra cứu ảnh dựa vào nội dung RBIR Tra cứu ảnh dựa vào vùng CSDL Cơ sở liệu CRT Mẫu vùng cấu tạo EMD Earth Mover Distance IRM Lược đồ đối sánh vùng tích hợp DPF Hàm khoảng cách động phần MRMD Khoảng cách đa tạp đa phân giải RF Phản hồi liên quan vi DANH MỤC CÁC BẢNG BIỂU Bảng 3.1 Bảng phân bố tập ảnh Corel 42 Bảng 3.2 Các loại đặc trưng 43 Bảng 3.3 Bảng cấu hình đề xuất thiết bị chạy thực nghiệm 44 Bảng 3.4 Bảng kết phương pháp 46 vii DANH MỤC CÁC HÌNH Hình 1.1 Kiến trúc tổng quan hệ thống tra cứu ảnh dựa vào nội dung Hình 1.2 Khơng gian màu RGB Hình 1.3 Khơng gian màu HSV Hình 1.4 Lược đồ hệ thống CBIR với RF 16 Hình 1.5 Các tập liệu cụm 17 Hình 1.6 Các tập liệu khơng thích hợp với K-Means 21 Hình 1.7 Phân cụm phân cấp tập liệu D={a,b,c,d,e} 22 Hình 2.1 Dịch chuyển điểm truy vấn 29 Hình 2.2 Hình dạng lồi (đa điểm) 30 Hình 2.3 Hình dạng lõm (đa điểm) 30 Hình 2.4 Tra cứu ảnh dựa vào nội dung với phản hồi liên quan 31 Hình 2.5 Các bước trực quan hóa để tính khơng gian chiều thấp kỹ thuật LDA 33 Hình 2.6 Sơ đồ tra cứu ảnh sử dụng phân cụm gia tăng 38 Hình 3.1 Mơ hình tổng qt hệ thống 41 Hình 3.2 Biểu đồ so sánh kết thực nghiệm 46 Hình 3.3 Giao diện hệ thống 47 Hình 3.4 Chọn tập liệu ảnh / đặc trưng 48 Hình 3.5 Chọn ảnh truy vấn khởi tạo 48 Hình 3.6 Tra cứu với truy vấn khởi tạo 84003, 84004, 84008 thuộc lớp 840 48 Hình 3.7 Kết phân cụm tập huấn luyện 49 Hình 3.8 Cơng cụ tra cứu phân cụm LDA 49 Hình 3.9 Kết tra cứu phản hồi liên quan 50 Hình 3.10 Kết phân cụm gia tăng 50 Hình 3.11 Kết tra cứu sau sử dụng phân cụm gia tăng 51 viii MỞ ĐẦU Tra cứu ảnh dựa vào nội dung (CBIR-Content Based Image Retrieval) nhận nhiều quan tâm thập kỷ qua, nhu cầu xử lý hiệu lượng liệu đa phương tiện khổng lồ tăng nhanh chóng Nhiều hệ thống CBIR phát triển, gồm QBIC, Photobook, MARS, VisualSEEK, SIMPLIcity hệ thống khác Trong hệ thống CBIR tiêu biểu, đặc trưng ảnh trực quan mức thấp (tức màu, kết cấu hình dạng) trích rút tự động cho mục tiêu đánh số mơ tả ảnh Để tìm kiếm ảnh mong muốn, người dùng đưa ảnh làm mẫu hệ thống trả lại tập ảnh tương tự dựa vào đặc trưng trích rút Là vấn đề quan trọng CBIR, độ đo tương tự lượng hóa giống nội dung cặp ảnh Phụ thuộc vào kiểu đặc trưng trích rút mà lựa chọn độ đo tương tự thích hợp Tất kỹ thuật tra cứu ảnh dựa vào nội dung thừa nhận thông tin tương hỗ độ đo tương tự ảnh ngữ nghĩa ảnh Bằng nhiều cách khác nhau, độ đo tương tự cố gắng nắm khía cạnh nội dung ảnh, ngữ nghĩa kế thừa từ độ tương tự hay đặc trưng mức thấp Tuy nhiên, ngữ nghĩa kế thừa từ độ tương tự nhiều không giống với khái niệm mức cao truyền tải ảnh (ngữ nghĩa ảnh) Đó khoảng cách ngữ nghĩa, phản ánh khác biệt lực mô tả hạn chế đặc trưng trực quan mức thấp khái niệm mức cao Các kỹ thuật việc rút ngắn “khoảng cách ngữ nghĩa” gồm có loại chính: (1) sử dụng thể đối tượng để xác định khái niệm mức cao, (2) sử dụng công cụ học máy để kết hợp đặc trưng mức thấp với khái niệm truy vấn, (3) đưa phản hồi liên quan vào lặp tra cứu cho học ý định người dùng, (4) sinh mẫu ngữ nghĩa để hỗ trợ tra cứu ảnh mức cao, (5) Cách sử dụng nội dung trực quan ảnh thông tin văn thu từ Web cho tra cứu ảnh Web Từ nhận định gợi ý giáo viên hướng dẫn, định chọn đề tài: “Nghiên cứu phương pháp tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan” Đề tài kết hợp hai hướng tiếp cận (2) (3), đưa phản hồi liên quan người dùng vào trình tra cứu sử dụng phương pháp phân cụm gia tăng để phân cụm tập ảnh phản hồi nhằm biểu diễn nhu cầu thông tin người dùng hiệu Phản hồi liên quan q trình trực tuyến mà cố gắng học mục đích người dùng trình tra cứu, công cụ mạnh sử dụng truyền thống hệ thống tra cứu thơng tin Nó giới thiệu CBIR khoảng đầu năm 1990, với mục đích mang người dùng vào lặp tra cứu để giảm khoảng cách ngữ nghĩa mà truy vấn biểu diễn người dùng nghĩ Bằng việc tiếp tục học thông qua tương tác với người dùng cuối, phản hồi liên quan cung cấp cải tiến hiệu đáng kể hệ thống CBIR Phân cụm phương pháp học khơng giám sát để tạo thành nhóm hay cụm liệu Lý thuyết phân cụm giả thuyết “các đối tượng gần có xu hướng liên quan tới yêu cầu” Đã có nhiều thuật toán thực việc phân cụm như: K-mean, K-medoid, EM…Tuy nhiên, thuật toán thường gọi phân cụm ngoại tuyến (off-line), tức là, thuật toán thực phân cụm toàn sở liệu ảnh có sẵn (gồm nhiều ảnh), có ảnh bổ sung vào, q trình lại phải phân cụm lại từ đầu Các thuật toán ngoại tuyến khơng phù hợp trường hợp địi hỏi trực tuyến (on-line), chẳng hạn, trường hợp mà áp dụng tập ảnh nhỏ (là kết lần thực tra cứu) đòi hỏi phân cụm nhiều ảnh cần bổ sung phân cụm không cần phải tiến hành với liệu phân cụm trước Thuật tốn mà đáp ứng trường hợp trực tuyến phải có tính chất “gia tăng” hay gọi phân cụm gia tăng CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM 3.1 Giới thiệu toán tra cứu ảnh dựa vào nội dung Tra cứu ảnh dựa vào nội dung phương pháp giúp người tiếp cận tập liệu ảnh lớn cách có hiệu nhất, từ cung cấp nhiều thơng tin cho người dùng văn Tuy nhiên, bước chuyển từ tra cứu văn với mô tả ảnh sang sử dụng ảnh truy vấn bộc lộ nhiều hạn chế việc sử dụng ảnh truy vấn khơng thể biểu diễn toàn nhu cầu người dùng Một cách khắc phục hạn chế sử dụng đa truy vấn, nhu cầu người dùng biểu diễn nhiều ảnh truy vấn đầu vào Từ thơng tin cung cấp tốt cho hệ thống CBIR, giúp đa dạng kết trả truy vấn khởi tạo, làm đầu vào cho pha phản hồi liên quan Phản hồi liên quan sử dụng để học thông tin từ người dùng sau truy vấn khởi tạo, phương pháp phân cụm sử dụng để giảm độ phức tạp tính tốn thơng qua gom nhóm ảnh tương tự mặt ngữ nghĩa Trọng tâm cụm sử dụng làm đầu vào cho pha tra cứu Việc lặp lại đến đạt mong muốn người dùng Đối với phương pháp phân cụm truyền thống, độ phức tạp tính tốn tăng tỉ lệ thuận với số lượng tập ảnh phản hồi từ người dùng Phân cụm gia tăng đề xuất nhằm hạn chế việc này, giúp tốc độ xử lý hệ thống CBIR tăng lên mà không làm giảm chất lượng tra cứu ảnh dựa vào nội dung Chiến lược tra cứu đề xuất sử dụng luận văn kết hợp tính đa dạng tra cứu ảnh sử dụng đa truy vấn học thông tin từ người dùng thông qua phản hồi liên quan với phân cụm gia tăng LDA Hình 3.1 cho thấy mơ hình tổng qt hệ thống 40 Hình 3.1 Mơ hình tổng qt hệ thống Trong đó, n ảnh truy vấn đầu vào Q1 đến Qn cung cấp cho hệ thống, sử dụng phương pháp trích rút đặc trưng tập sở liệu nhận n vec-tơ đặc trưng, truy vấn khởi tạo cho máy tìm kiếm CBIR Với truy vấn đầu vào nhận tập kết trả về, tập sau gộp lại để tập kết SMerge Thông tin phản hồi từ người dùng hay ảnh liên quan ngữ nghĩa cung cấp Hệ thống sử dụng phân cụm LDA phân tập phản hồi thành m cụm, huấn luyện LDA cho cụm cung cấp lại đầu vào cho máy tìm kiếm đại diện cụm Ở lần lặp thứ hai, hệ thống không phân cụm lại mà sử dụng gia tăng cụm LDA huấn luyện để gán nhãn cho ảnh phản hồi Q trình phản hồi lặp lại nhiều lần đạt mong muốn từ người dùng 3.2 Môi trường thực nghiệm Trong khuôn khổ luận văn, luận văn không đề cập đến hiệu phương pháp trích rút đặc trưng, vậy, tập đặc trưng ảnh xem sẵn có cho pha tra cứu 41 3.2.1 Cơ sở liệu ảnh Cơ sở liệu ảnh sưu tầm tập tập Corel sử dụng rộng rãi cộng đồng nghiên cứu lĩnh vực tra cứu ảnh dựa vào nội dung Tập ảnh gồm 3400 ảnh phân lớp theo ngữ nghĩa từ phía người dùng Tập gồm 34 loại, loại có 100 ảnh, cụ thể cung cấp bảng 3.1 Tất ảnh tập ảnh có tính chất chứa đối tượng tiền cảnh bật Cỡ ảnh có max(chiều rộng, chiều cao)=384 min(chiều rộng, chiều cao)=256 Bảng 3.1 Bảng phân bố tập ảnh Corel STT LỚP ẢNH SỐ LƯỢNG 290 100 700 100 750 100 770 100 840 100 1040 100 1050 100 1070 100 1080 100 10 1090 100 11 1100 100 12 1120 100 13 1340 100 14 1350 100 15 1680 100 16 2680 100 17 2890 100 18 3260 100 19 3510 100 42 GHI CHÚ 20 3540 100 21 3910 100 22 4150 100 23 4470 100 24 4580 100 25 4990 100 26 5210 100 27 5350 100 28 5530 100 29 5810 100 30 5910 100 31 6440 100 32 6550 100 33 6610 100 34 6840 100 3.2.2 Vec-tơ đặc trưng Các đặc trưng chia làm hai loại là: đặc trưng màu đặc trưng kết cấu (xem Bảng 3.2 dưới) Bảng 3.2 Các loại đặc trưng Các loại đặc trưng Loại đặc trưng màu Loại đặc trưng kết cấu Tên đặc trưng Độ dài Lược đồ màu ColorHsvHistogram64 64 Mô men màu ColorLuvMoment123 Gắn kết màu ColorHsvCoherence64 128 CoarsnessVector 10 Directionality Kết cấu Wavelet WaveletTwtTexture 104 Kết cấu MASAR MRSAR 15 Kết cấu Tamura 43 3.2.3 Tập tin cậy Tập tin cậy Corel sử dụng rộng rãi đánh giá CBIR, luận văn sử dụng phân loại Corel làm tin cậy nền, tức luận văn xem tất ảnh loại Corel liên quan Tập tin cậy gồm cột (có tiêu đề: ID ảnh truy vấn, Truy vấn khởi tạo Q0, ID ảnh Sự liên quan) gồm 3400 dòng (mỗi dòng véc tơ đặc trưng) 3.2.4 Cấu hình đề xuất thiết bị chạy thực nghiệm Để đảm bảo hệ thống vận hành thông suốt, luận văn đề xuất cấu hình tối thiểu thiết bị chạy thực nghiệm Bảng 3.3 cung cấp chi tiết thông tin cấu hình tối thiểu thiết bị chạy thực nghiệm Bảng 3.3 Bảng cấu hình đề xuất thiết bị chạy thực nghiệm STT Loại TB CHIP RAM HDD VGA SCREEN OS Matlab Chủng loại Intel Core i3 4Gb DDRIII 500Gb HDD Intel HD Graphic Windows x64 Matlab 2016a x64 3.3 Đánh giá kết thực nghiệm Số lượng 1 1 1 3.3.1 Chiến lược mô phản hồi liên quan Để bắt chước hành vi người, luận văn thực mô phản hồi liên quan thử nghiệm Đầu tiên, 05 ảnh truy vấn khởi tạo cung cấp cho đầu vào tra cứu Thông qua máy tìm kiếm phân hạng tập ảnh sở liệu ảnh truy vấn 05 tập kết 05 kết sau gộp lại thành tập kết trả Tiếp theo mô tương tác người dùng việc chọn ảnh liên quan (positive) từ kết tra cứu khởi tạo dựa vào tập tin cậy (ground truth), ảnh lại ảnh không liên quan (negative) 100 ảnh tập kết Lý lựa chọn 100 ảnh thơng thường người dùng xem từ đến hình (Mỗi hình có khoảng 50 ảnh) 44 để phản hồi Các ảnh phản hồi liên quan sau phân cụm thành M cụm, huấn luyện LDA thực cụm Hệ thống tính tốn điểm truy vấn tối ưu với cụm, làm đầu vào cho máy tìm kiếm lần thứ hai Các kết phân hạng tập ảnh sở liệu kết hợp lại Mô tương tác người dùng lại lần sử dụng tập kết nhằm lấy ảnh liên quan thông qua tập tin cậy Tuy nhiên, ảnh bổ sung thêm vào cụm tập liệu huấn luyện trước thơng qua phân cụm gia tăng Lặp lại trình tra cứu lần để lấy kết đánh giá Chiến lược sử dụng để mô người dùng thực tế thực nghiệm 3.3.2 Kết đánh giá Áp dụng chiến lược mô phản hồi liên quan đề cập phần 3.3.1 luận văn với tập 3400 ảnh Corel lần mô phản hồi Luận văn sử dụng 3400 ảnh 05 ảnh nhóm đa truy vấn để thực đánh giá hệ thống Trong thực nghiệm luận văn chạy với 3400 truy vấn, truy vấn thực nghiệm lần với số cụm khác 2, cụm để xem xét hiệu số cụm tăng lên hệ thống Các kết thực nghiệm Hình 3.2 Trục ngang số cụm (cụ thể 2, cụm) Trục đứng độ xác Các kết quả, độ xác trung bình 3400 truy vấn, thể số liệu Bảng 3.4 đồ thị Hình 3.2 Độ xác tỉ số số ảnh liên quan với ảnh truy vấn tập kết trả tổng số ảnh trả Độ xác phương pháp trung bình độ xác 3400 ảnh truy vấn 45 Bảng 3.4 Bảng kết phương pháp cụm cụm cụm Truyền thống Đa truy vấn Lần Lần Lần Lần Lần Lần 20.33 23.13 28.14 31.73 29.43 33.50 30.32 36.14 Độ xác ĐỘ CHÍNH XÁC Biểu đồ so sánh kết thực nghiệm 38 36 34 32 30 28 26 24 22 20 Truyền thống Đa truy vấn Lần Lần 2 cụm 20.33 23.13 28.14 31.73 cụm 20.33 23.13 29.43 33.5 cụm 20.33 23.13 30.32 36.14 Hình 3.2 Biểu đồ so sánh kết thực nghiệm Luận văn đưa kết luận từ Hình 3.2 Độ xác hệ thống tra cứu ảnh sử dụng đa truy vấn đạt 23.13%, tốt so với phương pháp tra cứu truyền thống đạt 20.33% Khi kết hợp sử dụng phản hồi liên quan với phân cụm gia tăng, lần lặp thứ độ xác dạt 28.14 cụm, 29.43 với cụm 30.32 với cụm; lần lặp thứ độ xác đạt 31.73% với cụm, 33.5% với cụm 36.14% với cụm Điều khẳng định độ xác hệ thống tăng lên sau lần lặp phản hồi tăng số lượng cụm tăng 46 3.4 Giao diện hệ thống Hình 3.3 Giao diện hệ thống Hình 3.3 cung cấp giao diện hệ thống Hệ thống xây dựng theo bước mơ hình hệ thống cụ thể: Bước 1: Chọn tập liệu ảnh / đặc trưng Bước 2: Chọn truy vấn khởi tạo (Có thể chọn hay nhiều truy vấn) Bước 3: Tra cứu khởi tạo (với pha tra cứu) phản hồi lần (sau tra cứu) Bước 4: Huấn luyện cách chọn số lượng cụm sử dụng phân cụm LDA bước huấn luyện Thông tin cụm liệu huấn luyện hiển thị mục Danh sách cụm Bước 5: Tra cứu liệu huấn luyện sử dụng phân cụm LDAvới thông tin sau tra cứu Thông tin sau phân cụm thích gia tăng cập nhật vào liệu huấn luyện, hiển thị mục Danh sách cụm Thanh trạng thái cho biết tình trạng hoạt động tiến trình hệ thống 47 Hình 3.4 Chọn tập liệu ảnh / đặc trưng Tập liệu đặc trưng trích rút tương ứng với hệ thống tra cứu lưu file dataset1.mat Khi liệu đọc thành công, công cụ kích hoạt cho phép người dùng sử dụng Hình 3.5 Chọn ảnh truy vấn khởi tạo Người dùng chọn ảnh truy vấn từ tập đặc trưng Hình 3.5 ảnh truy vấn chọn 84003, 84004 84008 thuộc lớp 840 Hình 3.6 Tra cứu với truy vấn khởi tạo 84003, 84004, 84008 thuộc lớp 840 48 Người dùng tiến hành tra cứu với truy vấn khởi tạo, tập kết trả hiển thị với tên ảnh đại diện lớp tương ứng tập ảnh Corel Ảnh tương tự ngữ nghĩa với ảnh truy vấn hình ảnh khoanh màu đỏ Hình 3.6 cung cấp kết tra cứu truy vấn khởi tạo hay phương pháp tra cứu truyền thống Mô chiến lược phản hồi liên quan thông qua tập tin cậy nền, ảnh tương tự ngữ nghĩa với ảnh truy vấn khởi tạo đưa vào huấn luyện Trên Hình 3.7 số lượng ảnh phản hồi 25/100 ảnh truy vấn 84003, 84004, 84008 Người dùng chọn số lượng cụm, tiến hành phân cụm tập huấn luyện Kết phân cụm hiển thị “Danh sách cụm” Hình 3.7 cung cấp kết phân cụm tập huấn luyện ảnh truy vấn 84003, 84004, 84008 Hình 3.7 Kết phân cụm tập huấn luyện Sau phân cụm liệu huấn luyện, tiến hành tra cứu với liệu huấn luyện Hình 3.8 Cơng cụ tra cứu phân cụm LDA 49 Hình 3.9 Kết tra cứu phản hồi liên quan Hình 3.9 cung cấp kết tra cứu với truy vấn tối ưu tương ứng với cụm tập liệu huấn luyện Áp dụng chiến lược mô phản hồi với tập kết với phương pháp phân cụm gia tăng nhận kết Hình 3.10 Hình 3.10 Kết phân cụm gia tăng Hình 3.11 cung cấp kết tra cứu với tập huấn luyện 50 Hình 3.11 Kết tra cứu sau sử dụng phân cụm gia tăng 3.5 Tiểu kết chương Trong chương 3, luận văn phân tích thiết kế hệ thống xây dựng theo mơ hình tra cứu đề xuất chương 2, đồng thời xây dựng tập ảnh thử nghiệm cho hệ thống Một phương pháp đánh giá kết hệ thống so sánh với số hệ thống tra cứu khác tương tự trình bày chương Theo đó, hiệu tra cứu hệ thống theo mơ hình đề xuất cho hiệu tra cứu tốt tập liệu thử nghiệm Đáp ứng mục tiêu đặt ban đầu nâng cao chất lượng tra cứu ảnh 51 KẾT LUẬN Các hệ thống tra cứu ảnh truyền thống có hạn chế độ xác thấp gặp vấn đề khoảng cách ngữ nghĩa mô tả ảnh đặc trưng mức thấp ngữ nghĩa ảnh cho người dùng Để giải hạn chế có nhiều cách tiếp cận khác phản hồi liên quan cách tiếp cận hiệu Các phương pháp theo cách tiếp cận phản hồi liên quan thường dựa vào tập ảnh phản hồi từ người dùng để tính tốn lại ảnh truy vấn ảnh lần lặp sau Quá trình lặp lặp lại người dùng thỏa mãn Tuy nhiên, phương pháp tra cứu ảnh sử dụng phản hồi liên quan thường phân cụm lại tập ảnh phản hồi lần lặp dẫn đến tốn nhiều thời gian tra cứu Để khắc phục hạn chế trên, cách tiếp cận đa điểm đề xuất để lấy ảnh liên quan ngữ nghĩa nằm rải rác không gian đặc trưng Với cách tiếp cận này, phân cụm mẫu phản hồi người dùng lần phản hồi thuật toán phân cụm gia tăng LDA, lần lặp sau ta gia tăng cụm không thực phân cụm lại tập mẫu phản hồi Luận văn thực công việc sau: - Tìm hiểu tổng quan tra cứu ảnh dựa vào nội dung - Tìm hiểu phương pháp tra cứu ảnh với phản hồi liên quan sử dụng phân cụm gia tăng - Tìm hiểu kỹ thuật phân tích phân biệt tuyến tính (LDA) - Xây dựng hệ thống tra cứu ảnh thử nghiệm sử dụng cụm gia tăng với phản hồi liên quan Một số vấn đề cần nghiên cứu tiếp tương lai: - Thử nghiệm đánh giá kết phương pháp tập ảnh lớn đa dạng 52 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Đỗ Năng Tồn, Phạm Việt Bình (2007), Giáo trình xử lý ảnh, NXB ĐH Thái Nguyên [2] Đinh Mạnh Tường (2016) ,Giáo trình Học máy, NXB Khoa học kỹ thuật Tiếng Anh: [3]Moses Charikar, Chandra Chekuri,Tomás Feder, Rajeev Motwani, Incremental clustering and dynamic information retrieval, In:STOC '97 Proceedings of the twenty-ninth annual ACM symposium on Theory of computing, pp 626-635 [4] Jin, X., & French, J.C, (2005) "Improving Image Retrieval Effectiveness via Multiple Queries," Multimedia Tools and Applications, vol 26, pp 221-245 [5] J Fournier, M Cord, Long-term similarity learning in content-based image retrieval, in: Int Conf Image Processing (ICIP), 441{444, 2002 [6] Quynh Dao Thi Thuy, Quynh Nguyen Huu, Canh Phuong Van, Tao Ngo Quoc (2017), “An efficient semantic–Related image retrieval method”, Expert Systems With Applications, 72, 30-41 [7] Rocchio, J.J., (1971) Relevance feedback in information retrieval In: Salton, G (Ed.), The SMART Retrieval System—Experiments in Automatic Document Processing Prentice Hall, Englewood Cliffs, NJ, pp 313–323 [8] Ying Liua, Dengsheng Zhanga, Guojun Lua, Wei-Ying Ma, A survey of content-based image retrieval with high-level semantics, Pattern Recognition 40 (2007), pp 262-282 53 [9] Alzu'bi, Ahmad; Amira, Abbes; Ramzan, Naeem (2015), Semantic content based image retrieval: A comprehensive study, in: journal of visual communication and image representation, Vol 32, p 20-54 [10] J.R Smith, C.-S Li, Decoding image semantics using composite region templates, IEEE Workshop on Content-Based Access of Image and Video Libraries (CBAIVL-98), June 1998, pp 9–13 [11] W.K Leow, S.Y Lai, Scale and orientation-invariant texture matching for image retrieval, in: M.K Pietikainen (Ed.), Texture Analysis in Machine Vision, World Scientific, Singapore, 2000 [12] T Li, S Zhu and M Ogihara, Using discriminant analysis for multiclass classification: An experimental investigation, Knowledge and Information Systems 10(4) (2006) 54 ... đồ phương pháp tra cứu ảnh sử dụng phân cụm gia tăng phản hồi liên quan Phương pháp tra cứu ảnh sử dụng phân cụm gia tăng mơ tả hình 2.6 37 Các ảnh truy vấn Máy tìm kiếm Tập kết Tập phản hồi. .. văn tập trung trình bày phương pháp phương pháp tra cứu ảnh với phản hồi liên quan sử dụng phân cụm gia tăng Phương pháp sử dụng phương pháp phân cụm gia tăng lên tập ảnh mà người dùng chọn để... tra cứu ảnh sử dụng phân cụm gia tăng với phản hồi liên quan? ?? Đề tài kết hợp hai hướng tiếp cận (2) (3), đưa phản hồi liên quan người dùng vào trình tra cứu sử dụng phương pháp phân cụm gia tăng