Nghiên Cứu Phương Pháp Tra Cứu Ảnh Con Sử Dụng Kỹ Thuật Máy Học

Header Page of 126 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG O O NGUYỄN ĐỨC HƢNG NGHIÊN CỨU PHƢƠNG PHÁP TRA CỨU ẢNH CON SỬ DỤNG KỸ THUẬT MÁY HỌC LUẬN VĂN THẠC SĨ : KHOA HỌC MÁY TÍNH Thái Nguyên, tháng 12 năm 2013 Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG O O NGUYỄN ĐỨC HƢNG NGHIÊN CỨU PHƢƠNG PHÁP TRA CỨU ẢNH CON SỬ DỤNG KỸ THUẬT MÁY HỌC Chuyên ngành : Khoa Học Máy Tính Mã số : 60480101 LUẬN VĂN THẠC SĨ : CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC : TS NGUYỄN HỮU QUỲNH Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 LỜI MỞ ĐẦU Những năm gần đây, chứng kiến tăng nhanh lƣợng liệu ảnh với phát triển bùng nổ ứng dụng Internet Hàng ngày, nhiều quan, tổ chức cá nhân tạo nhiều Exa-bytes liệu ảnh đƣa chúng lên Internet Khi số lƣợng ảnh tập ảnh ít, việc nhận diện ảnh hay việc so sánh giống khác ảnh thực đƣợc mắt thƣờng, nhiên có số lƣợng lớn ảnh việc so sánh mắt thƣờng khó khăn, đòi hỏi phải có phƣơng pháp hiệu xác Việc tìm kiếm đƣợc ảnh mong muốn hàng triệu ảnh thuộc đủ loại chủ đề khác khó khăn Vấn đề đặt phải có phƣơng pháp tổ chức sở liệu ảnh tốt với kỹ thuật tìm kiếm, tra cứu ảnh hiệu quả, có độ xác cao có hiệu tốt Ban đầu, tra cứu ảnh đƣợc thực dựa mô tả ngắn tập thuộc tính độc lập nội dung (tên file, khuôn dạng, loại, cỡ, tên tác giả vị trí đĩa) ảnh Tuy nhiên, cách tiếp cận giới hạn truy vấn vào thuộc tính có Một thay khác sử dụng thích văn thủ công từ khóa cho kỹ thuật tra cứu thông tin cổ điển đƣợc sử dụng để tìm kiếm ảnh Nhƣng cách tiếp cận có vấn đề nhƣ nhập nhằng, không đầy đủ chủ quan Do liệu ảnh phong phú thông tin, để thu đƣợc nội dung ảnh sử dụng số từ khóa không khả thi, chƣa đề cập đến công việc tẻ nhạt trình thích Một cách tiếp cận tự động hiệu đƣợc gọi tra cứu ảnh dựa vào nội dung (CBIR), CBIR sử dụng đặc trƣng ảnh mức thấp để biểu diễn, so sánh tra cứu ảnh Hầu hết hệ thống CBIR theo cách tiếp cận hai bƣớc để tìm kiếm sở liệu ảnh Đầu tiên (đánh số), véc tơ đặc trƣng biểu diễn thuộc tính quan trọng ảnh đƣợc trích rút lƣu trữ nhƣ siêu liệu cho ảnh sở liệu Thứ hai (tìm kiếm), ảnh truy vấn đƣợc cho, ảnh tƣơng tự với ảnh truy vấn đƣợc trả cho ngƣời sử dụng việc so sánh véc tơ đặc trƣng ảnh sở liệu với đặc trƣng ảnh truy vấn Tất hệ thống CBIR thuộc sơ đồ truy vấn mẫu (QBE) Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 Trong hầu hết hệ thống CBIR tra cứu ảnh dựa so sánh toàn ảnh, tức với ảnh truy vấn đƣợc cho hệ thống trả tất ảnh tƣơng tự Tuy nhiên, ngƣời sử dụng quan tâm đến tìm kiếm đối tƣợng Trong trƣờng hợp này, ngƣời sử dụng cung cấp ảnh truy vấn (có thể đối tƣợng) mà hệ thống tra cứu tìm kiếm ảnh mà chứa ảnh truy vấn (theo nhận thức ngƣời) từ sở liệu ảnh Truy vấn ảnh thân ảnh Nhiệm vụ này, gọi tra cứu ảnh dựa vào nội dung (CBsIR), khó giải loạt hiệu ứng (nhƣ thay đổi cỡ khác biệt vị trí quan sát, ) gây ảnh mục tiêu khác đáng kể ảnh khác Một toán kết hợp với CBsIR cách xác định vị trí ảnh bên ảnh sở liệu hiệu Đề tài nghiên cứu tổng quan tra cứu ảnh dựa vào nội dung sâu vào nghiên cứu toán tra cứu ảnh dựa vào nội dung (CBsIR) để tìm kiếm ảnh sở liệu có chứa ảnh truy vấn Bên cạnh đó, đề tài kết hợp kỹ thuật máy học vào trình tra cứu ảnh để đƣợc kết gần với nhận thức ngƣời Trên sở phƣơng pháp tra cứu ảnh truy vấn, tiến hành xây dựng chƣơng trình thử nghiệm cho phép đọc vào ảnh truy vấn tìm kiếm ảnh tƣơng tự với ảnh truy vấn tập hợp ảnh cho trƣớc thú nhận đánh giá phản hồi từ ngƣời dùng Nội dung luận văn gồm có chƣơng: CHƢƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG VÀ HỌC TỪ THÔNG TIN NGƢỜI DÙNG CHƢƠNG 2: TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT MÁY HỌC, giới thiệu phƣơng pháp tra cứu ảnh dựa vào phân cấp kết hợp tra cứu ảnh kỹ thuật máy học CHƢƠNG 3: CHƢƠNG TRÌNH THỬ NGHIỆM, xây dựng hệ thống trình bày số kết đạt đƣợc Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 LỜI CẢM ƠN Trong trình thực luận văn này, nhận đƣợc hƣớng dẫn, bảo tận tình TS Nguyễn Hữu Quỳnh, Khoa Công nghệ Thông tin thuộc trƣờng Đại học Điện lực cán trực tiếp hƣớng dẫn khoa học cho Thầy giành nhiều thời gian việc hƣớng dẫn cách nghiên cứu, đọc tài liệu, cài đặt thuật toán giúp đỡ xây dựng hệ thống thực nghiệm Tôi xin chân thành cảm ơn Thầy, Cô giáo trƣờng Đại học Công nghệ Thông tin Truyền Thông, Đại học Thái Nguyên nhiệt tình giúp đỡ tạo điều kiện tốt cho suốt trình học tập trƣờng Xin chân thành cảm ơn anh, chị bạn học viên lớp Cao học - trƣờng Đại học Công nghệ Thông tin Truyền Thông thuộc Đại học Thái Nguyên động viên, giúp đỡ nhiệt tình chia sẻ với kinh nghiệm học tập, công tác suốt khoá học Hà nội, ngày 25 tháng 12 năm 2013 Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 Ý KIẾN NHẬN XÉT Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 MỤC LỤC Lời mở đầu Trang Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG VÀ HỌC TỪ THÔNG TIN NGƢỜI DÙNG .10 1.1 Giới thiệu 10 1.1.1 Tra cứu ảnh dựa vào nội dung .10 1.1.2 Tra cứu ảnh dựa vào nội dung 12 1.2 Tra cứu ảnh dựa vào màu 12 1.2.1 Các không gian màu 13 1.2.2 Biểu diễn mô tả ảnh dựa vào màu 14 1.2.3 Hàm khoảng cách .15 1.3 Tra cứu thông tin 16 1.4 Học từ ngƣời dùng tra cứu thông tin 17 1.5 Một số nghiên cứu liên quan tra cứu ảnh dựa vào nội dung 21 1.5.1 Tra cứu ảnh dựa vào phân hoạch 21 1.5.2 Tra cứu ảnh dựa vào điểm 23 1.6 Kết luận chƣơng .24 Chƣơng : TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT MÁY HỌC………………………………………………………………………… 25 2.1 Giới thiệu toán .25 2.2 Kỹ thuật tra cứu ảnh dựa vào nội dung 25 2.2.1 Cấu trúc phân hoạch phân cấp phƣơng pháp HTM 26 2.2.2 Trích rút đặc trƣng sử dụng màu trung bình 28 2.2.3 Các hàm khoảng cách véc tơ .28 2.2.4 Chiến lƣợc tìm kiếm 31 2.3 Học tra cứu ảnh dựa vào nội dung 32 2.3.1 Lƣợc đồ đánh lại trọng số 33 2.3.2 Cập nhật trọng số 36 2.3.3 Tƣơng tự ảnh 37 2.4 Kết luận chƣơng .39 Chƣơng 3: CHƢƠNG TRÌNH THỬ NGHIỆM 40 3.1 Biểu đồ hệ thống 40 3.1.1 Sơ đồ hệ thống tra cứu ảnh sử dụng phản hồi liên quan .40 3.1.2 Biểu đồ Use Case 41 3.1.3 Biểu đồ trình tự biểu đồ hoạt động 41 3.1.4 Thiết kế sở liệu 45 3.2 Mô tả chƣơng trình 46 3.3 Kết đạt đƣợc 47 3.4 Thực nghiệm thu hồi ảnh thông tin phản hồi .49 3.5 Kết luận chƣơng .51 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 52 TÀI LIỆU THAM KHẢO .53 Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 DANH MỤC CÁC BẢNG, SƠ ĐỒ, HÌNH Hình 1.1: Kiến trúc hệ thống tra cứu ảnh dựa vào nội dung Hình 1.2: Các không gian màu 11 Hình 1.2.1: Phản hồi liên quan tìm kiếm ảnh .16 Hình 1.2.2: Truy vấn tối ƣu Rocchio để tách tài liệu liên quan 17 Hình 1.2.3: Ứng dụng thuật toán Rocchio’s 19 Hình 2.1: Phân hoạch phân cấp ảnh với cấu trúc kết chuỗi số tƣơng ứng cho lƣu trữ .25 Hình 2.2: Ví dụ cấu trúc cho ảnh sở liệu ảnh truy vấn .28 Hình 2.3: Thuật toán HTM .30 Hình 2.4: Hình ảnh thu hồi với thông tin phản hồi ngƣời dùng 33 Hình 2.5: So sánh độ bất lợi ảnh 34 Hình 3.1: Sơ đồ hệ thống tra cứu ảnh sử dụng phản hồi 38 Hình 3.2: Biểu đồ Use Case .39 Hình 3.3: Biểu đồ trình tự tác nhân tra cứu ảnh .39 Hình 3.4: Biểu đồ hoạt động tác nhân tra cứu ảnh 40 Hình 3.5: Biểu đồ trình tự tác nhân phản hồi ảnh 41 Hình 3.6: Biểu đồ hoạt động tác nhân phản hồi ảnh 41 Hình 3.7: Biểu đồ trình tự tác nhân Upload ảnh 42 Hình 3.8: Biểu đồ hoạt động tác nhân Upload ảnh 43 Hình 3.9 : Bảng sở liệu Image 43 Hình 3.10 : Bảng sở liệu Cluster 44 Hình 3.11: Mối quan hệ bảng 44 Hình 3.12: Số liệu loại ảnh sở liệu 45 Hình 3.13: Giao diện hệ thống tra cứu ảnh 46 Hình 3.14: Giao diện hiển thị kết truy vấn 47 Hình 3.15: Hình ảnh truy vấn 47 Hình 3.16: Hình ảnh thu hồi lần lặp thứ 48 Hình 3.17: Hình ảnh thu hồi lần lặp thứ hai .48 Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page of 126 KÍ HIỆU CÁC CỤM TỪ VIẾT TẮT CBIR Content Base Image Retrieval Tra cứu ảnh dựa vào nội dung QBIC Query By Image Content Truy vấn theo nội dung ảnh CIE Commission internationale de Uỷ ban quốc tế màu sắc l'éclairage HAC Hierarchical Agglomerative Clustering Phân cụm tích luỹ phân cấp CBC Color Base Clustering Phân cụm dựa vào màu MST Minimum Spainning Tree Cây mở rộng tối thiểu IRM Integrated Region Matching Đối sánh vùng tích hợp CSDL DataBase Cơ Sở Dữ Liệu Số hóa Trung tâm Học liệu Footer Page of 126 http://www.lrc-tnu.edu.vn/ Header Page 10 of 126 Chƣơng 1: TỔNG QUAN VỀ TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG VÀ HỌC TỪ THÔNG TIN NGƢỜI DÙNG 1.1 Giới thiệu 1.1.1 Tra cứu ảnh dựa vào nội dung Khi ta có nhu cầu tìm kiếm vài ảnh kho liệu ảnh lên tới vài trăm nghìn ảnh để minh họa cho đề tài tuyệt đối chuyện đơn giản tìm kiếm cách thủ công tức xem lần lƣợt ảnh ta tìm thấy đƣợc ảnh có nội dung cần tìm Song song với phát triển phƣơng tiện kỹ thuật số tƣơng lai, số lƣợng ảnh tăng nhiều Do nhu cầu thật đòi hỏi phải có công cụ hỗ trợ tìm kiếm ảnh xác hiệu Vì tra cứu ảnh dựa vào nội dung đời để góp phần đáp ứng nhu cầu “Tra cứu ảnh dựa vào nội dung” - Đây chủ đề nghiên cứu lĩnh vực công nghệ thông tin Mục đích lấy ảnh từ sở liệu phù hợp với tiêu chí truy vấn Các yếu tố mô tả nội dung ảnh có liên quan đến cảm nhận nhƣ màu sắc, kết cấu, hình dạng, cấu trúc, mối liên hệ không gian chuyển động Do vậy, phân tích ảnh, nhận dạng ảnh thị giác máy tính đóng vai trò hệ thống tra cứu ảnh Nó cho phép tự động trích chọn hầu hết thông tin cảm nhận, thông qua việc phân tích phân bố điểm ảnh rút độ đo nội dung trực quan Các hệ thống truy vấn ảnh dựa vào nội dung đa dạng nhƣng nhìn chung đƣợc phân biệt bởi: đặc trƣng mà hệ thống rút trích từ ảnh để làm sở truy vấn, phƣơng pháp trích rút đặc trƣng ảnh đƣợc sử dụng hệ thống truy vấn, độ đo tƣơng tự hai ảnh, phƣơng pháp đánh số nhiều chiều để tối ƣu việc tìm kiếm Một số chức hệ thống tra cứu ảnh dựa vào nội dung: - Phân tích nội dung nguồn thông tin biểu diễn nội dung nguồn thông tin đƣợc phân tích phù hợp với đối sánh truy vấn ngƣời sử dụng (không gian thông tin nguồn đƣợc chuyển đổi thành không gian đặc điểm với mục đích đối sánh nhanh bƣớc tiếp theo) Bƣớc thƣờng nhiều thời gian cho việc xử lý thông tin nguồn (ảnh) sở liệu Nó phải làm lần làm độc lập Số hóa Trung tâm Học liệu Footer Page 10 of 126 http://www.lrc-tnu.edu.vn/ Header Page 41 of 126 3.1.2 Biểu đồ Use Case Hình 3.2: Biểu đồ Use Case 3.1.3 Biểu đồ trình tự biểu đồ hoạt động Tác nhân tra cứu ảnh: Mô tả công việc: o Ngƣời sử dụng chọn ảnh truy vấn ấn nút tra cứu ảnh o Hệ thống tiến hành tìm kiếm hiển thị kết hình Biểu đồ trình tự: Hình 3.3: Biểu đồ trình tự tác nhân tra cứu ảnh Số hóa Trung tâm Học liệu Footer Page 41 of 126 http://www.lrc-tnu.edu.vn/ Header Page 42 of 126 Biểu đồ hoạt động: Hình 3.4: Biểu đồ hoạt động tác nhân tra cứu ảnh Tác nhân phản hồi ảnh: Mô tả công việc: o Ngƣời sử dụng cung cấp ảnh tích cực ảnh tiêu cực từ kết hiển thị bƣớc tra cứu ảnh ấn nút phản hồi o Hệ thống tiến hành tính toán cập nhật lại trọng số (bất lợi tiles trƣng ảnh truy vấn) o Ngƣời sử dụng ấn nút tra cứu để đƣa kết sau lần phản hồi Số hóa Trung tâm Học liệu Footer Page 42 of 126 http://www.lrc-tnu.edu.vn/ Header Page 43 of 126 Biểu đồ trình tự: Hình 3.5: Biểu đồ trình tự tác nhân phản hồi ảnh Biểu đồ hoạt động: Hình 3.6: Biểu đồ hoạt động tác nhân phản hồi ảnh Số hóa Trung tâm Học liệu Footer Page 43 of 126 http://www.lrc-tnu.edu.vn/ Header Page 44 of 126 Tác nhân upload ảnh: Mô tả công việc: o Ngƣời sử dụng chọn file ảnh để upload:  Hệ thống tiến hành lấy thông tin trích rút đặc trƣng tiles ảnh  Nếu lỗi cập nhật vào CSDL, ngƣợc lại thông báo lỗi o Ngƣời sử dụng chọn nhiều file ảnh để upload:  Chọn thƣ mục chứa ảnh cần đƣa vào CSDL  Duyệt file ảnh thƣ mục tiến hành ghi file ảnh vào CSDL tƣơng tự nhƣ thêm file ảnh Biểu đồ trình tự: Hình 3.7: Biểu đồ trình tự tác nhân Upload ảnh Số hóa Trung tâm Học liệu Footer Page 44 of 126 http://www.lrc-tnu.edu.vn/ Header Page 45 of 126 Biểu đồ hoạt động: Hình 3.8: Biểu đồ hoạt động tác nhân Upload ảnh 3.1.4 Thiết kế sở liệu Tên trƣờng Kiểu liệu Mô tả Khóa X Tên ảnh name_Image Nvarchar(50) path_Image Nvarchar(50) Đƣờng dẫn ảnh uR Float Đặc trƣng trung bình kênh màu đỏ uG Float Đặc trƣng trung bình kênh màu xanh uB Float Đặc trƣng trung bình kênh màu xanh da trời TP Float Bất lợi vùng (tile) mức (toàn ảnh) Bảng 3.9 : Bảng sở liệu Image Số hóa Trung tâm Học liệu Footer Page 45 of 126 http://www.lrc-tnu.edu.vn/ Header Page 46 of 126 Tên trƣờng Kiểu liệu Mô tả Khóa X Id ảnh id_Feature Int Name_Image Nvarchar(50) Tên ảnh uR Float Đặc trƣng trung bình kênh màu đỏ uG Float Đặc trƣng trung bình kênh màu xanh uB Float Đặc trƣng trung bình kênh màu xanh da trời TP9 Float Bất lợi vùng (tile) mức (9 vùng) TP16 Float Bất lợi vùng (tile) mức (16 vùng) Bảng 3.10 : Bảng sở liệu Cluster Mối quan hệ bảng: Hình 3.11: Mối quan hệ bảng 3.2 Mô tả chƣơng trình Chƣơng trình đƣợc xây dựng với mục đích tra cứu ảnh dựa đặc trƣng màu, cỡ vị trí không gian Sử dụng hai ảnh có tập ảnh sở liệu hai ảnh tập ảnh sở liệu để so sánh, đánh giá hiệu hệ thống Số hóa Trung tâm Học liệu Footer Page 46 of 126 http://www.lrc-tnu.edu.vn/ Header Page 47 of 126 Không gian màu sử dụng chƣơng trình không gian màu RGB, khuôn dạng không gian màu RGB định dạng phổ biến ảnh số STT Loại ảnh Số lƣợng Ngựa 71 Cảnh hoàng hôn 85 Vƣờn hoa 121 Rừng 130 Bầu trời, phong cảnh 356 Nhà cửa 115 Các loại ảnh khác 122 Bảng 3.12:Số liệu loại ảnh sở liệu 3.3 Kết đạt đƣợc CSDL gồm 1000 ảnh jpeg CSDL ảnh tập tập ảnh GS Wang [15] tập hợp từ Internet đƣợc sử dụng để đánh giá hiệu tra cứu Các ảnh CSDL có kích cỡ 128× 85 điểm ảnh 85×128 điểm ảnh Các ảnh gồm 256 màu CSDL gồm loại ảnh chính: ngựa, cảnh hoàng hôn, vƣờn hoa, rừng, phong cảnh, nhà cửa loại ảnh khác Bảng 3.3 số liệu cụ thể loại ảnh sở liệu: Qua trình tìm hiểu phân tích thiết kế hệ thống nhƣ trình bày trên, thời gian nghiên cứu tìm hiểu thuật toán xây dựng hệ thống tra cứu ảnh thử nghiệm với tập ảnh sở liệu thử nghiệm nhƣ trình bày phần Hệ thống thử nghiệm cho số kết tốt - Kết tra cứu đƣa chuẩn xác - Thời gian tra cứu nhanh Số hóa Trung tâm Học liệu Footer Page 47 of 126 http://www.lrc-tnu.edu.vn/ Header Page 48 of 126 - Hiệu suất hiệu tìm kiếm đƣợc tăng cƣờng - Có thể áp dụng tra cứu ảnh toán thƣơng mại, học tập , nghiên cứu tham khảo thông thƣờng Giao diện hệ thống Hình 3.13: Giao diện hệ thống tra cứu ảnh Số hóa Trung tâm Học liệu Footer Page 48 of 126 http://www.lrc-tnu.edu.vn/ Header Page 49 of 126 Giao diện hiển thị ảnh kết quả: Hình 3.14: Giao diện hiển thị kết truy vấn 3.4 Thực nghiệm thu hồi ảnh thông tin phản hồi Thử nghiệm hệ thống CBsIR với tập ảnh CSDL gồm 1.000 ảnh đa dạng: Ảnh truy vấn: Hình 3.15: Hình ảnh truy vấn Số hóa Trung tâm Học liệu Footer Page 49 of 126 http://www.lrc-tnu.edu.vn/ Header Page 50 of 126 Lần lặp thứ 1: Top 50 ảnh thu hồi từ CSDL: Hình 3.16: Hình ảnh thu hồi lần lặp thứ Lần lặp thứ 2: Số hóa Trung tâm Học liệu Footer Page 50 of 126 http://www.lrc-tnu.edu.vn/ Header Page 51 of 126 Hình 3.17: Hình ảnh thu hồi lần lặp thứ hai 3.5 Kết luận chƣơng Chƣơng trình bày mô hình hệ thống tra cứu ảnh sử dụng kỹ thuật máy học Bên cạnh đó, phân tích thiết kế hệ thống tra cứu ảnh đƣợc mô tả Hơn nữa, số kết hệ thống đƣợc mô tả rõ ràng Qua kết thu đƣợc, nhận thấy, sử dụng kỹ thuật máy học vào trình tra cứu cho kết gần với nhận thức ngƣời Số hóa Trung tâm Học liệu Footer Page 51 of 126 http://www.lrc-tnu.edu.vn/ Header Page 52 of 126 KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Tra cứu ảnh dựa theo nội dung lĩnh vực nghiên cứu mở Những công nghệ non trẻ nhiều vấn đề cần phải tiếp tục nghiên cứu Trong giới hạn đồ án, trình bày tổng quan công nghệ tra cứu ảnh dựa theo nội dung vào chi tiết phƣơng pháp tra cứu ảnh đối sánh phân cấp HTM Bên cạnh đó, trình bày kết hợp kỹ thuật máy học vào phƣơng pháp HTM để tăng hiệu tra cứu (giảm khoảng cách đặc trƣng mức thấp ngữ nghĩa) Kết thực nghiệm tính hiệu phƣơng pháp đƣợc kết hợp kỹ thuật máy học Đồ án thực đƣợc công việc sau: -Tìm hiểu đƣợc tổng quan tra cứu ảnh dựa vào nội dung -Nghiên cứu đƣợc phƣơng pháp tra cứu ảnh dựa vào phân cấp - Tìm hiểu sƣu tầm đƣợc tập ảnh thử nghiệm - Xây dựng đƣợc hệ thống thực nghiệm tra cứu cho kết tốt Trong thời gian tới, dự kiến sẽ: - Mở rộng thêm tập ảnh thử nghiệm - Điều chỉnh kỹ thuật máy học cho hiệu - Đƣa phần mềm lên web để thử nghiệm số lƣợng ngƣời dùng đông Số hóa Trung tâm Học liệu Footer Page 52 of 126 http://www.lrc-tnu.edu.vn/ Header Page 53 of 126 TÀI LIỆU THAM KHẢO A Dimai Spatial encoding using differences of global feature Proc SPIE, Storage and Retrieval for Image/Video databases IV, 1997 C Jacobs, A Finkelstein, and D Salesin Fast multiresolution image querying ACM SIGGRAPH, pp 277-286, 1995 K-S Leung and R Ng Multiresolution subimage similarity matching for large image database Proc SPIE, Storage and Retrieval for Image/Video Databases IV, 1997 J Ashley, R Barber, M Flickner, et al Automatic and semiautomatic methods for image annotation and retrieval in QBIC In Proc of SPIE - Storage and Retrieval for Image and Video Databases III, volume 2420, pages 24–35, 1995 J Bach, C Fuller, A Gupta, A Hampapur, B Horowitz, R Humphrey, R Jain, and C Shu The Virage image search engine: An open framework for image management in Proc of SPIE Storage and Retrieval for Image and Video Databases IV, San Jose CA, USA, pages 76–87, 1996 R C Gonzalez and R E Woods Digital Image Processing Addison-Wesley, 1992 G Lu Multimedia Database Management Systems Artech House, 1999 R O Stehling, M A Nascimento, and A X Falc˜ao Techniques for color-based image retrieval In C Djeraba, editor, Multimedia Mining - A Highway to Intelligent Multimedia Documents, chapter Kluwer Academics, 2002 A Del Bimbo Visual Information Retrieval Morgan Kaufmann, 1999 10 G Lu Multimedia Database Management Systems Artech House, 1999 11 K-S Leung and R Ng Multiresolution subimage similarity matching for large image databases In Proc of SPIE - Storage and Retrieval for Image and Video Databases VI, pages 259–270, 1998 12 R O Stehling, M A Nascimento, and A X Falc˜ao Cell histograms versus color histograms for image representation and retrieval Knowledge and Informaiton Systems Journal (KAIS), 5(3), pages 315–336, 2003 13 C Carson et al Blobworld: A system for region-based image indexing and retrieval In Proc of the 3rd Intl Conf on Visual Information Systems, pages 509– 516, 1999 14 J Li, J Z Wang, and G Wiederhold IRM: Integrated region matching for image retrieval In Proc of the 8th ACM Intl Conf on Multimedia, pages 147–156, 2000 15 R O Stehling, M A Nascimento, and A X Falc˜ao Techniques for color-based image retrieval In C Djeraba, editor, Multimedia Mining - A Highway to Intelligent Multimedia Documents, chapter Kluwer Academics, 2002 16 Y Rubner, C Tomasi, and L J Guibas A metric for distributions with applications to image databases In Proc of the 6th Intl Conf on Computer Vision, pages 59–66, 1998 17 W Niblack, X Zhu, J L Hafner, et al Updates to the QBIC system In Proc of SPIE - Storage and Retrieval for Image and Video Databases VI, volume 3312, pages 150–161, 1998 Số hóa Trung tâm Học liệu Footer Page 53 of 126 http://www.lrc-tnu.edu.vn/ Header Page 54 of 126 18 J Li, J Z Wang, and G Wiederhold IRM: Integrated region matching for image retrieval In Proc of the 8th ACM Intl Conf on Multimedia, pages 147–156, 2000 19 J Huang Color-spatial image indexing and applications Ph.D dissertation, Dept of Computer Science, Cornell University, 1998 20 R O Stehling, M A Nascimento, and A X Falc˜ao An adaptive and ef£cient clustering-based approach for content-based image retrieval in image databases In Proc of the 2001 Intl Database Engineering and Application Symposium, pages 356–365, 2001 21 J Ashley, R Barber, M Flickner, et al Automatic and semiautomatic methods for image annotation and retrieval in QBIC In Proc of SPIE - Storage and Retrieval for Image and Video Databases III, volume 2420, pages 24–35, 1995 22 W Ma NETRA: a toolbox for navigating large image databases Ph.D dissertation, Dept of Electronical and Computer Engineering, Univ of California at Santa Barbara, 1997 23 T Wang, J Shi, and M A Nascimento Experimental results towards contentbased sub-image retrieval In Proc of the 2002 IEEE Intl Conf on Information Technology: Coding and Computing (ITCC), pages 230–235, 2002 24 J Huang Color-spatial image indexing and applications Ph.D dissertation, Dept of Computer Science, Cornell University, 1998 25 J Huang, S R Kumar, M Mitra,W Zhu, and R Zabih Image indexing using color correlograms In Proc of the IEEE Comp Soc Conf Comp Vis and Patt Rec., pages 762–768, 1997 26 N Sebe, M S Lew, and D P Huijsmans Multi-scale sub-image search In Proc of the 7th ACM Intl Conf on Multimedia (Part II), pages 79–82, 1999 27 S Chan, P Lewis, K Martinez, J Stevenson, and C Lahanier Handling sub-image queries in content-based retrieval of high resolution art images In International Cultural Heritage Informatics Meeting: Short Paper Track 6, September 2001 28 J Luo and M A Nascimento Content-based sub-image retrieval via hierarchical tree matching In Proc of the 1st ACM Intl Workshop on Multimedia Databases, pages 63–69, 2003 29 V Gouet and N Boujemaa Object-based queries using color points of interest In Proc of the IEEE Workshop on Content-based Access of Image and Video Libraries (CBAIVL’01, pages 30–36, 2001 30 J R Smith, V Castelli, and C S Li Adaptive storage and retrieval for large compressed images In Proc of SPIE - Storage and Retrieval for Image and Video Databases VII, volume 3656, pages 467–478, 1999 31 G Pass, R Zabih, and J Miller Comparing images using color coherence vectors In Proc of ACM Multimedia 96, pages 65–73, 1996 32 S Smith and J Brady Susan - a new approach to low level image processing In International Journal of Computer Vision, 23(1):45–78, May 1997 33 P Montesinos, V Gouet, and R Deriche Differential invariants for color images In Proc of the 14th Intl Conf on Pattern Recognition, 1998 34 H Samet em The Design and Analysis of Spatial Data Structures Addison-wesley Publishing Company, Inc, 1990 35 P J Rousseeuw and A M Leroy Robust regression and outlier detection John Wiley and Sons, 1987 Số hóa Trung tâm Học liệu Footer Page 54 of 126 http://www.lrc-tnu.edu.vn/ Header Page 55 of 126 36 Christopher D.Manning, Prabhakar Raghavan, Hinzich Sch¨utze, “An introduction to information retrieval“, pp 215-220,Cambridge University Press, 2009 Số hóa Trung tâm Học liệu Footer Page 55 of 126 http://www.lrc-tnu.edu.vn/ ... tra cứu ảnh dựa vào nội dung, bao gồm: số khái niệm tra cứu ảnh tra cứu ảnh con, số nghiên cứu liên quan tra cứu ảnh dựa vào vùng, tra cứu ảnh dựa vào nội dung, tra cứu ảnh dựa vào phân hoạch, tra. .. TỔNG QUAN VỀ TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG VÀ HỌC TỪ THÔNG TIN NGƢỜI DÙNG CHƢƠNG 2: TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT MÁY HỌC, giới thiệu phƣơng pháp tra cứu ảnh dựa vào phân... : TRA CỨU ẢNH CON DỰA VÀO NỘI DUNG SỬ DỤNG KỸ THUẬT MÁY HỌC 2.1 Giới thiệu toán Bài toán truy vấn ảnh [26] đƣợc mô tả nhƣ sau: cho ảnh truy vấn đầu vào ảnh Q ảnh I tập ảnh S, tra cứu từ S ảnh