Tra cứu ảnh dựa trên khoảng cách và bài toán tối ưu pareto

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THU HẰNG TRA CỨU ẢNH DỰA TRÊN KHOẢNG CÁCH VÀ BÀI TOÁN TỐI ƯU PARETO LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2020 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THU HẰNG TRA CỨU ẢNH DỰA TRÊN KHOẢNG CÁCH VÀ BÀI TOÁN TỐI ƯU PARETO Chuyên ngành: Khoa học máy tính Mã số: 48 01 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS NGƠ QUỐC TẠO THÁI NGUYÊN - 2020 i LỜI CAM ĐOAN Tên tơi là: Nguyễn Thu Hằng Lớp: CK17B Khóa học: 2018-2020 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 48 01 01 Cơ sở đào tạo: Trường Đại học Công nghệ thông tin Truyền Thông Đại học Thái Nguyên Người hướng dẫn khoa học: PGS.TS Ngô Quốc Tạo Tơi xin cam đoan tồn nội dung trình bày luận văn kết tìm hiểu nghiên cứu thân Các số liệu, kết trình bày luận văn hồn tồn trung thực Những tư liệu sử dụng luận văn tuân thủ theo luật sở hữu trí tuệ, có liệt kê rõ ràng tài liệu tham khảo Tơi xin chịu hồn tồn trách nhiệm với nội dung viết luận văn này! Thái Nguyên, ngày 10 tháng 09 năm 2020 Tác giả luận văn Nguyễn Thu Hằng ii LỜI CẢM ƠN Trong trình học tập thực luận văn, nhận hướng dẫn tận tình Thầy hướng dẫn khoa học PGS.TS Ngô Quốc Tạo - Viện Hàn Lâm Khoa học Công nghệ Việt Nam, người thầy mà muốn bày tỏ lòng biết ơn sâu sắc Luận văn khơng thể hồn thành khơng có Thầy cô trường Đại học Công nghệ thông tin Truyền Thông - Đại học Thái Nguyên tạo điều kiện thuận lợi giúp đỡ Tôi xin bày tỏ cảm ơn chân thành với hỗ trợ giúp đỡ Xin cảm ơn đề tài VAST01.07/19-20 NVCC02.01/20-20 Xin chân thành cảm ơn Chủ tịch HĐQT, Ban giám hiệu tập thể Trường THPT Lương Thế Vinh - Cẩm Phả - Quảng Ninh tạo điều kiện thuận lợi mặt thời gian tài để tơi hồn thành luận văn Cuối cảm ơn tất giúp đỡ gia đình, đồng nghiệp, bạn bè động viên, đóng góp ý kiến, để tơi hồn thành luận văn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CHỮ VIẾT TẮT v KÍ HIỆU TỐN HỌC vi DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG BIỂU viii MỞ ĐẦU Chương TỔNG QUAN VỀ TRA CỨU ẢNH 1.1 Giới thiệu hệ thống tra cứu ảnh 1.1.1 Các thành phần hệ thống CBIR 1.1.2 Tra cứu ảnh theo nội dung sử dụng kỹ thuật máy học 1.2 Các đặc trưng ảnh 13 1.2.1 Đặc trưng màu 13 1.2.2 Đặc trưng hình dạng 14 1.2.3 Đặc trưng kết cấu 15 1.2.4 Liên hệ không gian 15 1.3 Ứng dụng tra cứu ảnh 16 Chương TRA CỨU ẢNH DỰA TRÊN TỐI ƯU ĐA MỤC TIÊU VỚI KHOẢNG CÁCH 19 2.1 Giới thiệu toán 19 2.1.1 Bài toán tra cứu ảnh theo nội dung 19 2.1.2 Bài toán tra cứu ảnh theo nội dung sử dụng tối ưu Pareto 20 2.2 Khoảng cách 20 2.2.1 Khoảng cách Minkowski 20 2.2.2 Khoảng cách lược đồ giao 21 2.2.3 Khoảng cách Canberra 21 iv 2.3 Đa mục tiêu theo khoảng cách 22 2.4 Tiếp cận giải toán tối ưu đa mục tiêu Pareto 22 2.4.1 Tối ưu đa mục tiêu Pareto 22 2.4.2 Rút gọn khơng gian tìm kiếm dựa vào tập Pareto 23 2.4.3 Nâng hiệu phân lớp ảnh 29 Chương ỨNG DỤNG VÀ CHƯƠNG TRÌNH THỬ NGHIỆM 37 3.1 Sơ đồ chương trình 37 3.2 Cơ sở liệu ảnh thử nghiệm 38 3.3 Phân tích thiết kế chương trình thử nghiệm 40 3.3.1 Giao diện chương trình 40 3.3.2 Các bước thực truy vấn 40 3.4 Đánh giá kết đạt so sánh với phương pháp khác 45 3.4.1 Các phương pháp sở 45 3.4.2 Phương pháp đánh giá 45 KẾT LUẬN 56 TÀI LIỆU THAM KHẢO 58 v DANH MỤC CHỮ VIẾT TẮT Từ viết tắt Dạng đầy đủ Diễn giải CBIR Content-Based Image Retrieval Tra cứu ảnh dựa vào nội dung HSV Hue, saturation, value Màu sắc, độ bão hòa, độ sáng MARS Multimedia Analysis and Các hệ thống phân tích đa Retrieval Systems phương tiện tra cứu QBIC Query By Image Content Truy vấn ảnh nội dung RF Relevance feedback Phản hồi liên quan SVM Support vector machine Máy vector hỗ trợ vi KÍ HIỆU TỐN HỌC M Độ dài vector đặc trưng N Kích thước sở liệu T Số đặc trưng t Chỉ số đặc trưng Q, Ii Ảnh truy vấn ảnh thứ I sở liệu I°i Vector đặc trưng chuẩn hóa ảnh thứ i I°it Vector đặc trưng chuẩn hóa t ảnh thứ i Qt, It đặc trưng t tương ứng ảnh truy vấn Q ảnh I ±t Đặc trưng chuẩn hóa t ảnh truy vấn Q i DQt (Ii ), D (Qt , Iit ) Khoảng cách theo đặc trưng t ảnh Ii so với ảnh truy vấn Q DQ (Ii ), D (Q, Ii ) Khoảng cách ảnh Ii so với ảnh truy vấn Q toàn đặc trưng top-k Tập gồm k ảnh có thứ hạng tương tự cao ảnh truy vấn NB Tập ảnh có độ tương tự cao theo đặc trưng toàn cục tra cứu NB- Tập ảnh xác nhận không liên quan phản hồi người dùng NB+ Tập ảnh xác nhận liên quan phản hồi người dùng NBt Tập ảnh có độ tương tự cao theo đặc trưng t tra cứu NB: Tập ảnh có thứ hạng độ tương tự cao thuộc tập NB- tra cứu NB* Tập ảnh chưa tra cứu vii DANH MỤC HÌNH VẼ Hình 3.1 Sơ đồ chương trình 37 Hình 3.2 Các ảnh minh họa cho 10 thể loại tập ảnh Wang 38 Hình 3.3 Hình ảnh giao diện chương trình thực nghiệm 40 Hình 3.4 Đưa ảnh truy vấn vào hệ thống tra cứu đề xuất 41 Hình 3.5 Kết tra cứu khởi tạo top-20 42 Hình Kết tra cứu khởi tạo top-20 vịng phản hồi thứ 43 Hình 3.7 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ hai 43 Hình 3.8 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ ba 44 Hình 3.9 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ tư 44 Hình 3.10 Trung bình độ xác kết top-k đề xuất ParetoAdaBoost ba tập liệu Wang, Oxford Buiding, Caltech theo năm vòng phản hồi liên quan 49 Hình 3.11 Trung bình độ xác kết top-k đề xuất ParetoSVM ba tập liệu Wang, Oxford Building, Caltech theo năm vòng phản hồi liên quan 51 Hình 3.12 So sánh độ xác kết top-k kỹ thuật đề xuất Pareto-AdaBoost với kỹ thuật sở tren ba tập liệu Wang, Oxford Building, Caltech 53 Hình 3.13 So sánh độ xác kết top-k kỹ thuật đề xuất Pareto-SVM với kỹ thuật sở ba tập liệu Wang, Oxford Building, Caltech 54 Hình 3.14 Đồ thị độ xác phương pháp Pareto-AdaBoost, SVM, AdaBoost MARS tập liệu Wang, Oxford Building, Caltech 54 Hình 3.15 Đồ thị độ xác phương pháp Pareto-SVM, SVM, AdaBoost MARS tập liệu Wang, Oxford Building Caltech 55 viii DANH MỤC BẢNG BIỂU Bảng 3.1 Các miêu tả ảnh hàm khoảng cách sử dụng thực nghiệm 39 Bảng 3.2 Các tham số sử dụng thực nghiệm 46 Bảng 3.3 Số ứng viên Pareto thep top – k Wang (gồm 1000 ảnh) 47 Bảng 3.4 Số ứng viên Pareto theo top – k Oxford Buiding (gồm 2560 ảnh) 48 Bảng 3.5 Số ứng viên Pareto theo top – k Caltech (gồm 590 ảnh) 48 Bảng 3.6 Trung bình độ xác top - k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Wang 50 Bảng 3.7 Trung bình độ xác top-k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Oxford Buiding 50 Bảng 3.8 Trung bình độ xác top-k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Caltech 51 Bảng Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Wang 52 Bảng 3.10 Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Oxford Building 52 Bảng 3.11 Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Caltech 53 45 3.4 Đánh giá kết đạt so sánh với phương pháp khác 3.4.1 Các phương pháp sở Phương pháp đề xuất so sánh với ba phương pháp tra cứu ảnh sử dụng phản hồi liên quan xem phương pháp sở - Nghiên cứu CBIR – SVM: Một phân lớp SVM học từ liệu huấn luyện ảnh liên quan không liên quan, tập huấn luyện có qua lần đánh giá người dùng Thuật toán phân lớp SVM thực LibSVM Sử dụng tìm kiếm lưới để tìm tham số tối ưu C SVM γ ttrong hàm nhân RBF (radian basis function) Nghiên cứu CBIR - AdaBoost: Đây tiếp cận AdaBoost có sử dụng thơng tin phản hồi liên quan Bộ phân lớp cài đặt, số lần lặp thiết lập 50 Phương pháp tra cứu ảnh dựa vào nội dung thực nghiệm gọi tắt phương pháp AdaBoost Nghiên cứu MARS: Nghiên cứu sử dụng kĩ thuật hiệu chỉnh trọng số cài đặt lại 3.4.2 Phương pháp đánh giá Để đánh giá hiệu hệ thống tra cứu, người ta dựa tiêu chí khác Trong khn khổ luận văn thực nghiệm đánh giá hiệu mật độ xác tra cứu kết top – k Các phương pháp sử dụng tập ảnh truy vấn môi trường Thực nghiệm tiến hành mô tương tác phản hồi người dung với phương pháp, nghĩa ảnh chủ đề với ảnh truy vấn xem liên quan ngược lại Số lượng truy vấn tập liệu miêu tả mục 3.2 Hai độ đo thường xuyên sử dụng độ xác độ triệu hồi để đánh giá hiệu Chủ đề ảnh truy vấn xem mục tiêu tra cứu (khái niệm ảnh truy vấn xem chủ đề ảnh) Mỗi ảnh tương ứng với 46 vector 702 chiều miêu tả bảng 3.1 Mục đích học máy SVM AdaBoost học khái niệm cho qua đánh giá người dung phản hồi liên quan Trong trình này, vịng phản hồi liên quan có học máy lựa chọn top – k ảnh để hỏi người dùng cho gán nhãn “liên quan” “không liên quan” khái niệm ảnh truy vấn Các máy học sau sử dụng ảnh gán nhãn để tinh chỉnh cho phù hợp khái niệm truy vấn Kết thúc vòng phản hồi liên quan, hệ thống đưa kết top – k ảnh có thứ hạng xếp hạng cao từ tập ảnh theo khái niệm học Độ xác vòng phản hồi liên quan tỉ số chủ đề ảnh mục tiêu (chủ đề ảnh truy vấn) số top – k top – k kết Trong trình phản hồi liên quan, người dùng lựa kích chọn để gán nhãn ảnh liên quan không chọn ảnh không liên quan theo khái niệm ảnh truy vấn Hệ thống xây dựng biên dịch ngơn ngữ lập trình Matlap 2013, sở liệu SQL Server 2008, máy tính cá nhân sử dụng hệ điều hành Window với cấu hình Core i5, 4GB Ram, HDD 500GB Bảng Các tham số sử dụng thực nghiệm Phương pháp l Số ảnh truy vấn NB (top – k) Wang Oxford Caltech Buiding Đề xuất 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 CBIR - SVM 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 CBIR - AdaBoost 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 MARS 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 10 47 Bảng 3.2 tham số sử dụng chung cho phương pháp Kí hiệu l số lần lặp, NB (top – k) tập ảnh có thứ hạng dự báo (phân lớp) cao lần lặp trả hệ thống Trong nhiều nghiên cứu tập NB liên quan tới kích thước tập thực nghiệm (thông thường từ 2% tới 5%) Bảng 3 Số ứng viên Pareto thep top – k Wang (gồm 1000 ảnh) Top - k Số ứng viên Tỉ lệ số mẫu liệu giảm 20 60 94% 40 80 92% 60 120 88% 80 160 84% 100 300 70% 120 360 64% 140 420 58% 160 480 46% 180 540 46% 200 600 40% Bảng 3.3, bảng 3.4 bảng 3.5 thiết lập số ứng viên theo top – k ảnh kết trả cho ba tập liệu Wang, Oxford Buiding Caltech 48 Bảng Số ứng viên Pareto theo top – k Oxford Buiding (gồm 2560 ảnh) Top - k Số ứng viên Tỉ lệ số mẫu liệu giảm 20 60 98% 40 80 97% 60 120 95% 80 160 94% 100 300 88% 120 360 86% 140 420 84% 160 480 81% 180 540 79% 200 600 77% Bảng Số ứng viên Pareto theo top – k Caltech (gồm 590 ảnh) Top - k Số ứng viên Tỉ lệ số mẫu liệu giảm 20 40 93% 40 120 80% 60 180 69% 80 240 59% 100 300 49% 120 360 39% 140 420 29% 160 480 19% 180 360 39% 200 400 32% 49 Để nâng cao hiệu độ xác, kĩ thuật hiệu chỉnh trọng số dịch chuyển truy vấn sử dụng, tập ứng viên Pareto kết hợp AdaBoost kết hợp với SVM ba tập liệu khác Độ xác kĩ thuật đề xuất xem xét sau vòng phản hồi liên quan đến top-k kết Để chứng minh tính hiệu độ xác, đề xuất sử dụng tập ứng viên Pareto kĩ thuật phân lớp sử dụng SVM ký hiệu Pareto-SVM đề xuất sử dụng tập ứng viên Pareto với kĩ thuật phân lớp sử dụng AdaBoost ký hiệu Pareto-AdaBoost Hình 3.10 Bảng 3.6, 3.7, 3.8 cho biết trung bình độ xác theo top-k ba tập liệu khác đề xuất Pareto-AdaBoost Hình 10 Trung bình độ xác kết top-k đề xuất Pareto-AdaBoost ba tập liệu Wang, Oxford Buiding, Caltech theo năm vòng phản hồi liên quan 50 Bảng Trung bình độ xác top - k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Wang Vòng 20 40 60 80 100 120 140 160 180 200 0.681 0.679 0.567 0.622 0.588 0.534 0.489 0.451 0.415 0.389 0.71 0.724 0.631 0.63 0.61 0.56 0.51 0.46 0.445 0.405 0.789 0.785 0.709 0.68 0.639 0.598 0.542 0.52 0.456 0.425 0.839 0.798 0.763 0.719 0.677 0.614 0.546 0.498 0.463 0.422 0.865 0.834 0.781 0.741 0.679 0.609 0.547 0.498 0.458 0.424 Bảng Trung bình độ xác top-k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Oxford Buiding Vòng 20 40 60 80 100 120 140 160 180 200 0.246 0.331 0.345 0.312 0.284 0.264 0.248 0.235 0.224 0.217 0.297 0.356 0.365 0.34 0.311 0.29 0.277 0.264 0.254 0.246 0.371 0.418 0.385 0.353 0.326 0.298 0.278 0.266 0.259 0.247 0.411 0.461 0.414 0.366 0.332 0.303 0.285 0.274 0.262 0.248 0.442 0.48 0.418 0.365 0.338 0.309 0.285 0.273 0.265 0.246 51 Bảng Trung bình độ xác top-k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Caltech Vòng 20 40 60 80 100 120 140 160 180 200 0.341 0.312 0.265 0.249 0.231 0.21 0.202 0.191 0.171 0.161 0.43 0.416 0.355 0.316 0.284 0.249 0.229 0.21 0.185 0.169 0.495 0.479 0.403 0.359 0.313 0.277 0.254 0.229 0.189 0.177 0.544 0.495 0.422 0.358 0.311 0.275 0.254 0.222 0.189 0.179 0.566 0.506 0.423 0.368 0.323 0.282 0.255 0.229 0.191 0.182 Hình 3.11 Bảng 3.9, 3.10, 3.11 cho biết trung bình độ xác theo top-k ba tập liệu khác đề xuất Pareto-SVM Hiệu độ xác kỹ thuật đề xuất sau vòng phản hồi liên quan tang rõ rệt Trên đồ thị ta thấy hiệu thuật toán giảm cỡ độ phức tạp tập liệu tang lên Kết tra cứu xem xét không top vài ảnh kết trả có độ xác cao mà cịn xem xét số lớn ảnh kết trả Độ phức tạp liệu ảnh hưởng lớn đến kết tra cứu, tập liệu Oxford Building, Caltech tập liệu phức tạp, chủ đề khó nhận dạng Hình 11 Trung bình độ xác kết top-k đề xuất Pareto-SVM ba tập liệu Wang, Oxford Building, Caltech theo năm vòng phản hồi liên quan 52 Hiệu độ xác kỹ thuật đề xuất so sánh với kỹ thuật sở kết trả (top-k) khác Các đề xuất sử dụng tập ứng viên Pareto, sau vòng phản hồi liên quan truy vấn dịch chuyển độ tương tự đước tính Các kỹ thuật sở CBIR-SVM, CBIR-AdaBoost, MARS sử dụng toàn mẫu sở liệu để phân lớp Bảng Trung bình độ xác top-k kết đề xuất ParetoSVM năm vòng phản hồi liên quan tập liệu Wang Vòng 20 40 60 80 100 120 140 160 180 200 0.704 0.619 0.553 0.541 0.516 0.491 0.457 0.423 0.394 0.372 0.801 0.788 0.754 0.706 0.647 0.592 0.537 0.487 0.44 0.408 0.854 0.809 0.773 0.713 0.669 0.605 0.541 0.488 0.442 0.413 0.883 0.813 0.781 0.723 0.674 0.608 0.549 0.498 0.45 0.414 0.896 0.823 0.79 0.724 0.679 0.611 0.546 0.496 0.453 0.412 Bảng 10 Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Oxford Building Vòng 20 40 60 80 100 120 140 160 180 200 0.222 0.292 0.313 0.283 0.265 0.248 0.235 0.231 0.221 0.211 0.312 0.353 0.369 0.341 0.313 0.29 0.277 0.26 0.249 0.24 0.378 0.401 0.383 0.359 0.341 0.311 0.288 0.276 0.262 0.248 0.411 0.418 0.389 0.37 0.343 0.313 0.296 0.277 0.263 0.248 0.436 0.428 0.385 0.371 0.348 0.315 0.296 0.281 0.266 0.249 53 Bảng 11 Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Caltech Vòng 20 40 60 80 100 120 140 160 180 200 0.295 0.291 0.233 0.228 0.198 0.187 0.176 0.17 0.162 0.154 0.405 0.388 0.316 0.28 0.252 0.23 0.21 0.188 0.174 0.162 0.498 0.428 0.331 0.304 0.277 0.252 0.22 0.197 0.176 0.163 0.533 0.443 0.341 0.305 0.275 0.255 0.226 0.199 0.179 0.167 0.531 0.457 0.348 0.308 0.279 0.255 0.227 0.2 0.179 0.167 Các Hình 3.12, 3.13 so sánh hiệu độ xác kỹ thuậ đề xuất kỹ thuật sở ba tập liệu khác Ta thấy rõ ràng kỹ thuật đề xuất có hiệu độ xác ln cao sau vòng phản hồi liên quan Sau vòng phản hồi liên quan, truy vấn dịch chuyển, độ tương tự tính lại phù hợp với khái niệm truy vấn, tập ứng viên Pareto điều chỉnh phù hợp với chủ đề ảnh truy vấn Các kỹ thuật sở hiệu độ xác thấp tập liệu lớn không hiệu chỉnh độ tương tự cho phù hợp với khái niệm truy vấn Hình 12 So sánh độ xác kết top-k kỹ thuật đề xuất Pareto-AdaBoost với kỹ thuật sở tren ba tập liệu Wang, Oxford Building, Caltech 54 Hình 13 So sánh độ xác kết top-k kỹ thuật đề xuất Pareto-SVM với kỹ thuật sở ba tập liệu Wang, Oxford Building, Caltech Thông thường ứng dụng tra cứu, kết tra cứu thường hiển thị 20 ảnh liên quan phù hợp với hình hiển thị Đề xuất so sánh với phương pháp sở bao gồm: Tra cứu phân lớp ảnh sử dụng SVM AdaBoost, tra cứu theo hiệu chỉnh trọng số (MARS) Trong thực nghiệm 20 ảnh liên quan hiển thị sáu vòng phản hồi liên quan Hình 3.14 cho thấy đề xuất Pareto-AdaBoost đạt 90%, gần 50%, gần 60% tập liệu Wang, Oxford Building Caltech tương ứng Hình 14 Đồ thị độ xác phương pháp ParetoAdaBoost, SVM, AdaBoost MARS tập liệu Wang, Oxford Building, Caltech 55 Hình 3.15 cho thấy đề xuất Pareto-SVM đạt 90.08%, gần 42.7%, gần 56.2% tập liệu Wang, Oxford Building Caltech tương ứng Trong phương pháp sở, tập liệu Wang, SVM AdaBoost đạt tới 70.6% 74.2%, MARS đạt 83.2%.Trên tập liệu Oxford Building, CBIRSVM CBIR-AdaBoost đạt tới 22.9% 27.8%, MARS đạt 40.1% Trên tập liệu Caltech, CBIR-SVM, CBIR-AdaBoost đạt tới 29.8% 38.1%, MARS đạt 42.5% Hình 15 Đồ thị độ xác phương pháp ParetoSVM, SVM, AdaBoost MARS tập liệu Wang, Oxford Building Caltech Hệ thống đề xuất phát triển thành ứng dụng tra cứu ảnh dựa vào nội dung hoàn chỉnh gồm hai pha: - Pha (off-line): Pha gồm cơng cụ trích rút đặc trưng, chuẩn hóa đặc trưng lưu trữ sở liệu đặc trưng để dùng cho trình tra cứu - Pha hai (on-line): Người dùng đưa vào ảnh truy vấn, ảnh truy vấn trích rút đặc trưng với phương pháp tương tự làm pha Quá trình tra cứu khởi thực sau Sau hiển thị tra cứu khởi tạo, người dùng tương tác với hệ thống qua việc lựa chọn ảnh khái niệm “liên quan” “không liên quan” việc lựa chọn đánh dấu bên ảnh tương ứng 56 KẾT LUẬN Trong khuôn khổ luận văn tác giả tập trung tìm hiểu, nghiên cứu số nội dung CBIR Các kết đạt được: - Đã nắm số phương pháp trích chọn đặc trưng hình ảnh, số phương pháp phản hồi liên quan tra cứu ảnh dựa vào nội dung - Trình bày phương pháp tìm kiếm hình ảnh theo đặc trưng mầu sắc, kết cấu, hình dạng phương pháp kết hợp đặc trưng áp dụng tra cứu ảnh theo nội dung sử dụng SVM phản hồi liên quan - Đưa toán tra cứu ảnh sử dụng tổ hợp đặc trưng theo tiếp cận tối ưu Pareto cách tìm tập ứng viên Pareto dựa vào tiêu chí khoảng cách theo thành phần đặc trưng Tập sử dụng làm tập kiểm tra cho máy phân lớp Luận văn xây dựng tính chất hình thức khơng gian tìm kiếm ảnh truy vấn theo tiếp cận tối ưu Pareto Các tính chất khái qt hóa cho tốn CBIR Pareto front đa mức sâu, hợp Pareto theo độ sâu Các thực nghiệm làm sáng tỏ tính chất rút gọn khơng gian tìm kiếm, xem sơ lọc sở liệu lớn giảm số mẫu liệu, cải thiện độ xác phân lớp - Luận văn xây dựng chương trình thực nghiệm, thực tìm kiếm ảnh sử dụng tổ hợp đặc trưng rút gọn khơng gian tìm kiếm thơng qua tìm tập ứng viên áp dụng cho kĩ thuật học máy việc phân lớp ảnh theo truy vấn Chương trình chạy thực nghiệm CSDL Wang, Oxford Building, Caltech so sánh, đánh giá hiệu thực tìm kiếm ảnh phương pháp 57 Hạn chế: - Tra cứu ảnh dựa vào nội dung nhiều vấn đề cần tiếp tục nghiên cứu Trong giới hạn luận văn chưa giải hết vấn đề, luận văn giải phần vấn đề rút gọn khơng gian tìm kiếm - Đóng góp luận văn hạn chế: Thực nghiệm sở liệu chưa đủ lớn, chưa đánh giá hiệu thời gian đề xuất Trong nghiên cứu tương lai tiếp tục nghiên cứu để bổ sung cho hạn chế 58 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Nguyễn Thanh Thuỷ - Lương Mạnh Bá (1998), Nhập môn xử lý ảnh số, NXB Khoa học kỹ thuật, Hà Nội [2] Đỗ Năng Tồn - Phạm Việt Bình (2007), Xử lý ảnh [3] Phạm Xuân Hinh (2016), Tra cứu ảnh dựa nội dung sử dụng nhiều đặc trưng phản hồi liên quan, Luận văn thạc sĩ công nghệ thơng tin, Trường ĐH Dân lập Hải Phịng [4] Vũ Văn Hiệu (2017), Nghiên cứu số kỹ thuật phân hạng tra cứu ảnh dựa vào nội dung, Luận án tiến sĩ tốn học, Học viện Khoa học Cơng nghệ - Viện hàn lâm khoa học công nghệ Việt Nam [5] Vũ Văn Hiệu, Ngơ Huy Hồng, Ngơ Quốc Tạo, Nguyễn Hữu Quỳnh (2016), “Một phương pháp chuẩn hoá liệu hiệu chỉnh trọng số cho tổ hợp đặc trưng tra cứu ảnh theo nội dung” , Chun san Các cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin Truyền thông, Tập V-1 (Số 35) [6] Vũ Văn Hiệu, Nguyễn Trường Thắng, Nguyễn Hữu Quỳnh, Ngô Quốc Tạo (2016), “Tra cứu ảnh theo nội dung sử dụng tập Pareto mơ hình học thống kê CART”, Chun san cơng trình nghiên cứu phát triển ứng dụng CNTT-TT, tập V-2 (Số 36) Tiếng Anh [7] Analysis of distance metrics in content-based image retrieval using statistical quantized histogram texture features in the DCT domain, Journal of King Saud University - Computer and Information Sciences, www.ksu.edu.sa, 28/11/2012 59 [8] Hiremath and Pujari (2007), Based Image Retrieval Using Color, Texture and Shape Features, Proceedings of the 15th International Conference on Advanced Computing and, Communications [9] Van-Hieu Vu, Truong-Thang Nguyen, Huu-Quynh Nguyen, Quoc-Tao Ngo (2016), “Content based image retrieval using multiple features and Pareto approach”, Journal of Compu-ter Science and Cybernetics, Vol 32 (No 2) ... tra cứu ảnh 16 Chương TRA CỨU ẢNH DỰA TRÊN TỐI ƯU ĐA MỤC TIÊU VỚI KHOẢNG CÁCH 19 2.1 Giới thiệu toán 19 2.1.1 Bài toán tra cứu ảnh theo nội dung 19 2.1.2 Bài. .. TRA CỨU ẢNH Chương trình bày khái quát lý thuyết tra cứu ảnh dựatrên nội dung, tìm hiểu số đặc trưng ảnh, tìm hiểu số ứng dụng hệ thống tra cứu ảnh sẵn có Chương 2: TRA CỨU ẢNH DỰA TRÊN TỐI ƯU. .. đến đa khoảng cách cần độ đo tồn cục kết hợp tối ưu tuyến tính hàm khoảng cách thành phần Trong luận văn xin đề cập đến phương pháp ? ?Tra cứu ảnh dựa khoảng cách toán tối ưu pareto? ??, nghiên cứu sử