(Luận văn) tra cứu ảnh dựa trên khoảng cách và bài toán tối ưu pareto

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THU HẰNG lu an n va ie gh tn to TRA CỨU ẢNH DỰA TRÊN KHOẢNG CÁCH p VÀ BÀI TOÁN TỐI ƯU PARETO d oa nl w u nf va an lu ll LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh z m co l gm @ an Lu THÁI NGUYÊN - 2020 n va ac th si ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THU HẰNG lu an n va TRA CỨU ẢNH DỰA TRÊN KHOẢNG CÁCH to p ie gh tn VÀ BÀI TOÁN TỐI ƯU PARETO Chuyên ngành: Khoa học máy tính d oa nl w Mã số: 48 01 01 ll u nf va an lu LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH oi m z at nh Người hướng dẫn khoa học: PGS.TS NGÔ QUỐC TẠO z m co l gm @ an Lu THÁI NGUYÊN - 2020 n va ac th si i LỜI CAM ĐOAN Tên là: Nguyễn Thu Hằng Lớp: CK17B Khóa học: 2018-2020 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 48 01 01 lu an Cơ sở đào tạo: Trường Đại học Công nghệ thông tin Truyền Thông Đại học Thái Nguyên n va to gh tn Người hướng dẫn khoa học: PGS.TS Ngô Quốc Tạo p ie Tôi xin cam đoan tồn nội dung trình bày luận văn kết tìm hiểu nghiên cứu thân Các số liệu, kết trình bày luận văn hoàn toàn trung thực Những tư liệu sử dụng luận văn tuân thủ theo luật sở hữu trí tuệ, có liệt kê rõ ràng tài liệu tham khảo d oa nl w an lu ll u nf va Tôi xin chịu hoàn toàn trách nhiệm với nội dung viết luận văn này! oi m Thái Nguyên, ngày 10 tháng 09 năm 2020 Tác giả luận văn z at nh z @ m co l gm Nguyễn Thu Hằng an Lu n va ac th si ii LỜI CẢM ƠN Trong trình học tập thực luận văn, nhận hướng dẫn tận tình Thầy hướng dẫn khoa học PGS.TS Ngơ Quốc Tạo - Viện Hàn Lâm Khoa học Công nghệ Việt Nam, người thầy mà muốn bày tỏ lịng biết ơn sâu sắc Luận văn khơng thể hồn thành khơng có Thầy trường Đại học Công nghệ thông tin Truyền Thông - Đại học Thái Nguyên tạo điều lu kiện thuận lợi giúp đỡ Tôi xin bày tỏ cảm ơn chân thành với an n va hỗ trợ giúp đỡ ie gh tn to Xin cảm ơn đề tài VAST01.07/19-20 NVCC02.01/20-20 Xin chân thành cảm ơn Chủ tịch HĐQT, Ban giám hiệu tập thể p Trường THPT Lương Thế Vinh - Cẩm Phả - Quảng Ninh tạo điều kiện thuận oa nl w lợi mặt thời gian tài để tơi hồn thành luận văn d Cuối cảm ơn tất giúp đỡ gia đình, đồng nghiệp, lu ll u nf va an bạn bè động viên, đóng góp ý kiến, để tơi hồn thành luận văn oi m z at nh z m co l gm @ an Lu n va ac th si iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CHỮ VIẾT TẮT v KÍ HIỆU TOÁN HỌC vi DANH MỤC HÌNH VẼ vii DANH MỤC BẢNG BIỂU viii MỞ ĐẦU lu an Chương TỔNG QUAN VỀ TRA CỨU ẢNH n va 1.1 Giới thiệu hệ thống tra cứu ảnh 1.1.2 Tra cứu ảnh theo nội dung sử dụng kỹ thuật máy học gh tn to 1.1.1 Các thành phần hệ thống CBIR p ie 1.2 Các đặc trưng ảnh 13 w 1.2.1 Đặc trưng màu 13 oa nl 1.2.2 Đặc trưng hình dạng 14 d 1.2.3 Đặc trưng kết cấu 15 lu va an 1.2.4 Liên hệ không gian 15 u nf 1.3 Ứng dụng tra cứu ảnh 16 ll Chương TRA CỨU ẢNH DỰA TRÊN TỐI ƯU ĐA MỤC TIÊU VỚI KHOẢNG CÁCH 19 oi m z at nh 2.1 Giới thiệu toán 19 2.1.1 Bài toán tra cứu ảnh theo nội dung 19 z 2.1.2 Bài toán tra cứu ảnh theo nội dung sử dụng tối ưu Pareto 20 gm @ 2.2 Khoảng cách 20 l 2.2.1 Khoảng cách Minkowski 20 m co 2.2.2 Khoảng cách lược đồ giao 21 an Lu 2.2.3 Khoảng cách Canberra 21 n va ac th si iv 2.3 Đa mục tiêu theo khoảng cách 22 2.4 Tiếp cận giải toán tối ưu đa mục tiêu Pareto 22 2.4.1 Tối ưu đa mục tiêu Pareto 22 2.4.2 Rút gọn khơng gian tìm kiếm dựa vào tập Pareto 23 2.4.3 Nâng hiệu phân lớp ảnh 29 Chương ỨNG DỤNG VÀ CHƯƠNG TRÌNH THỬ NGHIỆM 37 3.1 Sơ đồ chương trình 37 3.2 Cơ sở liệu ảnh thử nghiệm 38 lu 3.3 Phân tích thiết kế chương trình thử nghiệm 40 an 3.3.1 Giao diện chương trình 40 va n 3.3.2 Các bước thực truy vấn 40 3.4.1 Các phương pháp sở 45 ie gh tn to 3.4 Đánh giá kết đạt so sánh với phương pháp khác 45 p 3.4.2 Phương pháp đánh giá 45 nl w KẾT LUẬN 56 d oa TÀI LIỆU THAM KHẢO 58 ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si v DANH MỤC CHỮ VIẾT TẮT Từ Dạng đầy đủ viết tắt Diễn giải lu an n va CBIR Content-Based Image Retrieval Tra cứu ảnh dựa vào nội dung HSV Hue, saturation, value Màu sắc, độ bão hòa, độ sáng MARS Multimedia Analysis and Các hệ thống phân tích đa Retrieval Systems phương tiện tra cứu QBIC Query By Image Content Truy vấn ảnh nội dung RF Relevance feedback Phản hồi liên quan SVM Support vector machine Máy vector hỗ trợ p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si vi KÍ HIỆU TOÁN HỌC M Độ dài vector đặc trưng N Kích thước sở liệu T Số đặc trưng t Chỉ số đặc trưng Q, Ii Ảnh truy vấn ảnh thứ I sở liệu I°i Vector đặc trưng chuẩn hóa ảnh thứ i lu an I°it Vector đặc trưng chuẩn hóa t ảnh thứ i n va tn to Qt, It đặc trưng t tương ứng ảnh truy vấn Q ảnh I ie gh ±t Đặc trưng chuẩn hóa t ảnh truy vấn Q i p DQt (Ii ), D (Qt , Iit ) Khoảng cách theo đặc trưng t ảnh Ii so với ảnh truy vấn oa nl w Q d DQ (Ii ), D (Q, Ii ) Khoảng cách ảnh Ii so với ảnh truy vấn Q toàn đặc va an lu trưng ll u nf top-k Tập gồm k ảnh có thứ hạng tương tự cao ảnh truy vấn oi m NB Tập ảnh có độ tương tự cao theo đặc trưng toàn cục tra cứu z at nh NB- Tập ảnh xác nhận không liên quan phản hồi người dùng NB+ Tập ảnh xác nhận liên quan phản hồi người dùng z @ gm NBt Tập ảnh có độ tương tự cao theo đặc trưng t tra cứu NB* Tập ảnh chưa tra cứu m co l NB: Tập ảnh có thứ hạng độ tương tự cao thuộc tập NB- tra cứu an Lu n va ac th si vii DANH MỤC HÌNH VẼ Hình 3.1 Sơ đồ chương trình 37 Hình 3.2 Các ảnh minh họa cho 10 thể loại tập ảnh Wang 38 Hình 3.3 Hình ảnh giao diện chương trình thực nghiệm 40 Hình 3.4 Đưa ảnh truy vấn vào hệ thống tra cứu đề xuất 41 Hình 3.5 Kết tra cứu khởi tạo top-20 42 Hình Kết tra cứu khởi tạo top-20 vòng phản hồi thứ 43 Hình 3.7 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ hai 43 lu an Hình 3.8 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ ba 44 n va Hình 3.9 Kết tra cứu khởi tạo top-20 vòng phản hồi thứ tư 44 tn to Hình 3.10 Trung bình độ xác kết top-k đề xuất ParetoAdaBoost ba tập liệu Wang, Oxford Buiding, Caltech theo gh p ie năm vòng phản hồi liên quan 49 Hình 3.11 Trung bình độ xác kết top-k đề xuất Pareto- oa nl w SVM ba tập liệu Wang, Oxford Building, Caltech theo năm vòng phản hồi liên quan 51 d an lu Hình 3.12 So sánh độ xác kết top-k kỹ thuật đề xuất va Pareto-AdaBoost với kỹ thuật sở tren ba tập liệu Wang, u nf Oxford Building, Caltech 53 ll Hình 3.13 So sánh độ xác kết top-k kỹ thuật đề xuất m oi Pareto-SVM với kỹ thuật sở ba tập liệu Wang, z at nh Oxford Building, Caltech 54 z Hình 3.14 Đồ thị độ xác phương pháp Pareto-AdaBoost, @ SVM, AdaBoost MARS tập liệu Wang, Oxford gm l Building, Caltech 54 m co Hình 3.15 Đồ thị độ xác phương pháp Pareto-SVM, SVM, AdaBoost MARS tập liệu Wang, Oxford Building an Lu Caltech 55 n va ac th si viii DANH MỤC BẢNG BIỂU Bảng 3.1 Các miêu tả ảnh hàm khoảng cách sử dụng thực nghiệm 39 Bảng 3.2 Các tham số sử dụng thực nghiệm 46 Bảng 3.3 Số ứng viên Pareto thep top – k Wang (gồm 1000 ảnh) 47 Bảng 3.4 Số ứng viên Pareto theo top – k Oxford Buiding (gồm 2560 ảnh) 48 Bảng 3.5 Số ứng viên Pareto theo top – k Caltech (gồm 590 ảnh) 48 Bảng 3.6 Trung bình độ xác top - k kết đề xuất Pareto- lu an AdaBoost năm vòng phản hồi liên quan tập va n liệu Wang 50 tn to Bảng 3.7 Trung bình độ xác top-k kết đề xuất Pareto- ie gh AdaBoost năm vòng phản hồi liên quan tập liệu p Oxford Buiding 50 nl w Bảng 3.8 Trung bình độ xác top-k kết đề xuất Pareto- d oa AdaBoost năm vòng phản hồi liên quan tập liệu an lu Caltech 51 va Bảng Trung bình độ xác top-k kết đề xuất Pareto-SVM ll u nf năm vòng phản hồi liên quan tập liệu Wang 52 oi m Bảng 3.10 Trung bình độ xác top-k kết đề xuất Pareto-SVM z at nh năm vòng phản hồi liên quan tập liệu Oxford Building 52 z Bảng 3.11 Trung bình độ xác top-k kết đề xuất Pareto-SVM @ m co l gm năm vòng phản hồi liên quan tập liệu Caltech 53 an Lu n va ac th si 45 3.4 Đánh giá kết đạt so sánh với phương pháp khác 3.4.1 Các phương pháp sở Phương pháp đề xuất so sánh với ba phương pháp tra cứu ảnh sử dụng phản hồi liên quan xem phương pháp sở - Nghiên cứu CBIR – SVM: Một phân lớp SVM học từ liệu huấn luyện ảnh liên quan không liên quan, tập huấn luyện có qua lần đánh giá người dùng Thuật toán phân lớp SVM thực LibSVM Sử dụng tìm kiếm lưới để tìm tham số tối ưu C lu SVM γ ttrong hàm nhân RBF (radian basis function) an n va Nghiên cứu CBIR - AdaBoost: Đây tiếp cận AdaBoost có sử dụng tn to thơng tin phản hồi liên quan Bộ phân lớp cài đặt, số lần lặp thiết lập 50 Phương pháp tra cứu ảnh dựa vào nội dung thực gh p ie nghiệm gọi tắt phương pháp AdaBoost w Nghiên cứu MARS: Nghiên cứu sử dụng kĩ thuật hiệu chỉnh oa nl trọng số cài đặt lại d 3.4.2 Phương pháp đánh giá an lu va Để đánh giá hiệu hệ thống tra cứu, người ta dựa u nf tiêu chí khác Trong khuôn khổ luận văn thực nghiệm đánh giá hiệu ll mật độ xác tra cứu kết top – k Các phương pháp m oi sử dụng tập ảnh truy vấn môi trường Thực z at nh nghiệm tiến hành mô tương tác phản hồi người dung với phương pháp, nghĩa ảnh chủ đề với ảnh truy vấn xem z gm @ liên quan ngược lại Số lượng truy vấn tập liệu miêu tả mục 3.2 Hai độ đo thường xuyên sử dụng độ xác độ m co l triệu hồi để đánh giá hiệu an Lu Chủ đề ảnh truy vấn xem mục tiêu tra cứu (khái niệm ảnh truy vấn xem chủ đề ảnh) Mỗi ảnh tương ứng với n va ac th si 46 vector 702 chiều miêu tả bảng 3.1 Mục đích học máy SVM AdaBoost học khái niệm cho qua đánh giá người dung phản hồi liên quan Trong trình này, vịng phản hồi liên quan có học máy lựa chọn top – k ảnh để hỏi người dùng cho gán nhãn “liên quan” “không liên quan” khái niệm ảnh truy vấn Các máy học sau sử dụng ảnh gán nhãn để tinh chỉnh cho phù hợp khái niệm truy vấn Kết thúc vòng phản hồi liên quan, hệ thống đưa kết top – k ảnh có thứ hạng xếp hạng cao từ tập ảnh theo khái niệm học Độ xác vòng phản hồi liên quan tỉ số chủ lu đề ảnh mục tiêu (chủ đề ảnh truy vấn) số top – k top – k kết an n va Trong trình phản hồi liên quan, người dùng lựa kích chọn để gán tn to nhãn ảnh liên quan không chọn ảnh không liên quan theo Hệ thống xây dựng biên dịch ngôn ngữ lập trình Matlap p ie gh khái niệm ảnh truy vấn nl w 2013, sở liệu SQL Server 2008, máy tính cá nhân sử dụng hệ điều hành d oa Window với cấu hình Core i5, 4GB Ram, HDD 500GB NB (top – k) an Phương pháp lu Bảng Các tham số sử dụng thực nghiệm l Số ảnh truy vấn va ll u nf Wang Oxford Caltech Buiding m 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 CBIR - SVM 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 CBIR - AdaBoost 10 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 100 55 100 MARS 20, 40, 60, 80, 100, 120, 140, 160, 180, 200 55 100 oi Đề xuất z at nh z m co l gm @ 10 100 an Lu n va ac th si 47 Bảng 3.2 tham số sử dụng chung cho phương pháp Kí hiệu l số lần lặp, NB (top – k) tập ảnh có thứ hạng dự báo (phân lớp) cao lần lặp trả hệ thống Trong nhiều nghiên cứu tập NB liên quan tới kích thước tập thực nghiệm (thông thường từ 2% tới 5%) Bảng 3 Số ứng viên Pareto thep top – k Wang (gồm 1000 ảnh) Số ứng viên Tỉ lệ số mẫu liệu giảm 20 60 94% 40 80 92% 60 120 88% 160 84% 300 70% 360 64% 420 58% 480 46% 540 46% u nf 40% lu Top - k an n va tn to 80 gh p ie 100 d oa nl w 140 120 va 600 ll 200 an 180 lu 160 oi m z at nh Bảng 3.3, bảng 3.4 bảng 3.5 thiết lập số ứng viên theo top – k ảnh kết trả cho ba tập liệu Wang, Oxford Buiding Caltech z m co l gm @ an Lu n va ac th si 48 Bảng Số ứng viên Pareto theo top – k Oxford Buiding (gồm 2560 ảnh) lu an Số ứng viên Tỉ lệ số mẫu liệu giảm 20 60 98% 40 80 97% 60 120 95% 80 160 94% 100 300 88% 120 360 86% 140 420 84% 160 480 81% 540 79% 600 77% n va Top - k tn to ie gh 180 p 200 nl w Bảng Số ứng viên Pareto theo top – k Caltech Số ứng viên Tỉ lệ số mẫu liệu giảm 40 93% 120 80% 60 180 69% 80 240 100 300 120 360 140 420 160 480 180 360 39% 200 400 32% ll u nf va 40 an 20 lu Top - k d oa (gồm 590 ảnh) oi m z at nh 59% 49% z 39% gm @ 29% m co l 19% an Lu n va ac th si 49 Để nâng cao hiệu độ xác, kĩ thuật hiệu chỉnh trọng số dịch chuyển truy vấn sử dụng, tập ứng viên Pareto kết hợp AdaBoost kết hợp với SVM ba tập liệu khác Độ xác kĩ thuật đề xuất xem xét sau vòng phản hồi liên quan đến top-k kết Để chứng minh tính hiệu độ xác, đề xuất sử dụng tập ứng viên Pareto kĩ thuật phân lớp sử dụng SVM ký hiệu Pareto-SVM đề xuất sử dụng tập ứng viên Pareto với kĩ thuật phân lớp sử dụng AdaBoost ký hiệu Pareto-AdaBoost lu an Hình 3.10 Bảng 3.6, 3.7, 3.8 cho biết trung bình độ xác theo va n top-k ba tập liệu khác đề xuất Pareto-AdaBoost p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z gm @ Hình 10 Trung bình độ xác kết top-k đề xuất l m co Pareto-AdaBoost ba tập liệu Wang, Oxford Buiding, Caltech theo năm vòng phản hồi liên quan an Lu n va ac th si 50 Bảng Trung bình độ xác top - k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Wang lu 20 40 60 80 100 120 140 160 180 200 0.681 0.679 0.567 0.622 0.588 0.534 0.489 0.451 0.415 0.389 0.71 0.724 0.631 0.63 0.61 0.56 0.51 0.46 0.445 0.405 0.789 0.785 0.709 0.68 0.639 0.598 0.542 0.52 0.456 0.425 0.839 0.798 0.763 0.719 0.677 0.614 0.546 0.498 0.463 0.422 0.865 0.834 0.781 0.741 0.679 0.609 0.547 0.498 0.458 0.424 an Vòng n va gh tn to p ie Bảng Trung bình độ xác top-k kết đề xuất Pareto- AdaBoost năm vòng phản hồi liên quan tập liệu 80 100 120 140 160 180 200 0.246 0.331 0.345 0.312 0.284 0.264 0.248 0.235 0.224 0.217 0.297 0.356 0.34 0.311 0.29 0.277 0.264 0.254 0.246 0.371 0.418 0.385 0.326 0.298 0.278 0.266 0.259 0.247 0.411 0.461 0.414 0.366 0.332 0.303 0.285 0.274 0.262 0.248 0.442 0.48 0.418 0.365 0.338 0.309 0.285 0.273 0.265 0.246 0.365 ll u nf 40 an 20 lu Vòng d 60 va oa nl w Oxford Buiding oi m 0.353 z at nh z m co l gm @ an Lu n va ac th si 51 Bảng Trung bình độ xác top-k kết đề xuất ParetoAdaBoost năm vòng phản hồi liên quan tập liệu Caltech Vòng 20 40 60 80 100 120 140 160 180 200 0.341 0.312 0.265 0.249 0.231 0.21 0.202 0.191 0.171 0.161 0.43 0.416 0.355 0.316 0.284 0.249 0.229 0.21 0.185 0.169 0.495 0.479 0.403 0.359 0.313 0.277 0.254 0.229 0.189 0.177 0.544 0.495 0.422 0.358 0.311 0.275 0.254 0.222 0.189 0.179 0.566 0.506 0.423 0.368 0.323 0.282 0.255 0.229 0.191 0.182 lu Hình 3.11 Bảng 3.9, 3.10, 3.11 cho biết trung bình độ xác an theo top-k ba tập liệu khác đề xuất Pareto-SVM va n Hiệu độ xác kỹ thuật đề xuất sau vòng phản tn to hồi liên quan tang rõ rệt Trên đồ thị ta thấy hiệu thuật toán giảm ie gh cỡ độ phức tạp tập liệu tang lên Kết tra cứu xem xét p không top vài ảnh kết trả có độ xác cao mà nl w xem xét số lớn ảnh kết trả Độ phức tạp liệu ảnh hưởng oa lớn đến kết tra cứu, tập liệu Oxford Building, Caltech tập d liệu phức tạp, chủ đề khó nhận dạng ll u nf va an lu oi m z at nh z l gm @ m co Hình 11 Trung bình độ xác kết top-k đề xuất theo năm vòng phản hồi liên quan an Lu Pareto-SVM ba tập liệu Wang, Oxford Building, Caltech n va ac th si 52 Hiệu độ xác kỹ thuật đề xuất so sánh với kỹ thuật sở kết trả (top-k) khác Các đề xuất sử dụng tập ứng viên Pareto, sau vòng phản hồi liên quan truy vấn dịch chuyển độ tương tự đước tính Các kỹ thuật sở CBIR-SVM, CBIR-AdaBoost, MARS sử dụng toàn mẫu sở liệu để phân lớp Bảng Trung bình độ xác top-k kết đề xuất ParetoSVM năm vòng phản hồi liên quan tập liệu Wang an n va 40 60 80 100 120 140 160 180 200 0.704 0.619 0.553 0.541 0.516 0.491 0.457 0.423 0.394 0.372 0.801 0.788 0.754 0.706 0.647 0.592 0.537 0.487 0.44 0.408 0.854 0.809 0.773 0.713 0.669 0.605 0.541 0.488 0.442 0.413 0.883 0.813 0.781 0.723 0.674 0.608 0.549 0.498 0.45 0.414 0.823 0.79 0.724 0.679 0.611 0.546 0.496 0.453 0.412 gh tn to 20 ie lu Vòng p 0.896 oa nl w d Bảng 10 Trung bình độ xác top-k kết đề xuất va an lu Pareto-SVM năm vòng phản hồi liên quan tập liệu Oxford Building 40 60 80 100 120 140 160 180 200 0.222 0.292 0.313 0.283 0.265 0.248 0.235 0.231 0.221 0.211 0.312 0.353 0.369 0.341 0.313 0.29 0.277 0.26 0.249 0.24 0.378 0.401 0.383 0.359 0.341 0.288 0.276 0.262 0.248 0.411 0.418 0.389 0.37 0.343 0.313 0.277 0.263 0.248 0.436 0.428 0.385 0.371 0.348 0.315 0.281 0.266 0.249 ll 20 z at nh u nf Vòng oi m z gm @ 0.311 0.296 l m co 0.296 an Lu n va ac th si 53 Bảng 11 Trung bình độ xác top-k kết đề xuất Pareto-SVM năm vòng phản hồi liên quan tập liệu Caltech Vòng 20 40 60 80 100 120 140 160 180 200 0.295 0.291 0.233 0.228 0.198 0.187 0.176 0.17 0.162 0.154 0.405 0.388 0.316 0.28 0.252 0.23 0.21 0.188 0.174 0.162 0.498 0.428 0.331 0.304 0.277 0.252 0.22 0.197 0.176 0.163 0.533 0.443 0.341 0.305 0.275 0.255 0.226 0.199 0.179 0.167 0.531 0.457 0.348 0.308 0.279 0.255 0.227 0.2 0.179 0.167 lu an Các Hình 3.12, 3.13 so sánh hiệu độ xác kỹ thuậ đề n va xuất kỹ thuật sở ba tập liệu khác Ta thấy rõ tn to ràng kỹ thuật đề xuất có hiệu độ xác ln cao sau vòng gh phản hồi liên quan Sau vòng phản hồi liên quan, truy vấn dịch chuyển, p ie độ tương tự tính lại phù hợp với khái niệm truy vấn, tập ứng viên w Pareto điều chỉnh phù hợp với chủ đề ảnh truy vấn Các kỹ oa nl thuật sở hiệu độ xác thấp tập liệu lớn không d hiệu chỉnh độ tương tự cho phù hợp với khái niệm truy vấn ll u nf va an lu oi m z at nh z l gm @ m co Hình 12 So sánh độ xác kết top-k kỹ thuật đề xuất Pareto-AdaBoost với kỹ thuật sở tren ba tập liệu Wang, Oxford Building, Caltech an Lu n va ac th si 54 lu Hình 13 So sánh độ xác kết top-k kỹ thuật an đề xuất Pareto-SVM với kỹ thuật sở ba tập liệu va n Wang, Oxford Building, Caltech to tn Thông thường ứng dụng tra cứu, kết tra cứu thường hiển ie gh thị 20 ảnh liên quan phù hợp với hình hiển thị Đề xuất p so sánh với phương pháp sở bao gồm: Tra cứu phân lớp ảnh sử dụng nl w SVM AdaBoost, tra cứu theo hiệu chỉnh trọng số (MARS) Trong thực an lu liên quan d oa nghiệm 20 ảnh liên quan hiển thị sáu vòng phản hồi va Hình 3.14 cho thấy đề xuất Pareto-AdaBoost đạt 90%, gần 50%, gần ll u nf 60% tập liệu Wang, Oxford Building Caltech tương ứng oi m z at nh z l gm @ m co Hình 14 Đồ thị độ xác phương pháp ParetoAdaBoost, SVM, AdaBoost MARS tập liệu an Lu Wang, Oxford Building, Caltech n va ac th si 55 Hình 3.15 cho thấy đề xuất Pareto-SVM đạt 90.08%, gần 42.7%, gần 56.2% tập liệu Wang, Oxford Building Caltech tương ứng Trong phương pháp sở, tập liệu Wang, SVM AdaBoost đạt tới 70.6% 74.2%, MARS đạt 83.2%.Trên tập liệu Oxford Building, CBIRSVM CBIR-AdaBoost đạt tới 22.9% 27.8%, MARS đạt 40.1% Trên tập liệu Caltech, CBIR-SVM, CBIR-AdaBoost đạt tới 29.8% 38.1%, MARS đạt 42.5% lu an n va p ie gh tn to w Hình 15 Đồ thị độ xác phương pháp Pareto- oa nl SVM, SVM, AdaBoost MARS tập liệu Wang, d Oxford Building Caltech lu va an Hệ thống đề xuất phát triển thành ứng dụng tra cứu ảnh dựa u nf vào nội dung hoàn chỉnh gồm hai pha: ll - Pha (off-line): Pha gồm cơng cụ trích rút đặc trưng, chuẩn m oi hóa đặc trưng lưu trữ sở liệu đặc trưng để dùng cho trình tra cứu z at nh - Pha hai (on-line): Người dùng đưa vào ảnh truy vấn, ảnh truy vấn z trích rút đặc trưng với phương pháp tương tự làm pha gm @ Quá trình tra cứu khởi thực sau Sau hiển thị tra cứu khởi tạo, l người dùng tương tác với hệ thống qua việc lựa chọn ảnh khái niệm ảnh tương ứng m co “liên quan” “không liên quan” việc lựa chọn đánh dấu bên an Lu n va ac th si 56 KẾT LUẬN Trong khuôn khổ luận văn tác giả tập trung tìm hiểu, nghiên cứu số nội dung CBIR Các kết đạt được: - Đã nắm số phương pháp trích chọn đặc trưng hình ảnh, số phương pháp phản hồi liên quan tra cứu ảnh dựa vào nội dung - Trình bày phương pháp tìm kiếm hình ảnh theo đặc trưng mầu lu an sắc, kết cấu, hình dạng phương pháp kết hợp đặc trưng áp dụng n va tra cứu ảnh theo nội dung sử dụng SVM phản hồi liên quan to tn - Đưa toán tra cứu ảnh sử dụng tổ hợp đặc trưng theo tiếp cận tối ưu ie gh Pareto cách tìm tập ứng viên Pareto dựa vào tiêu chí khoảng cách p theo thành phần đặc trưng Tập sử dụng làm tập kiểm tra cho máy nl w phân lớp Luận văn xây dựng tính chất hình thức khơng gian tìm kiếm d oa ảnh truy vấn theo tiếp cận tối ưu Pareto Các tính chất khái quát an lu hóa cho tốn CBIR Pareto front đa mức sâu, hợp Pareto theo độ sâu va Các thực nghiệm làm sáng tỏ tính chất rút gọn khơng gian tìm kiếm, xem oi m xác phân lớp ll u nf sơ lọc sở liệu lớn giảm số mẫu liệu, cải thiện độ z at nh - Luận văn xây dựng chương trình thực nghiệm, thực tìm kiếm ảnh sử dụng tổ hợp đặc trưng rút gọn khơng gian tìm kiếm thơng qua tìm tập z gm @ ứng viên áp dụng cho kĩ thuật học máy việc phân lớp ảnh theo truy vấn Chương trình chạy thực nghiệm CSDL Wang, Oxford l ảnh phương pháp m co Building, Caltech so sánh, đánh giá hiệu thực tìm kiếm an Lu n va ac th si 57 Hạn chế: - Tra cứu ảnh dựa vào nội dung nhiều vấn đề cần tiếp tục nghiên cứu Trong giới hạn luận văn chưa giải hết vấn đề, luận văn giải phần vấn đề rút gọn khơng gian tìm kiếm - Đóng góp luận văn hạn chế: Thực nghiệm sở liệu chưa đủ lớn, chưa đánh giá hiệu thời gian đề xuất Trong nghiên cứu tương lai tiếp tục nghiên cứu để bổ sung cho hạn chế lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si 58 TÀI LIỆU THAM KHẢO Tiếng Việt Nguyễn Thanh Thuỷ - Lương Mạnh Bá (1998), Nhập môn xử lý ảnh số, [1] NXB Khoa học kỹ thuật, Hà Nội [2] Đỗ Năng Tồn - Phạm Việt Bình (2007), Xử lý ảnh [3] Phạm Xuân Hinh (2016), Tra cứu ảnh dựa nội dung sử dụng nhiều đặc trưng phản hồi liên quan, Luận văn thạc sĩ công nghệ thông tin, lu Trường ĐH Dân lập Hải Phòng an Vũ Văn Hiệu (2017), Nghiên cứu số kỹ thuật phân hạng tra [4] va n cứu ảnh dựa vào nội dung, Luận án tiến sĩ toán học, Học viện Khoa học to gh tn Công nghệ - Viện hàn lâm khoa học công nghệ Việt Nam Vũ Văn Hiệu, Ngô Huy Hồng, Ngơ Quốc Tạo, Nguyễn Hữu Quỳnh p ie [5] (2016), “Một phương pháp chuẩn hoá liệu hiệu chỉnh trọng số oa nl w cho tổ hợp đặc trưng tra cứu ảnh theo nội dung” , Chun san Các d cơng trình nghiên cứu, phát triển ứng dụng Công nghệ thông tin lu Vũ Văn Hiệu, Nguyễn Trường Thắng, Nguyễn Hữu Quỳnh, Ngô Quốc u nf [6] va an Truyền thông, Tập V-1 (Số 35) ll Tạo (2016), “Tra cứu ảnh theo nội dung sử dụng tập Pareto mơ hình m oi học thống kê CART”, Chun san cơng trình nghiên cứu phát triển z at nh ứng dụng CNTT-TT, tập V-2 (Số 36) @ Analysis of distance metrics in content-based image retrieval using l gm [7] z Tiếng Anh statistical quantized histogram texture features in the DCT domain, m co Journal of King Saud University - Computer and Information Sciences, an Lu www.ksu.edu.sa, 28/11/2012 n va ac th si 59 [8] Hiremath and Pujari (2007), Based Image Retrieval Using Color, Texture and Shape Features, Proceedings of the 15th International Conference on Advanced Computing and, Communications [9] Van-Hieu Vu, Truong-Thang Nguyen, Huu-Quynh Nguyen, Quoc-Tao Ngo (2016), “Content based image retrieval using multiple features and Pareto approach”, Journal of Compu-ter Science and Cybernetics, Vol 32 (No 2) lu an n va p ie gh tn to d oa nl w ll u nf va an lu oi m z at nh z m co l gm @ an Lu n va ac th si