(Luận án) Nâng cao hiệu quả tra cứu ảnh dựa trên hiệu chỉnh độ đo tương tự và phản hồi liên quan

BỘGIÁODỤCVÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌCVÀCÔNGNGHỆ VIỆTNAM HỌCVIỆNKHOAHỌCVÀCÔNG NGHỆ - NGÔTRƯỜNGGIANG NÂNG CAO HIỆU QUẢ TRA CỨU ẢNHDỰATRÊNHIỆUCHỈNHĐỘĐOTƯƠNGT Ự VÀPHẢNHỒILIÊNQUAN LUẬNÁNTIẾNSỸ TOÁN HỌC BỘGIÁODỤCVÀ ĐÀO TẠO HÀNỘI– 2017 VIỆN HÀN LÂM KHOA HỌCVÀCÔNGNGHỆ VIỆTNAM HỌCVIỆNKHOAHỌCVÀCÔNG NGHỆ - NGÔTRƯỜNGGIANG NÂNG CAO HIỆU QUẢ TRA CỨU ẢNHDỰATRÊNHIỆUCHỈNHĐỘĐOTƯƠNGT Ự VÀPHẢNHỒILIÊNQUAN LUẬNÁNTIẾNSỸ TOÁN HỌC Chuyên ngành:Cơ sở Toán học cho Tin họcMãsố:62460110 Ngườihướngdẫnkhoahọc: PGS.TS.NgơQuốcTạo TS.NguyễnĐứcDũng HÀNỘI– 2017 LỜICAMĐOAN TơixincamđoanđâylàcơngtrìnhnghiêncứudotơithựchiệndướisựhướngdẫncủaPGS.TS NgơQuốcTạovàTS.NguyễnĐứcDũngtạiHọcviệnKhoahọcvàCơngnghệ-ViệnhànlâmKhoahọcvàCơngnghệViệt Nam Các số liệu vàkếtquảtrìnhbàytrongluận ánlàtrungthực,chưađược cơngbốbởibấtkỳtác giảnàohayởbấtkỳcơngtrìnhnàokhác HàN ộ i , n g y t h n g n ă m Tácgiả NgôTrườngGiang LỜICÁMƠN Luận án thực Học viện Khoa học Công nghệ, Viện Hàn lâmKhoa học Công nghệ Việt Nam hướng dẫn khoa học PGS.TS NgôQuốc Tạo TS Nguyễn Đức Dũng Tơi xin bày tỏ lịng biết ơn sâu sắc tới cácThầyđãquantâm,hướngdẫntừcáckỹnăngcơ bảnđếnđịnhhướngkhoahọc, tạomọiđiềukiệnthuậnlợiđểtơihồnthànhluậnán Tơi xin cảm ơn tới tập thể Thầy Cô Viện Công nghệ Thông tin cónhững ý kiến đóng góp phản biện suốt q trình nghiên cứu hồnchỉnh luận án Xin chân thành cảm ơn nhà khoa học, tác giả cơng trìnhcơng bố trích dẫn luận án cung cấp nguồn tư liệu q báu, nhữngkiếnthứcliênquantrongqtrìnhnghiêncứuhồnthànhluậnán Tơi xin trân trọng cảm ơn Lãnh đạo Viện Công nghệ Thông tin, Học ViệnKhoa học Công nghệ tạo điều kiện tốt để nghiên cứu sinh cóđược mơi trường nghiên cứu hồn thành chương trình nghiên cứu mình.Xin chân thành cám ơn Phịng Nhận dạng Cơng nghệ Tri thức, phịng bancủa Viện Cơng nghệ Thông tin hỗ trợ tạo điều kiện cho tơi suốt qtrìnhthựchiệnluậnán TơixingửilờicảmơntớiBangiámhiệuTrườngĐạihọcDânlậpHảiPhịng,Khoa Cơng nghệThơngtinđãtạonhiềuđiềukiệnthuậnlợihỗtrợchotơicóđủđiều kiện thực luận án Xin cảm ơn tất bạn bè đồng nghiệp, ngườiluôn chia sẻ, cổ vũ lúc khó khăn, động viên khích lệ để tơi thựchiệnvàhồnthànhluậnán Cuối cùng, tơi xin bày tỏ lịng biết ơn vơ hạn người thân giađình ln ủng hộ động viên, tạo nguồn lực tinh thần to lớn để tơi thựchiệnvàhồnthànhđượcluậnánnày Mụcl ụ c Mụcl ụ c Danhsáchhìnhvẽ Danhsáchbảng Danhs c h c h ữ v i ế tt ắ t MỞĐẦU iii v vii viii 1 TRACỨUẢNHDỰATRÊNNỘIDUNG 1.1 MộtsốvấnđềcơbảntrongCBIR .8 1.1.1 Tríchchọnđặctrưngmứcthấp 12 1.1.2 Độđotươngtự 22 1.1.3 Đánhgiáhiệunănghệthống 25 1.2 Độđotươngtựkếthợpcácđặctrưng .28 1.3 PhảnhồiliênquantrongCBIR 29 1.3.1 Kỹthuậtcậpnhậttruyvấn .33 1.3.2 Nhữngkỹthuậthọcthốngkê .34 1.4 Tổngk ế t c h n g 37 ĐỘĐOTƯƠNGTỰHÌNHDẠNGDỰATRÊNĐỐISÁNHĐỒTHỊX ƯƠNG 38 2.1 Giớit h i ệ u 39 2.2 Bàitoánđốisánhđồthị 42 2.3 Biểud i ễ n đ t h ị x n g .46 2.3.1 Trụct r u n g v ị - X n g 46 2.3.2 Biểudiễnđồthịxương 50 2.4 Độđotươngtựhìnhdạngdựatrênđốisánhđồthịxương 52 2.4.1 Khoảngcáchgiữacácđỉnhsửdụngđườngdẫnxương 52 2.4.2 Đốis n h đ t h ị x n g s d ụ n g c ụ m đ ỉ n h c u ố i 54 2.4.3 Thựcnghiệmđánhgiá .64 2.5 Tổngk ế t c h n g 69 TÍCHHỢPĐẶCTRƯNGTRONGPHẢNHỒILIÊNQUAN 72 3.1 Giớit h i ệ u 73 3.2 ĐộđomờvàtíchphânChoquet .75 3.2.1 Độđomờ(Fuzzymeasures) .75 3.2.2 TíchphânChoquet 77 3.3 Độđotươngtựkếthợpnhiềuđặctrưng 78 3.3.1 Phátbiểubàitoán 78 3.3.2 Họctrọngsốliênquancủacácđặctrưng 82 3.3.3 Thựcnghiệmđánhgiá .85 3.4 Tổngkếtchương 92 HỌCC H Ủ Đ Ộ N G S V M D Ự A T R Ê N P H Ả N H Ồ I L I Ê N Q U A N 4.1 Họcchủđộng .94 4.2 HọcchủđộngSVMvớiphảnhồiliênquan .94 4.2.1 HọcchủđộngSVM 94 4.2.2 Cácnghiêncứuliênquan 97 4.3 PhảnhồiliênquantrongCBIR 101 4.3.1 Phátbiểubàitoán 101 4.3.2 Xâydựnghàmlựachọntậphuấnluyện 101 4.3.3 Thựcnghiệmđánhgiá .103 4.4 Tổngkếtchương .106 KẾTLUẬ N 108 Danhmụccơngtrình củatácgiả 111 Tàil iệ u t h a m k h ả o 112 Danhsáchhình vẽ 1.1 1.2 1.3 1.4 1.5 1.6 1.7 KiếntrúcchungcủahệthốngCBIR KhônggianmàuRGB 14 KhônggianmàuHSV .15 Vídụtínhtốnmẫunhịphân[79].Cácđiểmảnhlâncậntrênmộtđườngtrịn vớitâmlàđiểmảnh khảo sát Các điểm ảnh lân cậnkhơngrơichínhxácvàolướiđiểmảnhđượcnộisuy 19 RecallvàPrecisionchocáckếtquảtruyvấn 26 Ví dụ khoảng cách ngữ nghĩa CBIR, cột (a) hai ảnh ngữnghĩak h c n h a u n h n g c ó đ ặ c t r n g ( b i ể u đ m u ) g i ố n g n h a u , cột(b)haiảnhngữnghĩagiốngnhaunhưngcóđặctrưng(bi ểuđồ màu)khácnhau 30 SơđồtổngquancủaCBIRvớiphảnhồiliênquan 32 2.1 Haiđốitượngcùngmộtlớpnhưngcókiếntrúctơpơxươngkhác 40 2.2 Đốitượng(a)và(b)kháclớpnhưngcókiến trúc tơ pơ xương (c)giốngnhau 40 2.3 Cáclánggiềngcủađiểmảnhtạivịtrí[i,j]:(a)4-lánggiềngvà(b) 8-lánggiềng 46 2.4 Ảnhnhịphânvớiđườngbao:(a)làảnhgốcvà(b)đườngbaovới cácđiểmmàuđenđậm 47 2.5 Vídụvềxương 48 2.6 Xươngc ủ a ả n h b ị n h i ễ u C ộ t b ê n t r i l ả n h đ ố i t ợ n g v i d ò n g trênlàảnhgốc,dòngdướilàảnhbịnhiễuvàcộtbênphảilàxương tươngứng .48 2.7 Xươngthuđượcsaucắttỉavớicácngưỡngkhácnhau[4] 49 2.8 Biểud i ễ n đ t h ị x n g .50 2.9 Sựkhôngổnđịnhcủacácđiểmxươnggiaonhau 52 2.10 Xâydựngsiêuđồthịxương.Bêntráilàsiêuđồthịxươngvớicácđỉnh v1, ,v7 }vàcác siêucạnh e1,e2,e3.B ê n p h ả i l m a t r ậ n liênt h u ộ c c ủ a s i ê u đ t h ị x n g .55 2.11 Đốisá nh b ấ t b i ế n t ỷ l ệ s d ụ n g độ t n g t ự b ậ c c a o ( δ= 3) Đ ộ tươ ngt ự bậ c b a đ ợ c tí n h t o n b i so s n h i t a m gi ct h e o s i n củac ác gó c t n g ứng .57 2.12 Vídụxâydựngsiêuđồthịkếthợp[57].(a)cóhaiđỉnhtrênđồthịGPvà đỉnh đồ thịGQ Có sáu mối tương quan hai đồthị (b)Siêuđồthịkếthợpgồmsáuđỉnhtươngứngvớisáutương quan.Cónămsiêucạnhđượckếtnốitừcáctươngquantươngứng.5 2.13 MộtsốảnhmẫutrongtậpdữliệuKimia99 64 2.14 MộtsốảnhmẫutrongtậpdữliệuKimia216 65 2.15 MộtsốảnhmẫutrongtậpdữliệuMPEG-7 65 2.16 Sựtươngquangiữahaihìnhdạngconngựa,mộtconlàsựbiếnđổi từc on c ị n l i 66 2.17 Sựtươngquangiữahaihìnhdạngngườivớisốchânkhácnhau 66 2.18 Mốitươngquangiữahìnhdạnghaiconvoi có cấu trúc hình họckhơnggiốngnhau .67 2.19 HiệuquảtracứucủamộtsốlớpriêngtrêntậpdữliệuMPEG-7 70 3.1 3.2 3.3 3.4 3.5 4.1 4.2 4.3 4.4 4.5 KếthợpđặctrưngchomụcđíchCBIR 74 HiệuquảtracứusửdụngcácđộđomờkhácnhautrêntậpdữliệuCaltech101 89 Hiệuquảtracứusửdụngcácđộmờkhácnhautrêntập liệuCorel15K 90 Hiệuquảtracứusửdụngcácmơhìnhkếthợpkhácnhautrêntập dữl i ệ u C a l t e c h 1 91 Hiệuquảtracứusửdụngcácmơhìnhkếthợpkhácnhautrêntập dữli ệu C o r e l K 91 Minh họa học chủ động SVM Một phân lớp tuyến tính đượctínhtốnđểphânlớpdữliệuliênquan(vịngtrongrỗng)vàkhơn g liênquan(vòngtrònđặc) 98 Kếtquảtracứukhơngcóphảnhồi 105 Kếtquảtracứusau4vịngphảnhồi .106 Mốiq u a n h ệ g i ữ a t r u n g b ì n h đ ộ c h í n h x c v t ố p c c ả n h t r ả v ề củacácvịngphảnhồi:(a)Vịngphảnhồithứnhất,(b)Vịngphản hồithứhai,(c)Vịngphảnhồithứba,và(d)vịngphảnhồithứbốn107 Mối quan hệ trung bình độ xác số lần lặp tốp cácảnh trả về: (a) Tốp 20 ảnh trả về, (b) Tốp 40 ảnh đầu tiêntrảv ề, (c )T ốp 60 ản hđ ầu ti ê n t r ả v ề , ( d ) t ố p 80 ả nh đầ ut i ê n trảvề 107 Danhs c h b ả n g 2.1 2.2 2.3 3.1 3.2 3.3 Sốlượngảnhtracứuđúngtạivịtrígầnnhấtvớitruyvấntrêntập dữliệuKimia’s99.Giátrịtốtnhấtlà99 68 Sốlượngảnhtracứuđúngtạivịtrígầnnhấtvớitruyvấntrêntập dữliệuKimia’s216.Giátrịtốtnhấtlà216 68 HiệuquảtracứutrênmộtsốlớpảnhtrêntậpdữliệuMPEG7 69 Độđotươngtựkếthợpsửdụngmơhìnhtrongcơngthức(3–9) 79 ĐộđotươngtựkếthợpsửdụngtíchphânChoquet .82 Cácmơtảvàcácthuộctínhcủacácđặctrưngđượcsửdụngtrong thínghiệm .87 Danhsáchchữviếttắt Từviếttắt DiễngiảitiếngAnh DiễngiảitiếngViệt ARG Attribute-RelationalGraphs Đồthịquan hệ thuộctính AP AveragePrecision Độchínhxáctrungbình CBIR Content-BasedImageRetrieval Tracứuảnhdựatrênnộidung EM Expectation–Maximization ƯớclượngEM FSVM FuzzySupportVectorMachine Máyvéctơhỗtrợmờ GCM GridColorMoment Mơmenmàu GWT GaborWaveletsTexture Biếnđổikếtcấudạngsóng HSV HueSaturationValue KhơnggianmàuHSV MAP MeanAveragePrecision ĐTrungbìnhcủaAP MPEG-7 Moving Picture Experts ChuẩnMPEG-7 Group–7 MRBIR ManifoldRankingBasedImage Tracứuảnhdựatrênxếphạng Retrieval đatạp MWR MarkovRandom Walk BướcngẫunhiênMarkov LBP LocalB i n a r y P a t t e r n Mẫunhịphâncụcbộ OSB OptimalSubsequenceBijection Chuỗisongánhtốiưu RGB RedGreenBlue KhônggianmàuRGB RF RelevanceFeedback Phảnhồiliênquan RW RandomWalk Bướcngẫunhiên RWR RandomWalkRestart Bướcngẫunhiênkhởiđộnglại SHG SkeletonHyper-Graph Siêuđ t h ị x n g SVM SupportVectorMachine PhânlớpSVM