(Luận án) Nghiên cứu một số kỹ thuật phân hạng trong tra cứu ảnh dựa vào nội dung

BỘGIÁODỤCVÀ ĐÀOTẠO VIỆNHÀNLÂMKHOAHỌC VÀCÔNGNGHỆVIỆTNAM HỌCVIỆNKHOAHỌCVÀCÔNGNGHỆ - VŨVĂNHIỆU NGHIÊNCỨUMỘT S Ố K ỸT HUẬTPHÂN HẠNG TRONG TRACỨUẢNHDỰAVÀONỘIDUNG LUẬNÁNTIẾNSỸTỐNHỌC HÀNỘI–2017 VIỆN HÀN LÂM KHOA HỌCVÀCƠNGNGHỆVIỆTNA M HỌCVIỆNKHOAHỌCVÀCƠNGNGHỆ BỘGIÁODỤCVÀ ĐÀOTẠO - VŨ VĂN HIỆU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN HẠNGTRONGTRA CỨU ẢNHDỰAVÀONỘI DUNG LUẬNÁNTIẾN SỸTỐN HỌC Chunngành:C sởTốnhọcchoTinhọcMãs ố: 62 46 01 10 Ngườihướngdẫnkhoahọc: PGS.TS.NgơQuốcTạo PGS.TS.NguyễnHữuQuỳnh HàNội–2017 LÌicamdoan Tơi xin camdoan lun ỏn Nghiờncfớu mẻt sậkthut phõn hĐng trongtracfớuÊnhdáavonẻidunglcụngtrỡnhnghiờncucariờngtụi.Cỏcsậliêu,k tquÊdềctrỡnhbytronglunỏnlhontontrungthácvchatngdềccụngbậtron gbòtkmẻtcụngtrỡnhnokhỏc Tụidó trớch dđndảydcỏc ti liêu tham khÊo, cụng trỡnh nghiờn cu liờnquan trongnểcvquậct.NgoĐitrcỏctiliêuthamkhÊony,lunỏnhont onlcụngviêcc ariờngtụi Trongcỏccụngtrỡnhkhoahcdềccụngbậtronglunỏn,tụidóthhiênrừ rngvchớnhxỏcdúnggúpcacỏcdngtỏcgiÊvnhnggỡdotụidódúnggúp LunỏndềchonthnhtrongthèigiantụilmNghiờncusinhtĐiPhũngNh n dĐng v Cụng nghêtri thc, Viên Cụng nghêthụng tin, Viên HnlõmKhoahcvCụngngh êViêtNam TỏcgiÊ: HN ẻi: LèicÊmẽn LunỏndềctháchiêndểisáhểngdđnkhoahccaPGS.TSNgụQuậcTĐovPGS.T SNguynHuQunh.Nghiờncusinhxinbyt lũngbitẽnsõuscdnhaiThảyvdnhhểngkhoahc,nhngbihc,nhnggúpqu bỏutrongnghiờncu.CỏcThảydótĐodiukiênvụcựngthunlềitrongsuậtquỏtrỡnhnghiờ ncucaNghiờncusinh TụixindềccÊmẽncỏcnhkhoahc,tỏcgiÊcacỏccụngtrỡnhcụngbậdódềctrớchdđ ntronglunỏn,dõylnhngtliêuqu,kinthcliờnquanquantrnggiỳpNghiờncusin hhonthnhlunỏn.XincÊmẽndncỏcnhkhoahcdóphÊnbiêncỏccụngtrỡnhnghiờnc ucaNghiờncusinh TụitrõntrngcÊmẽnPhũngNhndĐngvCụngnghêtrithc,PhũngquÊnldo tĐo, Viên Cụng nghêthụng tin, Hc viên Khoa hc v Cụng nghê, Viên HnlõmKhoahcvCụngnghêViêtNamdótĐodiukiênthunlềichotụitrongsuậtquỏtr ỡnhnghiờncutháchiênlunỏn.TụicngxincÊmẽnsõuscdnHẻidngKhoahcViê nCụngnghêthụngtin,cỏc ThảytrongH ẻidngbÊovêcòpcẽs dógúpgiỳpNghiờ ncusinhhonthiêncụngtrỡnhlunỏnny Tụicngbyt sácÊmẽnsõuscdnKhoaCụngnghêthụngtin,TrèngDĐihcDiênLác,HNẻidótĐod iukiênchotụidềchctp,traodivnghiờncu.TụixincÊmẽnTrèngDĐihcHÊiPh ũngdótĐodiukiênvthèigianvtichớnhchotụitháchiênlunỏnny Mẻtphảncanghiờncunydềcthách iêntrongkhuụnkhdtinghiờncumósậCS1 5.03caViênCụngnghêThụngtin,ViênHnlõmKhoahcvCụngnghêViêtNamvdt inghiờnmósậVAST01.07/1516caViênHnlõmKhoahcvCụngnghêViêtNam.XincÊmẽncỏctraodivtrềgiỳpc acỏcthnhviờndti Cuậicựng,tụixinbyt lũngbitẽ nvụhĐndậivểichamà,vềconvt ont hanhe mtronggiadỡnhdóluụnnghẻ,g iỳpdễtụi Mcl c Lèicamdoan i LÌic£mÏn ii Tfivi∏tt ≠t v K˛hiªutốnh Âc vi Danhmˆccáchìnhv≥ vii Danhm ˆcc c b £ngb i ∫u xi Mdảu 1 TngquanvTracfớuÊnhdáavonẻidung 1.1 Mẻts ậdct r ngÊ nht h ˜Ìngs ˚dˆngt r o n g t r a c uÊ nhd áav o nẻidung 1.1.1 Miêut£toàncˆc 1.1.2 Miêut£cˆcbỴ 12 1.2 TÍhỊpd∞ ctr ˜ngtr ong tr ac uÊnhdáavonẻidung 13 1.3 Chu©nhốtrongCBIR 14 1.3.1 Mˆcdíchcıachu©nhố 14 1.3.2 Chu©nhóamin-max 16 1.3.3 Chu©nhóaGauss 16 1.4 Kho£ngtrËngng˙nghæa 19 1.5 PhÊnhiliờnquantrong CBIR 21 1.6 HiêuchứnhtrngsậvdchchuyntruyvòntrongCBIRsdng ph£nhÁiliênquan 23 1.7 TracuÊnhdáavonẻidungsdngkthutmỏyhc 27 1.7.1 Huònluyênvkimtra .27 1.7.2 Nhãnd˙liªu .28 1.7.3 Xâyd¸ngmơhìnhhÂc .29 1.8 MẻtsậtipcndáatheophẽngphỏptậiuPareto .33 1.9 PhẽngphỏpdỏnhgiỏhiêunngtrongCBIR 34 Dxuòtchuânhoỏdctrngvhiêuchứnhtrngsậtrongthềp dctrng 37 2.1 ChuânhoỏdctrngdáavophõncmmèFCM 39 2.2 ChuânhoỏkhoÊngcỏchdáavophõncmFCM 45 2.3 Hiêuchứnhtrngs ậ,dchchuyntruyvòn 46 2.3.1 HiªuchønhtrÂngsË 51 2.3.2 D‡chchuy∫ntruyvßn 52 2.4 Th˚nghiªmv d ánhg i c c k ∏tq u £ .54 2.4.1 CÏs d˙liªu£nh 54 2.4.2 TríchrútbỴd∞ctr˜ngk∏thỊp 55 2.4.3 CỏcktquÊthácnghiêmvlungiÊi 55 2.5 K∏tlu ™nCh˜Ïng2 .68 D∑xußtkˇthu™tPareto frontda mfớc sõu nõng cao hiêu quÊphõnlểpÊnh 69 3.1 MẻtsậtớnhchòthỡnhthcdáatrờnkthutParetofrontdamc sõutrongkhụnggianthềpdctrng .73 3.2 Nângcaohiªuqu£phânlĨp£nh 81 3.3 Th˚nghiªmv d ánhg i c c k ∏tq u £ .86 3.3.1 CÏs d˙liªu£nh 86 C c p h ˜ Ï n g p h p c Ï s 88 3.3.3 Ph˜Ïngphápdánhgiá .88 3.3.4 CỏcktquÊthácnghiêm .89 3.4 K∏tlu ™nCh˜Ïng3 .96 K∏tlu™nvàh˜Ĩngpháttri∫n 97 Danhm ˆcc ng trì nh d óc ụng b ậ 99 AM ẻts ậcẽsd liêuÊnhsfidng 111 A.1 Corel 111 A.2 Wang 112 A.3 Caltech1 113 A.4 OxfordBuilding 114 B Phảnmmtracfớutheocỏcdxuòtcalunỏn 120 Tfivittt DĐngvittt DĐngdảyd DingiÊi CBIR Contentbasedimageretrie- FCM val Fuzzyc-means PhâncˆmmÌc-meansHI HistogramInterrsection L˜ỊcdÁgiao HSV hue,saturation,value màu sc,dẻbóo ho mu,dẻsỏngL2R Learningt o R a n k HcxphĐng MARS Multimedia Analysis Cỏc thậng phõn tớch TracuÊnhdáavonẻidung daphẽngti ªnvàtrac˘u andRetrievalSystems Pr Precision DỴchínhxác Re Recall DỴhÁit˜ng RF Relevancefeedback Ph£n hÁi liên quanRGB red,green,blue d ‰,xanhlá,xanhd˜ÏngSIFT Scale-Invariant Feature Transform SVM Supportvectormachine Mỏyvectorhẩtrề Khiêutoỏnhc M DẻdicamẻtvectordctrngNKớchth ểccacẽs dliêuÊnhTSậbẻdctrn g tChứsậbẻdctrng Q,Iiẫ nhtruyvònvÊnhthit r o n g cẽsd liêu IiVectordctrngchuânhoỏcaÊnhthi Ii tVectordctrngchuânhoỏ Q t,It bẻtcaÊnhthi DctrngbẻttẽngngcaÊnhtruyvònQvÊnhIbòtky QitDctrngchuânhoỏ DQt(Ii),D t(Q,Ii) bẻtcaÊnhtr uy vòn KhoÊngcỏchtheobẻdctrngtcaÊnhIisovểiÊnhtruy vònQ DQ(Ii),D(Q,Ii) KhoÊngcỏchÊnhI is o vểiÊnhtruyvònQt r n bẻdctrngkthềp topkTpgmk ÊnhcúthhĐngtẽngtácaonhòtdậivểiÊnhtruyvòn NB TpÊnhcúdẻtẽngtácaonhòttheodctrngtoncctrongmẻttracu NB TpÊnhdềcxỏc nh ™nkh ơn gliê n qua n NB+T™p£nhd˜ Ịcxác nh ™nliê nquan phÊnhicangèidựn g phÊnhicangèid ựn g NBtTpÊnhcúdẻtẽngtácaonhòttheodctrng bẻttrongmẻttracu NBTpÊnhcúthhĐngdẻtẽngtácaovthuẻctpNBtrongmẻttracu NBTpÊnhchadềctracu (D) Vt,c TõmcmctpgiỏtrkhoÊngcỏchbẻdctrngttheoFCM Vt(D) Tptõm cmtheobẻdctr ngt Vt,c,jTõmcmccathnhphảndctrngj bẻdctrngttheophõncmmèFCM wt TrngsậkhoÊngcỏchcabẻdctr ngt pt, c,i Giỏtrdẻthuẻccaphảntthi bẻdctrngtsovểicmc,pl hêsậFCM (l),NB (l),NB + Dẻlêchchuântheodẻdidctrngbẻdctrngttronglảnlpth ldậivểicỏcÊnhtrongtpNB+ t,kItk + t,DQt(Ii) DẻlêchchuânkhoÊngcỏchbẻdctrngttronglảnlpthldậivểi cỏcÊnht rongtpNB+ t,c,iDẻlêchchuânthnhphảnjcabẻdctrngttheocmc (D) t,c DẻlêchchuânkhoÊngcỏchbẻdctrngtt h e o cmc Danhsỏchhỡnhv 0.1 Hêthậngt r a c uÊ nhd áav o n Ỵid u n g 0.2 Hêthậngdxuòt 1.1 Thnhphảnthnhòtcadctrngmụmenmu 15 1.2 Phõnbậdliêuthnhphản1cadctrngmụmenmu(gậc) 18 1.3 (a)Phõnbậdliêuthnhp h ản 5l ềcd d ∞ ct r ˜ngl ˜Ịcd Á HSV(gËc) (b)L˜ỊcdÁd∞ctr˜ngl ˜ỊcdÁHSVchu©nhốtheolu™t3 σthànhph ¶nt h˘5,97.45 55% d˙liªu“r Ïivào” [ - , ] .18 1.4 Énht r u y v ßn“ mandolini m a g e 0 jpg” 19 1.5 HêthậngtracuvểiÊnhtruyvòn mandolini m a g e 0 jpg 19 1.6 KtquÊtop 20cỏcÊnhtẽngtánhòtvểiÊnhtruyvònlảntra cukhitĐo 20 1.7 Hai£ nhc ó n g ˙nghỉat ˜Ïngd Á ng 20 1.8 LềcdmucaÊnhtruyvònvhaiÊnhtrongktquÊtop20 .21 1.9 MinhhoĐsiờuphỉng 32 2.1 2.2 2.3 2.4 Mụhỡnhhêthậngdxuòt 38 MinhhoĐchuânh ú a FCM 42 MinhhoĐtớnhchòtbÊotonthtácachuânhoỏ3FCM 43 Phõnbậdliêugậcthnhphảnthnmcacỏcdctrng(a) Lềcd muH S V , ( b ) l ˜Ịcd Á t¸t˜Ïngq u a n m u , ( c ) m ô m e n mu,(d)ktcòuGabor,(e)mụmenWavelet,(f)GIST 56 2.5 (a)PhõnbậdliêudctrnglềcdHSV(chuânhoỏ3)thnhphản gm 97.45% thuẻc [-1,1] (b) Phõn bậdliêudc trng lềcdHSV(chuânhoỏ3 FCM)thnhphản 5gm99.81%thuẻc [-1,1] 2.6 (a)PhõnbậdliêudctrngautoCorrelogram(chuânhoỏ3)thnhphản5g m98.02% thuẻc [-1,1] (b) Phõn bậdliêudctrngautoCorrelogram(chuânhoỏ3FCM)thnhphản5gm 99.9955% thuẻc[-1,1] 57 2.7 (a)Phõnbậdliêudctrngmụmenmu(chuânhoỏ3)thnhphản gm 99.68% thuẻc [-1,1] (b) Phõn bậdliêudc trng mụmenmu(chuânhoỏ3FCM)thnhphản 5gm100%thuẻc [-1,1] 8