Tra cứu ảnh dựa trên nội dung với phản hồi liên quan sử dụng mô hình học trên đồ thị

Bộ GIáO DụC & ĐàO TạO TRƯờNG ĐạI HọC DÂN LậP HảI PHòNG -o0o - N TT NGHIP Ngnh cụng ngh thụng tin HI PHếNG 2015 B GIO DC & O TO TRNG I HC DN LP HI PHếNG -o0o - TRA CU NH DA TRấN NI DUNG VI PHN HI LIấN QUAN S DNG Mễ HèNH HC TRấN TH N TT NGHIP Ngnh Cụng ngh Thụng tin HI PHếNG - 2015 B GIO DC & O TO Tr-ờng đại học dân lập hải phòng -o0o - TRA CU NH DA TRấN NI DUNG VI PHN HI LIấN QUAN S DNG Mễ HèNH HC TRấN TH N TT NGHIP I HC H CHNH QUY Ngnh : Cụng ngh Thụng tin Sinh viờn thc hin: PHM ANH TON Giỏo viờn hng dn: NGễ TRNG GIANG Mó sinh viờn : 1112101005 Hải Phòng - 2015 B GIO DC V O TO CNG HếA X HI CH NGHA VIT NAM TRNG I HC DN LP HI PHếNG c lp T Hnh phỳc -o0o - nhiệm vụ thiết kế tốt nghiệp Sinh viên : PHạM ANH TOàN Mã số : 1112101005 Lớp : CT1501 Ngành: Công nghệ Thông tin Tên đề tài : TRA CứU ảNH VớI PHảN HồI LIÊN QUAN Sử DụNG MÔ HìNH HọC TRÊN Đồ THị nhiệm vụ đề tài Nội dung yêu cầu cần giải nhiệm vụ đề tài tốt nghiệp a Nội dung: - Tng quan v Tra cu nh da trờn ni dung vi phn hi liờn quan - Tng quan v mụ hỡnh hc trờn th - ng dng hc trờn th cho bi toỏn tra cu nh - Ci t chng trỡnh th nghim b Các yêu cầu cần giải - Hiu quy trỡnh ca mt h thng tra cu nh da trờn ni dung, cỏc phng phỏp c bn tra cu nh da trờn ni dung - Hiu c mt s mụ hỡnh hc da trờn th v ỏp dng cho ci thin hiu qu tra cu - Ci t chng trỡnh th nghim Các số liệu cần thiết để thiết kế, tính toán Địa điểm thực tập cán h-ớng dẫn đề tài tốt nghiệp Ng-ời h-ớng dẫn thứ : Họ tên: Học hàm, học vị: . Cơ quan công tác: Nội dung h-ớng dẫn: Ng-ời h-ớng dẫn thứ hai: Họ tên : Học hàm, hc v : Cơ quan công tác: Nội dung h-ớng dẫn: Đề tài tốt nghiệp đ-ợc giao ngày 06 tháng 04 năm 2015 Yêu cầu phải hoàn thành tr-ớc ngày 11 tháng 07 năm 2015 Đã nhận nhiệm vụ: Đ.T.T.N Đã nhận nhiệm vụ: Đ.T.T.N Sinh viên Cán h-ớng dẫn Đ.T.T.N Hi Phũng, ngy.thỏng nm 2015 Hiệu tr-ởng GS.TS.NG-T Trần Hữu Nghị PHN NHN XẫT TểM TT CA CN B HNG DN Tinh thần thái độ sinh viên trình làm đề tài tốt nghiệp: Đánh giá chất l-ợng đề tài tốt nghiệp (so với nội dung yêu cầu đề nhiệm vụ đề tài tốt nghiệp) Cho điểm cán h-ớng dẫn: ( Điểm ghi số chữ ) Ngày .tháng .năm 2015 Cán h-ớng dẫn ( Ký, ghi rõ họ tên ) PHN NHN XẫT NH GI CA CN B CHM PHN BIN TI TT NGHIP ỏnh giỏ cht lng ti (v cỏc mt nh c s lý lun, thuyt minh chng trỡnh, giỏ tr thc t) Cho điểm cán phản biện ( Điểm ghi số chữ ) Ngày .tháng .năm 2015 Cán chấm phản biện ( Ký, ghi rõ họ tên ) Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th LI CM N Em xin chõn thnh cm n Thy giỏo, Thc s Ngụ Trng Giang ó hng dn tn tỡnh ch bo em rt nhiu sut quỏ trỡnh tỡm hiu nghiờn cu v hon thnh ỏn ny t lý thuyt n ng dng S hng dn ca thy ó giỳp em cú thờm kin thc v lp trỡnh v kin thc v lnh vc x lý nh ng thi, em xin chõn thnh cỏm n cỏc thy cụ khoa Cụng ngh thụng tin Trng i Hc Dõn Lp Hi Phũng, cng nh cỏc thy cụ trng ó trang b cho em nhng kin thc c bn cn thit sut thi gian hc ti trng em hon thnh tt ỏn ny Em xin chõn thnh cm n GS.TS.NGT Trn Hu Ngh, Hiu trng Trng i hc Dõn Lp Hi Phũng, ban giỏm hiu nh trng, khoa Cụng ngh thụng tin, cỏc phũng ban nh trng ó to iu kin tt nht sut thi gian em hc v lm tt nghip Trong quỏ trỡnh hc cng nh sut thi gian lm ỏn tt nghip khụng trỏnh nhng thiu sút, em rt mong c s gúp ý quý bỏu ca cỏc thy cụ cng nh tt c cỏc bn kt qu ca em c hon thin hn Sau cựng, em xin gi li cm n n gia ỡnh, bn bố ó to mi iu kin em xõy dng thnh cụng ỏn ny Em xin chõn thnh cm n ! Phm Anh Ton CT1501 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th MC LC MT S T VIT TT M U CHNG 1: Tng quan v tra cu nh da trờn ni dung vi phn hi liờn quan 1.1 Khỏi nim tra cu nh da trờn ni dung 1.2 Nhng thnh phn ca mt h thng tra cu nh da trờn ni dung 1.2.1 Cỏc c trng hỡnh nh mc thp 1.2.2 ỏnh ch s 1.2.3 Tng tỏc ngi dựng 10 1.3 Khong cỏch ng ngha 12 1.4 K thut phn hi liờn quan CBIR 13 1.4.1 Khỏi nim phn hi liờn quan 13 1.4.2 Kin trỳc tng quan ca h thng CBIR vi phn hi liờn quan 14 1.4.3 Cỏc phng phỏp tip cn phn hi liờn quan 17 1.4.4 Nhng thỏch thc phn hi liờn quan 19 1.5 Cỏc lnh vc ng dng ca tra cu nh da trờn ni dung 20 CHNG 2: Mụ hỡnh hc bỏn giỏm sỏt da trờn th 22 2.1 Khỏi nim hc mỏy 22 2.2 Hc bỏn giỏm sỏt 24 2.3 Hc bỏn giỏm sỏt da trờn th 27 2.3.1 Thut toỏn lan truyn nhón 27 2.3.2 Xõy dng th 30 2.3.3 Trng ngu nhiờn Gauss v hm iu hũa 30 2.4 Kt hp hc bỏn giỏm sỏt vi hc ch ng (Active Learning) 35 2.5 Hc siờu tham s ca th (Graph Hyperparameter Learning) 39 2.5.1 Phng phỏp ti a Evidence 39 2.5.2 Phng phỏp ti thiu Entropy 39 CHNG 3: p dng ci t th nghim 41 3.1 Ci t 41 Phm Anh Ton CT1501 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th 2.5 Hc siờu tham s ca th (Graph Hyperparameter Learning) Trc õy gi thit ma trn trng s W ó c cho v c nh Trong phn ny trỡnh by s lc mt s phng phỏp hc trng s t cỏc d liu cú nhón v cha cú nhón Gi thit rng cỏc cnh ca th cú trng s c tham s húa bi cỏc siờu tham s : (2.24) 2.5.1 Phng phỏp ti a Evidence hc cỏc siờu tham s tin trỡnh Gauss cú th chn cỏc siờu tham s lm ti a log likelihood : c bit nh l evidence v th tc ny gi l lm ti a evidence Cú th gi nh mt xỏc sut tin nghim trờn v tỡm mt xỏc sut hu nghim ln nht (MAP) c tớnh : Evidence cú th l a mode v thng s dng phng phỏp gradient tỡm mt mode khụng gian siờu tham s iu ny ũi hi tớnh o hm (c tớnh c th ph lc D ti liu tham kho [6]) 2.5.2 Phng phỏp ti thiu Entropy Mt cỏch khỏc, cú th chn entropy nhón trung bỡnh nh mt tiờu cho vic hc tham s Vic ny ch s dng hm iu hũa v khụng ph thuc vo tin trỡnh Gauss Entropy nhón trung bỡnh ca hm iu hũa c nh ngha l : (2.25) Phm Anh Ton CT1501 39 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Vi l entropy Shannon ca riờng im d liu cha gỏn nhón i Vỡ nờn entropy nh ngha l gn hoc iu ny cho phộp m bo mt ma trn trng s tt (tng ng vi mt siờu tham s tt) s cho kt qu chc chn hn vic gỏn nhón Tt nhiờn cú rt nhiu nhón tựy ý cú entropy thp, v tiờu ny cú th khụng hot ng Tuy nhiờn iu quan trng cn ch rng h c gii hn trờn d liu c gỏn nhón, v hu ht cỏc nhón cú entropy thp l khụng phự hp vi vic gii hn ny Thc t, khụng gian cú nhón entropy thp cú th t c bng hm iu hũa l nh, v cú th nh nú iu chnh cỏc siờu tham s Gi s trng s th c tham s húa nh (2.24), s dng phng phỏp gim gradient tỡm cỏc siờu tham s lm ti thiu H Gradient c tớnh l : (2.26) õy giỏ tr cú th ly c t c cho bi : (2.27) S dng trn ca ma trn C hai v l ma Vỡ P c to bng cỏch chun húa ma trn trng s W nờn ta cú : (2.28) V cui cựng Phm Anh Ton CT1501 40 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th CHNG 3: p dng ci t th nghim 3.1 Ci t 3.1.1 Nn tng v ngụn ng lp trỡnh Chng trỡnh c ci t trờn mụi trng Microsoft Visual Studio 2012 vi ngụn ng C# 3.1.2 Cỏc th vin s dng trớch chn c trng nh, chng trỡnh s dng th vin FElib c trng ca nh c biu din bi mt vector 809 phn t: Color histogram, color moments t phn t t n 81 Edge histogram t 82 n 118 Gabor wavelets transform: cỏc phn t t 119 n 238 Local Binary Pattern: cỏc phn t t 239 n 297 GIST: cỏc phn t t 297 n 809 h tr tớnh toỏn chng trỡnh s dng gúi th vin BLAS/LAPACK 3.1.3 C s d liu C s d liu bao gm 2345 nh ly t c s d liu Corel bao gm 23 nhúm, mi nhúm cú khong 100 nh Cỏc nhúm ny bao gm nhiu vớ d t n gin n phc (v mu sc v chi tit) Phm Anh Ton CT1501 41 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th 3.2 Giao din v cỏc chc nng chớnh ca chng trỡnh 3.2.1 Giao din chớnh Hỡnh 3-1: Giao din chớnh chng trỡnh Vựng : Hin th nh truy Vựng : Kt qu truy Vựng : Menu chc nng chng trỡnh 3.2.2 Cỏc chc nng chớnh ca chng trỡnh 3.2.2.1 M nh truy v chn c s d liu truy Open : M file nh truy v trớch chn c trng cho nh truy Browser : M th mc c s d liu nh 3.2.2.2 Hin th kt qu truy Retrieval : Hin th kt qu tra cu Nu ngi dựng cha hi lũng cú th tip tc quỏ trỡnh phn hi liờn quan Phm Anh Ton CT1501 42 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th 3.2.2.3 Phn hi liờn quan FeedBack : M giao din ly thụng tin phn hi liờn quan t ngi s dng Ban u h thng a cho ngi dựng 20 nh gỏn nhón Sau ú ti mi vũng lp, h thng s dng thut toỏn hc ch ng a mt vi nh Hỡnh 3-2 : Giao din ly thụng tin phn hi liờn quan 3.2.2.4 Hc tham s cho th Learn Param : Thc hin quỏ trỡnh hc tham s cho d liu hin ti 3.2.2.5 Khi to li quỏ trỡnh truy Reset : Thit lp li quỏ trỡnh truy Ngi dựng cú th chn nh truy khỏc Phm Anh Ton CT1501 43 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th 3.3 Mt s kt qu thc nghim Tin hnh th nghim vi hai nh truy khỏc 3.3.1 Kt qu thc nghim s Hỡnh 3-3 : M nh truy v kt qu ca thc nghim s ban u Hỡnh 3-4 : Kt qu ca thc nghim s sau ln phn hi th nht Phm Anh Ton CT1501 44 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-5 : Kt qu ca thc nghim s sau ln phn hi th Hỡnh 3-6 : Kt qu ca thc nghim s sau phn hi ln Phm Anh Ton CT1501 45 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-7: Kt qu ca thc nghim s sau ln phn hi th 3.3.2 Kt qu thc nghim s Hỡnh 3-8: M nh truy v kt qu ca thc nghim s ban u Phm Anh Ton CT1501 46 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-9: Kt qu s sau ln phn hi th nht Hỡnh 3-10: Kt qu s sau ln phn hi th Phm Anh Ton CT1501 47 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-11: Kt qu s sau ln phn hi th Hỡnh 3-12: Kt qu s sau ln phn hi th Phm Anh Ton CT1501 48 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th 3.3.3 Kt qu thc nghim s Hỡnh 3-13: M nh truy v kt qu thc nghim s ban u Hỡnh 3-14: Kt qu ca thc nghim s sau ln phn hi th nht Phm Anh Ton CT1501 49 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-15: Kt qu ca thc nghim s sau ln phn hi th Hỡnh 3-16: Kt qu ca thc nghim s sau ln phn hi th Phm Anh Ton CT1501 50 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th Hỡnh 3-17: Kt qu ca thc nghim s sau ln phn hi th Phm Anh Ton CT1501 51 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th KT LUN Sau mt thi gian tỡm hiu v nghiờn cu ti ny, em ó t c mt s kt qu sau: Tỡm hiu c cu trỳc ca mt h thng tra cu nh da trờn ni dung Tỡm hiu c mt s phng phỏp lm gim khong cỏch ng ngha tra cu nh da trờn ni dung Tỡm hiu phng phỏp phn hi liờn quan tra cu nh Tỡm hiu v mt s phng phỏp hc mỏy c bit l hc bỏn giỏm sỏt da trờn mụ hỡnh th Xõy dng c chng trỡnh th nghim ỏp dng phng phỏp phn hi liờn quan s dng hc bỏn giỏm sỏt trờn th cho tra cu nh da trờn ni dung Tuy nhiờn ỏn cũn tn ti mt s : Phn chng trỡnh ci t tớnh toỏn cũn chm ci t mụi trng MS Visual Studio, kh nng ca phn cng cú hn ch Phn ci t hc siờu tham s cha cho hiu qu Do phc tớnh toỏn v thi gian ca vic tớnh toỏn gradient l nõng cao chớnh xỏc tra cu nh cn tip tc nghiờn cu v mụ hỡnh hc bỏn giỏm sỏt Em rt mong nhn c s úng gúp ý kin t cỏc Thy Cụ v cỏc bn em cú thờm kin thc v kinh nghim tip tc hon thin ni dung nghiờn cu ti Em xin chõn thnh cm n! Phm Anh Ton CT1501 52 Tra cu nh vi phn hi liờn quan s dng mụ hỡnh hc trờn th TI LIU THAM KHO [1] J Eakins, M Graham, Content-based image retrieval, Technical Report, University of Northumbria at Newcastle, 1999 [2] A Mojsilovic, B Rogowitz, Capturing image semantics with lowlevel descriptors, Proceedings of the ICIP, September 2001, pp 1821 [3] X.S Zhou, T.S Huang, CBIR: from low-level features to highlevel semantics, Proceedings of the SPIE, Image and Video Communication and Processing, San Jose, CA, vol 3974, January 2000, pp 426431 [4] Ying Liu, Dengsheng Zhang, Guojun Lu, Wei-ying Ma, A survey of content-based image retrieval with high-level semantics, Pattern recognition, volume 40, issue 1, January, 2007, 262-282 [5] Dr Fuhui Long, Dr Hongjiang Zhang and Prof David Dagan Feng, Fundamentals of content-based image retrieval, International journal of computer science and information technologies, vol.3 (1), 2012, 3260 3263 [6] Xiaojin Zhu, Semi-Supervised Learning with Graphs, CMU-LTI05-192, May 2005 [7] Pushpa B PATIL, Manesh B KOKARE, Relevance Feedback in Content Based Image Retrieval: A Review, College of Engineering and Technology, Bijapur-586103, India, Institute of Engineering and Technology, Nanded431606, India [8] R Similar-shape retrieval in shape data management, IEEE Comput 28 (9) (1995) 5762Mehrotra, J.E Gary [9] Zhang Xinhua, hyper-parameter learning for graph based semisupervised learning algorithms, B.Eng., Shanghai Jiao Tong University, China, 2006 Phm Anh Ton CT1501 53