Nghiên cứu xây dựng hệ thống tìm kiếm video theo nội dung

Bộ GIáO DụC Và ĐàO TạO TRƯờNG ĐạI HọC BáCH KHOA Hà NộI LUậN VĂN THạC Sĩ KHOA HọC NGHIÊN CứU, XÂY DựNG Hệ THốNG TìM KIếM VIDEO THEO NộI DUNG NGàNH: Xử Lý THÔNG TIN Và TRUYềN THÔNG Đỗ VĂN HảI Ngời hớng dẫn khoa học: TS HUỳNH QUYếT THắNG H NI - 2006 LI CM N Em xin by t lũng bit n sõu sc ti TS Hunh Quyt Thng ngi thy kớnh mn ó hng dn, ch dy tn tỡnh em hon thnh lun ny Em xin chõn thnh cm n cỏc thy, cụ giỏo khoa Cụng ngh Thụng tin, Trung tõm Bi dng v o to Sau i hc, Trng i hc Bỏch khoa H ni ó ún nhn v truyn th kin thc cho em sut quỏ trỡnh hc va qua Tụi cng xin cm n c quan, bn bố ng nghip, gia ỡnh v nhng ngi thõn ó cựng chia s, giỳp , ng viờn, to mi iu kin thun li tụi hon thnh nhim v hc v bn lun ny H ni, ngy 22 thỏng 11 nm 2006 Hc viờn Vn Hi i M U Khong hn mt thp k gn õy, cựng vi s phỏt trin nhanh chúng ca cụng ngh thụng tin v truyn thụng, cỏc nghiờn cu v cụng ngh liờn quan n video ó t c nhng thnh tu nht nh Hin vi nhng phng tin truyn thụng mi cho phộp kt ni Internet vi tc cao nh: kờnh thuờ riờng, xDSL, ngi s dng cú th xem video trc tuyn trờn Internet vi cht lng cao Cựng vi ú, video s ngy cng tr nờn thụng dng cuc sng nh truyn thụng, giỏo dc o to, gii trớ, xut bn, ó to nờn mt lng d liu khng l video D liu cng nhiu, cng phong phỳ a dng thỡ ngi cng khú khn vic qun lý, tỡm kim Mt hc gi nc ngoi ó tng núi Chỳng ta ang chỡm ngp d liu m tri thc Do vy, mt yờu cu bc thit c t ra: lm cú th qun lý, tỡm kim t ng c cỏc i tng video mt cỏch nhanh chúng v tin li? Lun ny s gii quyt c phn no ú cho cõu hi trờn Lun s trung vo tỡm hiu cỏc c trng c bn nht ca video, a mt s phng phỏp trớch rỳt cỏc c trng ca video phc v cho vic tỡm kim Vic tỡm kim video cú nhiu cp , nhiờn lun ch trung nghiờn cu v a mt s gii phỏp phc v cho vic tỡm kim video mc thp ii Mc lc MC LC LI CM N I M U .II MC LC III DANH SCH HèNH V VIII DANH SCH BNG BIU XI DANH MC CC T VIT TT XII CHNG TNG QUAN V TèM KIM VIDEO THEO NI DUNG 1.1 t 1.2 Gii thiu s lc v CBVR 1.3 Cỏc nghiờn cu trờn th gii v CBVR 1.4 Hng nghiờn cu v ni dung ca lun Kt lun chng CHNG PHNG PHP TèM KIM NH THEO NI DUNG P DNG TRONG BI TON TèM KIM VIDEO THEO NI DUNG 2.1 t 2.2 Tng quan v tỡm kim nh theo ni dung 2.2.1 Gii thiu iii Mc lc 2.2.2 C ch tớnh toỏn chung ca CBIR 2.2.3 Mt s c trng ca nh 10 2.3 c tớnh mu sc ca nh 11 2.3.1 Khụng gian mu 12 2.3.2 Biu mu (Color Histogram) 17 2.3.3 Biu tng quan mu (Color Correlogram) 19 2.4 c trng Entropy ca nh 20 2.4.1 t 20 2.4.2 Lý thuyt thụng tin v hm Entropy 21 2.4.3 Entropy nh l mt c trng 22 2.5 Phộp o khong cỏch 23 2.5.1 t 23 2.5.2 Mt s tớnh cht ca o 23 2.5.3 Mt s o thụng dng 24 2.5.4 Cỏc o c s dng tỡm kim nh theo ni dung 25 2.6 Xõy dng phn mm tỡm kim nh ng dng h thng tỡm kim video 27 2.6.1 Tỡm kim nh s dng phng phỏp so sỏnh biu mu khụng gian mu RGB 28 2.6.2 Tỡm kim nh s dng phng phỏp so sỏnh biu mu khụng gian mu CIELAB 30 2.6.3 Tỡm kim nh s dng phng phỏp Entropy 32 2.6.4 Tỡm kim nh kt hp hai phng phỏp Entropy v so sỏnh biu mu 37 2.7 Th nghim, so sỏnh, ỏnh giỏ cỏc phng phỏp tỡm kim nh 39 2.7.1 ỏnh giỏ h thng tỡm kim nh 40 iv Mc lc 2.7.2 C s d liu nh th nghim 41 2.7.3 So sỏnh, ỏnh giỏ v tc tỡm kim 42 2.7.4 So sỏnh, ỏnh giỏ v chớnh xỏc 42 2.7.5 Nhn xột 46 Kt lun chng 46 CHNG PHN ON VIDEO 47 3.1 Gii thiu s lc phõn on video 47 3.1.1 Mt s khỏi nim 47 3.1.2 Mt s hỡnh thc chuyn cnh 48 3.1.3 Cỏc hng tip cn phõn on video 50 3.2 Mt s phng phỏp phõn on video 50 3.2.1 So sỏnh im nh 51 3.2.2 So sỏnh 52 3.2.3 So sỏnh biu mu 53 3.2.4 Mt s phng phỏp khỏc 55 3.3 xut phng phỏp phõn on video chuyn cnh t ngt 55 3.3.1 Thut toỏn phỏt hin chuyn cnh t ngt s dng ngng n gin 56 3.3.2 Phỏt hin chuyn cnh t ngt s dng ca s trt 56 3.3.3 Thut toỏn ci tin xut 60 3.4 Xõy dng v ỏnh giỏ h thng 61 3.4.1 Cỏc tham s ỏnh giỏ 61 3.4.2 S h thng ci tin 62 3.4.3 Cỏc tham s ca thut toỏn 62 3.4.4 Kt qu th nghim 64 v Mc lc 3.4.5 Nhn xột 66 Kt lun chng 67 CHNG TRCH CHN KHUNG HèNH CHNH TRONG VIDEO.68 4.1 t 68 4.2 Mt s k thut trớch chn khung hỡnh chớnh hin 69 4.3 Trớch chn khung hỡnh chớnh bng vic kho sỏt ng sai khỏc tớch lu 71 4.3.1 t 71 4.3.2 Xõy dng c sai khỏc tớch lu 71 4.3.3 Thut toỏn trớch chn khung hỡnh chớnh 72 4.4 Xõy dng phn mm trớch chn khung hỡnh chớnh 76 Kt lun chng 79 CHNG XY DNG H THNG TèM KIM VIDEO THEO NI DUNG DA TRấN PHNG PHP TèM KIM NH TRONG CC KHUNG HèNH CHNH .80 5.1 La chn phng phỏp xõy dng 80 5.2 Cỏc mụ-un ca h thng 80 5.2.1 Mụ-un phõn on video 81 5.2.2 Mụ-un trớch chn khung hỡnh chớnh 82 5.2.3 Mụ-un tỡm kim nh theo ni dung 83 5.2.4 Mụ-un c s d liu 83 5.3 Giao din h thng 85 vi Mc lc Kt lun chng 86 KT LUN 88 TI LIU THAM KHO 91 PH LC 96 TểM TT LUN VN .97 vii Danh sỏch hỡnh v DANH SCH HèNH V Hỡnh 1.1 S h thng tỡm kim video nghiờn cu lun Hỡnh 2.1 C ch hot ng ca h thng CBIR 10 Hỡnh 2.2 Khụng gian mu RGB 13 Hỡnh 2.3 Khụng gian mu CMY 14 Hỡnh 2.4 Mt s cỏch biu din khụng gian mu HSV 15 Hỡnh 2.5 Khụng gian mu CIELAB 16 Hỡnh 2.6 Mụ t biu mu 18 Hỡnh 2.7 Nhng nh khỏc nhng cú biu mu ging 19 Hỡnh 2.8 Hm Entropy khụng gian hai chiu 21 Hỡnh 2.9 Mụ t mt s hm khong cỏch thuc h Ls 24 Hỡnh 2.10 Tớnh v so sỏnh nh bng biu mu cc b 27 Hỡnh 2.11 Biu mu Red, Green, Blue c lp 28 Hỡnh 2.12 S h thng tỡm kim nh s dng phng phỏp so sỏnh biu mu khụng gian mu RGB 29 Hỡnh 2.13 Kt qu tỡm kim nh da trờn khụng gian mu RGB (nh truy bờn phi) 30 Hỡnh 2.14 Biu mu khụng gian mu CIELAB 31 Hỡnh 2.15 S h thng tỡm kim nh s dng phng phỏp so sỏnh biu mu khụng gian mu CIELAB 31 Hỡnh 2.16 Kt qu tỡm kim nh da trờn khụng gian mu CIELAB (nh truy bờn phi) 32 Hỡnh 2.17 Giỏ tr Entropy ng vi cỏc biu mu R, G, B 33 Hỡnh 2.18 S h thng tỡm kim nh s dng phng phỏp so sỏnh Entropy 33 Hỡnh 2.19 Kt qu tỡm kim nh da trờn phng phỏp Entropy (nh truy bờn phi) 34 viii Danh sỏch hỡnh v Hỡnh 2.20 Hai nh cú biu mu khỏc nhng li cú Entropy ging 34 Hỡnh 2.21 Kt qu tỡm kim nh da trờn phng phỏp Entropy kt hp vi giỏ tr trung bỡnh (nh truy bờn phi) 36 Hỡnh 2.22 Kt hp gii thut tỡm kim nh s dng c trng Entropygiỏ tr trung bỡnh v gii thut so sỏnh biu mu 37 Hỡnh 2.23 S h thng tỡm kim nh s dng thut toỏn kt hp Entropy-giỏ tr trung bỡnh v So sỏnh biu mu 38 Hỡnh 2.24 Kt qu tỡm kim nh da trờn phng phỏp Entropy-giỏ tr trung bỡnh kt hp vi phng phỏp so sỏnh biu mu (nh truy bờn phi) 39 Hỡnh 2.25 Biu precision-recall 41 Hỡnh 2.26 Giỏ tr precision ca cỏc phng phỏp s lng nh ly khỏc 44 Hỡnh 2.27 Giỏ tr precision i vi cỏc loi nh khỏc ly 50 nh 45 Hỡnh 3.1 Khỏi nim v khung hỡnh 47 Hỡnh 3.2 Khỏi nim v on c s v chuyn cnh 48 Hỡnh 3.3 Chuyn cnh dn dn fade 49 Hỡnh 3.4 Chuyn cnh dn dn dissolve 49 Hỡnh 3.5 Chuyn cnh dn dn wipe 50 Hỡnh 3.6 Phỏt hin chuyn cnh bng ngng n gin 56 Hỡnh 3.7 Ca s truy trt vi HWS=5 57 Hỡnh 3.8 Ca s truy trt vi HWS=10 58 Hỡnh 3.9 Biu bin i ca PFC 200 khung hỡnh 59 Hỡnh 3.10 Vớ d v trng hp thut toỏn ca s trt nhn dng nhm phõn on video 60 Hỡnh 3.11 H thng phỏt hin chuyn cnh t ngt da vo thut toỏn ca s trt kt hp vi ngng so sỏnh 62 ix Chng Xõy dng h thng tỡm kim video theo ni dung Bng SHOT cha cỏc thụng tin v cỏc on c s Tờn trng Kiu í ngha ID S nguyờn Khoỏ chớnh VideoID S nguyờn ID ca video cha on (khoỏ ngoi) Begin_Frame S nguyờn Khung hỡnh bt u ca on End_Frame S nguyờn Khung hỡnh kt thỳc ca on Bng KEYFRAME cha cỏc thụng tin v cỏc khung hỡnh chớnh Tờn trng Kiu í ngha ID S nguyờn Khoỏ chớnh ShotID S nguyờn ID ca on c s cha khung hỡnh chớnh (khoỏ ngoi) Frame_Position S nguyờn V trớ ca khung hỡnh video Filename thun tin hn cho vic truy xut khung Chui hỡnh chớnh, cỏc khung hỡnh chớnh sau c chn s c lu vo mỏy di dng nh Entropy_Value S thc Giỏ tr Entropy ca nh Mean_Value S thc Giỏ tr trung bỡnh ca biu mu Bng HISTOGRAM cha cỏc thụng tin v cỏc c trng ca khung hỡnh chớnh ( õy s dng c trng biu mu khụng gian mu CIELAB) Tờn trng Kiu í ngha ID S nguyờn Khoỏ chớnh KeyframeID S nguyờn ID ca khung hỡnh chớnh (khoỏ ngoi) Bin S nguyờn Bin mu (ch s mu) LAB_Value S thc Giỏ tr ca biu ng vi bin mu trờn 84 Chng Xõy dng h thng tỡm kim video theo ni dung V mi quan h gia cỏc bng nh, t nhn xột: Cú nhiu file video, mi video cú nhiu on c s (shot), mi on c s cú nhiu khung hỡnh chớnh (keyframe), mi khung hỡnh chớnh cú nhiu c trng Do ú ta cú mi quan h gia cỏc bng nh sau: Hỡnh 5.2 Mi quan h gia cỏc bng c s d liu 5.3 Giao din h thng Cỏc giao din phc v cho vic xõy dng c s d liu nh giao din phõn on video, giao din trớch chn khung hỡnh chớnh ó c trỡnh by chng v chng Phn ny ch gii thiu giao din dnh cho ngi s dng truy vn, tỡm kim video m NVLV xõy dng 85 Chng Xõy dng h thng tỡm kim video theo ni dung Lit kờ cỏc khung hỡnh chớnh Danh sỏch cỏc video v cỏc on CSDL Chi tit v cỏc on (shot) video La chn nh truy Ca s kt qu phúng to M on video tỡm c Hỡnh 5.3 Giao din ca s tỡm kim video Kt lun chng T cỏc lý thuyt v th nghim cỏc chng trc, chng ny NVLV ó la chn v tng hp thnh mt h thng tỡm kim video khỏ hon chnh Vic xõy dng h thng da vo ý tng s dng phng phỏp tỡm kim nh theo ni dung tỡm kim video Tuy nhiờn, khụng phi tỡm kim trờn ton b cỏc khung hỡnh m ch tỡm kim phm vi cỏc khung hỡnh chớnh (do cỏc khung hỡnh gn thng cú tng quan rt cao vi nhau) Do ú, h thng l s kt hp ca cỏc thnh phn: tỡm kim nh theo ni dung, phõn on video, trớch chn khung hỡnh chớnh 86 Chng Xõy dng h thng tỡm kim video theo ni dung Vic xõy dng phn mm khỏ hon chnh ó cho phộp ngi s dng cú th xem nhanh (browsing) cỏc khung hỡnh chớnh video ú hiu nhanh c ni dung ca video Hoc ngi s dng cú th dựng nh tỡm kim (searching) c s d liu ln 87 Kt lun KT LUN Kt lun Vic t ng hoỏ ỏnh ch mc v tỡm kim video theo ni dung l mt lnh vc rt khú v s n thi im ny trờn th gii cha cú mt h thng no cú th coi l cụng c nng ỏnh ch mc v tỡm kim video t ng mc cao (ng ngha), cỏc hng tip cn hin ch dng li mt lnh vc hp hoc l tỡm kim mc thp Trong lun ny ngi vit ó phõn tớch v ỏnh giỏ mt s phng phỏp hin trờn th gii v ó a mt hng tip cn phự hp ú l s phng phỏp tỡm kim nh theo ni dung tỡm kim cỏc khung hỡnh chớnh v t c nhng kt qu nht nh Cỏc m lun ó lm c: Nghiờn cu cỏc h thng tỡm kim video theo ni dung trờn th gii a mụ hỡnh tỡm kim video da trờn c ch tỡm kim nh Nghiờn cu, phỏt trin mt s phng phỏp tỡm kim nh theo ni dung ng dng tỡm kim video Nghiờn cu v a gii thut ci tin phõn on video vi chớnh xỏc cao Nghiờn cu k thut trớch chn khung hỡnh chớnh video Ci t h thng v chng minh tớnh ỳng n ca cỏc gii thut úng gúp khoa hc ca lun a c mt mụ hỡnh tỡm kim video da trờn c ch tỡm kim nh Video c phõn on thnh cỏc on c s, mi on c s c i din bng mt s khung hỡnh chớnh Ngi s dng cú th tỡm kim video thụng qua vic tỡm kim trờn cỏc khung hỡnh chớnh da vo c ch tỡm kim nh 88 Kt lun a gii thut tỡm kim nh kt hp tỡm kim nh s dng c trng Entropy-giỏ tr trung bỡnh v gii thut so sỏnh biu mu tng nhanh tc tỡm kim Entropy l mt c trng ca nh cú s chiu bng 1, ú tỡm kim nh da trờn Entropy cú tc tỡm kim rt cao Tuy nhiờn, ụi phng phỏp ny li khụng chớnh xỏc NVLV a gii phỏp kt hp c trng Entropy v giỏ tr trung bỡnh nhm tng chớnh xỏc m khụng gim tc tỡm kim Phng phỏp Entropy-giỏ tr trung bỡnh c thc hin trc thu hp khụng gian tỡm kim sau ú s dựng phng phỏp so sỏnh biu mu a kt qu tỡm kim cui cựng n ngi s dng a gii thut phõn on video kt hp gia phng phỏp ca s trt v ngng so sỏnh tng chớnh xỏc ca phõn on Phng phỏp ca s trt xỏc nh chuyn cnh t ngt da trờn s khỏc tng i gia cỏc khung hỡnh ca s truy Tuy nhiờn, cú nhng trng hp phng phỏp ny a kt qu sai vớ d cỏc trng hp video cú i tng nh chuyn ng nhanh NVLV xut thut toỏn ci tin: ngoi vic so sỏnh tng i gia cỏc khung hỡnh cũn cn xột n s sai khỏc tuyt i gia nhm tng chớnh xỏc phõn on Hng phỏt trin ca ti Nh ó trỡnh by, h thng tỡm kim video c xõy dng Lun l s kt hp ca cỏc thnh phn: tỡm kim nh, phõn on video, trớch chn khung hỡnh chớnh Do ú nõng cao cht lng ca h thng cn ci thin tng thnh phn: Tỡm kim nh: Nghiờn cu s dng cỏc c trng khỏc ca nh nh: kt cu, hỡnh dng, Tip cn theo hng tỡm kim theo cỏc thụng tin ng ngha cú nh 89 Kt lun Phõn on video: Tng cng chớnh xỏc phõn on Phõn on c nhiu loi chuyn cnh khỏc Tng cng tc phõn on: ci tin gii thut, s dng trc tip video nộn Trớch chn khung hỡnh chớnh: Ci tin gii thut theo hng trớch chn nhng khung hỡnh tiờu biu nht, c bit tiờu biu v mt ng ngha Túm li hng nghiờn cu tng lai l trung vo hng a cỏc thụng tin v mt ng ngha (i tng, s kin) vo vic ỏnh ch mc v tỡm kim video 90 Ti liu tham kho TI LIU THAM KHO [1] Milan Petkovic (2000), Content-based Video Retrieval, (EDBT) PhD Workshop [2] Hauptmann, A., Jin, R., N Papernick, D Ng, Y Qi, Houghton, RThornton, S (2001), Video Retrieval with the Informedia Digital Video Library System, Proceedings of the Tenth Text Retrieval Conference (TREC-2001) [3] Abraham Ittycheriah, Martin Franz, Wei-Jing Zhu, and Adwait Ratnaparkhi (2000), IBM's statistical question answering system In 9th Text REtrieval Conference, Gaithersburg [4] Mayfield, J., McNamee, P., Costello, C., Piatko, C., and Banerjee A (2001), JHU/APL at TREC 2001: Experiments in Filtering and in Arabic, Video and Web retrieval In TREC 2001 Proceedings [5] Kareem Darwish and David S Doermann and Ryan C Jones and Douglas W Oard and Mika Rautiainen (2001), {TREC}-10 Experiments at University of Maryland {CLIR} and Video [6] Mark E Rorvig, Ki-Tau Jeong, Anup Pachlag, Ramprasad Anusuri, Diane Jenkins, Sara Oyarce (2001), UNT TRECvid: A Brighton Image Searcher Application [7] D Tegolo (1994), Shape analysis for image retrieval, Proc of SPIE, Storage and Retrieval for Image and Video Databases -II, no 2185, San Jose, CA, pp 59-69 [8] T Chang, and C.C.J Kuo (1993), Texture analysis and classification with tree-structured wavelet transform, IEEE Trans on Image Processing, vol 2, no 4, pp 429-441 91 Ti liu tham kho [9] I.Koprinska and S.Carrato (2001), Temporal Video Segmentation: A Survey, Signal Processing Image Communication, Elsevier Science [10] T Kikukawa, S Kawafuchi (1992), Development of an automatic summary editing system for the audio-visual resources, Transactions on Electronics and Information J75-A, 204-212, 1992 [11] A Nagasaka, Y Tanaka (1995), Automatic video indexing and full-video search for object appearances, in Visual Database Systems II (E Knuth and L.M Wegner, eds.), pp 113-127, Elsevier [12] R Kasturi, R Jain (1991), Dynamic vision, in Computer Vision: Principles, R Kasturi and R Jain, eds.), pp 469-480, IEEE Computer Society Press, Washington DC [13] M J Swain (1993), Interactive indexing into image databases, in: Proc SPIE Conf Storage and Retrieval in Image and Video Databases, pp.173-187 [14] Gianluigi Ciocca, Raimondo Schettini (2004), Dynamic Key-frame Extraction for Video Summarization, Proceedings of the SPIE, Volume 5670, pp 137-142 [15] S.M.M Tahaghoghi et al (2005), Video Cut Detection using Frame Windows, Proceedings of the Twenty-eighth Australasian conference on Computer Science, pp 193 199 [16] Janko Calic (2004), Highly Efficient Low-level Feature Extraction for Video Representation And Retrieval, PhD thesis, University of London [17] John M Zachary (2000), An Information Theoretic Approach to Content Based Image Retrieval, PhD thesis, Louisiana State University 92 Ti liu tham kho [18] Shengjiu Wang (2001), A Robust CBIR Approach Using Local Color Histograms, Technical Report TR 01-13, Department Of Computing Science, University of Alberta, Edmonton, Alberta, Canada [19] Edgar Chỏvez, Gonzalo Navarro, Ricardo Baeza-Yates, Josộ Luis Marroquớn (2001), Searching in Metric Spaces, ACM Computing Surveys, Vol 33, No 3, pp 273321 [20] F Long, H Zhang & D Feng (2003), Chapter - Fundamental of Content-Based Image Retrieval, pp.1-26, in Multimedia Information Retrieval and Management Technological Fundamentals and Applications, Edited by David Dagan Feng, W C Siu & Hongjing Zhang, Springer-Verlag, Germany [21] T Deselaers, D Keysers, and H Ney (2004), Classification error rate for quantitative evaluation of content-based image retrieval systems In Int Conf on Pattern Recognition, Cambridge, UK [22] Tonomura Y., Akutsu A., Otsugi K., and Sadakata T (1993), VideoMAP and VideoSpaceIcon: Tools for automatizing video content Proc ACM INTERCHI 93 Conference, 131-141 [23] Rui Y., Huang T S and Mehrotra S (1998), Exploring Video Structure Beyond the Shots Proc IEEE Int Conf on Multimedia Computing and Systems (ICMCS), Texas USA, 237-240 [24] Pentland A., Picard R., Davenport G and Haase K (1994), Video and Image Semantics: Advanced Tools for Telecommunications IEEE MultiMedia; 1(2):73-75 [25] Zhonghua Sun, Fu Ping (2004), Combination of Color and Object Outline Based Method in Video Segmentation Proc SPIE Storage and Retrieval Methods and Applications for Multimedia; 5307:61-69 93 Ti liu tham kho [26] Li Zhao, Wei Qi, Stan Z Li, S.Q.Yang, H.J Zhang (2000), Keyframe Extraction and Shot Retrieval Using Nearest Feature Line (NFL) Proc ACM Int Workshops on Multimedia Information Retrieval; 217-220 [27] Hanjalic A., Lagendijk R L., Biemond J (1998), A new Method for Key Frame Based Video Content Representation In: Image Databases and Multimedia Search, World Scientific Singapore [28] Hoon S H., Yoon K., and Kweon I (2000), A new Technique for Shot Detection and Key Frames Selection in Histogram Space Proc 12th Workshop on Image Processing and Image Understanding; 475479 [29] Narasimha R., Savakis A., Rao R M and De Queiroz R (2004), A Neural Network Approach to Key Frame extraction Proc of SPIEIS&T Electronic Imaging Storage and Retrieval Methods and Applications for Multimedia; 5307:439-447 [30] Chetverikov D and Szabo Zs (1999), A Simple and Efficient Algorithm for Detection of High Curvature Points in Planar Curves, Proc 23rd Workshop of the Austrian Pattern Recognition Group, ;175-184 [31] A Nagasaka, Y Tanaka (1992), Automatic Video Indexing and FullVideo Search for Object Appearances, Visual Database Systems, vol II, pp 113-127 [32] K Otsuji, Y Tonomura, and Y Ohba (1991), Video browsing using brightness data, in Proc SPIE-IST VCIP91, vol 1606, pp 980-989 [33] A.Akutsu, Y.Tonomura, H.Hashimoto and Y.Ohba (1992), Video indexing using motion vectors, Proc SPIE: Visual Communication and Image Processing '92 1818, pp1522-1530 94 Ti liu tham kho [34] http://en.wikipedia.org/wiki/Lab_color_space/, khụng gian mu CIELAB [35] http://wang.ist.psu.edu/docs/related/ , c s d liu hỡnh nh [36] TREC Video Retrieval Evaluation, website: http://www- nlpir.nist.gov/projects/trecvid/ 95 Ph lc PH LC Chuyn i t khụng gian mu RGB sang CIELAB Vic chuyn i t RGB sang CIELAB phi qua khụng gian mu trung gian XYZ S chuyn i t RGB sang XYZ c thc hin bng mt ỏnh x tuyn tớnh nh sau: X 0.412453 0.35758 0.180423 R Y = 0.212671 0.71516 0.072169 G Z 0.019334 0.11919 0.950227 B T XYZ chuyn i sang CIELAB Y L* = 116 Yn 16 Y L* = 903.3 Yn a* = 500 X f Xn b* = 200 Y f Yn vi Y > 0.008856 Yn vi Y cũn li Yn Y f Yn Z f Zn Trong ú f (t ) = t vi t > 0.008856 f (t ) = 7.787t + 16 116 vi t cũn li (Xn, Yn, Zn) l giỏ tr ca (X, Y, Z) ti im trng tham chiu (reference white point) Trong lun s dng im trng tham chiu ti (R, G, B) = (255, 255, 255) Tớnh c (Xn, Yn, Zn) = (242.366, 255.000, 277.632) 96 Túm tt lun TểM TT LUN VN Ting Vit: S phỏt trin ca Cụng ngh thụng tin v Truyn thụng ó lm gia tng nhanh chúng vic lu tr, s dng, truyn ti mt lng ln video s Do ú vic sp xp, qun lý, tỡm kim video cng ngy cng tr nờn phc v nng nhc Lun ny vi tờn gi Nghiờn cu, xõy dng h thng tỡm kim video theo ni dung (Content-Based Video Retrieval) s trung vo vic t ng hoỏ ỏnh ch mc v tỡm kim video Lun gm ba phn chớnh Phn mt: Tỡm kim nh theo ni dung Phn ny nghiờn cu cỏc ỏnh ch mc v tỡm kim nh, õy l mt phn quan trng ca h thng tỡm kim video m NVLV xõy dng Phn hai: Phõn on video Phn ny trung vo vic phõn on video theo thi gian thnh cỏc on c s, trung vo nghiờn cu cỏc gii thut nhm tng cng chớnh xỏc phõn on Phn ba: Trớch chn khung hỡnh chớnh Nghiờn cu cỏc gii thut trớch chn cỏc khung hỡnh i din cho on video vi mc ớch lm gim lng lu tr H thng tỡm kim video m NVLV xõy dng l s kt hp ca ba thnh phn trờn, video sau c phõn on thnh cỏc on c s s c trớch chn cỏc khung hỡnh i din cho cỏc on c s Ngi s dng cú th xem c túm tt on video qua cỏc khung hỡnh i din hoc cú th tỡm kim on video thụng qua phng phỏp tỡm kim nh trờn cỏc khung hỡnh i din ú T khoỏ: Tỡm kim video theo ni dung, túm tt video, phõn on video, trớch chn khung hỡnh chớnh, tỡm kim nh theo ni dung 97 Túm tt lun English: Information and communication technology are developing very quickly hence storing, using and transfering digital video are increasing quickly too Therefore video arrangement, management, search become complicated and exhausting This thesis with name Content-Based Video Retrieval will concentrate to automate video indexing and searching The thesis contains three main parts Part one: Content-base image retrieval This part research problems in indexing and searching images, it is a important part in thesis writers video retrieval system Part two: Video segmentation This part researchs how to segment video into shots Proposes some algorithms with high accurate Part three: Key-frame extraction This part researchs keyframe extraction algorithms in the world and proposes appropriate approachs Thesis writers video retrieval system is combined from these three parts Video is segmented in to shots, and each shot is presented by some keyframes Users can browse video by using key-frames or using image retrieval mechanism to search video Keywords: Content-Based Video Retrieval, video summarization, shot segmentation, key frames extraction, Content-Based Image Retrieval 98 ... sau tìm hiểu chế tìm kiếm ảnh theo nội dung, ứng dụng việc tìm kiếm video Chương Tìm kiếm ảnh theo nội dung CHƯƠNG PHƯƠNG PHÁP TÌM KIẾM ẢNH THEO NỘI DUNG ÁP DỤNG TRONG BÀI TOÁN TÌM KIẾM VIDEO THEO. .. nghĩa hệ thống tìm kiếm video theo nội dung khó khăn nghiên cứu lĩnh vực Các nghiên cứu giới lĩnh vực đề cập Chương trình bày phạm vi nghiên cứu cách tiếp cận NVLV để xây dựng hệ thống tìm kiếm video. .. Browser Tìm kiếm ảnh theo nội dung Kết quả: Các đoạn Video Hình 1.1 Sơ đồ hệ thống tìm kiếm video nghiên cứu luận văn Với phân tích trên, luận văn gồm nội dung sau: Chương 1: Tổng quan tìm kiếm video