Nghiên cứu phương pháp phát hiện đối tượng chuyển động trong video và ứng dụng

NG I H C KHOA H C T NHIÊN KHOA CÔNG NGH THÔNG TIN B MÔN CÔNG NGH TRI TH C K H TN TR CAO CHÁNH NGUYÊN HI N – KH NG TR NG GIANG C N TT – Đ H NGHIÊN C U PH NG PHÁP PHÁT HI N I T NG CHUY N NG TRONG VIDEO VÀ NG D NG K H O A LU N V N C NHÂN TIN H C TP HCM, 2004 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com NG I H C KHOA H C T NHIÊN KHOA CÔNG NGH THÔNG TIN B MÔN CÔNG NGH TRI TH C - 0012551 - 0012537 Đ H CAO CHÁNH NGUYÊN HI N KH NG TR NG GIANG K H TN TR K H O A C N TT – NGHIÊN C U PH NG PHÁP PHÁT HI N I T NG CHUY N NG TRONG VIDEO VÀ NG D NG LU N V N C NHÂN TIN H C GIÁO VIÊN H NG D N T.S NGUY N ÌNH THÚC Th.s PH M PH M TUY T TRINH NIÊN KHÓA 2000 - 2004 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com L IC M N Chúng em xin chân thành cám n khoa Công ngh Thông tin, tr ng i K H TN h c Khoa h c T nhiên TP HCM ã t o i u ki n t t cho chúng em th c hi n tài lu n v n t t nghi p Chúng em xin chân thành cám n quý Th y Cô khoa ã t n tình gi ng d y, trang b cho chúng em nh ng ki n th c quý báu nh ng n m h c v a qua em su t th i gian th c hi n ng d n, ch b o óng góp ý ki n cho chúng Đ Ph m Tuy t Trinh ã t n tình h ình Thúc Cơ Ph m H Chúng em xin chân thành cám n Th y Nguy n tài – Chúng xin nói lên lòng bi t n sâu s c ã i C N TT ch m sóc, ni d y chúng thành ng i v i Ông Bà, Cha M Xin chân thành cám n anh ch b n bè ã ng h , giúp ng viên chúng em th i gian h c t p nghiên c u M c dù chúng em ã c g ng hoàn thành lu n v n ph m vi kh n ng cho phép nh ng ch c ch n s không tránh kh i nh ng thi u sót Chúng em kính mong nh n !c s c m thơng t n tình ch b o c a quý Th y Cô K H O A b n Sinh viên Cao Chánh Nguyên Hi"n – Kh ng Tr ng Giang Tháng 07/ 2004 Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com M CL C CH NG GI I THI U VÀ NG C 1.2 T ng quan v nghiên c u tr 1.3 Các v n 1.4 CH TÀI .5 c ây .6 c n gi i quy!t K H TN 1.3.1 1.3.2 1.3.3 TH C HI N Phân o n c nh theo tr#c th i gian 10 Phân o n i t !ng Video 11 T o ch m#c tìm ki m Video 12 Phác th o lu"n v#n .12 NG PHÁT HI N CHUY N C NH B$NG T%NG H P &C TR NG 14 Gi i thi'u 14 2.2 M(t s) * t ng h+p nhi u ,c tr ng tr-c quan 17 2.3 Rút trích ,c tr ng mi n nén MPEG 19 2.4 Phát hi'n ch p sáng .20 C N TT – Đ H 2.1 2.5 Phát hi'n chuy.n c nh 22 2.5.1 T$ng h!p c tr ng dùng quy t nh 23 2.5.2 Phát hi n chuy"n c nh tr c ti p 24 2.5.3 Phát hi n chuy"n c nh chuy"n ti p d n 28 CH NG PHÂN O N NH VIDEO 31 K H O A 3.1 Gi i thi'u 31 3.1.1 Các k% thu t phân o n nh 32 3.1.2 Phân o n theo v t vùng Video 34 3.2 Phân vùng theo v!t b/ng t ng h+p ,c tr ng 36 3.2.1 Khái quát chung 36 3.2.2 C&u trúc d li u theo không gian th i gian 38 3.2.3 Gán i"m m#c tiêu 39 3.2.3.1 Phân b 'ng u m#c tiêu 39 3.2.3.2 Các i"m có l !ng Gradient nh nh&t 39 3.2.4 Quá trình n( volume 41 3.2.4.1 N( volume d a vào liên k t h ng tâm 41 3.2.4.2 Các cách th c n( volume 44 3.2.4.3 Tinh l c l i volume 46 3.2.5 S phân tích volume 49 Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 3.2.5.1 S rút trích qu% o 49 3.2.5.2 Các mô t nh l !ng 51 3.2.6 ) c l !ng chuy"n ng c s( c tr ng 53 3.2.6.1 Các i"m c tr ng 54 3.2.6.2 ) c l !ng chuy"n ng dùng t ng quan pha 54 3.2.6.4 Áp mơ hình lên vector chuy"n ng 55 CH NG PHÂN TÁCH VÀ TÌM KI M IT K H TN 3.3 Xây d-ng th vi'n ,c tr ng .56 3.3.1 Quan sát m t s k t qu phân o n 56 3.3.2 Trích ch n c tr ng tr c quan 58 3.3.3 Tìm ki m n i dung Video theo không gian th i gian 58 3.3.4 Mơ hình truy v&n 59 NG VIDEO 60 Gi i thi'u 60 4.2 Các mô t quan h' 62 H 4.1 – Đ 4.3 H' th0ng t- (ng tách 0i t +ng có ngh1a 64 4.3.1 M t s khái ni m 65 4.3.2 Phân c&p fine-to-coarse 65 4.3.3 Phân c&p Coarse-to-fine 69 5.1 NG XÂY D NG NG D NG 2NH V2 M&T NG C N TT CH I 72 Gi i thi'u: 72 K H O A 5.2 Các khái ni'm: .73 5.2.1 *nh d ng tính: 73 5.3.2 *nh âm tính : 73 5.2.3 C+a s$ con: 73 5.2.4 c tr ng: 73 5.2.5 *nh tích h!p: 74 5.3 Gi i thu"t h3c phân l p: 76 5.4 Mơ hình Phân t ng: .78 5.5 Hu n luy'n b( phân t ng: 79 5.6 K!t qu 4nh v4 m,t .82 Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com CH NG K T LU N VÀ H NG PHÁT TRI N 83 6.1 K!t lu"n 83 6.2 H ng phát tri.n 84 K H O A C N TT – Đ H K H TN THAM KH O 85 Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com tài V n t5o ch6 m7c tìm ki!m Video – 1.1 Đ H Gi i thi'u (ng c) th-c hi'n K H TN Ch )ng Ngày nay, v i s phát tri"n c a k% thu t nén nh Video truy n thơng, ta hồn tồn C N TT có th" g+i tr c n m t l !ng l n nh Video s R&t nhi u nhà cung c&p n i dung truy n thông ang phân ph i Video theo yêu c u qua m ng Internet Ng ang có i dùng t i nhà ng truy n b ng thông r ng ho c k t n i DSL " xem hình nh Video ch&t l !ng cao Trong l !ng d li u Video ang t ng lên nhanh chóng, ng d#ng a truy n thơng v n cịn b gi i h n nh ng kh n ng qu n lý n i dung Do v y ngày K H O A òi h i k% thu t m i có th" x+ lý hi u qu , mơ hình hố qu n lý n i dung Video M t k ch b n i"n hình t o ch m#c tìm ki m n i dung Video di n hình 1.1 Tr c tiên, Video nh v theo khơng gian th i gian thích h!p Các u vào !c bi"u !c phân o n thành c tr ng tr c quan sau ó !c rút t n v " t o ch m#c tóm l !c Và cu i cùng, nh ng Video nh a tìm ki m d a c&u trúc n !c c tr ng ( Trong k ch b n v a nêu, k% thu t c s( n i dung m t thành ph n quan tr ng cung c&p cách tìm ki m d a vào tính t ãh ng t c tr ng G n ây, nhi u nghiên c u ng t i l,nh v c M t s ví d# bao g'm QBIC, PhotoBook, VisualSeek, MARS Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com VideoQ [79,85,99,81,21] M#c tiêu nh-m cung c&p kh n ng tìm ki m tr c quan h n t ng hố q trình gi i nh Video theo l i truy n th ng Thêm vào ch m#c c tr ng, m t lo i k% thu t khác nh m t i phân tích khai phá c&u trúc cú pháp [129,116,104] tình hu ng ng ngh,a (semantic even) [83,59] x+ lý Video s+ d#ng tri th c !c dùng " sinh tóm l !c ( m c ng ngh,a ho c có c&u trúc C N TT – Đ H K H TN tích có th" c thù mơ hình Nh ng k t qu c a phân Hình 1.1: Quá trình phân o5n tìm ki!m nh Video Lu n v n ch y u trình bày nghiên c u c a chúng tơi v t m#c c tr ng tr c quan n i dung ng ngh,a d li u Video C# th" chúng K H O A phát tri"n công c# ph 1.2 ng rút t o ch ng pháp " gi i quy t v&n sau • Phát hi n chuy"n c nh nhanh xác • T ng phân vùng t o ch m#c cho vi c tìm nh Video • T ng phát hi n i t !ng chuy"n T ng quan v nghiên c u tr ng nh Video c ây Hình nh Video nh ng bi"u di n tr c quan c a thông tin Trong nh ng n m g n ây, nhi u ph ng pháp ã !c phát tri"n nh-m tìm ki m nh Video c s( c tr ng tr c quan c a chúng Màu s c, vân nh, chuy"n ng c&u t o không gian- Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com th i gian [79] Hai ph c tr ng ph$ bi n nh&t !c dùng so kh p tính t ng t tr c quan ng th c truy v&n ph$ bi n truy v&n m u truy v&n b-ng phác th o [21] M t s nghiên c u ã t p trung vào tìm ki m nh t,nh S phát tri"n ã lan t i l,nh v c nh trích ch n c tr ng [20], ot ng t , ch m#c vector [29,31] h c ng ngh,a [74] Các nghiên c u v tìm ki m Video c s( c tr ng b gi i h n Phát [69,122] Khi mà k% thu t tìm nh có th" K H TN hi n chuy"n c nh (scene cut), trích khố frame, gom nhóm t qua (browsing) !c áp d#ng cho tìm ki m Video, tr ng nh&t c a d li u Video òi h i nh ng gi i pháp cho nhi u v&n thách th c So v i nh t,nh, Video d li u m t cách liên t#c m t t c ng v i tr#c th i gian *nh Video nh&t m i c y !c bi"u di n nh M t nh Video có ch&t l !ng t t bao g'm 25 H n 30 frame m t giây Bên c nh ó, nh Video c n l !ng l u tr l n b ng thơng Chính c c a m t gi Video MPEG-1 h n 500 MB Đ r ng Kích th c tính liên t#c l !ng d li u l n làm cho Video tr( nên thách th c h n chuy"n – x+ lý qu n lý Nói cách khác, nhi u thông tin h n, c bi t theo th i gian ng, ta l i có thêm nhi u c h i " phân tích n i dung tr c quan nh ng ti n truy n thông liên t#c, n i dung ch a C N TT Video H n n a, m c dù Video ph có d ng phân c&p theo t nhiên M t o n phim Video chuy n, shot, frame c Video hi u qu i t !ng hành òi h i toàn b ch m#c c a t&t c t !ng h!p thành khám phá c&u trúc bên d !c Tóm t t h ng ti p c n K H O A quy t ng Nh ng h th ng tìm ki m n v S trích ch n i m t ch !c trình bày d !c chia thành câu c n thi t nh ng ch a gi i i ây Là m t khâu c b n c a t o ch m#c Video, thu t toán c t c nh ã c u r ng rãi nh-m chia nh Video ban u thành tr ng ( m c th&p nh màu s c, c nh, chuy"n i !c nghiên n v c b n (vd shot ) Các ng ã ch ng t !c úng c n cho phát hi n thay $i theo th i gian [70,123] D a phân o n theo th i gian, d li u Video có th" ã !c bi"u di n m t cách hi u qu theo d ng tóm t t Nhi u k% thu t !c phát tri"n " làm ch m#c cho shot ã M th ng ti p c n ph$ bi n khác !c phân o n !c dùng nhi u h th ng tr m t hay nhi u khoá frame cho m.i shot, sau ó dùng c h t ch n c tr ng nh nh màu s c, hình d ng hay vân nh " t o ch m#c khoá frame Làm " ch n t$ ch c Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com khoá frame v&n ti n b c/ng v nb n l n ( ây Ngoài ph ng pháp l&y m u n gi n, thu t toán !c phát tri"n " dùng thay $i v màu s c, chuy"n !c nhúng m t ng ng c a camera, i [111] " ch n l a frame có th" truy n t nhi u thông tin nh&t c a m t shot Vi c ch dùng khoá frame " t o ch m#c b qua thông tin chuy"n !c phân chia thành shot riêng l0, m i quan h th i gian tình hu ng gi a shot liên t#c không hu ng hành chuy"n ng, m t s ph K H TN Tuy nhiên, Video ng Video !c khai thác Nh-m có th" tìm ki m tình ng pháp ã xu&t " bao hàm c thông tin v !c ng th i gian vào mơ hình n i dung Video Trong [14,23], nhi u mơ t hình th c " bi"u di n m i quan h th i gian (vd tr c, sau,…) có th" so kh p truy v&n nh ng c&u trúc theo th i gian nh v y ) c l !ng chuy"n i t !ng theo v t m t s k% thu t ã H khơng gian-th i gian, phân o n Đ áp d#ng nhi u mơ hình x+ lý c tr ng tr c quan ch a thông tin ng ngh,a, nhi u tr không thu n l!i hi u qu cho ng !c ng h!p, i dùng tìm ki m Video mong mu n Các tóm t t – Các ng, lơ gíc theo ( m c cao h n nh câu chuy n, c nh, ho c hành ng cho phép ng i dùng tìm ki m C N TT t qua nhi u Video t i m c hi u qu có tính tr c giác h n Xem hình 1.2 ta th&y, m t câu chuy n tin t c t CNN !c chia phân c&p thành o n, câu chuy n shot riêng l0 [129] C&u trúc phân c&p cung c&p m t tóm l !c nhi u t ng giúp ng i dùng t qua h t chi u dài o n Video Thêm vào c&u trúc th i gian ã phát hi n, nhi u s n l c ã !c th c hi n nh-m rút nhi u o n có ngh,a t shot K H O A Trong [122], m t c&u trúc không gian quan tr ng M t ch ng trình dài !c dùng " phát hi n c nh có nhân v t !c chia thành câu chuy n d a nh ng c nh có nhân v t quan tr ng Trong [117], m t ' th chuy"n ti p c nh c n i dung lu'ng th i gian c a Video Nó ã cu c i tho i, hành ng !c báo cáo có th" phát hi n n v câu chuy n Nói chung, khơng gi ng nh ng shot có th" !c nh ngh,a theo m c th&p, th c th" ( m c cao nh c nh hay câu chuy n khó có !c dùng " ch n b t c tr ng ( !c n u ch d a vào c tr ng ( m c th&p Nh quan sát [117], " gom xác ho c phân lo i shot, nhi u mơ hình ph c t p c n !c xây d ng d a vào bi"u di n trung gian ho c Trang LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com i u thi u sót c a thu t tốn phân vùng dùng Kmean thích nghi ( V trí khơng gian có th" !c k t h!p, nh ng vi c l&y t tr ng c a thành ph n qu% thành ph n v trí khơng gian l i tr( thành m t v&n ph c t p khác Các volume !c minh h a hình 4.5 C N TT – Đ H K H TN !c phân o n dùng thu t toán KMean thích nghi o Hình 4.4 : : K!t qu c8a thu"t toán gom c7m coarse-to-fine t5i m c K H O A 2,3,4,5,6,7,8,9 10 Trang 71 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com K H TN Ch )ng Xây d-ng ng d7ng 4nh v4 m,t ng :i 5.1 Đ H t5o ch6 m7c Video Gi i thi'u: i t !ng nh r&t nhanh Mơ hình ã C N TT hi n – Chúng tơi s trình bày chi ti t m t Gi i thu t m i nh n d ng m t ng i nh !c dùng xây d ng mơ hình phát !c ch ng minh ã ng d#ng m b o th i gian th c r&t t t H th ng nh n d ng nh n d ng r&t rõ ràng xác so v i nh ng h ng ti p c n tr c ây vi c phát hi n nhanh khn m t Mơ hình nh n d ng g'm ba ph n Tr c h t chúng tơi s trình bày ý t (ng c a t ng ph n sau ó s trình bày chi ti t c a t ng ph n m#c sau u tiên s trình bày v bi"u di n nh m i, g i nh tích h!p cho phép tính K H O A Ph n nhanh nh ng giá tr làm vi c tr c ti p c a nh ã c tr ng c a nh Không nh nh ng h ng ti p c n tr c ây sáng c a nh, h th ng s+ d#ng m t t p nh ng c tr ng !c tính tốn s6n t tr c " tính nh ng giá tr c tr ng m t cách nhanh chóng, chúng tơi s+ d#ng cách bi"u di n nh tích h!p *nh tích h!p t m t nh thơng th !c tính tốn ng s+ d#ng m t s th t#c tính tốn pixel ( s trình bày ( nh ng ph n sau ) Khi ã tính !c nh tích h!p nh ng giá tr c tr ng s !c tính r&t nhanh chóng xác m i vùng c a nh v i th i gian g n nh h-ng s Ph n th hai s trình bày m t ph s ng pháp xây d ng m t b l c b-ng cách ch n m t c tr ng quan tr ng s+ d#ng thu t Gi i AdoBoost V i m t c+a s$ c a nh s Trang 72 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com l !ng c tr ng nh Do ó " !c tính tốn m t s r&t l n, th m chí l n h n c s l !ng pixel c a m b o th i gian phát hi n nhanh c n ph i trích nh ng tr ng T c ph i có m t ánh x t t p nh ng c tr ng ban c tr ng quan tr ng, có nh h (ng l n Nh ng c tr ng quan u vào m t t p nh h n ch a c tr ng !c ch n s !c th c hi n thông qua m t phép bi n $i c a Gi i thu t AdoBoost (s tình bày chi ti t ( ph n ó có th" coi m.i b c h c m t b l c n ( b l c ch d a vào m t c l p m.i l n trích ch n !c m t Gi i thu t h c r&t hi u qu nhanh Ph n th ba s trình bày m t ph c tr ng AdoBoost m t ng pháp liên k t nh ng b l c m t c&u trúc phân t ng nh-m c i thi n t c c tr ng ) K H TN sau) K t qu sau m.i b tính tốn nâng cao n t t nh&t thành xác V i vào nh ng vùng có kh n ng ch a ng s !c lo i b t i t !ng nh ng vùng ch c ch n khơng có it ng c n nh n d ng C N TT nh ng vùng (c+a s$ con) kh n ng ch a 5.2 i u Cơng vi c c a Gi i thu t tìm cách lo i b – t xác khơng cao, ó ý t (ng ch ý Đ s t n r&t nhi u th i gian mà H m t nh s có r&t nhi u c+a s$ con, n u ta áp d#ng b nh n d ng t&t c c+a s$ Các khái ni'm: 5.2.1 nh d )ng tính: Là nh có ch a 5.3.2 i t !ng c n nh n d ng nh âm tính : K H O A Là nh khơng có ch a i t !ng nh n d ng 5.2.3 C=a s con: Cho nh I(n,m), c+a s$ W(u,v) c+a s$ c a I n u ch n u: ≤ u ≤ n ≤ v ≤ m ó: n, m: chi u dài, chi u r ng c a nh tính theo s pixel u, v: chi u dài, chi u r ng c a c+a s$ tính theo s pixel 5.2.4 ,c tr ng: Các th t#c phân lo i ch y u nh ng c tr ng Có nhi u lý " s+ d#ng tr ng thay tính tốn tr c ti p nh ng pixel M t lý ph$ bi n nh ng c c tr ng Trang 73 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com có th" dùng mã hóa nh ng tri th c mà nh ng tri th c tr c ây m t khó kh n l n vi c h c b(i ch s+ d#ng m t l !ng có h n d li u h c M t lý khác c tr ng ch y nhanh h n nh ng h th ng d a vào pixel K H TN nh ng h th ng d a vào Đ H Hình 5.1: Các lo5i ,t tr ng Trong mơ hình c a chúng tơi s+ d#ng ba lo i c tr ng hai c tr ng ba hình ch nh t (F_3r, Hình 1.c), – hình ch nh t (F_2r, Hình 1.a,b), c tr ng c b n, ó là: c tr ng C N TT b n hình ch nh t (F_4r, Hình 1.d) Giá tr c a F_2r s khác c a t$ng s pixel gi a hai vùng ch nh t Nh ng vùng có kích th c biên d ng n-m k d c ho c k ngang (Hình 1) F_3r tính tốn t$ng s pixel n-m ( hai hình ch nh t hai bên d a vào t$ng s pixel c a hình ch nh t ( gi a Cu i F_4r s khác gi a nh ng c p hình ch nh t chéo nh tích h+p: K H O A 5.2.5 Hình 5.2: Giá tr4 c8a nh nh tích h+p t5i v4 trí (x, y) t ng t t c pixel bên bên trái c8a (x, y) Trang 74 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Các hình ch nh t c tr ng !c tính r&t nhanh s+ d#ng m t bi"u di n trung gianc a nh Chúng tơi g i nh tích h+p Giá tr nh tích h!p t i v trí (x, y) t$ng t&t c pixel có v trí phía bên bên trái c a v trí (x, y): Σ i (x' ,y' ) x'≤ x; y'≤ y K H TN ii(x,y) = ó: ii(x,y) giá tr c a pixel t i v trí (x, y) nh nh tích h!p i(x’,y’) giá tr c a pixel t i v trí (x, y) nh g c M t cách tính nhanh giá tr nh nh tích h!p: s(x, y) = s(x, y-1) + i(x, y) ii(x, y) = ii(x-1, y) + s(x, y) H ó: s(x, y) t$ng tích l/y dịng s(x, -1) = 0, ii(-1, y) = c tr ng !c tính m t cách nhanh chóng Đ S+ d#ng nh tích h!p, hình ch nh t ch d a vào b n i"m nh tích h!p ( Hình ) Nh th s khác gi a hai vùng nh t c tr ng h!p(Hình.13) Do ó nh có th" !c tính d a vào – ch c tr ng vùng ch nh t (F_2r) K H O A C N TT !c tính ch d a vào i"m nh tích h!p i"m !c i"m nh tích nh ngh,a ( có th" i v i F_3r, Hình 5.3: T ng giá tr4 pixel hình ch? nh"t D có th i v i F_4r +c tính v i i.m ( 1, 2, 3, ) Giá tr4 c8a nh tích h+p t5i v4 trí t ng s0 pixel hình ch? nh"t A giá tr4 t ng pixel t5i v4 trí A+B, t5i v4 trí A+C, t5i v4 tí A+B+C+D giá tr4 t ng t5i v4 trí D cịn có th Lý thúc 2y s+ d#ng nh tích h!p +c tính nh sau: + - ( + 3) n t Simard et al [17] Tác gi ã ch r-ng tr ng h!p c a toán t+ n tính (ch5ng h n: f • g ), tốn t+ n tính ngh ch o có th" !c áp d#ng cho f ho c g n u ngh ch o c a !c áp d#ng cho Trang 75 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com k t qu Ví d# tr ng h!p tích ch p, n u toán t+ o hàm !c áp d#ng cho c nh nhân k t qu ph i tích phân hai l p: f∗g= ( f’ ∗ g’) o hgàm c a f Tác gi cịn ch r-ng tích ch p có th" t ng m t cách k" n u ng t , m t tốn t+ n tính có th" ngh ch cho f n u ngh ch o c a áp d#ng (f″ ) ∗ ( !c cho g g) = f ∗ g Tr( l i mô hình, s tính tốn c a hình ch nh t o có th" !c áp d#ng K H TN g r i r c t c tr ng có th" !c th" hi n nh m t dot-product, i•r, ó I nh g c r box-car nh (b-ng n u n-m ROI (rectangle of interset) n u ngoài) Tốn t+ có th" i•r = ( H sau: !c vi t l I nh Đ i) • r ″ – nh tích h!p th c tích phân hai l p c a nh g c ( u tiên theo hàng sau ó 5.3 C N TT theo c t) Gi i thu"t h3c phân l p: V i m t mơ hình nh n d ng s l !ng hình ch nh t c tr ng m.i c+a s$ r&t l n, s l !ng l n r&t nhi u so v i s l !ng pixel có nh Th m chí m.i c tr ng cịn !c tính r&t xác ó " tính h t t&t c th i gian T nh n xét ch có m t l Trong h th ng này, Gi i thu t AdoBoost nh ng c tr ng có th" nh h (ng i t !ng Vì v y m#c ích c a ta tìm nh ng K H O A n vi c nh n di n ng r&t nh nh ng c tr ng ph i t n c tr ng !c s+ d#ng c vi c trích ch n c tr ng l n hu&n luy n b l c D ng nguyên th y c a nó, Gi i thu t h c AdaBoost thông th !c s+ d#ng " làm t ng kh n ng phân l p c a m t Gi i thu t h c ng i u n gi n !c th c hi n b-ng cách liên k t m t t p nh ng th t#c phân lo i y u thành m t b phân l p m nh h n Cho m t t p nh âm tính Ph c tr ng m t t p d li u hu&n luy n nh ng nh d ng pháp !c th c hi n b-ng cách gi i h n th t#c l c vào m t t p nh ng th t#c phân lo i mà ch ph# thu c vào m t Gi i thu t h c ph i !c thi t k ng tính c tr ng " th c hi n m#c ích này, " ch n ch m t hình ch nh t c tr ng có kh n ng Trang 76 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com phân bi t rõ nh&t gi a m u úng m u sai V i m.i ng phân lo i t t nh&t cho s l !ng m u b phân lo i sai nh nh&t M t b phân lo i y u (hj(x)) ch a m t hj(x) = ng (θj) c tr ng ( fj ), m t ng {10 ifngf (x)!c l> iθ j ây x c+a s$ có kích th j c 24x24 !c trích nh Gi i thu"t AdaBoost nh sau: • Cho t p m u: (x1,y1),….,(xn,yn) ó yi = t ng ng v i m u sai s l !ng m u negative positive t ng ng For t = 1,…,T: C p nh t b tr ng s theo: ωt; i Σnj=1 ωt; j C N TT ωt,i ← ng ng v i yi = 0,1, ó m l – • 1 t , 2m 2l úng H Kh(i t o b tr ng s ω1,i = ng ng v i m u Đ yi=0 t • nh m t K H TN ng c tr ng b h c xác v y ωt có th" m t thu c tính V i m.i εj = Σi ωihj(xi) − yi Ch n b phân lo i ht cho hàm l.i εj nh nh&t C p nh t b tr ng s : ó εi = n u xi l i, βt = • !c gi i h n ch c tr ng L.i tính tốn d a vào ωt : K H O A s+ d#ng m t c tr ng, j, m t b phân lo i hu&n luy n hj − εi ωt+1,i = ωt,i βt !c phân lo i m t cách xác, εi = tr ng h!p ng !c εt − εt b phân lo i t t nh&t cu i !c tính nh sau: Trang 77 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com h(x) = ΣTt=1 α h (x) ≥ 12 ΣTt=1 α ng !c l i { j ó : αt = log βt K H TN Mô hình Phân t ng: Đ H 5.4 t j – Trong ph n chúng tơi s trình bày m t Gi i thu t nh-m xây d ng m t t ng C N TT b phân l p có nhi m v# làm t ng kh n ng nh n d ng gi m th i gian tính tốn Nh ng b phân l p t ng c ng !c xây d ng " lo i b nh ng c+a s$ không ch a i t !ng nh n di n h u h t nh ng c+a s$ có ch a n !c s+ d#ng " lo i b ph n l n nh ng c+a s$ tr i t !ng Nh ng b phân lo i c áp d#ng b phân lo i t$ h!p ( k t qu h c ) nh ng c+a s$ có kh n ng ch a b phân t ng !c xây d ng b(i nh ng b phân lo i hu&n luy n s+ d#ng Adaboost u v i b phân l p K H O A B t i t !ng Các t ng i u ch nh giá tr ng c tr ng b c ( F_2r ), m t b l c hi u qu thu !c b-ng cách ng c a b phân l c t t cho nh ng m u phân lo i sai (false negative) nh nh&t Ng ng kh(i t o ban u c a Adaboost : k nh-m m#c ích làm gi m t l l.i d li u hu&n luy n Ng nh n d ng cao t l false positive cao h n D a vào d#ng m t t p hu&n luy n, b phân lo i ch nh " nh n d ng 100% m t ng tr ng hai hình ch nh t (F_2r) ΣTt=1 α , t !c thi t ng nh t l o kh n ng nh n d ng s+ c tr ng hai hình ch nh t (F_2r) !c i u i v i t l false positive 40% Hình mơ t c !c s+ d#ng phân lo i Có th" làm gi m m t l !ng l n s c+a s$ v i thao tác sau: Trang 78 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com nh l !ng nh ng hình ch nh t c tr ng Tính tốn nh ng b phân lo i n cho m.i c tr ng K t h!p nh ng b phân lo i n thành m t b phân lo i ghép cu i !c coi nh m t quy t decision tree) K t qu c a b phân lo i u tiên nh thối hóa (degenerrate !c chuy"n qua t ng phân lo i th 2, K H TN Tồn b q trình nh n d ng !c bi n $i " th c hi n vi c nh n d ng v i t l cao h n K t qu t t ng th !c chuy"n sang t ng th c th ti p t#c cho n t ng cu i m.i t ng nh ng c+a s$ sai s b lo i d n C&u trúc c a b phân t ng ph n ánh m t i u ng g c có r&t nhi u c+a s$ không ch a m t ng i Nhi m v# c a b phân t ng c g ng lo i m t l !ng qua t&t c b c tr !c gi l i cho t ng cao h n Nh m t quy t !c hu&n luy n s+ d#ng m u l i c a t p m u ban c ó Và k t qu b phân l p th hai có nhi m v# khó kh n h n b phân lo i th nh&t m u v !t qua 5.5 C N TT m u chu2n u sau – nh, b phân lo i i v2n u tiên Trong c+a s$ Đ có kh n ng ch a m t ng i ( t ng H l n c+a s$ không ch a m t ng !c t ng th nh&t “c ng h n” so v i Hu n luy'n b( phân t ng: T l nh n d ng th i gian tính tốn ph# thu c vào c&u trúc c a b phân t ng Mà c# th" ph# thu c vào s t ng kích th th c c a m.i t ng ph i c c a m.i t ng Do ó s l !ng t ng kích kh n ng th c hi n v i t l nh n d ng t v i chi phí tính K H O A toán nh nh&t Cho m t b phân t ng ã qua hu&n luy n, t l false postive c a !c tính nh sau: K F = ∏ fi k=1 ó F t l false postive c a b phân t ng, K s l !ng b phân lo i b phân t ng fi t l flase positive c a b phân lo i th i t&t c m u qua T l nh n d ng !c tính nh sau: Trang 79 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com K D = ∏ di k=1 ó di t l nh n d ng c a l p th i t p m u qua !c c l !ng qt qua tồn b trình xác su&t T&t c c+a s$ s th i i"m, cho t i quy t !c quy t nh m t ng c a c+a s$ mà l !ng nh i !c x+ lý qua t&t c t ng, m.i t ng t i m t !c r-ng c+a s$ hình n n, !c tính nh sau: N = n0 + t m t t l ó, hay o cho m.i l p t l nh n d ng c a nó, t l !c gán nhãn có kh n ng ch a c tr ng òi h i nh g c nh& thi t m t ti n K H TN c tr ng Σki=1 (n ∏ p ) i j Đ j< i i t !ng ang quan tâm S H S l !ng ó pj t l nh n d ng c a l p th i ni s c tr ng c a b phân lo i th i ng c a b phân lo i c a m.i t ng N u giá tr ng C N TT giá tr ng – Vi c cân b-ng gi a hai y u t t l nh n d ng t l false positive d a vào ng c a b phân lo i t ng cao t l false positive gi m, t l nh n d ng gi m m t giá tr ng h n t l nh n d ng cao h n Do ó Gi i thu t h c s rút giá tr ng v i t l nhân d ng, s l !ng t ng, kích th t ng cho tr c M#c ích cân b-ng c c ti"u hóa s l !ng kho ng F D K H O A M t mơ hình M.i t ng c m.i t ng s l !ng !c xu&t ng ng phù h!p c tr ng c a m.i c tr ng N n-m i dùng s ch n t l nh nh&t có th" cho fi di !c hu&n luy n b-ng thu t Gi i AdaBoost nh v i s l !ng !c s+ d#ng t ng d n cho t i m#c tiêu nh n d ng t l false positive ã ch n Các t l !c xác ng th&p c tr ng tm tm c nh b-ng cách ki"m tra b phân lo i hi n t i m t t p chu2n có s6n N u t&t c t l false positive ích khơng v !t m t m c ch n tr m t t ng m i !c thêm vào b phân t ng T p m u hình n n thâm vào t&t c m u !c b phân lo i hi n t i xác t p nh mà khơng ch a ch a m t ng c !c c p nh t b-ng cách nh m2u hình n n th c hi n i Trang 80 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1) Ng K H TN Gi i thu"t h3c: i dùng ch n giá tr f, giá tr false positive l n nh&t có th" ch&p nh n d t l nh n d ng có th" ch&p nh n 2) Ng Cho: i dùng ch n t l false positive chung cho layer, Ftarget P = t p positive examples; N = t p negative examples H F0 = 1.0; D0 = 1.0i = 0; Đ While Fi > Ftarget i ← i+1; 3) ni = 0; Fi = Fi-1; c tr ng s+ d#ng AdaBoost C N TT ni – while Fi > f × Fi-1;s+ d#ng P N " hu&n luy n m t b phân lo i v i nh l !ng Fi Di cho b phân lo i ( t ng hi n t i t ng giá tr • ng ng cho b phân lo i th i cho t i b phân lo i hi n t i có t l nh n d ng l n h n d × Di-1 N ← 0; 4) N!u Fi > Ftarget áp d7ng b( nh"n d5ng hi'n t5i t"p nh non- K H O A face a false detection vào t"p N Trang 81 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com K!t qu 4nh v4 m,t K H O A C N TT – Đ H K H TN 5.6 Trang 82 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ch )ng 6.1 ng phát tri.n K H TN K!t lu"n h K!t lu"n H Trong lu n v n này, ã gi i thi u nghiên c u v phân o n, rút trích c s( i t !ng c/ng ã Đ c tr ng t o ch m#c " tìm ki m thơng tin Video M t mơ hình bi"u di n Video !c gi i thi u áp d#ng hi u qu h th ng phân – o n làm ch m#c Công vi c c a nh&n m nh n v&n c b n liên Tr C N TT quan m t k ch b n t o ch m#c tìm ki m i"n hình c h t v&n phát hi n chuy"n c nh, chia o n Video thành nv phù h!p theo th i gian Th hai phân o n Video theo không gian - th i gian theo v t i t !ng Video ó Th ba tìm ki m tính tốn K H O A t !ng Cu i xây d ng m t s c tr ng liên quan thu !c i ' t o ch m#c tìm ki m Video c s( c tr ng Theo dòng x+ lý t nhiên c a n i dung Video s , tr m ts ' phát hi n chuy"n c nh có t$ng h!p ng c vùng nén vùng không nén Ph !c dùng " phát sinh lu t quy t c tr ng màu s c, c nh, chuy"n ng pháp h c d a quy t nh Chúng c/ng phát tri"n m t h phát hi n chuy"n ti p d n b-ng cách ki"m tra c nh b t Các tình hu ng c h t, chúng tơi bi"u di n nh ng ti p c n u k t thúc c a chúng c bi t nh flashlight thay $i m( (aperture) c/ng ã !c nghiên c u Trang 83 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Sau ó, chúng tơi gi i thi u m t mơ hình t ng phân o n Video H th ng phân o n theo v t vùng nh qua toàn b m.i c nh Video V i nh ngh,a v volume m t c&u trúc d li u ba chi u (không gian - th i gian), frame nh thu c c nh Video d !c phân o n 'ng th i Và volume sinh ch a nhi u c tr ng quan tr ng d i !c tính " ph#c v# cho ch th vi n cho phép ng tr ct M ts c t r&t quan tr ng theo v t ng sau ó Cu i cùng, xây d ng m t K H TN t !ng c/ng i d ng i dùng tìm ki m thơng tin Video nh vào c D a b c phân o n vùng nh Video r&t m nh ( trên, nghiên c u m t mơ hình phân o n ã xác c tr ng cho i t !ng có ngh,a nh Video Trong mơ hình này, chúng nh mô t quan h gi a c p volume có !c t ch ng tr c Các mô H t bi"u di n m i liên h gi a volume v y nh ng g!i ý r&t t t " t$ng h!p chuy"n ng hay t l Đ i t !ng t volume M t s mô t thông d#ng u ng biên chung, ho c t l tính khác bi t v mơ hình ng… Nh vào mô t !c – d a vào m t s công c# gom c#m r&t m nh, chúng tơi ã t$ng h!p có tính ng ngh,a C N TT Chúng c/ng ã áp d#ng m t s k% thu t m#c cho phép tìm ki m ng nh v m t ng i Trong t chuy"n i nh Video Tuy nhiên th i gian h n ch tính c ng lai, chúng tơi s xây d ng m t th vi n tr c quan v ng nhi u lo i Video Trong ó ng u Và nh v y, ng K H O A hàng i t !ng i " xây d ng ch ph c t p c a công vi c, nghiên c u c a m i ch d ng ( b ng ó, i dùng có th" bi t nh v m t i t !ng i s m t m#c tiêu !c li u có m t ng i xu&t hi n m t o n Video hay không 6.2 H ng phát tri.n D a nh ng nghiên c u này, t ng lai, chúng tơi có th" s xây d ng m t h th ng cho phép tóm t t m t o n Video dài thành n v nh h n ịi h i khơng gian l u tr h n Thông tin nh Video s ng i dùng có th" l ng nhiên !c tóm l !c l i, t qua tìm ki m thông tin m t cách thu n ti n nh&t Trang 84 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Tham kh o [4] [5] [7] [8] [9] K H O A [10] C N TT – [6] K H TN [3] H [2] Gulrukh Ahanger, Dan Benson, and T.D.C.Little, "Video Query For mulation", Storage and Retrieval for Images and Video Databases II, I S&T/SPIE Symposium on Electronic Imaging Science & Technology, San Jose, CA, Feb 1995 Edo ardo Ardizzo ne, Mo hand-Said Hacid: A Semantic Modeling Approach for Video Retrieval by Co ntent IEEE International Conference on Multimdia Computing and Systems, ICMCS 1999, 7-11 June, 1999, Florence, Italy, Proceedings, Volume II IEEE Computer Society, 1999 ,Vol.2 1999: 158-162 F Arman, A Hsu, and M.- Y Chiu, “Feature Management for Large Video Databases”, Proc IS&T/SPIE Conf on Storage and Retrieval for Image and Video Databases, San Jose, CA, 1993, pp 2-12 F Arman, R.Depommier, A.Hsu, and M-Y.Chiu, "Content-Based Bro wsing of Video Sequences", Proceedings of ACM international Conference on Multimedia ' 94, Oct15-20, San Francisco, CA, USA Y Alp Aslandogan and Clenment T Yu, “Techniques and systems for image and video retrieval”, IEEE Transactions on Knowledge and Data Engineering, Vol 11, No 1, January/February 1999 A Ayer, and H S Sawhney, "Layered Representation o f Motion Video Using Robust Maximum-Likelihood Estimation of Mixture Models and l Co nf Computer Vision, 1995 MDL Encoding", Proc.Fifth Int' J.L Barron, D J Fleet, and S.S Beauchemin, “Performance of optical flow techniques”, International Journal of Computer Vision, vol 12, 1994, 43-77 A Bascle, P.Bouthemy, R.Deriche and F Meyer, "Tracking complex primitives in image sequence", Proc 12th International Conference on Pattern Recognition, 1994 V.S Hwang, "Tracking feature points in time-varying images using an opportunistic selection approach", Pattern Recognition, 22(3) :247-256, 1989 H Wang and S.-F Chang, “Auto matic Face Regio n Detection in MPEG Video Sequences”, SPIE's Photonics China '96 - Electronic Imaging and Multimedia Systems, Beijing, China, November 1996 J.Y.A Wang and E H Adelson, "Representing Moving Images with Layers", IEEE Transactions o n I mage Processing, Vo l 3, No 5, Sept 1994 Đ [1] [11] Trang 85 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ... CAO CHÁNH NGUYÊN HI N KH NG TR NG GIANG K H TN TR K H O A C N TT – NGHIÊN C U PH NG PHÁP PHÁT HI N I T NG CHUY N NG TRONG VIDEO VÀ NG D NG LU N V N C NHÂN TIN H C GIÁO VIÊN H NG D N T.S NGUY N... quy t v&n sau • Phát hi n chuy"n c nh nhanh xác • T ng phân vùng t o ch m#c cho vi c tìm nh Video • T ng phát hi n i t !ng chuy"n T ng quan v nghiên c u tr ng nh Video c ây Hình nh Video nh ng bi"u... m t s ph K H TN Tuy nhiên, Video ng Video !c khai thác Nh-m có th" tìm ki m tình ng pháp ã xu&t " bao hàm c thông tin v !c ng th i gian vào mơ hình n i dung Video Trong [14,23], nhi u mơ t hình