S n( volume cung c&p các ph n 'ng nh&t c a video. H u h t các i t !ng video,...ví d# xe h i, bao g'm nhi u ph n có Histogram màu khác nhau m c dù chúng có cùng chuy"n ng. Do ó m#c tiêu ti p theo là rút ra các thông tin v chuy"n ng c a các volume nh-m c&u trúc nên các i t !ng chuy"n ng 'ng nh&t.
Ta dùng các "mô t " " rút ra các khía c nh khác nhau c a các volume. Nh ng mô t này bi"u th c i"m v chuy"n ng, hình d ng, c tr ng màu s c c/ng nh chúng c l !ng m i liên h chung c a các volume. Nh ng volume này !c nhóm l i t ng ng v i các mô t t i b c gom c#m nh-m l p ráp thành các i t !ng. Thu c tính
u tiên liên h t i chuy"n ng c a m t volume là qu% o c a nó.
Qu% o chuy"n ng là m t c i"m ( m c cao !c k t h!p v i m t vùng chuy"n ng, !c inh ngh,a là s xác nh v trí c a m t trong các i"m bi"u di n c a nó nh tr ng tâm, xem hình 3.10. Tâm này !c ch n nh là tâm c a các hình chi u c a volume qua các frame. M t tâm khác có th" !c ch n là giao i"m gi a ng dài nh&t trong vùng nh và ng dài nh&t khác theo h ng vuông góc. Chúng tôi ch n tâm theo
KHOA CNTT –
ĐH KHTN
Trang 50
cách th nh&t vì nó có !c khi n( volume, bên c nh ó cách th hai tính toán r&t ph c t p. V i m.i volume Vi, m t qu% o Ti(t) = [Xi(t), Yi(t)] !c tính b-ng to trung bình c a volume th i :
Ti(t) = [Xi(t)
Yi(t) ] = [ R(1i,t) Σx 1
R(i,t) Σy ] ; (x, y) ∈Rti
( trên Rti là vùng t ng ng v i volume Vi t i th i gian t. Và R(i,t) là di n tích c a b m t vùng Rt
i. Giá tr t$ng c a các di n tích b m t theo th i gian cho ta kích th c c a volume. γγγγsi(i) = ΣR (i,t) t v i si(i) là kích th c c a volume i. M.i vùng Rt i có m t biên B(i,j). Ví d# v qu% o !c minh h a trong hình 3.11.
KHOA CNTT –
ĐH KHTN
Trang 51
Hình 3.11 : Qu> 5o c8a clip children và foreman cho 20 frame.
M t tính ch&t quan tr ng c a qu% o chuy"n ng là trong h u h t các tr ng h!p, nó x&p x d ng chuy"n ng t nh ti n c a volume mà nó thu c v . D ng chuy"n ng này là d ng d nh n bi t nh&t trong h th giác máy tính. Thêm vào ó, nó là m t ph n c a mô hình tham s chuy"n ng, do v y có th" !c c l !ng m t cách chính xác h n. Qu% o chuy"n ng cho phép nh n !c chuy"n ng c a m t vùng gi a hai frame mà không c n tính toán tr ng chuy"n ng dày c. Ta có th" dùng nh ng thông tin này " kh(i t o các thông s trong mô hình tham s chuy"n ng ho c trong quá trình x+ lý mô hình hoá trên c s( tham s nh-m t ng t c tính toán.
Các mô t là các o xác nh các thu c tính c a volume. Nh ng thu c tính này bao g'm chuy"n ng, hình d ng, màu s c, phát hi n s khác bi t, và m t s thu c tính h ng ng d#ng nh màu da,.. Chúng tôi ký hi u các o là (i), và F(i) cho các mô t nh l !ng và mô t quan h m t cách riêng bi t. Chúng tôi s gi i thi u và th+ nghi m m t s mô t .
KHOA CNTT – ĐH KHTN Trang 52 Trung bình màu k γmy(i) 1 γγγγsi(i) ωωωωk(p), p∈Vi Kích th c γci(i) ΣΣΣΣtR(i,t) Biên γbo(i) ΣΣΣΣtB(i,t) Tính cô ng γco(i) 1 γγγγsi(i)ΣΣΣΣt R(i,t) (B(i,t))2 d ch chuy"n ngang γvt(i) Yi(l) −Yi(tΓ) d ch chuy"n ng γht(i) Xi(l) −Xi(tΓ) Chi u dài qu% o γtl(i) ΣΣΣΣtTi(t) −Ti(t −1) Tính t'n t i γex(i) ΣΣΣΣtnt, nt = 1 ←R(i,t) ≠ 0 Phát hi n thay $i γc(i) 1 γγγγsi(i)ΣΣΣΣp ωωωωc( p), p∈Vi Màu ích γtc(i) 1 γγγγsi(i)ΣΣΣΣp ωωωωtc( p), p∈ Vi Các thông s chuy"n ng γpr(i) {a1, a2, …, a6} B ng 3.2 : Các mô t 4nh l +ng c8a volume.
Các o (i) ánh giá các tính ch&t c a volume nh kích th c, b m t, tính cô ng, chuy"n ng, nh trong hình 3.12. M t s mô t nh l !ng r&t c b n. Mô t
si(i) là kích th c c a volume Vi. Trong khi ó, my(i), mu(i), mv(i) là giá tr trung bình t ng ng v i các kênh màu c a volume. M t biên bo(i) là s các i"m n-m trên b m t volume. Mô t ex(i) m s frame mà volume xu&t hi n c a c nh. o cô ng là t s gi a volume và bình ph ng biên.
γco(i) = γex1(i) Σt R(i,t) (B(i,t))2
KHOA CNTT –
ĐH KHTN
Trang 53
Trong không gian 3D, m t volume c u có o cô ng l n nh&t. Nói cách khác, trong volume d li u ba chi u (không gian & th i gian), hình d ng có tính cô ng nh&t là m t volume tr# d c theo tr#c th i gian vì ta mu n hình chi u c a m t volume qua t ng frame có tính cô ng nh ng không ph i toàn b hình d ng c a nó. " bù tr các bán kính, giá tr biên !c l&y bình ph ng nh công th c trên. D nh n th&y là hình chi u c a volume càng dài thì o cô ng càng th&p. o cô ng còn nh y c m i v i biên d ng sóng, ví d# m t b m t thô.
M t s mô t chuy"n ng c a volume d a trên qu% o chuy"n ng. Mô t 8tl
o l ng chi u dài qu% o.
γtl(i) = γex1(i) ΣtTi(t) −Ti(t − 1)
Thông th ng, các i t !ng t,nh có qu% o ng n. Hai mô t khác Fvt(i) và Fht(i) tính toán d i theo chi u ngang và chi u d c gi a frame u tiên và frame cu i cùng ch a volume ang xét. M t t p các mô t chuy"n ng liên quan là các thông s bi n $i affine c a volume thay vì qu% o. (adsbygoogle = window.adsbygoogle || []).push({});
γpm(i) = [a1 a2 a4 a5][x
y ]+[a3 a6]
Nh ng thông s này !c tính cho m.i volume t i t ng frame. Các mô t khác bao g'm o phát hi n thay $i (change detection) 8cd và o c tr ng màu 8sc. Nh ng o này s !c xem xét chi ti t trong các ph n sau.
3.2.6. c l +ng chuy.n (ng trên c) s< ,c tr ng
V&n ch y u c a ph ng pháp phân o n trên c s( chuy"n ng là "li u nên phát sinh các vùng h. tr! b-ng phân o n trên c s( màu s c r'i c l !ng tr ng chuy"n ng hay c l !ng tr ng chuy"n ng tr c r'i xác nh vùng h. tr! ?" N(
volume cung c&p t&t c vùng h. tr!, ví d# hình chi u c a volume qua các frame, và x&p x c a chuy"n ng t nh ti n. Do ó ph ng pháp n( volume c i thi n v&n ( trên b-ng cách cung c&p 'ng th i các vùng h. tr! và các c l !ng chuy"n ng ban u.
KHOA CNTT –
ĐH KHTN
Trang 54
Chuy"n ng c a volume có th" !c bi"u di n b-ng mô hình tham s . Nh ng tham s này nh n !c b-ng cách áp m t mô hình chuy"n ng, t t nh&t là affine ho c m c cao h n, vào các vector chuy"n ng. Các vector chuy"n ng !c c l !ng cho m t gi i h n các i"m riêng l0 trong m.i vùng chuy"n ng. " so sánh, m t ph ng pháp tính lu'ng quang h c có th" !c gi i h n t i các chuy"n ng nh , tuy nhiên nó r&t nh y c m v i nhi u và ph c t p tính toán l n. M t khác, dùng các i"m c tr ng có các thu n l!i nh tránh tr ng h!p " l. h$ng "(aperture) và ph c t p tính toán không l n.
M t i"m c tr ng c n có n ng l !ng không gian cao h n các i"m khác vì nó s !c dùng trong thu t toán so kh p kh i, và i"m có n ng l !ng không gian cao h n cho k t qu c l !ng chính xác h n khi so kh p. M t hàm tính n ng l !ng không gian khá n gi n !c nh ngh,a nh là s khác nhau v vân c#c b trong ó ΩΩ( ΩΩ p) là m t c+a s$ c#c b bao quanh i"m p. Tuy nhiên inh ngh,a trên không xác nh n ng l !ng m t cách chính xác. Chúng tôi dùng m t hàm khác nh sau : Ω Ω Ω Ω( p) =Σ k Σ (ωk(q) −µk)2 q , q∈ ℘(p)
v iµk là giá tr trung bình c a kênh màu k trong c+a s$℘(p). Sau khi các n ng l !ng không gian !c tính cho vùng Rti , các i"m thu c Rti !c x p x p vào m t danh sách.
i"m u tiên trong danh sách !c l&y làm m t i"m c tr ng pf (i,t), và m t c+a s$ xung quanh nó !c xóa. Sau ó, các i"m còn l i trong danh sách !c ch n. Chúng tôi ch n c+a s$ có kích th c 5×5. M t s l !ng các i"m c tr ng là kho ng 50, !c xác nh cho m.i vùng c a t ng volume. Hình 3.12 bi"u di n các i"m c tr ng !c ch n cho các nh t ng ng.
Vi c c l !ng chuy"n ng c a các i t !ng có kh p n i trong chu.i liên ti p các nh là m t v&n quan tr ng trong ngành Computer Vision v i r&t nhi u ng d#ng nh s phân o n và s hi"u nh. ) c l !ng chuy"n ng còn !c dùng " gi i h n l i s l !ng l n các ph n d th a theo không gian và th i gian t'n t i trong chu.i các nh liên
3.2.6.1. Các i.m ,c tr ng
KHOA CNTT –
ĐH KHTN
Trang 55
t#c. Có m t s l n các thu t toán c l !ng chuy"n ng cho mã hoá d oán và phân o n Video.
a. Hình 3.12: Ví d7 các i.m ,c tr ng trên m(t s0 nh
Chúng tôi quy t nh s+ d#ng ph ng pháp tu ng quan pha [131] do Liang gi i thi u. ) c l !ng chuy"n ng dùng t ng quan pha (phase correlation) còn !c nghiên c u b(i John Watkinson[132]. V i s th c thi c a nó, tính hi u qu và ph c t p !c so sánh v i ph ng pháp so kh p kh i. Vì t ng quan pha tính toán chuy"n ng tr c ti p t m t t ng quan pha, nó cho ta m t cách c l !ng chính xác và m nh m các vector chuy"n ng và tr ng chuy"n ng v i n ng l !ng entropy th&p h n. Ph ng pháp t ng quan pha r&t hi u qu trong tính toán và th c thi t t h n ph ng pháp so kh p kh i v i cùng ph c t p trong h u h t tr ng h!p, c bi t trên chuy"n ng quay và chuy"n ng v i quy mô l n.
Dùng k% thu t t ng quan pha, các vector chuy"n ng !c c l !ng cho các i"m c tr ng. Nh ng vector này !c a vào m t mô hình chuy"n ng Affine b-ng cách c c ti"u hoá s h ng l.i d ng Lorentzian. S h ng Lorentzian chuy"n bài toán c c ti"u
KHOA CNTT –
ĐH KHTN
Trang 56
hoá thành m t b c l !ng m nh. B u c lu!ng m nh có kh n ng phát hi n và lo i b các o làm nh h (ng t i mô hình chuy"n ng.
Cho các vector chuy"n ng m(pf) thu c vùng Rit, ta mu n thu !c m t mô hình affine
u(pf, a1,....,a6) sao cho c c ti"u hàm sau :
min -> J(m,u) = Σ log(1 + [m(pf) −u(pf)]2) pf = Σ log(1 + [m(pf) −u(pf)]2) pf = Σlog(1+[mx(pf) − a1xf − a2yf − a3]2 + [my(pf) − a4xf−a5yf −a6]2) pf
trong ó, mx(pf) và my(pf) là hai thành ph n ngang và ng c a vector chuy"n ng và pf (adsbygoogle = window.adsbygoogle || []).push({});
là (xf, yf, t). Chúng tôi xây d ng b c l !ng m nh b-ng cách dùng thu t toán leo 'i. Có th" dùng thêm m t ph ng pháp l p, trong ó mô hình ã !c c l !ng tr c ó
u(pf) !c xem nh u vào cho l n c l !ng ti p theo.
3.3. Xây d-ng th vi'n ,c tr ng
Các c tr ng tr c quan !c rút ra m t cách t ng t các vùng Video(volume) và !c l u tr cho m#c ích truy v&n sau ó.
3.3.1 Quan sát m(t s0 k!t qu phân o5n
M t s k t qu phân o n c a Video th" thao !c ua ra trong hình 3.11. Con ng i là các i t !ng chính trong nh ng Video này. Nh ng hình nh này g!i cho ta các ý t (ng v nh ng vùng !c rút ra m t cách t ng. K t qu cho th&y thu t toán c a ta có th" nh n ra chính xác các vùng n$i nh m t và thân ng i, trong khi b qua các chi ti t nh m t, m/i,.. Biên vùng chính xác cho phép ta nh ngh,a các c tr ng v hình d ng.
M t k t qu không mong mu n là m t i t !ng có ngh,a th ng !c chia thành nhi u vùng, do m t s th t là m t i t !ng có ngh,a không có c tr ng tr c quan 'ng nh&t. Do ó, vi c l u tr v trí vùng trong không gian s r&t quan tr ng sao cho ng i dùng có th" tìm ki m i t !ng b-ng cách mô t m t t p các vùng v i các v trí trong không gian.
KHOA CNTT –
ĐH KHTN
Trang 57
Các vùng n n c/ng a ra m t v&n l n. Chúng th ng là các vùng l n mà không d dàng xoá b nh các vùng nhi u. N u n n và các vùng i t !ng !c l u tr cùng nhau mà không phân bi t, ng i dùng luôn luôn không có !c các truy v&n úng. i u này do m t s c tr ng quan tr ng i v i i t !ng nh hình d ng và qu% o chuy"n ng, có th" vô ngh,a v i các vùng n n. V i các truy v&n bao g'm các c tr ng này, n u nó !c ánh x t i các vùng n n, m t k t qu không mong !i có th" n. Do
ó c n phân bi t gi a vùng n n và vùng i t !ng.
KHOA CNTT –
ĐH KHTN
Trang 58
3.3.2. Trích ch3n ,c tr ng tr-c quan
Trong các ph n tr c, ta ã tính !c các mô t nh l !ng trên m.i volume. Trong ph n này, ta s s+ d#ng m t s mô t " xây d ng các c tr ng c n thi t. Chúng tôi ã dùng các c tr ng sau: màu s c trung bình c a volume, vân nh, hình d ng, qu%
o.
Nh ã c p tr c ây, ta c n phân bi t gi a vùng n n và vùng i t !ng cho các c tr ng nh hình d ng, v trí trong không gian, và qu% o chuy"n ng. " l&y qu% o chuy"n ng ta có th" dùng ph ng pháp !c c p trong ph n trên ho c bù tr chuy"n ng camera t các vùng n n. 3 ây, chúng tôi s+ d#ng mô hình chuy"n ng affine nh n ra các vùng nh n n. B-ng cách dùng các ph ng pháp xác nh mô hình affine ( trên, chúng tôi tính mô hình affine c#c b A0 t các volume ( biên c a frame. V i m.i volume, chúng tôi tính l.i bù chuy"n ng dùng A0. N u l.i này nh h n m t ng ng cho tr c, volume này s !c xem là m t volume n n. Quá trình này !c l p l i cho n khi không còn volume nào !c xét.
3.3.3. Tìm ki!m n(i dung Video theo không gian và th:i gian
Tr c tiên, chúng tôi mô t các o kho ng cách !c dùng khi ánh x các c tr ng khác nhau, và sau ó bi"u di n quá trình tìm ki m. Cu i cùng, chúng tôi cung c&p và phân tích các k t qu thí nghi m t !c.
Các ( o ,c tr ng
Các o c tr ng mà chúng tôi x+ d#ng cho m.i c tr ng !c a ra sau ây:
Màu s c – Màu s c c a m t vùng truy v&n !c ánh x v i giá tr trung bình c a volume ích !c l u tr trong c s( d li u dùng kho ng cách Euclidean:
trong ó q và t ch truy v&n và ích.