Nh ng mô t này ánh giá t ng t gi hai volume. C/ng nh các mô t nh l !ng, nh ng mô t này bi"u th c i"m v chuy"n ng, hình d ng, và màu s c bên ngoài. Các mô t quan h chuy"n ng dùng kho ng cách qu% o chung. Kho ng cách này, ;t(i,j), !c tính gi a các qu% o Ti(t) và Tj(t) cho frame ttheo công th c sau :
;t(i,j) = Ti(t) −Tj(t)
Kho ng cách qu% o chung này dùng " tính các mô t quan h chuy"n ng. Giá tr trung bình kho ng cách qu% o D (i,j) o kho ng cách trung bình gi a các tâm volume,
ΓΓΓΓµ(i,j) = ΓΓΓΓex1(i,j) ΣΣΣΣ ∆∆∆∆t(i,j)
!c áp d#ng trong tr ng h!p hai tâm này cùng thu c m t frame. Trong công th c trên, Dex(i,j) là s frame mà c hai volume Vi và Vj cùng t'n t i. khác bi t c a kho ng cách qu% o cho bi t 'ng nh&t gi a chuy"n ng c a hai volume
ΓΓΓΓσ(i,j) = ΓΓΓΓex1(i,j) ΣΣΣΣ [∆∆∆∆t(i,j) −ΓΓΓΓµ(i,j)]2
khác bi t nh ch ra r-ng h u h t hai volume có chuy"n ng t nh ti n t ng t nhau, ng !c l i, bi"u hi n s khác bi t khá l n v chuy"n ng t nh ti n gi a hai volume,ví d# di chuy"n xa d n nhau ho c di chuy"n v h ng tr c di n... Kho ng cách l n nh&t Dxt(i,j) xác nh kho ng cách hai volume di chuy"n xa d n nhau. M t s ngo i l c a mô t chuy"n ng là m t vùng n n r ng l n, khi ó qu% o c a nó h u h t có v trí t i gi a frame, và m t volume lõm sâu có qu% o r i ra kh i biên c a nó. " phân bi t các volume chuy"n ng nh nh ng ( các h ng d ch chuy"n ng !c nhau, ví d#,..hai volume di chuy"n xoay vòng quanh m t tr#c, khác bi t v h ng Ddd(i,j) !c nh ngh,a.
KHOA CNTT –
ĐH KHTN
Trang 63
Chuy"n ng c a m t volume còn !c bi"u di n b-ng các mô hình tham s
pm(i). Các tham s c a hai volume !c s+ d#ng cho m#c ích rút ra m t mô t quan h v tính t ng t chuy"n ng. Các tham s !c x p x p vào m t vector " tính khác bi t nh sau :
ΓΓΓΓpm(i,j) = ΣΣΣΣtAti−Atj
v i Atlà vector các tham s chuy"n ng c a volume t i frame t
At = [a1 a2 a3 a4 a5 a6]t Kho ng cách tham s !c nh ngh,a nh sau :
Ai−Aj = [cR ΣΣΣΣ (ai,n− aj,n)2
n=1;2;4;5 + cT ΣΣΣΣ (ai,n− aj,n)2
n=3;6 ]1/2
trong ó các nhân t+ !c ch n sao cho CR >> CT " nh l !ng t l gi a khác bi t xoay/zoom v i khác bi t t nh ti n.
Thông tin v hình d ng c/ng !c xem xét nh m t mô t quan h . T l cô ng Dcr(i,j) c a m t c p volume là t$ng s khác bi t trên t$ng s cô ng tr c và sau khi hai volume !c tr n v i nhau.
ΓΓΓΓcr(i,j) = γco(i∩j)
γco(i) + γco(j)
Dcr(i,j) nh ch ra r-ng quá trình k t h!p phát sinh m t i t !ng ít tính cô ng và nh v y không hi u qu . B-ng cách k t h!p các volume l i, chúng tôi mu n nh m t i các i t !ng có nhi u tính cô ng h n, b(i vì các i t !ng trong t nhiên có xu h ng cô ng. M t mô t quan h hình d ng khác là Dbr(i,j) tính t l biên chung c a hai volume
Vivà Vi t i toàn th" biên c aVi
ΓΓΓΓbr(i,j) = γγγγbo(i∩j)
γγγγbo(i)
Trong giai o n gom c#m, các c p volume có giá tr Dbr(i,j) cao s !c u tiên. Ngo i tr m t n n bao quanh, t l biên chung cao h n là m t tín hi u v kh n ng t ng thích cao h n. Mô t khác bi t màu s c Dcd là t$ng c a các khác bi t gi a các giá tr màu trung bình. Các mô t khác là Dex là t$ng s frame mà hai volume cùng t'n t i, và mô t láng
KHOA CNTT –
ĐH KHTN
Trang 64
gi ng Dne b-ng 1 n u các volume có biên chung. Các mô t quan h !c miêu t trong
B ng 4.1 Trung bình kho ng cách qu% o ΓΓΓΓµ(i,j) 1 ΓΓΓΓex(i,j) Σ∆t(i,j) S khác bi t kho ng cách qu% o ΓΓΓΓσ(i,j) 1
ΓΓΓΓex(i,j) Σ(∆t(i,j)−ΓΓΓΓµ(i,j))2
Kho n cách qu% o l n nh&t
ΓΓΓΓxt(i,j) max ∆t(i,j)
Directional difference ΓΓΓΓdd(i,j) ΣTi(t) − Ti(t −1) − Tj(t) + Tj(t −1)
Kho ng cách thông s chuy"n ng ΓΓΓΓpm(i,j) <Ai−Aj, Ai−Aj> Kho ng cách tính cô ng ΓΓΓΓcr(i,j) γco(i∩j) γco(i) + γco(j) T l biên chung ΓΓΓΓbr(i,j) γco(i∪j)
γco(i) khác bi t màu ΓΓΓΓcd(i,j) Σkγγγγmk(i) −γγγγmk(j) Tính 'ng t'n t i ΓΓΓΓex(i,j) Σtnt, nt = 1 ← (R(i,t) ≠ 0) ∩R(j,t) ≠ 0) Tính láng gi ng ΓΓΓΓne(i,j) 1 ←γco(i∩j) > 0 B ng 4.1 : Các mô t quan h'. 4.3. H' th0ng t- (ng tách 0i t +ng có ngh1a
ây là m t công c# t$ng quát !c xây d ng cho m#c ích tách các i t !ng có ngh,a và có tác ng qua l i l n nhau. Nó có th" !c dùng trong các ng d#ng offline mà trong ó vi c nén và làm ch m#c thông tin d a trên i t !ng là c n thi t. Trong tr ng h!p x+ lý c n th i gian th c, các tác ng nh p thông tin c a ng i dùng là không kh
KHOA CNTT –
ĐH KHTN
Trang 65
thi ho c b h n ch . Các ví d# i"n hình là các ch ng trình TV tin t c ho c th" thao. N u ta mu n phân tích và tóm t t nh ng Video này theo th i gian th c, các ph ng pháp rút trích i t !ng t ng c n !c phát tri"n. Trong ch )ng 3, chúng ta ã xem xét m t h th ng t ng phân vùng và theo v t vùng Video. V i các mô hình thu c l,nh v c c# th", nh ng vùng Video này có th" !c nhóm l i vào các i t !ng ( m c cao h n.
Trong ph n này, ta s s xem xét m t s ph ng pháp gom c#m nh-m gom nhóm các volume vào các i t !ng b-ng cách s+ d#ng các mô t quan h .
4.3.1. M(t s0 khái ni'm
Gom c#m là m t công c# phân lo i không giám sát các volume vào các i t !ng. V&n gom c#m ã !c c p trong nhi u ph m vi nghiên c u khác nhau. Các h ng ti p c n gom c#m d li u khác nhau !c phân thành các lo i phân c&p và phân vùng. Các ph ng pháp phân c&p s n sinh ra m t chu.i các cách phân chia !c l'ng vào nhau, trong khi m t thu t toán phân vùng cho ra m t cách phân chia d li u. Vi c t p h!p các volume theo ki"u fine-to-coarse là m t ví d# cho h ng ti p c n phân c&p. Trong khi ó gom nhóm dùng thu t toán kmean thích nghi theo ki"u coarse-to-fine là m t ví d# cho h ng ti p c n phân vùng nh trong hình 4.3. Chúng tôi ti n hành th c hi n c hai ph ng pháp này.
4.3.2. Phân c p fine-to-coarse
Ta ã có các thành ph n nh nh&t c a m t o n video và các thu c tính c a chúng. Giai o n ti p theo c a phân o n nh video là tìm các volume t ng t nh&t " hình thành i t !ng d a vào các mô t c a chúng. M t ph ng pháp k t h!p theo ki"u phân c&p fine-to-coarse thích h!p cho m#c ích này. Trong ph ng pháp này, vi c xác nh các volume gi ng nhau nh&t !c th c hi n liên t#c. T i m.i b c, t&t c các cách k t h!p volume u !c ánh giá. Các c p volume có o t ng t cao nh&t !c k t h!p v i nhau và các mô t b nh h (ng !c c p nh t l i. Chính b n ch&t l p c a thu t toán ã hình thành nên mô hình gom c#m phân c&p.
KHOA CNTT –
ĐH KHTN
Trang 66
Hình 4.2 :Thu"t toán Coarse-to-fine( adaptive kmean, GLA, quad-tree) và thu"t toán Fine-to-coarse. H ng ti!p c"n u chia các volume thành m(t s0 c7m t5i m(t th:i i.m, h ng ti!p c"n sau k!t h+p m(t c,p volume t5i mEi m c.
Nhìn ( m t ph ng di n khác, các thông tin mang nhi u ý ngh,a s !c tìm ki m t i b c này. Do ó, ta ph i quy t nh áp t chu2n t ng t nh th nào cho các volume, và các volume nào s hình thành m t i t !ng có ngh,a. Các quy t nh này có th" ch bao g'm các thông tin ã có là các mô t c a volume. Các quan sát sau ây !c rút ra t s t ng t c a hai volume ã cho :
• Hai volume t ng t nhau n u chuy"n ng c a chúng t ng t . Nói cách khác, các volume có cùng chuy"n ng xây d ng nên cùng i t !ng. M t vùng t,nh có xác xu&t cao v vi c ( cùng i t !ng v i m t vùng t,nh khác, ví d# m t cái cây hay m t c n nhà trong cùng c nh. Chúng tôi luôn o !c t ng t chuy"n ng gi a hai volume d i d ng các mô t quan h nh DG(i,j), Ddd(i,j), Dpm(i,j), DH(i,j), DG(i,j) và Dxt(i,j). Nh ng mô t này nên !c k t h!p ch t ch trong các nh ngh, v t ng t . Tuy nhiên, n u không dùng thêm các mô hình thông minh khác, s không d dàng phân bi t tính t ng t chuy"n ng gi a các i t !ng. Nh ng mô hình này bao g'm m ng Neuron, mô hình Markov nh trong nh n d ng ng i.
• Các i t !ng có xu h ng cô ng. M t khuôn m t ng i, m t chi c xe, m t lá c , m t qu bóng là các i t !ng cô ng !c t o ra t các volume nh . Các thông tin v
KHOA CNTT –
ĐH KHTN
Trang 67
hình d ng volume cho ra các g!i ý có ích. Chúng tôi rút ra các thông tin v hình d ng trong các mô t Dcr(i,j) và Dbr(i,j) và trong c biên volume. N u m t volume bao quanh m t volume khác, s k t h!p c a chúng s t ng tính cô ng mà không c n bi t hai volume này có thu c v cùng m t i t !ng hay không. Nh-m t ng tính h u d#ng c a các mô t quan h v hình d ng, các chu2n h ng ng d#ng có th" !c dùng nh mô hình ng i cho h th ng giám sát trong nhà.
• i t !ng có các ph n liên k t v i nhau. i u này rõ ràng là úng v i h u h t các tr ng h!p, m t con thú, m t chi c xe,... tr khi i t !ng ó ch l m t ph n. Chúng tôi b t u ánh giá v i các volume có quan h láng gi ng v i nhau. Thông tin v quan h láng gi ng r&t có ích, nh ng nó c/ng r&t d làm gi m ho c phá hu7 tính chính xác c a phân o n trong tr ng h!p phân o n ch'ng, ví d# n n bao quanh h u h t các volume.
• M t i t !ng th ng chuy"n ng toàn ph n. M c dù i u này không úng trong tr ng h!p con ng i, nh ng v i m t i t !ng c ng, i u này r&t có ích. M t m t n phát hi n thay $i tr( nên r2t h u d#ng khi c&u trúc các i t !ng chuy"n ng ( phía tr c m t n n t,nh.
• Tính t ng t màu s c r&t có ti m n ng s+ d#ng, nh ng c/ng không hi u qu l m. Các volume luôn có màu s c 'ng nh&t, do ó, có ph m vi nh " dùng thông tin v màu nh-m xác nh volume láng gi ng.
D i d ng các mô t , các o tính t ng t
T l ngh ch v i bi n kho ng cách Dmv, khác bi t h ng Ddd, khác bi t các tham s chuy"n ng Dpm.
T l thu n v i t l cô ng Dcr, t l b m t chung Dsr,m t n phát hi n thay $i
Dcd.
Nh-m k t h!p các quan sát và các phát bi"u trên, chúng tôi xây d ng m t o tính t ng t d a trên s ' phân lo i. V i m i c p volume Vi, Vj có quan h láng gi ng, các mô t !c x p x p vào các danh sách r(i,j). S+ d#ng h ng t ng ng trong danh sách, m t o A0(i,j) !c tính t i m c o cho m.i c p (i,j) nh sau :
KHOA CNTT –
ĐH KHTN
Trang 68
+ ccr rcr↓ (i,j) + csr r↓sr (i,j) + ccd r↑dd (i,j) + csk r↓sk (i,j)
trong ó r<là h ng cho m.i c p Vi, Vj trong danh sách !c x p x p t l n n bé, r= t bé n l n. Có các h-ng s c nh-m i u ch nh tác ng c a các mô t t ng ng. C p (V*
i, V*
j) có i"m cao nh&t s !c k t h!p v i nhau, và các mô t !c c p nh t. Quá trình gom c#m !c ti p di n cho "n khi ch còn l i hai volume, ví d# : o = 2. K t qu c a ph ng pháp này !c minh ho trong hình 4.3.
T i m.i m c trong thu t toán gom c#m, ta có th" phân tích !c li u c p volume !c ch n t i m c ó có áp ng !c v&n 'ng chuy"n ng hay không. Có th" làm !c i u này b-ng cách quan sát hành vi c a o t ng t . N u o này nh n giá tr nh , ho c s#t gi m b&t ng , thì s k t h!p này là không h!p l m c dù ó là k t h!p t t nh&t ã !c ch n. o hàm c a o t ng t t ng ng v i m c cho ta thông tin này
∂Ao
KHOA CNTT –
ĐH KHTN
Trang 69
Hình 4.3 : K!t qu c8a thu"t toán gom c7m Fine-to-coarse t5i các m c 19,17,16,15,14,13,12,11,10,9,8,7,6,4 và 3.
4.3.3. Phân c p Coarse-to-fine
Ph ng pháp này chia các volume thành các nhóm riêng bi t. " th c hi n !c ph ng pháp này, tr c tiên, m t b xác nh s l !ng s !c th c hi n tr c. B(i vì chuy"n ng là c tr ng c bi t c a volume, các qu% o chuy"n ng thích h!p cho m#c ích này. Mô hình tham s chuy"n ng c/ng có th" !c dùng.
Trong quá trình gom c#m, kh(i u t&t c các volume cùng ( trong m t nhóm. Sau ó thu t toán sau ây !c áp d#ng:
KHOA CNTT –
ĐH KHTN
Trang 70
1) Phân vùng t&t c các volume vào K c#m ban u. T i th i i"m b t u, có hai c#m !c kh(i t o,K=2.
2) Gán m.i volume vào c#m k sao cho tâm g n nh&t. k = [ k1 k2 ….]T 3) C p nh t l i tâm c a c#m v a thêm volume và c#m v a b m&t volume. 4) L p l i các b c 2 cho n khi không tìm ra volume m i th a mãn.
Các tâm c#m có th" !c kh(i t o ng u nhiên ho c k th a t l n gom c#m tr c ó. Ph ng pháp này c/ng !c xem là thu t toán K-Mean, c c c ti"u hoá t$ng các thay $i trong c#m : K Σ k =1ΣδikCi− k i
Trong ó, 4ik b-ng 1 n u tâm quan sát Ci n t c#m k, ho c b-ng 0 n u d a trên b c tr c ó. Tâm k là giá tr trung bình c a các ph n t+ Ckj trong c#m th k
kj = n1
kΣlClj
Chúng tôi g i nk là s volume thu c v c#m k. Nh-m t ng tính $n nh trong phép phân tích c#m, các t tr ng c bi t ho c các t tr ng thích nghi trong công th c kho ng cách có th" !c áp d#ng thay vì t tr ng thông th ng. T tr ng sau ây :
qj = 1
ΣK
k Σnk
i δikCij− kj
có th" !c dùng trong công th c kho ng cách :Cj− k =ΣjqjCij− kj
Trong thu t toán gom c#m coarse-to-fine, chúng tôi dùng các qu% o Tk nh là các tâm quan sát Ck
Ci− k =ΣjqjTij− T∧kj
Tuy nhiên, không có các ng ng láng gi ng nào liên quan n thu t toán KMean thích nghi, các volume !c gom c#m không c n yêu c u ph i có liên h v i nhau. ây
KHOA CNTT –
ĐH KHTN
Trang 71
là i u thi u sót chính c a thu t toán phân vùng dùng Kmean thích nghi ( trên. V trí không gian có th" !c k t h!p, nh ng vi c l&y t tr ng c a các thành ph n qu% o và