Quá trình phân o n và theo v t các vùng nh d a trên s k t h!p c a màu s c, chuy"n ng… Màu s c !c ch n làm c tr ng phân o n chính vì tính phù h!p c a nó d i các i u ki n khác nhau, nh thay $i h ng, thay $i khung nhìn ho c thay $i hình d ng… So v i các c tr ng khác, nh c nh và chuy"n ng, màu s c có tính $n nh cao h n. Nh-m làm t ng tính chính xác c a các vùng nh trong volume, các frame thu c m t shot s !c x+ lý 'ng th i.
Các công o n c n b n và ch y u c a quá trình phân o n và theo v t !c bi"u di n trong hình 3.4.
Tr c khi x+ lý, chu.i nh Video !c c t thành các c nh quay, !c nh ngh,a nh là nhóm các frame liên t#c có các c tính t ng t nhau. D li u là các chu2n nén nh ngh,a các khoá frame " mô t các c nh, do v y thông tin v các c nh luôn có s6n.
KHOA CNTT –
ĐH KHTN
Trang 37
i v i d li u u vào là d li u thô, các khoá frame !c rút ra b-ng cách dùng bi"u
' Histogram c a các frame.
M t b l c trung v !c dùng cho toàn b d li u u vào. Sau khi l c xong, m t c&u trúc d li u ba chi u (không gian&th i gian) !c hình thành b-ng cách ch ra các c tr ng c a các frame. Các c tr ng này bao g'm: giá tr màu, khác bi t qua t ng frame, o màu da,… Sau các quá trình l c và xây d ng c&u trúc d li u, các i"m m#c tiêu s !c xác nh. Ta thu !c các ph n 'ng nh&t c a kh i d li u b-ng ph ng pháp làm n( volume xung quanh các i"m m#c tiêu, ôi khi c/ng !c g i là i"m g c. Các i"m m#c tiêu !c s+ d#ng " m( r ng volume thông qua các chu2n v t ng t gi a màu s c, vân nh. Các volume sau ó !c l c l i " lo i b các volume kích th c nh . Sau ó ta xác nh qu% o chuy"n ng. Nh ng qu% o này !c dùng nh s c l !ng các chuy"n ng t nh ti n. N u không có quá trình c l !ng chuy"n ng, m t hàm x&p x chuy"n ng s !c th c hi n. Các mô t riêng cho m.i volume và các mô t chung cho m.i c p volume !c xác nh t các qu% o và t các th ng kê trên volume. Nh ng mô t này !c thi t k " thu !c chuy"n ng, màu s c, và các c tính riêng c a m.i volume. T i b c này, ta có !c các ph n 'ng nh&t nh nh&t c a m t chu.i video và quan h gi a chúng d i d ng các mô t .
Hình 3.4: Các công o5n x= lý chính Video Thô CTDL không gian- th i gian Gán im#c tiêu "m N( volume Rút các mô t nh l !ng Tinh l c volume
KHOA CNTT –
ĐH KHTN
Trang 38
3.2.2. C u trúc d? li'u theo không gian và th:i gian
Sau khi o n Video !c rút ra, chúng s !c a vào m t c&u trúc d li u ba chi u theo không gian và th i gian g i là S. C&u trúc d li u này !c xây d ng không ch nh-m m#c ích ph#c v# cho v&n phân vùng trong ch ng này mà còn " ph#c v# cho v&n phân o n i t !ng có ngh,a ( ch ng k t ti p. Các thành ph n chính c a c&u trúc d li u này !c tóm t t trong b ng 3.1.
S C&u trúc d li u theo không gian và th i gian
P i"m trong S ; p = (x, y, t) ω ω ω ω( p) c tr ng t i p Y(p),U(p), V(p) Màu s c t i p δδδδ(p) khác bi t frame t i p θθθθk(p) c tr ng vân nh t i p ρρρρ( p) o màu da t i p ∇Y, ∇U, ∇V Gradient màu mi i"m m#c tiêu c a volume Vi ci Vector c tr ng c a Vi Vi M t volume trong S γ(i) Mô t nh l !ng c a Vi
ΓΓΓΓ(i,j) Mô t quan h gi a c p Vi, Vj
B ng 3.1 : Ghi chú các tham s0 th :ng g,p
M.i ph n t+ trong c&u trúc d li u S(x,y,t) là m t vector c tr ng w(p) =
[Y,U,V, , 1,…., k,,p]. 3 ây, p=(x,y,t) là m t i"m trong S v i (x,y) là to trong không
gian và t là th t frame. Chúng tôi s ghi chú t ng thu c tính riêng c a vector c tr ng
w, ví d# giá tr màu Y t i i"m p !c ky hi u là Y(p). ôi khi chúng tôi dùng w(p,k) "
bi"u di n thu c tính k t i i"m p v i k = Y,U,V. Ngoài giá tr màu, các thu c tính khác có th" !c thêm vào vector c tr ng. o s khác bi t gi a các frame là , các o v vân nh k,e và là l n và h ng c a c nh. Chúng tôi quy t nh dùng không gian màu YUV vì c n b n nó có các thành ph n màu c l p, phù h!p v i nh n th c c a
KHOA CNTT –
ĐH KHTN
Trang 39
con ng i, h n n a kho ng cách màu có th" tính n gi n dùng giá tr màu hay bình ph ng giá tr màu thay vì dùng các phép chia và ngh ch o. Do v y hi u qu phân o n s nhanh h n vì ph n l n th i gian x+ lý c a ph ng pháp n( volume !c x+ d#ng " tính kho ng cách màu gi a các i"m.
3.2.3. Gán các i.m m7c tiêu
M t i"m m#c tiêu là g c c a m t volume bao quanh nó. Sau khi b t u x+ lý, thành ph n nh nh&t c a c&u trúc d li u S !c m( r ng t i"m m#c tiêu. Ký hi u i"m m#c tiêu là mi và g i thành ph n volume là Vi. V i m.i m#c tiêu mi, m t volume và m t ch s i !c gán cho nó. M t m#c tiêu !c ch n n u nó th" hi n tính lân c n c#c b càng thích h!p nh&t có th". Do v y,các i"m có giá tr gradient màu th&p là các ng viên th" hi n tính lân c n c#c b t t nh&t. Chúng tôi s gi i thi u hai cách " tìm các i"m m#c tiêu trong các ph n sau ây.
Cách d nh&t " gán các m#c tiêu là phân b chúng m t cách 'ng u trong S mà không c n quan tâm n s phân b màu s c. Tr ng tâm c a m t kh i a di n, m t hình l p ph ng hay m t kh i l ng tr# có th" !c ch n làm m#c tiêu. Vi c gán m#c tiêu theo cách này không òi h i b&t c s tính toán nào. Tr c tiên, t&t c các i"m !c gán nhãn là s6n sàng. M#c tiêu u tiên !c ch n d c theo h ng quét, t frame u t i frame cu i, t trái qua ph i, t trên xu ng d i. M t kh i !c kh(i gán và n( r ng theo các chu2n kho ng cách màu. M i i"m trong volume v a t o ra !c gán là không còn s6n sàng. M#c tiêu k ti p là m#c tiêu u tiên trong ph n còn l i c a S. M t ph ng pháp khác ph c t p h n là tr c tiên chia kh i S ra thành các kh i a di n. Sau ó tìm
i"m có giá tr gradient nh nh&t trong m t kh i a di n.
M#c tiêu !c ch n trong s các i"m có Gradient th&p. G i Q là t p các i"m s6n sàng ví d# kh(i u v i m i i"m trong S. L !ng Gradient ∇S(x,y,t) !c tính cho m i i"m trong S,và i"m nào có l !ng Gradient nh nh&t c#c b !c ch n là m#c tiêu
mi.
3.2.3.1 Phân b0 *ng u các m7c tiêu
KHOA CNTT –
ĐH KHTN
Trang 40
L !ng Gradient !c tính nh sau :
∇S(x,y,t)=
Σ [ωk(x−,y, t)-ωk(x+ ,y,t)+ωk(x,y−,t) - ωk(x,y+ ,t)+ωk(x,y,t−) - ωk(x,y,t+)]
k = y;u;v
Trong ó ()− và ()+ là các kho ng cách t i"m m#c tiêu ví d# nh x-1, x+1. M t volume
Vi !c n( ra và t&t c các i"m thu c volume b xóa kh i Q mi = arg min∇S(x,y,t)
Q trong ó : Q= S / i∪∪∪∪Vj
j=1
i"m có l !ng Gradient nh nh&t trong ph n S còn l i !c ch n và quá trình ti p t#c cho t i khi không còn i"m nào trong S. Vi c tìm ph n t+ nh nh&t là m t quá trình x+ lý t n r&t nhi u th i gian. Do ó, thay vì tìm ki m trên d li u có kích th c nguyên thu7, m t phiên b n khác c a S có kích th c nh h n (subsampled) s !c dùng. M t cách khác " gi m ph c t p tính toán là chia S thành các lát c t. M#c tiêu u tiên s !c tìm trên lát th nh&t, volume s !c n( r ng, sau ó m t m#c tiêu ti p theo s !c tìm trên các lát ti p theo nh Hình 3.5.
KHOA CNTT –
ĐH KHTN
Trang 41
3.2.4. Quá trình n< volume
C/ng nh s liên k t các vùng nh s t o thành các i t !ng 2 chi u trong m t nh n, s liên k t c a các volume c/ng t o thành các i t !ng trong kh i d li u S. Nói cách khác, m t volume Vi là t p h!p các vùng Ri
t có !c khi chi u cùng m t i t !ng lên các frame nh trong S. Các volume là thành ph n nh nh&t trong S bi"u di n các ph n màu s c và vân 'ng nh&t. S+ d#ng tr ng tâm và m t s chu2n kho ng cách "
ánh giá, volume !c n( ra b-ng cách nhóm các i"m k nhau có cùng các thu c tính. Cách này s x+ lý 'ng th i t&t c các frame c a m t o n frame. Nh v y, trên ph ng di n lý thuy t, ph ng pháp làm n( volume là m t d ng khác, cao h n c a ph ng pháp n( vùng.
Gi s+ ta b t u v i m t tr ng tâm p và m( r ng volume xung quanh i"m p ó. nh ngh,a m t o kh ng cách A (p,q) " cho ra m t giá tr bé n u p và q t ng t nhau và giá tr l n ng !c l i. Bây gi , xét m t i"m pg n k v i i"m q khác, ta có th" thêm qvào volume có tâm p n u kh ng cách A (p,q) < B, v i Blà m t ng ng cho tr c. Quá trình !c ti p t#c v i các i"m láng gi ng c a p. Gi s+ ta có A (p,q) < B và ta thêm q vào volume tâm p. Bây gi ta có th" xét t ng t i v i các láng gi ng c a q và thêm chúng vào volume n u chúng t ng t . T&t nhiên s có m t s câu h i !c t ra :
Làm sao " nh ngh,a o kho ng cách A ? Ng ng B s !c ch n nh th nào ?
Làm th nào " c p nh t các thu c tính c a volume ? Trong các ph n ti p theo, ta s th o lu n v các câu h i trên.
M t h ng ti p c n khác " so sánh m t i"m ng viên p- v i các c tr ng c a volume !c g i là " h ng tâm ". Kh(i u, volume ch ch a i"m m, do ó giá tr t i m
là giá tr vector c tr ng c a volume. Khi volume n( ra, các thông tin t$ng h!p !c tính, và b&t kì i"m p- m i có th" !c thêm vào volume s !c so sánh v i các thông tin t$ng h!p này. M t thông tin khá n gi n nh v y là thông tin c p nh t giá tr trung bình c a các i"m trong volume. Khi thêm m t i"m vào, giá tr trung bình s !c c p nh t. M c dù v n có th" có l ch, giá tr c a t&t c các i"m trong volume có vai trò
KHOA CNTT –
ĐH KHTN
Trang 42
nh m t òn b2y làm gi m l ch nh minh h a trong hình 3.6. M t k% thu t t ng t là kh(i gán volume v i không ch m t i"m mà v i m t t p nh các i"m nh-m di n t các thông tin c a volume t t h n. V i kh(i gán nh v y, không ch giá tr trung bình c a volume !c ngh mà còn dùng s khác bi t. S khác bi t này có th" tính !c b-ng cách l&y m u m t s i"m xung quanh i"m m#c tiêu ban u.
Chúng tôi th c hi n k% thu t k t n i h nng tâm theo h ng l a ch n m.i l n m t i"m m#c tiêu. Sau khi ch n i"m m#c tiêu, m t vector tr ng tâm trung bình !c kh(i gán dùng các c tr ng c a i"m m#c tiêu. Sau ó các i"m p-trong lân c n 6 s
!c ánh giá. Kho ng cách màu A(m,p-) !c tính theo công th c sau :
Ψ••••(m,p−) = Σωωωωk(m) - ωωωωk( p− )
k = y;u;v
Hình 3.6 : Ph )ng pháp k!t n0i h ng tâm so sánh m(t i.m ng viên v i tr3ng
tâm +c kh<i gán b/ng i.m m7c tiêu.
N u kho ng cách màu A(m,p-) nh h n m t ng ng , i"m p- s !c thêm vào volume, !c gán là m t i"m kích ho t. Sau ó tr ng tâm s !c c p nh t.
M c cách l a ch n khác trong công th c tính kho ng cách là ta xây d ng m t công th c d a trên t l Logarith. S màu th ng tr s !c dùng n u nh chúng có s6n. Ng !c l i, trong tr ng h!p s l !ng t+ hoá c a ph$ màu khó có th" th c hi n !c do
KHOA CNTT –
ĐH KHTN
Trang 43
kho ng thay i r&t nh c a nh u vào, ta c l !ng s màu có th" cho m.i kênh. i u này nh vào l !c ' Histogram nh sau ây.
Các l !c ' Histogram !c làm ph5ng dùng b l c gauss và tính các ph m vi màu cho m.i kênh Y,U,V. Sau ó ta tính các giá tr c c i c#c b c a các Histogram cho m.i kênh. Chúng tôi ký hi u giá tr c c i c#c b là hk(li* ). 3 ây hk() là Histogram c a kênh màu k, và li* là giá tr c c i c# b th i. Chú ý là s i"m c c i c#c b là khác nhau trên các kênh màu. Sau ó, Histogram !c gom c#m l i v i tâm m.i c#m chính là các i"m c c i c#c b , theo ó, kho ng cách gi a các c#m c/ng !c tính. D a trên tr ng tâm ci, ba h s Ci(k), k= Y,U,V !c xác nh nh sau :
Ci(k) = 2.5 j(k)
j = arg min n |ci(k) – hn(k)|
trong ó hn(k) là tâm g n nh&t, j(k) là khác bi t kho ng cách trong c#m j v i màu k. Nh ng h s này nh rõ ph m vi c a c#m. Kho ng cách Logarith !c tính nh sau :
d(ci, q) = Σ Hk log2(1+ ci(k) - ωωωω(q,k)
Ci(k) )
k
trong ó, Hk là s c#m trên m.i kênh, d(ci,q) là kho ng cách t tâm ci n i"m ng viên
q.
M t kênh màu có nhi u màu c bi t có th" cung c&p nhi u thông tin h n cho phân o n nh, kho ng cách i v i các kênh !c nhân v i s c#m t ng ng. Do ó ng ng kho ng cách !c tính b(i :
εi = Σ Hk
k
v i ý ngh,a là các giá tr wy (p−), wu(p−), wv(p−), n-m trong ph m vi s màu c a tr ng tâm. M.i ng ng !c tính cho m t tr ng tâm sau khi nó !c xác nh. K t qu !c bi"u di n trong hình 3.7.
KHOA CNTT –
ĐH KHTN
Trang 44
Hình 3.7 : K!t qu c8a ph )ng pháp liên k!t h ng tâm
Quá trình làm n( volume có th" th c hi n b-ng các cách làm n( 'ng lo t các volume, ho c ch làm n( m t volume t i m t th i i"m. H n n a, s n( ra có th" !c làm theo ki"u ch n l a t trong frame t i liên frame ho c theo ki"u quy xa d n.
• N( 'ng th i : Sau khi t&t c các i"m m#c tiêu !c xác nh, các volume n( 'ng th i t các i"m m#c tiêu ó. T i m t chu k1 n(, c p nh t t&t c các