Xác định vận tốc đối tượng chuyển động qua camera

-1- -2- B GIÁO D C VÀ ĐÀO T O Đ I H C ĐÀ N NG M Đ U Lý ch n ñ tài V i s phát tri n nhanh chóng c a lo i máy móc hi n đ i máy nh s , máy quay s , máy vi tính, n tho i đ ng … lư ng thơng tin ngư i thu ñư c dư i d ng hình nh l n Đ lư ng NGUY N VĂN TRUNG thơng tin tr nên có ích ngư i c n có thao tác đ ti n hành x lý t ñó t o ñi u ki n cho s phát tri n không ng ng c a k thu t x lý hình nh X lý nh m t nh ng cơng ngh đư c ng d ng r ng rãi hi n nhi u lĩnh v c c a ñ i XÁC Đ NH V N T C Đ I TƯ NG CHUY N Đ NG QUA CAMERA s ng xã h i Không ch d ng l i vi c x lý nh ng v t nhèo, tái ch ph c h i nh cũ (Hình 1), ngày cơng ngh x lý nh ñã mang l i nh ng ti n b vư t b c nh n d ng vân tay, nh n d ng khuôn m t, nh n d ng ñ i tư ng …v.v k t h p v i lĩnh v c trí tu nhân t o Chuyên ngành: KHOA H C MÁY TÍNH Mã s : 60.48.01 Bên c nh đó, h th ng camera quan sát ngày ñư c s d ng m t cách r ng rãi v i m c đích tr giúp c nh sát, ngư i tham gia giao thơng t i m nút giao thơng, t phát hi n ngư i vi ph m H m ñư ng b ngày ph bi n nư c ta, có vai trị l n vi c tích ki m chi phí an tồn cho ngư i tham gia giao thơng Do ñ c TÓM T T LU N VĂN TH C SĨ K THU T thù c a h m dư i lịng đ t nên vi c qu n lý xe qua l i r t khó khăn Nên vi c c nh sát giao thông x lý xe vi ph m tr c ti p h m không th Ngư i hư ng d n khoa h c: TS Huỳnh H u Hưng Vì v y vi c xác ñ nh v n t c c a xe d a vào video ñã ghi l i ph c v cho vi c x lý qu n lý xe vi ph m t c ñ ch m t i h m ñư ng b ñi u c n thi t M c tiêu nhi m v nghiên c u M c đích c a ñ tài nh m nghiên c u thu t toán phát hi n Đà N ng - Năm 2012 theo v t, t tính tốn v n t c c a ñ i tư ng chuy n ñ ng t d li u -3- -4- video, làm s ñ xây d ng h th ng xác ñ nh v n t c c a đ i tư ng • tham gia giao thơng hi n chuy n đ ng, thu t tốn phát hi n theo v t ñ i tư ng Ti n hành phân tích cài đ t: thu t tốn tr n n đ phát - Xác đ nh ñ i tư ng giao thông ñang chuy n ñ ng chuy n ñ ng t d li u video, t xác đ nh v n t c c a đ i - Dị v t c lư ng v n t c s d ng phương pháp optical flow tư ng chuy n ñ ng - T o ti n ñ cho vi c xác ñ nh v n t c c a ñ i tư ng vi ph m, • làm b ng ch ng cho vi c x lý vi ph m, góp ph n nâng cao ý th c ch p hành tham gia giao thông c a ngư i dân Bên c nh đ tài cịn mong mu n giúp cho m i ngư i có m t So sánh ñánh giá k t qu ñ t ñư c K t qu d ki n - N m v ng cài đ t thành cơng thu t tốn: phát hi n chuy n đ ng b ng phương pháp tr n n, truy v t đ i tư ng b ng phương nhìn tồn di n v vai trò kh ng d ng c a công ngh x pháp phân m nh vùng (region based segmentation), t xây d ng lý nh vào th c t c a ñ i s ng xã h i thành cơng chương trình xác ñ nh v n t c ñ i tư ng chuy n ñ ng Đ i tư ng ph m vi nghiên c u -T o ñư c b ng so sánh k t qu , đ xác c a phương - Đ i tư ng nghiên c u pháp phát hi n theo v t ñ i tư ng chuy n ñ ng d a t p Trong lu n văn này, d li u ñư c x lý ño n video có s n video có s n đư c quay t m t camera tĩnh ghi l i v i chu n AVI (Audio Video Interleave) Ý nghĩa khoa h c th c ti n c a lu n văn -V m t lý thuy t - Ph m vi nghiên c u • Ph m vi nghiên c u c a ñ tài liên quan ñ n lĩnh v c x lý nh s t thông qua vi c s ph n m m Matlab Phương pháp nghiên c u - Phương pháp nghiên c u lý thuy t • ng d ng thành công công ngh x lý nh vào th c T o ti n ñ cho nh ng nghiên c u ti p theo tương lai -V m t th c ti n • Giúp gi m cơng s c, tăng hi u qu vi c xác đ nh đ i • Tìm hi u cách l p trình v i Matlab tư ng vi ph m t c đ tham gia giao thơng (qua h m, • Tìm hi u phương pháp tr n n (background subtraction) ñ c u…) phát hi n chuy n ñ ng • • xác ñ nh hành vi té ngã c a ngư i b nh Tìm hi u phương pháp phân m nh vùng(region based segmentation) ñ dị v t đ i tư ng • Tìm hi u phương pháp xác ñ nh v n t c c a ñ i tư ng chuy n ñ ng s d ng camera calibration - Phương pháp nghiên c u th c nghi m Đ tài có ng d ng h th ng chăm sóc s c kh e B c c lu n văn N i dung c a lu n văn ñư c chia thành ph n sau: M ñ u Chương 1: Nghiên c u t ng quan -5- -6- T ng quan v camera s , v video, k thu t phát hi n theo v t ñ i tư ng video s nh m giúp hi u rõ v k CHƯƠNG 1: NGHIÊN C U T NG QUAN thu t phát hi n chuy n ñ ng, theo v t ñ i tư ng, phương pháp hi u 1.1.T NG QUAN V CAMERA S ch nh camera (camera calibration) 1.1.1 Khái ni m v Camera s Chương 2: Phân tích thi t k h th ng Phân tích thi t k h th ng ñ xây d ng ch c c a chương trình Chương 3: Cài đ t k t qu Cài đ t chương trình, k t qu minh h a ràng bu c c a chương trình K t lu n hư ng phát tri n K t lu n, ph m vi ng d ng, h n ch c a chương trình hư ng phát tri n tương lai Camera m t thi t b ghi hình có th ghi l i đư c nh ng hình nh m t kho ng th i gian lưu tr d li u hình nh 1.1.2 Phân lo i Camera Có cách phân lo i Camera Cách 1: Phân lo i theo kĩ thu t hình nh Cách 2: Phân lo i theo kĩ thu t ñư ng truy n Cách 3: Phân lo i theo tính s d ng 1.1.3 H th ng camera quan sát H th ng camera giúp cho nh ng nhà qu n lý có th ki m sốt Ph l c cơng vi c m t cách ch t ch hơn, ti t ki m ñư c chi phí làm cho Trình bày v vi c thi t l p môi trư ng cho vi c l p trình v i hình nh c a doanh nghi p ñư c chuyên nghi p, hi n ñ i Matlab b ng th ng kê k t qu 1.2 T NG QUAN V VIDEO 1.2.1 Khái ni m v Video Thu t ng video dùng đ ch ngu n thơng tin hình nh tr c quan (pictorial visual information), bao g m m t chu i nh tĩnh (still image) liên ti p nhau, ñư c s p x p theo chi u th i gian 1.2.2 Video s 1.2.2.1 Tín hi u video s Tín hi u video s đư c lưu tr dư i d ng s , chúng ñư c l y m u lư ng t hóa 1.2.2.2 Ưu c m c a video s - Ưu m V i tín hi u s , ta không c n ph i chuy n đ i gi a tín hi u tín hi u tu n t Ngồi ra, cịn có th ch nh s a, t o hi u -7- ng tín hi u video s -8- Ý tư ng c a phương pháp t i m i pixel c a mơ hình - Như c m n n, m t t p cluster v i tâm gi i h n không gian màu s Như c m c a video s địi h i kh i lư ng lưu tr l n ñư c xây d ng nh m th hi n s phân b c a pixel n n không băng thơng r ng đ truy n t i gian màu M i cluster v y đư c g i codeword, t p cluster t i 1.2.2.3 Chu n video s AVI m i v trí pixel ñư c g i codebook 1.3 CÁC PHƯƠNG PHÁP TR N N PHÁT HI N Đ I TƯ NG 1.3.1 T ng quan v phát hi n ñ i tư ng Phát hi n ñ i tư ng chuy n ñ ng video m t tốn đư c nghiên c u r ng rãi có nhi u ng d ng cu c s ng hi n 1.3.2 Gi i thi u v phương pháp tr n n Ý tư ng chung c a phương pháp tr n n là: Đ phát hi n 1.3.6 Đánh giá k t lu n Đ so sánh gi a phương pháp tr n n, ta ti n hành th nghi m 40 m u video khác v kích thư c, ánh sáng, đ rung c a camara, ñ d ch chuy n c a n n,…v.v D a vào k t qu c a vi c phát hi n chuy n ñ ng c a phương pháp tr n n video m u ta có th k t lu n r ng: Trong phương pháp tr n n ñư c ñ c p phương pháp Running đư c đ i tư ng chuy n ñ ng video ph i có đư c Gaussian Average ln cho k t qu v i đ xác cao t c đ x lý mơ hình n n (background model) Mơ hình n n có th đư c h c c a phương pháp nhanh Tuy nhiên xét v t c đ x lý qua nhi u frame nh n u n n b thay ñ i, ngư c l i ta có th ch n m t phương pháp Frame Difference t n th i gian x lý nh t V i phương n n có s n n u n n khơng b thay đ i Sau đó, ta s dùng mơ hình n n pháp Codebook đ xác c a phương pháp ph thu c vào s ñ so sánh v i frame nh hi n t i k t qu ta s nh n bi t ñư c ñâu ph n n n, ñâu ph n chuy n ñ ng 1.3.3 Frame Difference nh ñư c ch n ñ h c n n b nh hư ng b i đ sáng th k t qu c a khơng xác m t s trư ng h p T nh ng lý ta có th áp d ng phương pháp tr n n Ý tư ng phương pháp Frame Difference đ i Running Gaussian Average ho c Frame Difference ñ phát hi n ñư c tư ng chuy n ñ ng s ñư c phát hi n d a s khác bi t gi a hai ñ i tư ng chuy n ñ ng file video ñư c lưu t camera quan sát frame nh liên ti p v i m t ngư ng ñư c ch n trư c tùy vào tình hu ng c th 1.3.4 Running Gaussian Average 1.4 PHƯƠNG PHÁP HI U CH NH CAMERA Phương pháp Wren, Azarbayejani, Darrell Pentland ñưa vào năm 1997 Phương pháp ñ t m t phân ph i Gaussian G(µ, σ) 1.4.1 T ng quan v hi u ch nh camera Hi u ch nh camera bư c ñ u tiên hương t i tính tốn th giác lên s bi n thiên giá tr c a m i pixel đo n video máy tính M c dù m t vài thơng tin t ng c nh đo có th ñư c l y t 1.3.5 Codebook camera không hi u ch nh, vi c hi u ch nh c n thi t thông tin h ño ñư c yêu c u -9- 1.4.1.1 Phân lo i - Hi u ch nh camera có th đư c phân lo i d a theo nhi u tiêu chí khác - 10 - Theo v t đ i tư ng giám sát thay ñ i theo khơng gian th i gian c a đ i tư ng su t chu i video v trí, kích thư c ho c hình dáng c a đ i tư ng - Chúng ta có th phân lo i d a vào phương phương pháp ño ñ c s d ng ñ c tính thơng s c a mơ hình camera: • Kĩ thu t t i ưu khơng n tính (non linear optimization) • Nh ng kĩ thu t n tính mà vi c tính tốn chuy n đ i ma 1.5.2 Phương pháp Region Segmentation 1.5.2.1 Gi i thi u v vùng (Region) Vùng (region) x lý nh m t nhóm m nh liên k t v i có thu c tính nh s ñư c phân chia thành nhi u vùng, mà liên quan đ n tr n • 1.4.1.2 Nh ng kĩ thu t bư c (two-step) Các phương pháp hi u ch nh camera Phương pháp hi u ch nh camera ph thu c vào mơ hình dùng ñ c lư ng hành vi c a camera Nh ng mơ hình n tính Hall nhi u ñ i tư ng, ho c m t ph n c a ñ i tư ng, S phân chia vùng thư ng ñư c th c hi n b ng cách s d ng giá tr xám (gray values) c a ñi m nh G m hai phương pháp ti p c n ph bi n: Region-based, Edge Detection Faugeras-Toscani, s d ng phương pháp bình phương nh t ñ thu B ng 1 B ng so sánh hai hư ng ti p c n đư c tham s c a mơ hình camera Tuy nhiên, phương pháp Region based hi u ch nh camera phi n tính như: Faugeras-Toscani v i nh ng bi n d ng, Tsai Weng; s d ng kĩ thu t hai bư c 1.4.2 Đánh giá k t lu n Đ xác vùng nh c a phương pháp phi n t t phương pháp h a n Tuy nhiên th i gian th c hi n c a phương pháp h a n th p T nh ng k t lu n trên, ñ tăng đ xác c a hi u ch nh camera, thu n ti n phát tri n tốn s d ng Matlab, ta ch n cơng c camera calibration toolbox [7], mà tích h p nhi u phương pháp hi u ch nh [6] r t thích h p đ phát tri n tốn 1.5 CÁC PHƯƠNG PHÁP THEO V T Đ I TƯ NG 1.5.1 T ng quan v theo v t ñ i tư ng Đư ng biên đóng Edge detection (closed Biên khơng c n thi t ph i đóng boundaries) Tính tốn d a s tương đ ng Tính toán d a s khác bi t 1.5.2.2 Region-based segmentation M c tiêu c a phân khúc ñ phân vùng m t hình nh vào khu v c Khi m t ñ i tư ng di chuy n ñư c phân ño n, m t khu v c c a ñi m nh gán cho ñ i tư ng kh d ng Khu v c có th đư c theo dõi s d ng phương pháp ti p c n cross-correlation V trí c a khu v c khung ti p theo ñư c xác ñ nh M t ñ i tư ng chuy n ñ ng thư ng tương ng v i m t ho c m t s khu v c theo dõi - 11 - S k t h p c a m t s khu v c cho m t đ i tư ng sau đư c th c hi n m t m c ñ tr u tư ng cao - 12 - Có nhi u phương pháp ñư c ñưa ñ xác ñ nh v n t c ñ i tư ng chuy n ñ ng, nhiên v n ñ nhi u ph c t p c n nghiên c u lâu dài Trong lu n văn này, ta gi i thi u phương pháp sau: - Phương pháp 1: Xác đ nh v n tơc d a vào phương pháp lu ng 1.5.2.3 Các hàm dùng phân vùng Mablab Hàm bwconncomp dùng đ tìm thành ph n liên k t file nh nh phân Bwlabel hàm dùng ñ gán nhãn thành ph n k t n i file nh nh phân 1.6 BÀI TOÁN XÁC Đ NH V N T C Đ I TƯ NG CHUY N Đ NG QUA CAMERA 1.6.1 Xác ñ nh v n t c ñ i tư ng chuy n ñ ng 1.6.1.1 Gi i thi u Xác ñ nh v n t c c a ñ i tư ng chuy n ñ ng qua camera bư c quan tr ng phát tri n ng d ng th giác máy tính Nó có nhi u ng d ng nhi u lĩnh như: - Giao thông v n t i - H th ng chăm sóc s c kh e - Cơng nghi p s n xu t t ñ ng 1.6.1.2 Các phương pháp xác ñ nh v n t c Hi n có nhi u phương pháp xác đ nh v n t c ñ i tư ng chuy n ñ ng qua camera Tuy nhiên, phương pháp ñ u tr i qua bư c sau: - Bư c 1: Phát hi n dị v t đ i tư ng chuy n ñ ng - Bư c 2: Xác ñ nh ñ i tư ng chuy n ñ ng m c tiêu - Bư c 3: Tính v n t c c a ñ i tư ng m c tiêu quang h c (optical flow) - Phương pháp 2: Xác ñ nh v n t c ñ i tư ng chuy n ñ ng d a vào phương pháp tr n n k t h p v i phân m nh vùng [8] 1.6.1.3 Xác ñ nh v n t c d a vào phương pháp lu ng quang h c (Optical flow) Phương pháp lu ng quang h c dùng đ tính tốn hư ng c a chuy n ñ ng c a ñ i tư ng ño lư ng v n t c c a đ i tư ng - Các bư c đ tính tốn s khác bi t lu ng quang h c: • Bư c 1: Đo lư ng đ o hàm cư ng đ theo khơng gian th i gian • Bư c 2: Tích h p v n t c chu n (normal) vào v n t c tồn th - Các u ki n ràng bu c c a phương pháp: • T t c ñ i tư ng c nh c đ nh, khơng có thay đ i v hình d ng • Đ i tư ng chuy n ñ ng m t ph ng (2D), nghĩa t a ñ (OZ) h ng s - Ưu ñi m c a phương pháp là: • Đơn gi n, s lư ng tính tốn • Tính tốn u ki n c a thu t tốn đem l i k t qu tính v n t c v i đ xác cao, t l sai s th p - Như c ñi m c a phương pháp: - 13 - • Khơng thích h p tính tốn v n t c mơi trư ng bên ngồi, đ i tư ng có hình d ng b t kì • Phương pháp ch cho k t qu t t ñ i tư ng chuy n ñ ng m t ph ng, cịn đ i tư ng chuy n ñ ng theo chi u sâu, phương pháp có tác d ng - 14 - 1.6.2 Đánh giá k t lu n T k t qu nghiên c u trên, ta nh n th y r ng phương pháp xác ñ nh v n t c có đ xác cao, đơn gi n d áp d ng Tuy nhiên, phương pháp nhi u h n ch như: - Ch xác ñ nh ñư c v n t c ñ i tư ng chuy n ñ ng m t ph ng 1.6.1.4 Xác ñ nh v n t c d a phương pháp tr n n phân m nh vùng nh - Đ xác gi m ñ i tư ng chuy n ñ ng theo qu ñ o ph c t p… Phương pháp dùng ñ xác ñ nh v n t c c a ñ i tư ng chuy n ñ ng Đ kh c ph c nh ng c ñi m trên, Lu n văn nghiên c u thơng qua đo n video d a hai kĩ thu t tr n n phân m nh phương pháp hi u ch nh camera k t h p v i phương pháp tr n n vùng phân m nh vùng nh ñ xác ñ nh t a ñ c a ñ i tư ng chuy n ñ ng qua - Phương pháp: Phương pháp tr n n phân m nh vùng ñã ñư c ñ c p ph n lý thuy t m c - Các ñi u ki n ràng bu c c a phương pháp: • N n khơng đư c thay đ i • Đ i tư ng chuy n đ ng m t ph ng không theo chi u sâu • Các đ i tư ng khơng ch ng lên - Ưu m c a phương pháp: • Xác ñ nh ñư c v n t c nhi u đ i tư ng m t lúc • Đơn gi n, l i hi u qu đ i v i ñ i tư ng b t kỳ -Như c m c a phương pháp: • Phương pháp hi u qu đ i v i đ i tư ng chuy n ñ ng theo chi u xâu • Chưa xác đ nh đư c đ i tư ng nhi u ñ i tư ng chuy n đ ng ch ng lên • Tính v n t c trung bình chưa quy đ i t a đ th c nên đ xác chưa cao t a đ th c t nâng cao đ xác c a vi c đo t c đ - 15 - - 16 - - Đ u ra: T a ñ tr ng tâm c a ñ i tư ng chuy n đ ng -Thu t tốn x lý đư c trình bày sau: CHƯƠNG 2: PHÂN TÍCH THI T K H TH NG for i=0 to (totalFrame-1) 2.1 PHƯƠNG PHÁP HI U CH NH CAMERA Đ XÁC Đ NH a.Đ c frame[i] V NT C b.L y nh tham chi u, rImg 2.1.1 MÔ T CHƯƠNG TRÌNH c.C p nh p frame[i] b ng phương pháp tr n n nh tham Chương trình xác ñ nh v n t c ñ i tư ng chuy n ñ ng l y d li u t ño n video quay l i t m t camera tĩnh, ghi l i v i chu n AVI chi u rImg d.T i m i frame[i]: Sau có d li u đ u vào chương trình s x lý ño n video ñ l y t t c khung hình Ti p đó, t m i khung hình có đư c, ta ti n hành tìm -Xác đ nh thành ph n liên k t b ng phương pháp gán nhãn ki m truy v t ñ i tư ng d a vào phương pháp tr n n phân m nh -Tính tốn di n tích c a t ng vùng liên k t vùng (region based segmentation) Ti p ta xác đ nh ñ i tư ng -Xóa b chuy n ñ ng m c tiêu, tìm t a đ trung tâm c a đ i tư ng, quy đ i t a ñ th c d a vào kĩ thu t hi u ch nh camera (camera ñ i tư ng nh giá tr ngư ng (threshhold) e.T o c u trúc hình thái thành ph n, i.e ; G n c u trúc hình thành ph n sau: calibration) 2.1.2 XÂY D NG THU T TỐN PHÁT HI N VÀ DỊ V T Đ I TƯ NG CHUY N Đ NG 2.1.2.1 Mô t thu t tốn Đ dị v t m i ñ i tư ng ta k t h p c a hai phương pháp tr n n (background extraction) phân m nh vùng (region based segmentation), ñây bư c quan tr ng nh t c a toán Đ u tiên t i m i khung hình, ti n c nh ñư c tách kh i n n b ng phương pháp nh tham chi u [12] Sau đó, d a ti n c nh l y ñư c ta s xác ñ nh thành ph n liên k t (connected components), c lư ng di n tích vùng nh, tìm di n tích vùng l n nh t, cu i tr v t a ñ trung tâm c a vùng 2.1.2.2 Thu t tốn x lý - Đ u vào: D li u t camera quan sát ho c t video đư c thu l i f.Đóng nh nh phân b i c u trúc hóa thành ph n g.Ư c lư ng vùng nh h.Tìm vùng l n nh t i.Xác đ nh v trí trung tâm (x, y) c a vùng l n nh t j.Tr v giá tr t a ñ x, y k K t thúc 2.1.3 XÂY D NG THU T TOÁN XÁC Đ NH V N T C Đ I TƯ NG CHUY N Đ NG 2.1.3.1 Phương pháp tính kho ng cách - 17 - - 18 - Kho ng cách Euclid (D) di chuy n b i ñ i tư ng gi a c p khung hình liên ti p đư c tính tốn sau chi u t a ñ trung tâm c a ñ i tư ng m i khung hình qua t a ñ th c Kho ng cách gi a hai tr ng tâm P ( , , ) Q ( , , )h Tính tốn v n t c trung bình c a đ i tư ng đo n video sau: 10 K t thúc t a ñ 3D: 2.1.3.3 K t qu (2 1) 2.1.3.2 Thu t tốn xác đ nh v n t c c a ñ i tư ng chuy n ñ ng m c tiêu - Đ u vào: D li u t camera quan sát ho c t video ñư c thu l i - Đ u ra: v n t c c a ñ i tư ng chuy n ñ ng m c tiêu Hi u ch nh Camera (Camera calibration): - Kho ng cách tiêu ñi m (Focal Length): - Đi m nh (Principal point): - Đ l ch (Skew): Angleof pixel axes - Thu t toán x lý ñư c trình bày sau: Degrees Xác ñ nh tham s bên trong, bên b ng kĩ thu t - Đ méo (Distortion): hi u ch nh camera Đ c file video X lý file đ l y thơng tin c n thi t t đo n video Tìm tham s tu n su t Frame c a ño n video RF Tính t ng s th i gian th i gian t ng frame: T - Sai s ñi m nh (Pixel error): V n t c di chuy n: Ti n hành th nghi m camera có t c đ / 30 khung hình giây, kích thư c khung sau 640 X 480 Xác ñ nh quãng ñư ng Di c a ñ i tư ng gi a khung th i khung th (i+1) th gi i th c b ng cách s d ng hàm truy v t ñ i tư ng, phương pháp tính kho ng cách Tính v n t c gi a khung Fi Fi+1 sau L p bư c 6, for i= to gi a khung hình , ñ xác ñ nh t t c v n t c K t qu th ng kê sau: - 19 - - 20 - B ng B ng so sánh v n t c ño lư ng v n t c tính tốn Stereo vision kĩ thu t s d ng hai hay nhi u camera ho c m t camera chuy n ñ ng ñ ño lư ng kho ng cách [2] Thi t l p ñơn gi n V n t c ño lư ng V n t c tính tốn Sai s % sai s |v-v’|(cm/s) nh t (c u hình kinh ñi n) s d ng hai máy nh ph ng ñ t cách m t kho ng cách theo chi u ngang bi t trư c (xem nh 2.4) v(cm/s) v’(cm/s) 18.90 18.59 0.31 1.6 18.71 18.424 0.288 1.54 25.82 26.096 0.276 26.58 0.109 0.412 24.62 24.54 0.0784 P ZQ 1.06 26.69 Q ∆ZPQ 0.318 ZP 2.2 PHƯƠNG PHÁP CAMERA STEREO CHO XÁC Đ NH V N T C Đ I TƯ NG CHUY N Đ NG 2.2.1 Mô t phương pháp cr cl Image planes f pr pl Optical centers (lenses) T Hình 2 H th ng chu n c a hai camera v i ñ dài tiêu c f Phương pháp s d ng kĩ thu t hi u ch nh camera camera stereo ñ xác ñ nh v n t c c a ñ i tư ng chuy n ñ ng kho n cách s T Kho ng cách theo chi u ngang gi a hai camera có t a đ pi pr ñư c g i ñ l ch cho phép tính tốn đ sâu ho c kho ng cách Zp c a ñi m 3D P t camera Y-axis 2.2.3 Kho ng cách tr c Y M u so kh p cho tính tốn đ l ch: P2 Đ c lư ng ñư c ñ l ch c a ñ i tư ng c p nh stereo, ñ u y tiên c n ph i truy v t ñ i tư ng nh bên trái Đ i tư ng X-axis P1 x sau đư c s d ng m u đ tìm m t đ i tư ng kh p bên nh bên ph i Đi u hồn tồn th c hi n đư c b i nh c a m t đ i tư ng khung nhìn bên trái bên ph i r t tương ñ ng s Stereo Camera d ng mơ hình stereo camera kinh n lu n văn Hình Hư ng chuy n đ ng nhìn t xu ng 2.2.2 T ng quan v Stereo Vision 2.2.4 Kho ng cách tr c X - 21 - - 22 - Tính kho ng cách tr c X gi ng phương pháp tính kho ng cách phương pháp hi u ch nh camera ñ xác ñ nh v n t c 2.2.5 Tính tốn v n t c Sau có giá tr x y, tính toán kho ng cách gi a P1 P2 s d ng công th c Pythagorean: PP2 = x2 + y ∑ 2.2.6 3.1.1 Yêu c u h th ng Đ th c hi n hi u ch nh camera, kh i ñ ng Matlab gõ l nh ocam_calib Sau t i nh m u ñ th c hi n hi u ch nh Đ s d ng k t qu hi u ch nh ta ch n save, sau ch n load P P2 1 second 3.1 CÀI Đ T CHƯƠNG TRÌNH 3.1.2 Cài đ t (2 2) Cu i cùng, có th đo đ c v n t c c a ñ i tư ng chuy n ñ ng t a ñ th c b ng cách tính tốn t ng kho ng cách P1P2 s frame thu ñư c m i giây S= CHƯƠNG 3: CÀI Đ T VÀ K T QU (2 3) Sau có k t qu hi u ch nh camera ta ti n hành ño t c ñ b ng đo n l nh báo cáo K t lu n ñánh giá Phương pháp s d ng kĩ thu t stereo vision k t h p v i phương pháp 3.2 K T QU hi u ch nh camera ñ xác ñ nh v n t c, t có th xác đ nh đư c v n B ng K t qu xác ñ nh t a ñ tr ng tâm t c c a ñ i tư ng chuy n ñ ng theo m t qu ñ o ph c t p Phương pháp h a h n s có nhi u ng d ng tương lai Tuy nhiên, lu n văn ch m i dùng l i d ng ñư c ng d ng ñ ki m th vi c nghiên c u lý thuy t chưa xây STT T a ñ tr ng tâm 2D T a ñô tr ng tâm 3D khung (41.5557 226.9085) (-0.6842 -0.5694 0.4558) 30 (129.7268 233.4141) (-0.6374 -0.6982 0.3259) 60 (216.7695 248.0980) (-0.5287 -0.8340 0.1577) 90 (282.1158 263.4749) (-0.3794 -0.9252 0.0125) 120 (359.9312 282.0263) (-0.1032 -0.9856 -0.1336) 150 (445.5017 270.9559) (0.2469 -0.9670 -0.0625) 180 (498.5813 264.3691) (0.4199 -0.9071 0.0278) 210 (514.0632 263.8442) (0.4637 -0.8844 0.0535) 240 (554.5049 260.1997) (0.5559 -0.8206 0.1323) 270 (597.0754 261.2381) (0.6338 -0.7456 0.2059) 283 (606.8679 267.5540) (0.6588 -0.7222 0.2107) - 23 - - 24 - K T LU N VÀ HƯ NG PHÁT TRI N B ng T ng kho ng cách di v n t c di chuy n ñư c gi a c p khung hình C p khung hình 1.K t lu n Kho ng cách V nt c Xét v m t lý thuy t, đ tài hồn thành đư c vi c tìm hi u 1-2 0.0007617 0.0229 ph n lý thuy t ñã ñ t như: Tìm hi u s d ng thành th o ph n m m 30-31 0.0122 0.3671 matlab đ phát tri n tốn, tìm hi u đư c khái ni m b n v 60-61 0.00007739 0.0023 video camera s , tìm hi u ñư c thu t toán v phát hi n chuy n 90-91 0.0111 0.3329 ñ ng b ng phương pháp tr n n: Frame Differrence, Running Gausian 120-121 0.00015249 0.0046 Average Codebook, tìm hi u đư c phương pháp phương pháp 150-151 0.0128 0.3838 camera calibration, tìm hi u ñư c phương pháp theo v t region 180-181 0,00014403 0.0043 based segmentation, tìm hi u đư c cách th c xác ñ nh v n t c ñ i tư ng 210-211 0.0017 0.0498 chuy n ñ ng 240-241 0.00057176 0.0172 Xét v m t th c ti n, đ tài hồn thành đư c m c tiêu ñư c ñ t 270-271 0.000064816 0.0019 như: Phát hi n truy v t ñ i tư ng qua t ng frame c a video, xác 282-283 0.000062636 0.0019 ñ nh ñư c t a ñ c a ñ i tư ng th gi i th c, xác ñ nh ñư c v n t c ñ i tư ng chuy n ñ ng qua camera, hồn thành vi c cài đ t ch y T ng kho ng cách di chuy n đư c: thành cơng thu t tốn nghiên c u ph n lý thuy t, th c hi n D = 1.9627 (m) vi c so sánh, ñánh giá ưu c ñi m c a t ng thu t toán ch n V n t c trung bình c a đ i tư ng chuy n đ ng là: đư c thu t tốn phù h p nh t v i t ng ch c c a chương trình, s V = 0.2081(m/s) d ng thành công công c ph c v cho vi c x lý video Motion Video, FLV Converter ñ chuy n ñ i ñ nh d ng video khác v ñ nh d ng AVI ñ d dàng cho vi c thao tác Matlab Ph m vi ng d ng Đ tài có ph m vi ng h th ng giám sát y t , h th ng xác ñ nh t c ñ giao thông (qua h m) - 25 - - 26 - Bên c nh đ tài cịn t o n n t ng cho nh ng nghiên c u v c m quan máy tính nói riêng x lý nh nói chung tương lai H n ch Bên c nh nh ng k t qu ñã ñ t ñư c, đ tài v n cịn có m t s h n ch c n ph i ñư c kh c ph c như: - T c ñ x lý c a chương trình cịn ch m x lý nh ng video có đ phân gi i cao kích thư c l n - Vi c xác ñ nh ñ i tư ng chuy n ñ ng, ch d ng l i vi c xác ñ nh ñ i tư ng chi m vùng l n nh t - Vi c tính v n t c ch cho chuy n đ ng th ng khơng gian 2D (chi u x,y) chưa xác đ i tư ng chuy n ñ ng theo chi u sâu Hư ng phát tri n Trong trình th c hi n ñ tài, nh ng h n ch v trình đ th i gian th c hi n đ tài có h n, chương trình đư c xây d ng ch ph n demo c a thu t tốn xác đ nh v n t c c a ñ i tư ng chuy n ñ ng Đ tri n khai th c t , địi h i c n ph i c i ti n n a Hy v ng tương lai, nh ng phát tri n dư i ñây s giúp đ tài hồn thi n - Xác đ nh ñ i tư ng chuy n ñ ng v i tiêu chí c th - Xây d ng thu t toán c i thi n ch t lư ng c a video lo i tr nhi u, lo i b bóng t i ưu hóa thu t tốn đ tăng t c đ x lý c a chương trình - ng d ng kĩ thu t camera stereo ñ xác ñ nh ñư c v trí xác c a đ i tư ng di chuy n theo chi u sâu(trong không gian 3D), t tính tốn v n t c c a đơi tư ng đư c xác  ... BÀI TOÁN XÁC Đ NH V N T C Đ I TƯ NG CHUY N Đ NG QUA CAMERA 1.6.1 Xác ñ nh v n t c ñ i tư ng chuy n ñ ng 1.6.1.1 Gi i thi u Xác ñ nh v n t c c a ñ i tư ng chuy n ñ ng qua camera bư c quan tr ng... n chuy n ñ ng, theo v t ñ i tư ng, phương pháp hi u 1.1.T NG QUAN V CAMERA S ch nh camera (camera calibration) 1.1.1 Khái ni m v Camera s Chương 2: Phân tích thi t k h th ng Phân tích thi t k... t t ñ ng 1.6.1.2 Các phương pháp xác ñ nh v n t c Hi n có nhi u phương pháp xác đ nh v n t c ñ i tư ng chuy n ñ ng qua camera Tuy nhiên, phương pháp ñ u tr i qua bư c sau: - Bư c 1: Phát hi n