Giảm rung video sử dụng so khớp điểm đặc trưng

Giảm rung video sử dụng so khớp điểm đặc trưng kỹ thuật giảm rrung video rất hữu ích trong việc nhân dạng người biển số xe...từ hệ thống camera giám sát có độ phân giải kém về mặt chất lượng.

I H C À N NG TR NG I H C BÁCH KHOA -oo0oo TI U LU N MỌN H C TH GIÁC MÁY TệNH tài: GI M RUNG VIDEO S D NG SO KH P I M H c viên th c hi n : PH M QU C C L p : K35DTCH Gi ng viên h ng d n : TS PHAN TR N C TR NG NG NG KHOA N ng, 5-2018 M CL C DANH M C HÌNH NH CH NG 1: T NG QUAN K THU T GI M RUNG VIDEO S D NG SO KH P I M C TR NG 1.1 Gi i thi u 1.2 Bài toán gi m rung video 1.3 L u đ thu t toán gi m rung video s d ng so kh p m đ c tr ng 1.3.1 c khung nh t video đ u vào 1.3.2 Thu th p m n i b t t m i khung hình 1.3.3 Ch n s t 1.3.4 cl ng ng gi a m ng bi n đ i t s t ng ng có nhi u 10 1.3.5 X p x phép bi n đ i làm m n .12 1.4 K t lu n 13 CH NG 2: MỌ PH NG ậ ÁNH GIÁ K T QU TH C NGHI M 14 2.1 Gi i thi u 14 2.2 Các k t qu sau ch y mô ph ng 14 2.3 ánh giá k t qu 17 2.4 K t lu n 17 K T LU N .18 TÀI LI U THAM KH O 19 PH L C 20 DANH M C HÌNH NH Hình 1.1 L u đ thu t tốn gi m rung video s d ng so kh p m đ c tr ng ………5 Hình 1.2 Hai khung hình đ c đ c t video đ u vào…………………………………… Hình 1.3 Hình nh k t h p màu đ -l c lam……………………………………………… Hình 1.4 Các góc Hình 1.5 S t khung hình A B…………………………………………………… ng ng gi a m…………………………………………………… 10 Hình 1.6 T h p màu cho th y khung hình A ph lên khung hình đ c chi u l i B 12 Hình 1.7 Khung hình video ngõ sau bi n đ i s-R-t……………………………….13 Hình 2.1 Hai khung hình A B đ c đ c t video đ u vào ‘shaky_car.avi’……… 14 Hình 2.2 T h p màu c a đ u phép bi n đ i s-R-t affine………………… 15 Hình 2.3 Các góc (corners) phát hi n đ c khung hình A…………………………15 Hình 2.4 Các góc (corners) phát hi n đ c khung hình B……………………… 16 Hình 2.5 S t ng ng m gi a hai khung hình A B……………………….…16 Hình 2.6 T h p màu cho th y khung hình A ph lên khung hình đ c chi u l i B 17 Hình 2.7 K t qu cu i sau x lý file đ u vào gi m rung video cho hình rõ nét………………………………………………………………………………………… 18 CH NG 1: T NG QUAN K THU T GI M RUNG VIDEO S KH P I M D NG SO C TR NG 1.1 Gi i thi u Ch ng trình bày v thu t toán gi m rung video s d ng so kh p m đ c tr ng c s lý thuy t toán h c n ch a bên thu t toán thành ph n 1.2 Bài toán gi m rung video Gi m rung video trình lo i b đ tr t (jitter) không mong mu n kh i chu i video K thu t tr nên ngày quan tr ng nhi u h th ng giám sát di đ ng nh h th ng máy bay không ng i lái (UAV), xe t hành nh dòng s n ph m c a Tesla H th ng th giác c a ng i HVS (Human Visual Sensing) quan sát chuy n đ ng tr n tru (smooth motion) m t cách d dàng nh ng l i khó theo dõi đ c chuy n đ ng t n s cao video xu t hi n đ tr rung b ng cách lo i b đ tr N u có đ c cl t Do đó, c n ph i gi m t kh i video ng xác v chuy n đ ng tồn c c có th lo i hi u ng c a chuy n đ ng không mong mu n t video, nh ng hi u ng đ c gây b i chuy n đ ng t nh ti n xoay không mong mu n c a platform di đ ng Trong th c t , mơ hình chuy n đ ng t nh ti n đ cho m t s v i tr ng d ng, đ i ng h p này, b l c thông th p b l c trung bình di chuy n đ c s d ng r ng rãi đ làm m n nh ng chuy n đ ng tồn c c Q trình bù chuy n đ ng đ c th c hi n b ng cách d ch v trí c a khung hình video v i b ng s sai l ch gi a chuy n đ ng có ch đích tích l y v i chuy n đ ng t ng Tuy nhiên, cl ng chuy n đ ng tồn c c khơng ph i m t nhi m v d dàng v t th chuy n đ ng l n c ng xu t hi n t i th i m quay video M t đ i t có kích th c g n b ng m t n a hình nh ng chuy n đ ng l n đ c đ nh ngh a Trong th i gian qua, nhi u thu t toán n đ nh gi m rung video đ c phát tri n có th chia thành ba lo i:  Lo i th nh t s d ng c m bi n chuy n đ ng ho c thi t b c khí nh gia t c k (accelerometer), quay h i chuy n (gyros) b gi m ch n c h c (mechanical dampers) đ gi m rung platform di đ ng  Lo i th hai ph t ng đ ng pháp gi m rung d a vào vi c theo dõi đ i t ng, đ i c l a ch n sau s d ng thu t toán đ i sánh m u đ i sánh đ it ng đ a lý đ theo dõi đ i t d ng ph ng pháp th hi u đ ng ch n Nh ng h th ng thi t k s ng theo dõi m c tiêu nh bi n s xe, ng i, d u ng ho c bi n báo đ ng d ng giám sát giao thông, …  Lo i th ba d a ph đ nh video th ng pháp cl ng bao g m ba giai đo n: ng chuy n đ ng, m t h th ng n c l ng chuy n đ ng toàn c c (global motion estimation), l c chuy n đ ng (motion filtering) bù chuy n đ ng (motion compensation) M c đích c a giai đo n đ u tiên chuy n đ ng c a đ i t đ ng đ c cl ng đ c tính ng di chuy n khung Các tham s c a chuy n c đ a vào giai đo n th hai đ đ c làm m n chuy n đ ng (motion smoothing) b ng cách lo i b bi n d ng t n s cao tính tốn s bi n đ i toàn c c Ti p theo, nh ng vùng cong vênh s đ bù chuy n đ ng đ có đ c video n đ nh Khơng gi ng nh thu t tốn d a vi c theo dõi đ i t l c x lý nh thao tác ng ch n, thu t toán n đ nh video d a c ng chuy n đ ng tồn c c có th ho t đ ng m t cách t đ ng Ti u lu n s trình bày k thu t gi m rung video t n n t ng c a ph ng pháp 1.3 L u đ thu t toán gi m rung video s d ng so kh p m đ c tr ng Hình 1.1 L u đ thu t toán gi m rung video s d ng so kh p m đ c tr ng D 1.3.1 i s trình bày chi ti t v thu t toán thành ph n c khung nh t video đ u vào Trong b c này, đ u tiên hai khung hình c a m t chu i video đ khung hình đ cđ cd i d ng hình nh c c đ c Nh ng ng đ màu s c không c n thi t cho thu t toán gi m rung s d ng nh xám (grayscale) s làm t ng t c đ th c thi c a thu t toán Chuy n đ i nh RGB sang nh xám có đ c a thành ph n R, G B theo ph c b ng cách l y t ng tr ng s ng trình Y  0.2989* R  0.5870* G  0.1140* B Hình hi n th c hai khung hình c nh C intensity) c a hình nh đ (1) ng đ m nh (pixel c tách kh i màu s c Có m t đ l ch (offset) theo chi u d c ngang l n gi a hai khung hình s chuy n đ ng c a camera Hình 1.2 Hai khung hình đ c đ c t video đ u vào Sau đ c hai khung, h n h p màu đ -l c lam đ c t o đ tìm m khác bi t gi a chúng th hi n hình 1.2 Hình 1.3 Hình nh k t h p màu đ -l c lam 1.3.2 Thu th p m n i b t t m i khung hình V i m c tiêu tìm phép bi n đ i s ch nh s a méo (distortion) gi a hai khung hình nên c n ph i thu th p m đ c tr ng (salient points) m quan tâm nh góc (corner), bi n báo đ i m đ c tr ng ng (signs), ng n cây, T t c nh ng m đ u mang thơng tin có tính ch t đ nh v c c b Có nhi u thu t tốn phát hi n góc nh : thu t tốn phát hi n góc Moravec, thu t tốn phát hi n góc c a Harris & Stephens, b phát hi n góc SUSAN, Trong ti u lu n s s d ng ph ng pháp FAST (Fast Accelerated Segmented Test) đ phát hi n tách m đ c tr ng FAST thu t toán đ phát hi n m đ c tr ng v i đ u vào video ch t l ng cao đ Các m đ c đo l ng v i th i gian tính tốn h n c phát hi n t c hai khung đ c minh h a hình 1.4; đ c tr ng nh góc c a tơ, m d c theo hàng cây, góc c a bi n báo đ đ ng l n, c ch a c hai khung A B Hình 1.4 Các góc 1.3.3 Ch n s t Trong b thi t l p ng ng gi a m c này,s t ng ng gi a m n i b t c a khung hình s đ c i v i m i m, s trích xu t m t mơ t m đánh d u nhanh (Fast Retina Key point) đ c đ nh v t p trung vào Chi phí đ i sánh (matching cost) t ng sai l ch bình ph t khung hình A B ng (SSD – Sum of Squared Difference) gi a vùng hình nh ng ng t I  x, y I  x  u, y  v hình nh, lúc SSD đ c đ nh ngh a nh sau E  x, y    x, yw  I  x  u , y  v  I  x, y     (2) Khai tri n chu i Taylor v i u ki n chuy n đ ng  u, v nh I  x  u, y  v  I  x, y   I I u v x x (3) u  I  x  u , y  v  I  x, y    I x , I y     v (4) v i K t h p (2) (3)   u  E  x, y    I  x, y   I x , I y     I  x, y    x, yw   v    u  E  x, y     I x , I y      x, yw   v  hay ph ng trình có th vi t l i d 2 i d ng  I x2 E  x, y   u v    x, yw  I xI y  I xI y  u  I y2  v (4) G i ma tr n H méo gi a khung hình liên ti p I x2 H   x, yw I x I y tìm h I xI y I y2 ng c a H , c n ph i tìm giá tr Eigen vector Eigen Vector Eigen c a ma tr n H vector x th a mãn: H x   X il ng vô h b ng cách gi i ph ng giá tr Eigen t ng ng v i x Giá tr Eigen tìm đ c ng trình: det  H   I   Trong tr ng h p ma tr n H có kích th c  thì: h12  h   det  11 h22     h21 Do đó:    h11  h22   4h12 h21   h11  h12     T giá tr Eigen s tìm đ c vector Eigen d a vào ph ng trình: h12   x1   h11   0  h h22     x2   21 Ch n nh ng m mà t i giá tr  c c tr m m đ c tr ng Q trình đ c áp d ng đ hi n th nh ng n i t hình A B Vì v y, m khung hình A B đ 1.5 cho th y m t ph c h p màu gi ng đ tr ng t khung hình A đ đ ng ng gi a khung c đ i sánh ch t ch Hình c đ a trên, m đ c c hi n th v i màu đ m đ c tr ng t khung B c hi n th v i màu xanh Các đ ng màu vàng cho th y s t m Khơng có ánh x 1-1 m t khung hình B có th t nhi u m khung hình A Có nhi u s t v n t n t i m t s tr ng ng gi a ng ng v i ng ng gi a m nh ng ng h p ngo i l Hình 1.5 S t 1.3.4 cl ng bi n đ i t s t Nhi u s t xác ng ng gi a m ng ng có nhi u ng ng m thu đ kh c ph c v n đ c b c th b h n ch v đ này, thu t toán đ ng thu n m u ng u nhiên (RANSAC - Random Sample Consensus) đ c s d ng đ th c thi hàm bi n đ i hình h c MatLab S d ng thu t tốn RANSAC, m t khung hình A khung hình B đ t c tính ch c ch n h n v s bi n đ i gi a c rút Thu t toán RANSAC ho t đ ng đ tìm ng ng khơng ph i ngo i l m t cách hi u qu sau s suy phép bi n đ i liên quan đ ánh x m không ph i tr ng h p ngo i l t khung hình A sang khung hình B Phép bi n đ i ch có kh n ng thay đ i m t ph ng nh Gi s r ng m t ph ng n n t nh không thay đ i đáng k gi a khung hình th nh t khung th hai Phép bi n đ i s b t chuy n đ ng c a camera q trình hi u ch nh s gi m rung video H n n a, chuy n đ ng c a camera gi a khung hình A khung B t i thi u ho c th i gian l y m u c a video đ l n u ki n v n đ c trì Thu t tốn RANSAC đ hàm chi phí c a k t qu đ c l p l i nhi u l n t i m i l n ch y c tính b ng cách chi u khung hình B lên khung A thông qua t ng s sai l ch t đ i SAD (Sum of Absolute Differences) gi a hai khung hình 10 SAD đo l t ng s bi n d ng (méo) gi a hai khung hình b ng cách đánh giá s ng quan gi a kh i hình nh Ph ng trình (5) đ nh ngh a t ng SAD gi a ph n t hai kh i hình nh SAD  i 1  j 1 ci , j  ri , j N v i ri , j bi u di n cho ph n t t N (5) khung hình th nh t ci , j bi u di n cho ph n khung hình th hai Trên c s giá tr SAD s có đ m h p l t t p m th nh t t c phép bi n đ i phép bi n đ i làm ng ng v i m h p l t t p m th hai Phép bi n đ i Affine ma tr n kích th c  đ c vi t d i d ng nhân ma tr n theo sau phép c ng vector Bi n đ i Affine bi u di n m i quan h gi a hai hình nh Phép bi n đ i Affine th ng đ c bi u di n b i ma tr n  a A   00  a10 a 01  a11  22 b  B   00   b10  21 a M   A B   00  a10 a 01 b00  a11 b10  23  x N u mu n bi n đ i vector chi u X    b ng cách s d ng A B s y   t ng đ ng nh sau:  x T  A    B  y ho c T  M  x y 1 T  a x  a 01 y  b00  T   00   a10 x  a11 y  b10  (6) Phép bi n đ i Affine có đ (translation), t l (scale) đ c thông tin v đ xoay (rotation), s t nh ti n c ch a tham s công th c (6) 11 Hình 1.6 cho th y m t t ng h p màu hi n th khung A ph lên khung B đ chi u l i, v i m t r ng, s t ng ng đ ng ng m h p l có đ c a hình nh đ u đ c c chi u l i T hình minh h a có th th y c trùng h p xác Các m quan tr ng c c n ch nh t t theo c hai chi u d c chi u ngang h n h p màu đ -l c lam tr thành vùng đen tr ng vùng Hình 1.6 T h p màu cho th y khung hình A ph lên khung hình đ c chi u l i B 1.3.5 X p x phép bi n đ i làm m n Chúng ta có th s d ng t t c tham s c a phép bi n đ i Affine nh ng đ đ n gi n hóa v ph ng di n s h c s hi u ch nh ma tr n nh phép bi n đ i t nh ti n – xoay – t l đ n gi n hay g i bi n đ i s-R-t (scale-Rotation-translation Transform) Phép bi n đ i có tham s t g m: tham s t l , tham s góc tham s t nh ti n Xây d ng phép bi n đ i s-R-t đ có đ c ma tr n phép bi n đ i m i có d ng nh sau:  s *cos(ang) s *  sin(ang)   s *sin(ang) s *cos(ang )     t _ xt t _ yt  Khung hình video ngõ sau s d ng phép bi n đ i s-R-t có đ c hình 1.7 12 Hình 1.7 Khung hình video ngõ sau bi n đ i s-R-t 1.4 K t lu n Các c s lý thuy t n n t ng c a ph kh p m đ c tr ng đ ng pháp gi m rung video s d ng so c trình bày n n t ng đ vi t code th c nghi m b ng ph n m m Matlab/Simulink 13 CH NG 2: MÔ PH NG ậ ÁNH GIÁ K T QU TH C NGHI M 2.1 Gi i thi u N i dung ch ng trình bày v ch ng trình cách mơ ph ng ph ng pháp gi m rung video s d ng so kh p m đ c tr ng b ng Matlab/Simulink c a hãng Mathworks sau đ a nh ng nh n xét k t lu n 2.2 Các k t qu sau ch y mơ ph ng Hình 2.1 Hai khung hình A B đ c đ c t video đ u vào ‘shaky_car.avi’ Hình 2.2 T h p màu c a đ u phép bi n đ i s-R-t affine 14 Hình 2.3 Các góc (corners) phát hi n đ c khung hình A Hình 2.4 Các góc (corners) phát hi n đ c khung hình B 15 Hình 2.5 S t ng ng m gi a hai khung hình A B Hình 2.6 T h p màu cho th y khung hình A ph lên khung hình đ c chi u l i B 16 Hình 2.7 K t qu cu i sau x lý file đ u vào gi m rung video cho hình rõ nét 2.3 ánh giá k t qu Các k t qu c a ph đ ng pháp gi m rung video s d ng so kh p m đ c tr ng c trình bày theo t ng b có th th y r ng video có đ tr m t video có ch t l ng c ng v i l u đ thu t tốn trình bày t cao (highly-jittery video) đ ch ng 1, c x lý đ có đ c ng t t, không gây c m giác rung đ i v i h th ng th giác c a i 2.4 K t lu n Ch ng trình bày k t qu th c nghi m b ng Matlab/Simulink c s lý thuy t trình bày ch ng 1, có th th y r ng k thu t gi m rung video s d ng so kh p m đ c tr ng có t c đ th c thi nhanh hồn tồn có th ng d ng h th ng x lý video giám sát, camera hành trình, … 17 K T LU N Ph ng pháp so kh p m đ c tr ng đ a cách ti p c n h p lý hi u qu v m t tính tốn vi c n đ nh video có đ rung cao b bi n d ng Thu t tốn FAST đ c trình bày ti u lu n đ c ng d ng h th ng gi m rung và c i thi n hi u su t th c thi v khía c nh th i gian th c So sánh video đ c x lý gi m rung video nguyên s ban đ u th y r ng video sau x lý đáp ng đ qu cho th y nhi u đ tr vi c nâng cao ch t l c c b n v h th ng th giác c a ng i K t t video b lo i b Thu t toán FAST hi u qu ng c a camera giám sát video h th ng giao thông công c ng, y t , K thu t gi m rung video r t h u ích vi c nh n d ng ng bi n s xe, t h th ng camera giám sát có đ phân gi i v m t ch t l i, ng 18 TÀI LI U THAM KH O [1] Mr K Rasool Reddy, Mr V Subba Rao, Mr Ch Madhava Rao "Real time stabilization of jittery videos using matching techniques" International Journal of Advance Research, IJOAR org - Volume 2, Issue 10, October 2014, Online: ISSN 2320-9119 [2] Jinhai Cai; Rodney Walker "Robust video stabilisation algorithm using feature" IET Computer Vision, Vol.3, No.4, pp.176-188, December 2009 [3] S Kulkarni, D Bormane and S Nalbalwar"Stabilization of Jittery Videos Using Feature Point Matching Technique" B Iyer, S Nalbalwar and R Pawade (Eds.) ICCASP/ICMMD-2016 Advances in Intelligent Systems Research Vol 137, Pp 728737 19 PH L C Code ch ng trình: Email: cuongphamquoc@outlook.com Mobile: 0901 704 156 20 ...  thì: h12  h   det  11 h22     h 21 Do đó:    h 11  h22   4h12 h 21   h 11  h12     T giá tr Eigen s tìm đ c vector Eigen d a vào ph ng trình: h12   x1   h 11   0... t gi m rung video t n n t ng c a ph ng pháp 1. 3 L u đ thu t toán gi m rung video s d ng so kh p m đ c tr ng Hình 1. 1 L u đ thu t toán gi m rung video s d ng so kh p m đ c tr ng D 1. 3 .1 i s trình... NG 1: T NG QUAN K THU T GI M RUNG VIDEO S D NG SO KH P I M C TR NG 1. 1 Gi i thi u 1. 2 Bài toán gi m rung video 1. 3 L u đ thu t toán gi m rung video