Hệ thống điều khiển bám vật thể và bộ ổn định hình ảnh tích hợp cho máy bay bốn cánh quạt

Đ I H C QU C GIA TP HCM TR NG Đ I H C BÁCH KHOA TR N QU C SANG H TH NG ĐI U KHI N BÁM V T TH VÀ B N Đ NH HÌNH NH TÍCH H P CHO MÁY BAY B N CÁNH QU T REAL-TIME OBJECT FOLLOWING BASED ON VISUAL INFORMATION AND ONLINE VIDEO STABILIZATION FOR UNMANNED AERIAL VEHICLES Chuyên ngành: K thu t u n t đ ng hoá Mã s : 8520216 LUÂN VĂN T( C SĨ TP H CHÍ MINH, tháng 06 năm 22 Cán b h TR CƠNG TRÌN( Đ C HỒN THÀNH T I NG Đ I H C BÁCH KHOA Đ(QG HCM ng d n khoa h c: PGS TS Huỳnh Thái Hoàng Cán b ch m nh n xét 1: TS Nguy n Tr ng Tài Cán b ch m nh n xét 2: PGS.TS Lê M Hà Lu n văn th c sĩ đ c b o v t i Tr ngày 24 tháng 06 năm ng Đ i h c Bách Khoa Đ(QG Tp ( Chí Minh Thành ph n H i đ ng đánh giá lu n văn th c sĩ g m: Ch t ch: GS.TS H Ph m Huy Ánh Th ký TS Nguy n Vĩnh ( o Ph n bi n 1: TS Nguy n Tr ng Tài Ph n bi n 2: PGS.TS Lê M Hà U viên: TS Nguy n Ng c S n Xác nh n c a Ch t ch H i đ ng đánh giá LV Tr sau lu n văn đ c s a ch a (n u có) CH T CH H I Đ NG GS TS ( Ph m (uy Ánh iv ng Khoa qu n lý chuyên ngành TR NG KHOA ĐI N-ĐI N T NHI M V LU N VĂN TH C SĨ H tên h c viên Tr n Qu c Sang MS(V Chuyên ngành K thu t u n t đ ng hoá Mã s : 8520216 Ngày tháng năm sinh I N i sinh Tp Vĩnh Long TÊN Đ TÀI H th ng u n bám v t th b cho máy bay b n cánh qu t n đ nh hình nh tích h p Real-time object following based on visual information and online video stabilization for unmanned aerial vehicles NHI M V VÀ N I DUNG Xây d ng thu t toán cho b - Thi t k h th ng phát hi n bám theo v t th chuy n đ ng II n đ nh hình nh tích h p cho máy bay - Hi n th c gi i thu t mô ph ng mơ hình th c t NGÀY GIAO NHI M V 22/02/2021 III NGÀY HOÀN THÀNH NHI M V : 06/06/2022 IV CÁN B H NG D N: PGS TS (uỳnh Thái (oàng Tp HCM, ngày 10 tháng 06 năm CÁN B H NG D N CH NHI M B MÔN ĐÀO T O TS Nguy n Vĩnh ( o PGS.TS Huỳnh Thái Hoàng TR NG KHOA ĐI N-ĐI N T i 22 L IC M N Đ u tiên, em xin g i đ n th y Huỳnh Thái Hoàng l i c m n chân thành sâu s c nh t Nh s h ng d n ch b o t n tình c a Th y su t th i gian qua, em có th hồn thành đ tài lu n văn th c sĩ c a Nh ng l i nh n xét, góp ý h ng d n c a Th y gi’p em có m t đ nh h ng đ’ng đ n su t trình th c hi n đ tài S t n tâm c a th y góp thêm đ ng l c làm vi c cho em đ t ng b hoàn thi n lu n văn t t nghi p Đ ng th i, em xin trân tr ng c m n Th y Cô c a Tr Khoa nói chung c a khoa Đi n c ng Đ i H c Bách Đi n T nói riêng d y d em su t th i gian qua Nh ng l i gi ng c a Th y Cô b c gi ng trang b cho em nh ng ki n th c gi’p em tích lũy thêm nh ng ý t nh n đ ng hay b ích Em hi v ng s ti p t c c s h tr c a Th y Cô th i gian t i đ có th hồn t t ch trình th c sĩ c a ng Cu i cùng, xin c m n gia đình ln chăm sóc quan tâm đ n vi c h c c a đ ng viên trình h c t p TPHCM, ngày 10 tháng 06 n m 2022 Thân H c viên TR N QU C SANG ii T́M T T NGHIÊN C U Mơ hình máy bay b n cánh qu t hay g i quadrotor hi n tr nên r t ph bi n Vi t Nam đ c đ a vào s d ng r ng rãi lĩnh v c nh dân d ng (phim nh, tài li u), an ninh (trinh sát, tr c đ a), nông nghi p t p trung trình bày ph hi n bám theo đ i t tài có thi t k b Nghiên c u ng pháp thi t k ph n c ng, b u n, gi i thu t phát ng chuy n đ ng cho quadrotor Bên c nh vi c u n đ n đ nh tín hi u hình nh tích h p d a toán th c t thi t b gimbal xác nhiên v n t n t i rung đ ng nh gây nh h nh ng hình đ phóng đ i l n, vi c tích h p thơng s rung c a tính hi u hình nh t c m bi n c a quadrotor s gi i quy t toán Cac yeu to anh h ng t i chat l đieu khien nh thông so mô hinh, sai so mô hinh, cac nguon nhieu se đ t đo xây d ng b u n b l c tích h p Cac ph ng phap se đ ng c phân tich, c ap dung đe thiet ke, mô phong va hien th c m ch x lý Jetson TX2 mã ngu n u n máy bay Ardupilot đo ta chon đ u nh c điem cua cac ph ng phap đ c so sanh v i nhau, t c bo đieu khien phu h p nhat v i yêu cau thiet ke iii ABSTRACT In recent, Unmanned Aerial Vehicles (UAV) have been becoming widely used for many applications such as documentary, agriculture, rescue, surveillance, etc This research addresses two problems of UAVs The first is designing the solution for realtime object following using visual information to extract the target object on a current frame defined by the user in the initial state and estimate the position control parameter for the drone system based on the ArduPilot opensource flight controller In complex systems and wind-disturbance can lead to vibration of video sensor, and the research also focuses on designing the online video stabilization based Kalman multi-rate to improve the navigation performance The architecture is validated using the ArduPilot flight controller and Jetson TX2 for the object tracking-based OpenTLD tracker method The experiment shows the system's capabilities can track a great variety of things present in outdoor areas and video stable robustness against wind perturbations and target occlusion in outdoor environments iv L I CAM ĐOAN b Tôi xin cam đoan lu n văn Th c Sĩ v đ tài H th ng u n bám v t th n đ nh hình nh tích h p cho máy bay b n cánh qu t cơng trình nghiên c u cá nhân c a th i gian v a qua M i s li u, mơ hình thi t k , gi i thu t đ c s d ng phân tích lu n văn k t qu nghiên c u tơi t tìm hi u, phân tích m t cách khách quan, trung th c, có ngu n g c rõ ràng s n ph m c a lu n văn ch a đ c công b d i b t kỳ hình th c Tơi xin ch u hồn tồn trách nhi m n u có s khơng trung th c thơng tin s d ng cơng trình nghiên c u v M CL C NHI M V LU N VĂN TH C SĨ i L IC M N ii T́M T T NGHIÊN C U iii ABSTRACT iv L I CAM ĐOAN v M C L C vi M C L C H̀NH NH ix M C L C B NG BI U xi Ch ng Tong quan đe tai 1.1 1.2 Tinh hinh nghiên c u Nhi m v cua lu n văn 1.3 L i ich va y nghia cua đe tai 1.4 1.5 Ch Gi i thi u ng S l c n i dung lu n văn C s lý thuy t liên quan 2.1 Lý thuy t b l c Kalman 2.2 Gi i thu t phát hi n đ i t 2.3 ng OpenTLD 12 Đ ng l c h c mơ hình máy bay b n cánh qu t 14 2.3.1 Mơ hình đ ng h c máy bay cánh 14 2.3.2 Tr ng thái c a h th ng 19 2.3.3 Phép quay tr c t a đ 19 vi Ch ng H th ng n đ nh hình nh tích h p 21 Ph 3.1 ng pháp n đ nh hình nh s d ng Kalman 21 Gi i thu t đo v n t c đ d i t optical flow quadrotor 22 3.2 3.2.1 T ng quát v Optical Flow 22 3.2.2 Gi i thu t đo v n t c đ d i 24 3.3 Ch Gi i thu t cho b l c Kalman Multirate 27 ng H th ng máy bay nh n di n bám m c tiêu chuy n đ ng 31 Mô hình hố h th ng máy bay bám v t th chuy n đ ng 31 4.1 Gi i thu t u n Image Based Visual Servoing 35 4.2 Ph 4.3 ng trình đ ng l c h c c a máy bay 39 4.3.1 Ph ng trình Newton-Euler 42 4.5 B u n cân b ng cho máy bay b n cánh 43 4.6 H th ng mã ngu n m Ardupilot 48 4.4 B u n v trí cho máy bay b n cánh 45 4.6.1 Gi i thi u v ardupilot arducopter 48 4.6.2 Ki n trúc t ng quát c a ardupilot 48 4.6.3 Th t th c hi n ch ng trình Ârdupilot 50 4.6.4 B u n góc 51 4.7 Xây d ng mơ hình hi n th c gi i thu t 52 4.7.1 T ng qt mơ hình th c hi n gi i thu t 52 4.7.2 Thi t k h th ng mô ph ng 54 4.7.3 Thi công mô hinh máy bay b n cánh qu t 57 Ch ng K t qu th c hi n 63 vii n đ nh hình nh tích h p 63 5.1 B 5.2 H th ng nh n di n u n bám theo m c tiêu 68 Ch 6.1 6.2 ng K t lu n h ng phát tri n 74 K t lu n đ tài 74 ( ng phát tri n đ tài 75 viii Hình 5.3 So sánh tín hi u ban đ u sau l c c a tr c Hình 5.4 So sánh tín hi u ban đ u sau l c c a tr c Sau áp d ng phép bi n đ i khung hình đ tri t tiêu nhi u rung gây m t n đ nh hình nh ta xét đ th d ch chuy n gi a hình nh n đ nh v i hình nh tr đ a ch t l c x lý Hình 5.2 có s khác bi t l n, tín hi u đ Hình 5.5 c kh nhi u ng hình nh t t đ u vào cho phân đo n x lý ti p theo 65 Hình 5.5 Tính hi u bi n đ i sau l c Kalman Nh n xét: - Trong trình th c hi n, tác gi thay đ i giá tr c a ma tr n nhi u h nh ng hi u qu c a b th ng - n đ nh kh�ng c� thay đ i đáng k giá tr l n s gây tr pha nhi u h n cho tín hi u đ u Khác v i ma tr n nhi u h th ng thay đ i thông s c a ma tr n nhi u đo l n gây hi n t chuy n ph ng chuy n đ ng tích c c nh t nh ti n, di ng ngang m t ph m vi nh s b b L c Kalman tri t tiêu gây bi n d ng khung hình nh h Tác gi th nghi m v i R nh Hình 5.8 hình nh t hình nh Hình 5.6 ng đ n ch t l ng c a b Nh n đ n đ nh Ví d : c k t qu n đ nh ng ng s b bi n d ng d ch chuy n kh i khung 66 Hình 5.6 Đ th dx th hi n vi c l c nh ng d ch chuy n tích c c Hình 5.7 Đ th dy th hi n vi c l c nh ng d ch chuy n tích c c 67 Hình 5.8 Hình nh b bi n d ng ma tr n l n 5.2 H th ng nh n di n v̀ u n bám theo m c tiêu Gi i thu t u n bám đ c tích h p thành cơng h th ng mô ph ng máy bay đ i t ng turtlebot mà đ tài trình bày Ch ng H th ng đ y u t môi tr ng, b u n máy bay, b u n v trí gi ng v i Ardupilot c mơ ph ng nh Hình 5.9 bao g m mơ hình máy bay drone v i đ c tính đ ng l c h c, đ có th áp d ng thơng s u n v trí roll, pitch, yaw attitude Hình 5.9 Thí nghi m mơ ph ng đ th nghi m bám v t th 68 Đ it ng tracking mô ph ng chi c turtlebot có kh truy n vào thơng s v n t c h ng đ cho turtle di chuy n đ n v trí mong mu n Đ đánh giá sai s tính đ’ng c a b u n bám đ i t ng, tác gi l p trình cho turtle bot theo m t qu đ o hình trịn v i bán kính khơng đ i T có th th c hi n u n máy bay bám theo đ i t ng đ i chi u v i qu đ o v t th t đánh giá sai s c a gi i thu t Ngoài ra, Hình 5.10 cho ta th y k t qu c a h th ng tracking OpenTLD ho t đ ng xác v t th chuy n đ ng liên t c nh đ tài t p trung h n vào ph n k t qu u n nên s không đánh giá thêm v gi i thu t tracking Hình 5.10 Turtle bot đ bày c s d ng đ i t Ta xét h s u n PD t 4.2 nh sau - Roll: - Pitch: - Yaw: ng c n tracking ng ng v i b n tín hi u 69 cơng th c trình Đ tài s không s d ng b u n đ cao (altitude) c a máy bay đ u n bám v t th đ cao máy bay có nh h t ng l n đ n khung hình tracking đ i ng v i m t thay đ i nh , h n n a v i mode bay c a gi i thu t s d ng Altitude Hold (Gi đ cao) ho c Loiter (Gi đ cao v trí theo GPS), nên vi c u ch nh đ cao s khơng có ý nghĩa hi n th c gi i thu t V i thông s k đ tài thu th p thông s sai s c a t ng tín hi u u n đ c mơ t Hình 5.11 cho u n tr c roll, Hình 5.12 cho u n tr c pitch, Hình 5.13 cho u n tr c yaw Hình 5.14 cho đáp ng u n đ cao máy bay Hình 5.11 Tín hi u u n roll giá tr t telemetry Hình 5.12 Tín hi u u n pitch giá tr t telemetry 70 Hình 5.13 Tín hi u u n yaw giá tr t telemetry Hình 5.14 Tín hi u u n đ cao giá tr t telemetry Nh n xét: - � i v i tr c roll b u n c� đáp ng t t v i sai s trung bình ch kho ng , nhiên m t s th i m sau giây 90s có th tác đ ng bên nên sai s tăng đ n - n c a đ c yêu c u u � i v i tr c pitch b u n c� đáp ng r t t t v i sai s trung bình ch kho ng - , v t ng th v n đáp ng đ đáp ng đ c yêu c u u n c a đ � i v i tr c yaw sai s l n kho ng có xu h ng khu ch đ i tín hi u u n nh v i đáp ng t telemetry tăng h n nhi u l n u 71 có th b ph n decoupling c a gi i thu t v n ch a th c s xác - dù thay đ i nhi u thông s PID đ ki m tra � i v i đ cao (altitude): Nh trao đ i đ tài s không th c hi n u n tín hi u đ cao nên đ th ch tr v tín hi u đ cao t telemetry Thêm vào đ ki m tra tính đ’ng đ n c a vi c u n v trí c a gi i thu t Tác gi s d ng công c đ nh v mô ph ng mơ hình drone đ i t turtle bot sau v lên m t đ th đ ch ng minh gi i thu t K t qu ng bám hai l n thí nghi m Hình 5.15 Hình 5.16 cho th y qu đ o c a turtlebot m t hình trịn bán kính 2m khơng đ i, cịn qu đ o c a máy bay bám theo turtlebot có hình d ng tròn cách m đ t m t kho ng cách t gi a máy bay đ i t ng tracking b ng ng v i vi c c u hình kho ng cách c calibrate T hai đ th cho th y tính đ’ng đ n c a gi i thu t u n máy bay bám theo v t th v i sai s l n nh t có th ch p nh n c hai tr ng h p th nghi m TH1: < 0.5m, TH2: < 0.304m Hình 5.15 Qu đ o c a drone turtlebot th nghi m 72 Hình 5.16 Qu đ o c a drone turtlebot th nghi m Hình 5.17 Hình nh th nghi m bay th c t c a mô hình 73 Ch ng K t lu n v̀ h ng phát tri n 6.1 K t lu n đ tài Lu n văn thành công đ a đ c gi i pháp đ gi i quy t hai v n đ quan tr ng c a ngành công nghi p ng d ng UAV T viec nghien c u, mo phong he thong ng phap cho he thong on đinh hình máy bay g n nh t v i th c t , tim hieu cac ph nh u n bám v t th , cho đen viec che tao mo hinh th c Các v n đ đ nghiên c u lu n văn bao g m: - c n đ nh hình nh máy bay tích h p hai ngu n Th nh t, hi n th c hoá b th�ng tin đ u vào bao g m thông tin optical flow trích xu t t hình nh c a camera thông tin bi n tr ng thái bay s d ng mã ngu n Ardupilot, t cl ng b i rung nhi u thay đ i v m�i tr camera có kh zoom cao nh h ng l n đ n ch t l hi n tracking đ i t - đ c l y t b u n đ� t ng h p b ng b l c Kalman Multirate K t qu cho th y r ng hình nh đ h ng đ c x lý n đ nh b ng, gió, b i nh � c bi t lo i x d n đ n m t rung đ ng nh c�ng c� th ng hình nh t t nhiên gi i thu t phát ng � tài ti p c n gi i quy t đ c áp d ng vào nhi u ng d ng UAV Th hai, nghiên c u cho th y đ c v n đ có th c m t gi i pháp t ng th cho vi c u n máy bay bám theo v t th chuy n đ ng s d ng ph ng pháp u n Image Based Visual Servoing v i vi c k t h p v i b tracking d a gi i thu t mã ngu n m OpenTLD cho phép vi c tracking xác đa d ng đ i t ng Vi c t h c c a gi i thu t OpenT�D c�ng giúp tăng c ng đ xác đ a m t th�ng tin đáng tin c y cho vi c u n IBVS Ph ng pháp u n IBVS cho phép tách tín hi u u n t ng ng v i b u n máy bay Ardupilot đ có th truy n th ng đ n b u n máy thông gia giao th c Mavlink đ u n đ 74 c v trí c a máy bay, t đ� h th ng cho phép vi c tracking nhi u lo i đ i t - rõ v kích th ng không bi t c kho ng cách Th ba đ tài xây d ng thành công m t m�i tr ng mô ph ng g n gi ng v i u ki n th c t cho phép vi c ki m tra tính đ n c a gi i thu t tr c ng d ng vào mơ hình th c t Lu n văn c�n th c hi n xây d ng thành cơng mơ hình máy bay b n cánh qu t ch thành ph n nh board Jetson TX dev kit camera Intel Realsense đ có th x lý thu t toán onboard v i kh tính tốn cao v i s h tr c a GPU giúp đ y nhanh trình x lý nh đ a th�ng s u n cho IBVS H n ch c a đ tài: - Do m t d án mang tính m i nên tác gi m t nhi u th i gian đ tìm tài li u nghiên c u, th nghi m gi i thu t d n đ n vi c ch m i có th i gian tích h p đ - n bám đ i t cb n đ nh hình nh lên mơ hình th c t , gi i thu t u ng v n ch a hoàn thi n xong mơ hình th c M� hình ch a kèm thi t b Gimbal camera c� đ zoom cao đ có th đánh giá m t cách xác gi i thu t n đ nh hình nh áp d ng cho ngành công nghi p UAV - Ch a tìm hi u áp d ng thêm gi i thu t u n nâng cao nh u n m , lu t u n phi n đ có th so sánh v i gi i thu t hi n - 6.2 H t i nh m c i thi n thêm v n đ sai s h th ng T ng th i gian bay c a mơ hình th c t th p máy bay có t i l n nh h ng đ n vi c th nghi m gi i thu t mơ hình th c ng phát tri n đ tài Các công vi c đ phát tri n đ tài đ có th UAV: 75 ng d ng vào ngành cơng nghi p - Hồn thành tích h p gi i thu t IBVS lên mơ hình th c hi n bay th nghi m nhi u m�i tr - - đ ng phòng ho c tr i t đ� xác đ nh c thơng s xác h n cho ph ng pháp u n IBVS Tích h p v i Gimbal camera có kh zoom xa th c t nh Gremsy DJI đ hoàn thi n đ�ng g�i gi i pháp n đ nh hình nh Áp d ng thêm ph c a ng pháp u n khác đ so sánh tìm gi i thu t t i u nh t cho ng d ng bám v t th chuy n đ ng 76 Tai lieu tham khao [1] [2] A Borji, M.-M Cheng ( Jiang and J Li Nov detection  survey Salient object Online Âvailable https://arxiv.org/abs/1411.5878 J Zhang S Sclaroff Z Lin X Shen B Price and R Mech Minimum barrier salient object detection at FPS in Proc IEEE Int Conf Comput Vis (ICCV), Santiago, Chile, Dec 2015, pp 1404 1412 [3] W Zhu S Liang Y Wei and J Sun Saliency optimization from robust background detection in Proc IEEE Comput Soc Conf Comput Vis Pattern Recognit (CVPR), Silver Spring, MD, USA, Jun 2014, pp 2814 2821 [4] F Wei Y Wen W Zhu and J Sun Geodesic saliency using background priors in Proc Eur Conf Comput Vis (ECCV), Heidelberg, Berlin, 2012, pp 29 42 [5] M.-M Cheng, N J Mitra, X Huang, P H S Torr, and S.-M (u Global contrast based salient region detection IEEE Trans Pattern Anal Mach Intell., vol 37, no 3, pp 569 582, Mar 2015 [6] Y.Wu, Y SUI, G Wang, Vision-Based Real-Time Aerial Object Localization and Tracking for UÂV Sensing System Digital Object Identifier 10.1109 / ACCESS.2017.2764419, Oct 2017 [7]  Betser P Vela G Pryor and  Tannenbaum Flying in formation using a pursuit guidance algorithm in American Control Conference, 2005 Proceedings of the 2005, Portland, OR, USA, June 2005, pp 5085 5090 vol 77 [8] A Savkin and H Teimoori Bearings-only guidance of an autonomous vehicle following a moving target with a smaller minimum turning ra- dius in Decision and Control, 2008 CDC 2008 47th IEEE Conference, Mexico, on, dec 2008, pp 4239 4243 [9] K.S.FahdRafi,SaadKhanandM.Shah Âutonomoustargetfollowing by unmanned aerial vehicles in Proc SPIE, Orlando (Kissimmee), FL, USA, April 2006 [10] ( Deng X Zhao and Z (ow  vision-based ground target tracking system for a small-scale autonomous helicopter Image and Graphics, International Conference on, Xi an Shanxi China, pp 739 743, 2009 [11] F Lin B Chen K Y Lum and T Lee  robust vision system on an unmanned helicopter for ground target seeking and following in Intelligent Control and Automation (WCICA), Ji nan China 2010 8th World Congress on, july 2010, pp 276 281 [12] S Saripalli and G S Sukhatme Landing a helicopter on a moving target in Proceedings of IEEE International Conference on Robotics and Automation, Rome, Italy, April 2007, pp 2030 2035 78 PH N LÝ L CH TRÍCH NGANG H tên: Tr n Qu c Sang Ngày tháng năm sinh Đ a ch liên l c ÂĐ QUÁ TR̀NH ĐÀO T O ng N i sinh T nh Vĩnh Long Khóm Ph ng TP Vĩnh Long Vĩnh Long 04/2018: H c ngành k thu t u n t đ ng hoá, khoa - 09/2013 - �i n-�i n T t i đ i h c Bách Khoa Tp H Chí Minh 09/2018 06/2022: H c cao h c ngành k thu t u n t đ ng hoá, �i n-�i n T t i đ i h c Bách Khoa Tp H Chí Minh Q TRÌNH CÔNG TÁC - 2018 2019: K s ph n m m Công ty TNHH PIFLAB 2019 2020: K s n tốn đám mây Cơng ty CP Sao B c � u 2020 Nay Tr Qu c T FPT ng nh�m n tốn đám mây Cơng ty TNHH Vi n Thông 79 ... c tr ng u n máy bay bám theo v t th chuy n đ ng Có nhi u lo i c u hình cho máy bay u n theo ng d ng, th i gian bay, s đ ng c đ tài s vào t p trung thi t k cho mơ hình máy bay b n cánh qu t, m... c s d ng nhi u ng d ng máy bay t hành phát hi n u n bám theo v t th không xác đ nh 2.3 Đ ng l c h c mơ hình máy bay b n cánh qu t 2.3.1 Mơ hình đ ng h c máy bay cánh Máy bay kh�ng ng i lái UAV... thơng s trích xu t t b đ it ng cl ng tr ng thái c a máy bay, t s đ a vào b x lý phát hi n Hình 1.1 Mơ hình máy bay b n cánh Mơ hình máy bay b n cánh qu t đ m , s d ng b u n Ârdupilot Đ c thi công