L i i ch v a y ngh i a c ua đe t a i
Ch ng C s lý thuy t liên quan
S l c n i dung lu n văn
Luận văn bao gồm các phần chính như giới thiệu, đề tài nghiên cứu, cơ sở lý thuyết, quá trình thực hiện phần mềm, phần kết luận, kết quả và hướng phát triển Các mục trong luận văn được liệt kê như sau:
1.4 L i ich vay nghia cua đe tai
Ch ng C s lý thuy t liên quan
Lý thuy t b l c Kalman
Đ ng l c h c mô hình máy bay b n cánh qu t
Mô hình đ ng h c máy bay 4 cánh
Máy bay không người lái UAV đang trở thành một ngành khoa học robot phát triển nhanh chóng với nhu cầu cao, đặc biệt là máy bay bốn cánh quạt Mô hình này có thiết kế đơn giản và độ bền cao, phù hợp cho nhiều ứng dụng trong nhà và ngoài trời Chất lượng của động cơ pin và các thành phần khác đang ngày càng được nâng cao, giúp mô hình này trở thành sản phẩm thông minh Máy bay bốn cánh mang tính linh hoạt cao, di chuyển nhanh chóng, rất phù hợp cho các nhiệm vụ như khảo sát địa hình và điều khiển quỹ đạo trong không gian ba chiều Khả năng di chuyển trong không gian ba chiều mở ra nhiều thách thức nghiên cứu mới, so với các mô hình xe robot đã phát triển trong những thập niên qua Máy bay bốn cánh hiện đã được sử dụng rộng rãi trong các ứng dụng di chuyển và vận chuyển trong không gian ba chiều, thể hiện các động tác nhào lộn đòi hỏi kỹ thuật cao và di chuyển chính xác Số lượng động cơ có thể tăng thêm nhằm nâng cao tải trọng và độ tin cậy của mô hình.
Mô hình máy bay bốn cánh quạt được gắn lên b khung cứng, cho phép điều chỉnh các góc quay Euler như roll, pitch và yaw Để xác định các góc quay này và sự thay đổi của chúng, cần sử dụng hai hệ tọa độ: hệ tọa độ gắn với máy bay (body frame) và hệ tọa độ tham chiếu gắn với trái đất (earth frame) Hệ tọa độ NED được áp dụng để hỗ trợ trong việc định vị và điều khiển máy bay.
Hệ tọa độ North-East-Down (NED) được sử dụng để mô tả các trục của hệ thống tham chiếu nhằm tương thích với tiêu chuẩn hàng không và quy tắc bàn tay phải Các góc lệch giữa hai trục trong hệ tọa độ này được dùng để xác định vị trí (attitude) của một vật thể trong không gian Cụ thể, bắt đầu với hai trục tọa độ song song, vị trí của hệ thống được xác định bằng cách đầu tiên quay khung cơ thể quanh trục Z một góc yaw (ψ), tiếp theo quay quanh trục Y một góc pitch (θ), và cuối cùng quay quanh trục X một góc roll (φ) Phép quay này được gọi là phép quay Z-Y-X, trong đó các trục quay là quan trọng để mô tả hai hệ tọa độ: khung thế giới (world frame - wb) và khung Trái Đất (earth frame - eb), cùng với ảnh hưởng của các góc quay Euler lên các hệ tọa độ này.
Hình 2.7 Hai h tr c t a đ (body frame và earth frame) cùng các góc quay Euler
Sau khi tìm hiểu về các cấu trúc tham chiếu, bước tiếp theo là thay đổi vị trí các góc Euler của máy bay thông qua tác động lên lực nâng Mô hình máy bay cánh bằng là một hệ thống hoạt động với cấu trúc hành trình Điều này có nghĩa là máy bay có thể điều khiển được với 6 bậc tự do, bao gồm 3 trục chuyển động tĩnh tại.
Ba trục quay quanh các trục tĩnh tại của máy bay được điều khiển bởi hai bộ tác động đối lập, cho phép chuyển động tĩnh tại của trục x và y Việc di chuyển tĩnh tại trên các trục này phụ thuộc vào vị trí các góc Euler của máy bay Bằng cách cho hai động cơ đối diện quay cùng chiều kim đồng hồ (CW) và động cơ còn lại quay ngược chiều kim đồng hồ (CCW), khi tổng mômen quay của hai cặp động cơ bằng nhau, máy bay sẽ không quay góc yaw Hình ảnh mô tả cách thay đổi lực nâng của các động cơ dẫn đến sự thay đổi góc quay.
Hình 2.8 Tr ng thái cân b ng
Trạng thái cân bằng thay đổi đột ngột: Khi lực nâng của tất cả các động cơ cân bằng nhau, máy bay sẽ duy trì trạng thái cân bằng mà không xoay các góc Euler Điều này xảy ra khi lực nâng của các động cơ thay đổi, dẫn đến sự thay đổi trong cách máy bay điều chỉnh.
Hình 2.9 Quay góc yaw sang trái
Quay góc yaw sang phải tạo ra mô men tác động theo chiều kim đồng hồ (CW), làm tăng lực nâng, trong khi quay sang trái tạo ra mô men ngược chiều kim đồng hồ (CCW) và giảm lực nâng Mô men tác động này ảnh hưởng đến máy bay, dẫn đến sự thay đổi góc yaw.
Hình 2.10 Quay roll sang ph i
Quay roll sang ph i: khi l c nâng trên m t đ ng c tr c roll gi m so v i đ ng c còn l i trên cùng tr c t a đ , l c quay góc roll s đ c t o ra hình này, máy bay s quay roll sang ph i
Khi máy bay cất cánh, nó sẽ quay quanh trục pitch, trong đó góc nâng của cánh thay đổi so với trục còn lại Hình ảnh minh họa cho thấy quá trình này, cho phép máy bay hạ cánh một cách an toàn.
Tr ng thái c a h th ng
Để xác định mô hình động học của máy bay, cần phải tìm ra các trạng thái của mô hình Việc xác định được trạng thái của máy bay là yếu tố quyết định cho việc xác định các phương trình động lực học và điều khiển máy bay theo quỹ đạo.
Các góc quay Euler t o nên v trí c a máy bay attitude bao gồm ba bi n đ u tiên c a vector tr ng thái: roll (), pitch (), và yaw () Thêm vào đó, t c đ góc trên các tr c t a đ đ c bi u di n d i d ng.
Sáu biên trạng thái trên thế giới liên quan đến góc quay của máy bay và hướng di chuyển của chính nó Các biên trạng thái tiếp theo là cần thiết để thể hiện mối quan hệ giữa máy bay và hệ tọa độ đã định trái đất Những trạng thái này bao gồm vị trí của máy bay trong hệ tọa độ đã xác định, liên quan đến các trục tọa độ X, Y, Z Thêm vào đó, vận tốc di chuyển của máy bay trên mọi trục cũng rất quan trọng để biểu diễn động thái của nó.
Nh v y, 12 bi n tr ng thái trên t o nên vector tr ng thái c a h th ng máy bay Vector này đ c bi u di n d i d ng:
V i các bi n tr ng thái trên, ta có th b t đ u nghiên c u các ph ng trình đ ng l c h c c a h th ng.
Phép quay tr c t a đ
Hai hệ trục tọa độ được xác định là gắn với máy bay và gắn với trái đất, giúp xác định trạng thái tĩnh của máy bay tại thời điểm ưu tiên Hệ trục gắn với máy bay có hướng trục x hướng về phía trước của máy bay.
Trong bài viết này, chúng ta sẽ tìm hiểu về 20 sang ph i và tr c z h ng xu ng Tiếp theo, chúng tôi sẽ hỗ trợ cách điều chỉnh với trái đất dựa trên quy tắc NED Việc quay một hệ tọa độ so với hệ tọa độ khác được biểu diễn dưới dạng ma trận quay, bao gồm ba ma trận được lắp ghép mô tả phép quay của máy bay theo từng trục của hệ tọa độ trái đất Các ma trận quay sẽ được biểu diễn theo công thức cụ thể.
S d ng các ma tr n xoay này, tr ng thái c a máy bay h tr c t a đ trái đ t s đ c xác đnh Ma tr n góc xoay c a c 3 tr c đ c th hi n ph ng trình sau
Ch ng H th ng n đ nh h̀nh nh t́ch h p
Ph ng pháp n đ nh hình nh s d ng Kalman
Tích hợp thông tin từ nhiều cảm biến giúp giảm thiểu sự không đồng nhất trong các trạng thái quan sát được, mặc dù không thể đo đạc trực tiếp Việc này phát hiện và phục hồi các trạng thái cảm biến khi có sự thay đổi Hơn nữa, việc tổng hợp thông tin từ nhiều cảm biến khác nhau còn nâng cao độ chính xác và chất lượng đo đạc, điều mà một nguồn cảm biến riêng lẻ không thể đạt được.
Hình 3.1 S đ gi i thu t n đnh hình nh tích h p
Việc xác định chính xác trạng thái chuyển động của vật là điều cốt lõi cho các ngữ cảnh robot tự hành, cách hệ thống điều khiển theo quán tính và di chuyển tự động Khi phân tích đặc mô hình động học của vật thể, các mô hình đánh giá trạng thái chuyển động và các nguồn cảm biến, bao gồm Kalman và Kalman mờ, là những công cụ quan trọng.
Bài viết này trình bày 22 công cụ hữu ích cho việc tích hợp thông tin cảm biến và các dữ liệu chính xác trong trạng thái chuyển động của vật Khi áp dụng các điều kiện giải quyết thông số nhiều của cảm biến và phương trình động học của vật, bộ lọc Kalman là thuật toán chính trong việc ước lượng trạng thái của vật Do đó, bộ lọc Kalman thường được sử dụng trong các hệ thống đòi hỏi độ chính xác cao như máy bay, tên lửa và các robot tự hành Đề tài này sẽ sử dụng Kalman Multirate để tích hợp hai nguồn thông tin: dịch chuyển khung nhấp nháy Optical Flow và dịch chuyển tương đối dựa trên thông số tĩnh lặng của máy bay Tính hiệu hình nhấp nháy camera được xử lý và phân tích nhằm xác định các điểm đặc trưng giữa hai khung hình liên tục thông qua thuật toán Lucas-Kanade, với tín hiệu được đo bằng số lượng khung hình mỗi giây (FPS) Nguồn tín hiệu thứ hai được trích xuất từ điều khiển của Ardupilot với các thông số liên quan đến dịch chuyển, đảm bảo cập nhật tín hiệu với tần suất cao Giải thuật Kalman sẽ thực hiện việc tích hợp hai nguồn thông tin và đưa ra một phép biến đổi khung hình nhằm mục đích chống rung cho hình ảnh đầu ra.
Gi i thu t đo v n t c đ d i t optical flow và quadrotor
T ng quát v Optical Flow
Optical flow là hình chiếu của chuyển động trong không gian ba chiều lên mặt phẳng hai chiều của camera, cho phép xác định chuyển động của đối tượng Nhiều thuật toán đã được áp dụng để so sánh độ dịch chuyển của hai hình ảnh chụp liên tiếp từ camera Các phương pháp tìm kiếm thông dụng bao gồm thuật toán Lucas-Kanade, nội suy hình ảnh, tìm khối tương đồng và tìm đặc trưng tương đồng Đề tài sử dụng module camera Intel RealSense D455 kết hợp với Kit Nvidia Jetson TX2 nhằm thực hiện thuật toán đo đạc điểm di chuyển với độ chính xác cao, phục vụ cho bài toán nhận diện hình ảnh Căn cứ vào độ phức tạp của các phương pháp tính optical flow và ứng dụng thực tế, việc lựa chọn phương pháp phù hợp là rất quan trọng.
23 ph n c ng t ng ng, đ tài quy t đnh s d ng thu t toán Lucas-Kanade xác đ nh đ d i c a các đi m đ c tr ng trong frame nh
Giới thiệu về Optical Flow, một kỹ thuật quan trọng trong việc phân tích chuyển động trên các bức ảnh liên tiếp Optical Flow hoạt động bằng cách theo dõi sự thay đổi của các điểm ảnh trong không gian, giúp xác định chuyển động của các đối tượng trong khung hình mà không thay đổi giá trị giữa các frame liên tiếp Kỹ thuật này cho phép phân tích và nhận diện chuyển động một cách chính xác, từ đó hỗ trợ trong nhiều ứng dụng như theo dõi đối tượng và xử lý video.
Xét pixel trong frame đ u tiên sau đó dch chuy n v i đ d i trong frame k ti p đ c ghi nh n sau th i gian Do đó đi m nh s nh nhau t ng ph n không thay đ i, cho nên
(3.1) Áp d ng chu i Taylor x p x bi u th c trên ta đ c
(3.3) Chia 2 v cho Đ t là v n t c d ch chuy n c a đi m nh, ta có
Thuật toán Lucas-Kanade được sử dụng để theo dõi điểm ảnh di chuyển trong không gian, với giả định rằng các điểm này nằm trong cùng một vùng chuyển động Việc này dẫn đến việc giải hệ phương trình với hai ẩn số, do có quá nhiều điều kiện cho phương trình, nên cần áp dụng các tiêu chuẩn để tìm ra kết quả chính xác.
Gi i thu t đo v n t c đ d i
Sau khi có đ c v n t c d ch chuy n c a đi m nh m t ph ng 2D camera, ta c n đ a v tr c to đ 3D c a robot máy bay Mô hình quang h c c a camera đ c bi u di n v i nh là ch t đi m nh sau
Hình 3.2 Mô hình quang h c c a camera v i nh là ch t đi m
To đ ch t đi m m t ph ng 3D:
V i tiêu c c a camera là f (mm) ta tính đ c hình chi u c a Pc là:
Nh v y, v i kích th c c a 1 pixel là 24m, v n t c d ch nh V[pixel/sec] đ cao Zc đ c trích xu t t b đi u khi n máy bay Ardupilot, cho nên suy ra đ c Pc t p
Phân tích chuy n đ ng c a v t và hình chi u lên camera, ta có chuy n đ ng t ng đ i c a c a đ i t ng là:
V i Vc là v t t c d ch chuy n c a đ i t ng suy ra t V, Tc là v n t c t nh ti n c a đ i t ng, là t c đ góc quay c a v t đ i v i camera, d u '-' bi u di n quan h t ng đ i c a chuy n đ ng
Trong đ tài này, tôi s d ng thông s gyroscope t b đi u khi n ardupilot c a quadrotor, t đó suy ra đ c t c đ chuy n đ ng t nh ti n c a v t theo công th c:
Cu i cùng, đ d ch chuy n c a v t th s đ c tính b ng cách l y tích phân v n t c theo th i gian
Hình 3.3 Xác đ nh các đ d ch chuy n dùng Optical Flow
Mô hình máy bay không người lái sử dụng điều khiển mã nguồn mở Ardupilot được trang bị cảm biến đa dạng như cảm biến áp suất (MU), GPS và các cảm biến khác, giúp cải thiện độ chính xác và phát triển các thông số trạng thái ngày càng nâng cao.
Trong nghiên cứu về Ardupilot, thông số di chuyển của các trục mô hình robot máy bay được thu thập và tích hợp theo thời gian với độ chính xác cao Bên cạnh đó, thông số gyroscope cũng được trích xuất để bù đắp cho giải thuật Optical Flow.
Ph ng trình đ ng l c h c c a máy bay
H th ng mã ngu n m Ardupilot
Gi i thi u v ardupilot và arducopter
Ardupilot là một hệ thống mã nguồn mở được phát triển để điều khiển quadrotor, với phiên bản đầu tiên ra mắt vào tháng 11/2009 bởi Jordi Munoz Hiện nay, Ardupilot bao gồm nhiều module sử dụng cho các loại máy bay khác nhau với các board điều khiển đa dạng ArduCopter là một module trong Ardupilot, được sử dụng để điều khiển các máy bay lên thẳng như Quadcopter, Exacopter, SingleCopter và Helicopters, với phiên bản hiện tại là 4.2.1.
Th t th c hi n ch ng trình trong Ârdupilot
2.2 Gi i thu t phát hi n đ i t ng OpenTLD
2.3 Đ ng l c h c mô hình máy bay b n cánh qu t
Ch ng H th ng n đnh hình nh tích h p
3.2 Ph ng pháp n đnh hình nh s d ng Kalman
3.3 Gi i thu t đo v n t c đ d i t optical flow và quadrotor
3.4 Gi i thu t cho b l c Kalman Multirate
Hệ thống máy bay nh drone có khả năng di chuyển và bám mục tiêu chuyển động Mô hình hóa hệ thống máy bay nh nhằm cải thiện khả năng bám và theo dõi các vật thể chuyển động Giải thuật điều khiển dựa trên hình ảnh (Image Based Visual Servoing) đóng vai trò quan trọng trong việc tối ưu hóa quá trình điều khiển và tăng cường độ chính xác trong việc theo dõi mục tiêu.
4.3 Ph ng trình đ ng l c h c c a máy bay
4.4 B đi u khi n cân b ng cho máy bay b n cánh
4.5 B đi u khi n v trí cho máy bay b n cánh
4.6 H th ng mã ngu n m Ardupilot
4.7 Xây d ng mô hình và hi n th c gi i thu t
Ch ng 5 K t qu th c hi n
7.2 H th ng nh n di n và đi u khi n bám theo m c tiêu
Ch ng 6 K t lu n và h ng phát tri n
Ch ng C s ĺ thuy t liên quan
R.E.Kalman cho xu t b n nghiên c u c a mình vào năm đ a ra m t ph ng pháp đ quy đ r i r c hóa d li u trong b l c tuy n tính K t đó vi c gi i quy t các bài toán k thu t s trong nhi u lĩnh v c đã tr nên d dàng h n r t nhi u B l c Kalman đ c m r ng ra nghiên c u và ng d ng th c t đ c bi t là trong lĩnh v c x lý tín hi u t đ ng hay h tr bài toán đnh v B l c Kalman thu th p và k t h p linh đ ng các tín hi u t nhi u ngu n c m bi n thành ph n M i khi m u th ng kê nhi u trên các c m bi n đ c xác nh n, b l c Kalman s cho c l ng giá tr t i u do đã lo i đ c nhi u và có đ phân b n đnh B l c Kalman là thu t toán x lí d li u h i quy t i u, nó t i u đ i v i chi ti t c th trong b t kì tiêu chu n có nghĩa nào B l c Kalman t p h p t t c thông tin đ c cung c p t i gi i thu t, x lý các giá tr s n có c l ng các giá tr quan tâm, s d ng các hi u bi t v đ ng h c, thi t b giá tr và h th ng đ mô t s li u th ng kê c a h th ng nhi u và nh ng thông tin b t kì v đi u ki n ban đ u c a các giá tr c n c l ng Đ i v i b l c Kalman, thu t ng l c không có ý nghĩa nh các b l c khác Đây là m t gi i thu t tính toán và c l ng th ng kê t i u t t c các thông tin ngõ vào đ c cung c p t i nó đ có đ c m t giá tr ra đáng tin c y nh t cho vi c x lý ti p theo M c dù ph i t n khá nhi u th i gian x lý l nh nh ng v i t c đ hi n t i c a các vi đi u khi n th i gian th c làm vi c tính toán c l ng t i u c a b l c này tr nên đ n gi n và đáng tin c y r t nhi u Nh có c ch t c p nh t các giá tr c s (bias) t i m i th i đi m tính toán cũng nh xác đnh sai l ch c a k t qu đo tr c v i k t qu đo sau nên giá tr đo luôn đ c n đ nh, chính xác, g n nh không b sai s v đ l i và đ l ch pha c a các tín hi u ( n th đ c xây d ng b i hàm tr ng thái, do v y b l c Kalman có th k t h p không ch hai tín hi u t hai c m bi n, mà có th k t h p đ c nhi u c m bi n đo nh ng d i t n khác nhau c a cùng m t giá tr đ i l ng v t
Bộ lọc Kalman nổi bật trong việc xử lý tín hiệu chính xác từ các cảm biến như la bàn, GPS và gyro góc, nhờ vào khả năng kết hợp thông tin từ nhiều nguồn khác nhau Điều này giúp cải thiện độ chính xác và độ tin cậy của dữ liệu thu thập được từ các cảm biến.
Mô hình hóa hoạt động của bộ điều khiển Kalman cho phép chúng ta sử dụng tín hiệu đo được và áp dụng nó vào hệ thống phương trình của bộ điều khiển Mặc dù tín hiệu đo không khó, nhưng điều quan trọng là cần có một mô hình hóa hệ thống chính xác Để áp dụng hiệu quả bộ điều khiển Kalman, chúng ta cần xác định và mô hình hóa một số thay đổi của trạng thái cần ước lượng hoặc dự đoán.
B l c Kalman đ c p đ n bài toán t ng quát đi c l ng tr ng thái c a m t quá trình đ c mô hình hóa m t cách r i r c theo th i gian b ng m t ph ng trình ng u nhiên tuy n tính nh sau:
Hai biến ngẫu nhiên độc lập đại diện cho nhiều hệ thống và nhiều đặc trưng, được lập và được giả sử tuân theo phân bố Gauss với trung bình bằng 0 Ma trận hiệp biến (covariance) của hai biến này là l n l t và
Vector trạng thái có kích thước là \( n \), và ma trận \( S \) có kích thước là \( m \) là ma trận phụ thuộc vào tín hiệu điều khiển Vector đo đạc có kích thước là \( p \), do đó ma trận \( S \) sẽ có kích thước tương ứng Cần lưu ý rằng các ma trận có thể thay đổi theo thời gian, nhưng không được coi là không đổi Bài toán Kalman chủ yếu là tìm giá trị trạng thái và dự đoán của hệ thống khi có sự biến thiên và đo đạc một đại lượng phụ thuộc vào nó Ví dụ trong bài toán chuyển động, khi biết quy luật thay đổi của vận tốc, ta có thể đo được sự thay đổi của vị trí, và điều cần tìm là vận tốc tại thời điểm đó.
Nhu cầu dịch vụ và lợi nhuận là yếu tố quan trọng trong việc xác định giá trị thị trường Giá trị dịch vụ thường phụ thuộc vào mô hình hệ thống, trong khi giá trị thu nhập là kết quả đạt được sau khi có kết quả đo đạc.
Khi đó sai s c a c đoán tiên nghi m và h u nghi m l n l t là
Ma tr n hi p bi n c a 2 sai s trên đ c tính l n l t theo công th c
M c đích c a chúng ta bây gi là đi tìm h s K sao cho tho mãn ph ng trình sau: (2.5)
Phương trình 2 đề cập đến giá trị nghiệm sau đó của một biến số, được tính bằng giá trị nghiệm trước đó và cộng thêm một biến ngẫu nhiên Điều này thể hiện quy luật (gain) của bộ lọc Kalman.
Câu h i đ t ra là làm th nào đ ch n t i u nh t T i u đây theo nghĩa là covariance c a sai s c a c l ng nghi m sau đó là nh nh t
Bằng cách thay vào trong biểu thức tính rồi sau đó lấy đạo hàm theo thời gian, ta sẽ tìm ra giá trị mà tăng lên theo thời gian, và chính là đặc điểm cần tìm của bộ lọc Kalman trong mô hình dự đoán Tóm lại, bộ lọc Kalman bao gồm các bước:
1) c đoán tr ng thái tiên nghi m
2) D a vào k t qu đo đ hi u ch nh l i c đoán
Ta có th tóm t t l i ho t đ ng c a m ch l c Kalman b ng các ph ng trình sau
Giá trị dự đoán tại thời điểm và biến động giá trị điều kiện là rất quan trọng Giá trị ban đầu tại thời điểm được chọn sẽ giúp chúng ta tiến hành các tính toán đến 2 bậc 1 và bậc 3 trong bậc nh trong hình dưới đây.
Hình trên tóm tắt các yếu tố cơ bản của bộ điều khiển Kalman Khó khăn trong việc áp dụng bộ điều khiển Kalman là xác định cách mô hình hóa các trạng thái và đo đạc chính xác theo các phương trình (2.4) và (2.5), từ đó cho phép áp dụng thuật toán Kalman hiệu quả.
2.2 Gi i thu t phát hi n đ i t ng OpenTLD
OpenTLD là một thuật toán tracking nổi bật được công bố lần đầu bởi Zdenek Kalal trên MatLab, nổi bật với khả năng học và đào tạo dữ liệu online So với các giải thuật khác, OpenTLD cho phép tracking chính xác và đáng tin cậy hơn mà không cần phải thực hiện đào tạo offline với một lượng mẫu lớn Thuật toán này bao gồm ba thành phần chính: T (tracking), L (learning), và D (detection).
Hình 2.3 Mô hình c a gi i thu t OpenTLD
• Tracking: S d ng Adaptive Tracking v i gi i thu t Lucas-Kanade with pyramids và s h tr c a ph ng pháp sai s Forward-Backard k t qu t p trung vào các đi m đ c tr ng đáng tin c y
Phát hiện và phân loại đối tượng trong video sử dụng phương pháp học máy Ensemble và 1-NN Với mỗi khung hình mới, quá trình phân loại được đánh giá dựa trên độ chính xác của tín hiệu phản hồi, giúp cải thiện độ chính xác và khả năng cập nhật của phân loại theo thời gian.
Hình 2.4 S đ c a h th ng dection trong OpenTLD
• Learning: S d ng ph ng pháp h c P-N (Positive-Negative) t h th ng phân lo i đ i t ng, t đ� đánh nhãn các m nh đ i t ng Positive và n n (Negative) � i t ng Positive đ c phát hi n t b tracking và n n Negative đ c cung c p t b detection
Hình 2.5 Ph ng pháp learning trong OpenTLD
OpenTLD là một công nghệ mạnh mẽ cho phép phát hiện đối tượng mà không cần hiểu biết trước về đối tượng đó Với khả năng học online, OpenTLD thực hiện việc theo dõi chính xác theo thời gian xử lý Công nghệ này được sử dụng rộng rãi trong các ứng dụng như máy bay không người lái để phát hiện và điều khiển theo dõi các vật thể không xác định.
2.3 Đ ng l c h c mô hình máy bay b n cánh qu t
2.3.1 Mô hình đ ng h c máy bay 4 cánh
Máy bay không người lái UAV đang trở thành một ngành khoa học robot phát triển nhanh chóng với nhu cầu cao Máy bay bốn cánh quạt là mô hình tiêu chuẩn cho nghiên cứu hệ thống robot tự động trên không, với thiết kế đơn giản và độ bền cao, phù hợp cho nhiều ứng dụng trong nhà và ngoài trời Chất lượng của động cơ và các thành phần khác đang ngày càng được nâng cao, giúp mô hình này trở thành sản phẩm thông minh Máy bay bốn cánh có tính cơ động cao, di chuyển nhanh, rất phù hợp cho các ứng dụng như đi học định và điều khiển quỹ đạo trong không gian ba chiều Khả năng di chuyển trong không gian ba chiều đặt ra thách thức nghiên cứu mới so với mô hình xe robot đã phát triển trong những thập niên qua Máy bay bốn cánh hiện đã được sử dụng trong nhiều ứng dụng di chuyển và vận chuyển, thể hiện khả năng nhào lộn và di chuyển chính xác trong không gian Số lượng động cơ có thể tăng thêm nhằm tăng tải trọng và độ tin cậy của mô hình.
Xây d ng mô hình và hi n th c gi i thu t
T ng quát mô hình th c hi n gi i thu t
Hệ thống điều khiển máy bay không người lái bao gồm nhiều module xử lý kết nối với nhau Hai phần chính của hệ thống này là hệ thống phát hiện vật thể bám và hệ thống điều khiển dựa trên hình ảnh, được gọi là Image Based Visual Servoing.
53 đ c tích h p trên board x lý Jetson TX2 và truy n tín hi u đi u khi n đ n b đi u khi n Ârdupilot Các phân đo n đ c mô t nh sau
Hình 4.13 T ng quát s đ k t n i c a h th ng
1) Video Stabilization: S d ng đ u ra c a b n đnh hình nh v i thu t toán đã trình bày Ch ng Hình nh đ c n đnh là m t đ u vào thu n l i cho module nh n di n và bám theo đ i t ng tránh đ c r i ro khi phát hi n sai d n đ n vi c m t n đnh nh h ng ch t l ng c a b đi u khi n bám đ i t ng
2) Object Tracker: H th ng s d ng gi i thu t mã ngu n m OpenT�D đ c vi t b ng ngôn ng C++ Gi i thu t bám đ i t ng đ c l n đ u công b b i Z Kalal trong PhD Thesis t i đ i h c Surrey V i kh năng phát hi n đ c đ i t ng t d li u hình nh liên t c (online) t camera mà không c n c� các b c h c máy ho c chu i d li u m u c a đ i t ng c n tracking nh các thu t toán thông d ng khác nh Yolo R-CNN và SSD Gi i thu t OpenTLD tr v các thông s v i kh năng tin c y cao bao g m v trí v t th trong nh và kích th c v t th qua t ng khung hình V i kh năng t h c các thay đ i c a đ i t ng b ng c ch online training, OpenTLD có th tracking đ c nhi u lo i v t th trong nhi u m�i tr ng khác nhau Trong khuôn kh c a lu n văn s s d ng gi i
54 thu t OpenT�D đ phát hi n đ i t ng đã đ c ch n tr c đ� và xác đ nh v trí kích th c c a v t th qua các khung nh là thông s đ u vào cho gi i thu t đi u khi n bám
3) B đi u khi n IBVS: Bao g m b n v�ng đi u khi n kín c� feedback đ đ a ra tín hi u đi u khi n vào b Flight Controller Ardupilot là roll, pitch, yaw và attitude d a trên thông s v trí và kích th c c a v t th trên màn nh đ c c p nh t liên t c v i t n s t ng ng v i s FPS c a camera (20- Hz �i m tham chi u và kích th c c a đ i t ng ban đ u đ c ch n b i ng i dùng K t qu cu i cùng là đi u khi n v trí c a thi t b UAV đ có th bay theo đ i t ng d ch chuy n trong không gian ba chi u đây s x y ra hai tr ng h p cho vi c đi u khi n bám đ i t ng: a Khi nh n đ c k t qu tracking thành công: Máy bay s d ng b đi u khi n cân b ng Ardupilot s d ng các tín hi u c a IMU Barometer đ t gi cân b ng Thêm vào đ� là tín hi u đi u khi n đ c truy n t b đi u khi n IBVS đ c l p trình trên �it Jetson TX đ n máy bay thông qua b công c Drone�it đ đi u khi n t ng ng roll pitch yaw và attitude đ máy bay bám đ c đ i t ng b Khi không nh n di n đ c đ i t ng ho c đ i t ng r i kh i t m nhìn c a camera: Máy bay t cân b ng s d ng b đi u khi n on-board và bay ch đ hovering-mode s gi v trí theo mode bay Loiter ho c mode gi đ cao Altitude Hold.
Thi t k h th ng mô ph ng
Đ có th th c hi n đ c vi c ki m tra các gi i thu t n đ nh hình nh, tracking OpenTLD và )BVS Controller đ tài đã xây d ng h th ng mô ph ng l i thí nghi m
Nền tảng mô phỏng cho phép kiểm tra tính chính xác của giải thuật trong trường hợp lý tưởng không bị ảnh hưởng bởi môi trường hoặc các tác nhân như ánh sáng, chất lượng hình ảnh trong quá trình truyền hình Ngoài ra, nền tảng mô phỏng còn cung cấp nhiều lợi ích khác cho việc nghiên cứu và phát triển.
55 giúp d dàng thay đ i các thông s đi u khi n, b l c đ a ra k t qu m t cách nhanh chóng cho vi c đánh giá và k t lu n
Hệ thống mô phỏng được xây dựng trên công cụ Gazebo, hỗ trợ việc mô phỏng điều khiển các mô hình như robot tay máy và máy bay Đề tài này cần xây dựng mô hình máy bay sử dụng mã nguồn AR Drone 2.0 Các thông số mô phỏng của mô hình máy bay thực tế được xác định dựa trên các yếu tố môi trường Thông tin điều khiển vị trí của mô hình cũng cần phải tương thích với mô hình thực tế, từ đó có thể đánh giá sai số và tính chính xác của giải thuật Hình ảnh từ camera trước của mô hình máy bay có thể được trích xuất làm nguyên liệu đầu vào cho việc đánh hình ảnh và giải thuật tracking OpenTLD.
Đề tài xây dựng mô hình mô phỏng robot TurtleBot với khả năng lập trình cho robot di chuyển theo một quỹ đạo nhất định Qua đó, có thể thu thập thông số và đánh giá độ chính xác của giải thuật điều khiển bám vật thể di chuyển Đề tài sử dụng tài nguyên mã nguồn được cung cấp tại trang web [http://wiki.ros.org/Robots/TurtleBot](http://wiki.ros.org/Robots/TurtleBot) để mô phỏng và lập trình cho bot đi theo quỹ đạo hình tròn cụ thể.
Hình 4.14 Mô hình mô ph ng máy bay 4 cánh qu t
Hình 4.15 Áp d ng gi i thu t tracking OpenTLD trên mô ph ng
Hình 4.15 trình bày mô hình sử dụng giải thuật OpenTLD để theo dõi mô phỏng robot turtle bot Kết quả đầu ra là vùng viền xanh bao quanh đối tượng cần theo dõi, cùng với các điểm tròn mô tả các đặc trưng nổi bật trong quá trình tracking Thông tin này sẽ được sử dụng làm dữ liệu đầu vào cho hệ thống điều khiển IBVS.
Hình 4.16 mô t đ y đ lu ng ho t đ ng h th ng nh đã trình bày Ch ng
4 Màn hình bên trái cho ta hình nh l y t front camera c a mô hình máy bay, vòng bao màu xanh chính là k t qu c a gi i thu t object tracking Khung nh bên ph i cho th y máy bay mô ph ng đang bám theo m c tiêu là turtlebot mô hình turtle bot đang chuy n đ ng theo m t qu đ o c đ nh đã đ c l p trình tr c K t qu c a h th ng s đ c phân tích rõ h n Ch ng c a đ tài
Hình 4.16 Mô ph ng gi i thu t phát hi n và đi u khi n bám đ i t ng
4.7.3 Thi công mô hình máy bay b n cánh qu t
Mô hình máy bay b n cánh qu t đ c thi t k theo s đ mô t Hình 1.1 nh m ph c v các m c đích sau
Camera Intel RealSense mang đến khả năng chụp hình và truyền tải dữ liệu đến thiết bị trung tâm qua giao thức wifi Thiết bị này sử dụng module phát wifi với khả năng phát xa và độ trễ (latency) thấp, đảm bảo sự ổn định trong quá trình truyền thông.
• Mang thi t b x lý on-board Jetson TX2 là trung tâm x lý các gi i thu t đã nêu ra trong đ tài bao g m b n đ nh hình nh tích h p, gi i thu t tracking
OpenTLD và phương pháp điều khiển bám theo vật thể IBVS sử dụng thiết bị có sẵn phần GPU, giúp tăng tốc độ xử lý và tính toán hiệu quả Điều này mang lại tín hiệu với tần suất đầu ra cao, hỗ trợ đắc lực cho việc điều khiển máy bay.
• Truy n các thông tin c m bi n c a máy bay (roll, pitch, yaw, gyros, velocity) v b x lý Jetson TX2 v i t c đ cao đ m b o cho vi c x lý thu t toán ch y n đnh
• Ch y b đi u khi n cân b ng máy bay d a vào mã ngu n m Ardupilot s d ng m ch OmniBus F4 K t n i v i m ch x lý Jetson TX đ truy n các thông s c l ng tr ng thái qua giao th c UART
• Thu th p các thông s đi u khi n t gi i thu t nh n di n tracking, tích h p vào b đi u khi n máy bay và đi u khi n máy bay bám theo m c tiêu, v trí
Hình 4.17 S đ mô t k t n i gi a các module trên mô hình
Module điều khiển máy bay OmniBus F4 tích hợp nhiều cảm biến quan trọng như IMU, barometer, GPS và Telemetry Ngoài ra, module còn hỗ trợ các cổng ngoại vi khác như còi buzzer và một số đèn LED tín hiệu, giúp nâng cao khả năng điều khiển và giám sát trong quá trình bay.
Hình 4.18 S đ nguyên lý kh i tín hi u OmniBus F4
Hình 4.19 S đ nguyên lý kh i c m bi n IMU và Barometer
Hình 4.20 S đ nguyên lý kh i tín hi u đi u khi n cho ESC và tay đi u khi n
Hình 4.21 S đ nguyên lý kh i m ch ngu n
Hình 4.22 S đ nguyên lý kh i m ch đo pin LED và còi buzzer
Hình 4.23 M ch đi u khi n máy bay
Hình 4.24 Mô hình máy bay b n cánh qu t
GPU 256-core NV)D)Â Pascal GPU architecture with NV)D)Â
CPU Dual-Core NVIDIA Denver 2 64-Bit CPU
Quad-Core ARM® Cortex®-A57 MPCore
Memory 8GB 128-bit LPDDR4 Memory
B ng 4.1 C u hình thi t b JetSon TX2
Hình 4.25 Kit Nvidia Jetson Tx đi kèm v i board phát tri n Các thông s k thu t c a máy bay mô hình đ t đ c sau khi th c hi n bay th nghi m:
Size Bao g m chong chóng: 25x25x15 cm
Kh i l ng có th c t cánh l n nh t: 1,5 kg Payload mount
Kit Jetson TX2 development Camera Intel Realsense D430
HFOV: 64 VFOV: 41 Flight Time 8 Minutes
B ng 4.2 Thông s mô hình đ t đ c c a máy bay
Thi công mô h i nh máy bay b n cánh qu t
Trong bài viết này, chúng tôi sẽ trình bày và phân tích kết quả của dự án đã thực hiện mô phỏng và kiểm tra thực nghiệm với mô hình động thời gian Chúng tôi sẽ đánh giá tính chính xác của mô hình thông qua việc thay đổi các hệ thống điều khiển và thông số điều kiện Từ đó, chúng tôi đưa ra các phương pháp điều chỉnh thông số mô hình và điều kiện để đạt được kết quả tốt nhất và phù hợp với mục tiêu ban đầu của dự án.
B n đ nh hình nh tích h p
Đề tài đã hoàn tất việc tích hợp giải pháp nhận diện hình ảnh bằng cách trình bày chương lên kit phát triển Jetson TX2, sử dụng ngôn ngữ C++ và kết hợp với thư viện OpenCV để thực hiện các phép biến đổi hình ảnh phục vụ cho quá trình thử nghiệm giải thuật Thêm vào đó, đề tài sử dụng công cụ Gstreamer để truyền hình ảnh đã qua nhận diện trực tiếp tới Jetson TX2, nhằm phục vụ việc quan sát và so sánh kết quả.
Hình 5.1 H th ng n đnh và truy n hình nh
Trong bài viết này, chúng ta sẽ xem xét việc đánh giá độ biến đổi giữa khung hình hiện tại và khung hình quá khứ bằng phương pháp Optical Flow Điều này giúp chúng ta hiểu rõ hơn về sự chuyển động trong video mà không cần quan tâm đến việc thay đổi góc nhìn, vì thực tế là hiện tượng này hiếm khi xảy ra trong thực tế.
64 h p b xoay T đ th Hình 5.2 ta nh n th y tín hi u b nhi u t ng ng v i video th c t s b rung l c khung hình gây nh h ng đ n các gi i thu t tracking và đi u khi n ti p theo
Hình 5.2 Tính hi u bi n đ i không n đnh Áp d ng b l c Kalman v i các thông s nhi u quá trình và nhi u đo sau khi đã th nghi m v i nhi u b s đ có k t qu là:
Khi đánh giá các tín hiệu, tín hiệu đầu vào cho thấy tín hiệu sau khi được xử lý đã giảm nhiễu rõ rệt so với tín hiệu gốc Việc áp dụng bộ lọc Kalman giúp làm mịn tín hiệu, giảm thiểu sự ảnh hưởng của nhiễu rung trong khung hình Qua đó, tín hiệu đầu ra từ bộ lọc Kalman cho phép cải thiện độ chính xác và độ tin cậy của các giá trị được phân tích.
Hình 5.3 So sánh tín hi u ban đ u và sau l c c a tr c
Hình 5.4 so sánh tín hiệu ban đầu và sau khi áp dụng phép biến đổi khung hình để giảm thiểu rung, nhằm nâng cao chất lượng hình ảnh Qua việc phân tích sự dịch chuyển giữa hình ảnh đã xử lý (Hình 5.5) và hình ảnh gốc (Hình 5.2), tín hiệu đã được cải thiện rõ rệt, cung cấp đầu vào chất lượng tốt cho các phân đoạn xử lý tiếp theo.
Hình 5.5 Tính hi u bi n đ i sau khi l c Kalman
Trong quá trình thực hiện, tác giả đã điều chỉnh giá trị của ma trận nhiều hệ thống nhằm tăng cường hiệu quả, trong khi những giá trị cốt lõi không có sự thay đổi đáng kể, dẫn đến việc tạo ra những ảnh hưởng tích cực cho tín hiệu đầu ra.
Khác với ma trận nhiều hệ thống, sự thay đổi thông số của ma trận nhiều càng lớn sẽ gây ra hiện tượng các chuyển động tích cực, dẫn đến di chuyển phức tạp trong một phạm vi nhất định Lọc Kalman triệt tiêu gây biến động khung hình, ảnh hưởng đến chất lượng của bản đánh giá.
Tác gi th nghi m v i R Nh n đ c k t qu n đnh nh Hình 5.8 hình nh t ng ng s b bi n d ng d ch chuy n kh i khung hình nh Hình 5.6
67 Hình 5.6 Đ th dx th hi n vi c l c đi nh ng d ch chuy n tích c c
Hình 5.7 Đ th dy th hi n vi c l c đi nh ng d ch chuy n tích c c
Hình 5.8 Hình nh b bi n d ng khi ma tr n quá l n
5.2 H th ng nh n di n v̀ đi u khi n bám theo m c tiêu
Giới thiệu về hệ thống điều khiển tích hợp thành công trên mô phỏng máy bay và điều khiển TurtleBot, hệ thống được mô phỏng như hình 5.9 Mô hình máy bay drone bao gồm các đặc tính động lực học, các yếu tố môi trường, và quá trình điều khiển máy bay Hệ thống này sử dụng Ardupilot để áp dụng các thông số điều khiển như roll, pitch, yaw và attitude.
Hình 5.9 Thí nghi m mô ph ng đ th nghi m bám v t th
Trong mô phỏng, việc theo dõi đối tượng được thực hiện bởi robot TurtleBot, cho phép nó truy cập thông tin về vị trí và hướng di chuyển để đến vị trí mong muốn Để đánh giá độ chính xác và tính đúng đắn của việc điều khiển bám theo đối tượng, tác giả đã lập trình cho TurtleBot di chuyển theo một quỹ đạo hình tròn với bán kính không đổi Qua đó, có thể thực hiện điều khiển máy bay bám theo đối tượng và di chuyển theo quỹ đạo vật thể đó để đánh giá độ chính xác của giải thuật Hình 5.10 cho thấy kết quả của hệ thống tracking OpenTLD hoạt động chính xác khi vật thể di chuyển, nhờ vào việc tập trung vào phần kết quả điều khiển mà không cần đánh giá thêm về giải thuật tracking.
Hình 5.10 Turtle bot đ c s d ng là đ i t ng c n tracking
Ta xét các h s đi u khi n PD t ng ng v i b n tín hi u công th c đã trình bày 4.2 nh sau
Khi điều khiển máy bay ở độ cao, việc duy trì độ cao ổn định trở nên quan trọng, đặc biệt khi sử dụng các chế độ như Altitude Hold và Loiter Những chế độ này yêu cầu điều chỉnh độ cao không còn ý nghĩa khi máy bay đang hoạt động Các thông số kỹ thuật đã thu thập được cho thấy sự sai lệch trong tín hiệu điều khiển, được minh họa qua các hình ảnh cho các khía cạnh điều khiển như roll, pitch và yaw, cũng như phản ứng khi điều khiển ở độ cao.
Hình 5.11 Tín hi u đi u khi n roll và giá tr t telemetry
Hình 5.12 Tín hi u đi u khi n pitch và giá tr t telemetry
Hình 5.13 Tín hi u đi u khi n yaw và giá tr t telemetry
Hình 5.14 Tín hi u đi u khi n đ cao và giá tr t telemetry
Điều khiển bằng cách sử dụng các tín hiệu có thể dẫn đến sai số trung bình, tuy nhiên, một số yếu tố bên ngoài có thể làm tăng sai số sau 90 giây Do đó, cần có biện pháp kiểm soát để đảm bảo độ chính xác trong quá trình điều khiển.
- � i v i tr c pitch b đi u khi n c� đáp ng r t t t v i sai s trung bình ch kho ng đáp ng đ c yêu c u đi u khi n c a đ bài
- � i v i tr c yaw thì sai s khá l n kho ng và có xu h ng khu ch đ i tín hi u đi u khi n nh v i đáp ng t telemetry tăng h n nhi u l n đi u
72 này có th do b ph n decoupling c a gi i thu t v n ch a th c s chính xác dù đã thay đ i nhi u thông s PID đ ki m tra
- � i v i đ cao (altitude): Nh đã trao đ i trên đ tài s không th c hi n đi u khi n trên tín hi u đ cao nên đ th ch tr v tín hi u đ cao t telemetry
Thêm vào đó đ ki m tra tính đ’ng đ n c a vi c đi u khi n v trí c a gi i thu t
Tác giả đã sử dụng công cụ định vị trên mô hình drone và điều chỉnh bám theo turtlebot, sau đó thực hiện cùng một đề tài chứng minh giải thuật Kết quả từ hai thí nghiệm trên Hình 5.15 và Hình 5.16 cho thấy quỹ đạo của turtlebot là một hình tròn bán kính 2m không đổi, trong khi quỹ đạo của máy bay bám theo turtlebot cũng có hình dạng tròn và cách đi một khoảng cách nhất định so với cấu hình khoảng cách giữa máy bay và đối tượng tracking được calibrate Hai đề thí nghiệm đã chứng minh tính chính xác của giải thuật điều khiển máy bay bám theo vật thể với sai số lần lượt là TH1: < 0.5m và TH2: < 0.304m.
Hình 5.15 Qu đ o c a drone và turtlebot th nghi m 1
73 Hình 5.16 Qu đ o c a drone và turtlebot th nghi m 2
Hình 5.17 Hình nh th nghi m bay th c t c a mô hình
Ch ng K t lu n v̀ h ng phát tri n
Luận văn đã thành công trong việc đưa ra giải pháp điều khiển hai vấn đề quan trọng của ngành công nghiệp ứng dụng UAV Nghiên cứu và mô phỏng hệ thống máy bay gần nhất với thực tế, tìm hiểu các phương pháp cho hệ thống ổn định hình ảnh và điều khiển bám vật thể, nhằm chế tạo mô hình thực Các vấn đề đã được nghiên cứu trong luận văn bao gồm:
Hệ thống điều khiển bay tích hợp hai nguồn thông tin, bao gồm thông tin quang học từ camera và các biến trạng thái của cánh, sử dụng mã nguồn Ardupilot Qua đó, quá trình điều khiển bay được tối ưu hóa nhờ vào việc áp dụng bộ lọc Kalman để xử lý và kết hợp dữ liệu.
Multirate là công nghệ cho phép xử lý hình ảnh động một cách hiệu quả, đặc biệt trong môi trường thay đổi liên tục như gió và bão Các loại camera có khả năng zoom cao giúp thu được hình ảnh chất lượng tốt, đồng thời các giải thuật phát hiện và tracking đối tượng cũng được cải thiện Công nghệ này có thể áp dụng rộng rãi trong nhiều ứng dụng UAV, mang lại hiệu suất cao và độ chính xác trong việc giám sát và phân tích.
Nghiên cứu đã chỉ ra rằng việc điều khiển máy bay bám theo vật thể chuyển động sử dụng phương pháp điều khiển Dựa trên Hình ảnh (Image Based Visual Servoing - IBVS) kết hợp với thuật toán theo dõi đa dạng OpenTLD cho phép theo dõi chính xác các đối tượng Việc áp dụng thuật toán OpenTLD cũng góp phần nâng cao độ chính xác và cung cấp thông tin đáng tin cậy cho việc điều khiển IBVS.
