Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng công nghệ thị giác máy tính cho thiết bị bay không người lái

ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng cơng nghệ thị giác máy tính cho thiết bị bay khơng người lái DƯƠNG ĐÌNH NAM Ngành Kỹ thuật Điện tử Giảng viên hướng dẫn: PGS.TS Nguyễn Hoàng Hải Trường: Điện – Điện tử HÀ NỘI, 2023 ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng cơng nghệ thị giác máy tính cho thiết bị bay khơng người lái DƯƠNG ĐÌNH NAM Ngành Kỹ thuật Điện tử Giảng viên hướng dẫn: PGS.TS Nguyễn Hoàng Hải Chữ ký GVHD Trường: Điện – Điện tử HÀ NỘI, 2023 CỘNG HÒA Xà HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Dương Đình Nam Đề tài luận văn: Nghiên cứu thiết kế hệ thống định vị hạ cánh ứng dụng cơng nghệ thị giác máy tính cho thiết bị bay không người lái Chuyên ngành: Kỹ thuật điện tử Mã số SV: 202364M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 28/4/2023 với nội dung sau: - Thay từ tiếng anh thành tiếng việt: camera: máy ảnh, marker: điểm đánh dấu, pixel: điểm ảnh - Sửa lỗi tả đánh số trang - Bổ sung thêm phần từ viết tắt - Chỉnh sửa lại chất lượng số hình ảnh - Cơ động lại phần lý thuyết chương Ngày Giáo viên hướng dẫn PGS.TS Nguyễn Hoàng Hải CHỦ TỊCH HỘI ĐỒNG PGS.TS Nguyễn Hữu Trung tháng năm 2023 Tác giả luận văn Dương Đình Nam LỜI CẢM ƠN Trải qua năm tháng học tập nghiên cứu trường Đại học Bách Khoa em cảm thấy học hỏi nhiều điều Lời em xin gửi lời cảm ơn đến trường Đại học Bách Khoa nói chung thầy trường Điện – Điện tử nói riêng tạo điều kiện thuận lợi để em học tập nghiên cứu để hồn thành luận văn Thạc sĩ Và đặc biệt em xin cảm ơn thầy PGS.TS Nguyễn Hoàng Hải, thầy TS Nguyễn Anh Quang tập thể phòng nghiên cứu IVSR hướng dẫn em nghiên cứu, cung cấp tài liệu, trao đổi để em hoàn thành tốt nghiên cứu Em xin chân thành cảm ơn Hà Nội, ngày tháng năm 2023 Tác giả Dương Đình Nam Tóm tắt nội dung luận văn Luận văn thạc sĩ em tập trung vào nghiên cứu phương pháp giúp hộ trợ cho thiết bị bay không người lái hạ cánh an tồn xác sử dụng cơng nghệ thị giác máy tính, tiến hành triển khai thử nghiệm mô thực tế Qua việc nghiên cứu phương pháp, em triển khai thực phương pháp sử dụng điểm đánh dấu (marker) Whycon, ArUco, AprilTag đặt mặt đất để giúp định vị xác điểm cần hạ cánh Cùng với sử dụng điều khiển vận tốc để điều khiển thiết bị bay hạ cánh Ngoài ra, thiết kế gồm loại điểm đánh đấu mặt đất cho phép thiết bị bay hạ cánh an toàn từ độ cao khác trường hợp phần điểm đánh dấu bị che khuất Để thực đề tài này, em sử dụng máy ảnh đơn hướng xuống gắn thiết bị bay để tiến hành tìm kiếm xác định điểm đánh dấu Bộ điều khiển vận tốc sử dụng thuật toán PID điều khiển vận tốc dựa khoảng cách từ thiết bị bay đến điểm đánh dấu Các tảng phần mềm sử dụng như: Robot Operating System, trình mơ Gazebo, firmware điều khiển bay PX4 Tất thực máy tính sử dụng hệ điều hành Ubuntu Kết thu thử nghiệm mô thực tế thiết bị bay thực hạ cánh an tồn vị trí đánh dấu Tuy nhiên, kết có sai số hạn chế thiết bị, thời gian thử nghiệm hay dụng cụ đo đạc Nếu tiếp tục phát triển, luận văn ứng dụng tốn thiết bị bay không người lái giao thả hàng tự động đến điểm đánh dấu, bãi hạ đỗ cho thiết bị bay HỌC VIÊN Ký ghi rõ họ tên MỤC LỤC CHƯƠNG GIỚI THIỆU CHUNG 1.1 Đặt vấn đề 1.2 Tổng quan thiết bị bay không người lái 1.3 Định vị dùng thị giác máy tính 1.3.1 AprilTag 1.3.2 ArUco 12 1.3.3 Whycon 15 1.3.4 Ước tính vị trí 20 1.4 Phương pháp điều khiển vận tốc 36 CHƯƠNG THIẾT KẾ HỆ THỐNG 39 2.1 Thiết kế điểm hạ cánh 39 2.1.1 Ưu điểm loại điểm đánh dấu 39 2.1.2 Bố trí điểm đánh dấu 41 2.2 Thiết kế chương trình 44 CHƯƠNG MÔ PHỎNG VÀ THỰC NGHIỆM 53 3.1 Mô 53 3.1.1 Nền tảng sử dụng 53 3.1.2 Kịch kết mô 57 3.2 Thử nghiệm thực tế 61 3.2.1 Thiết bị sử dụng 61 3.2.2 Kịch kết thử nghiệm 63 CHƯƠNG KẾT LUẬN 72 4.1 Kết luận 72 4.2 Hướng phát triển luận văn tương lai 72 TÀI LIỆU THAM KHẢO 73 DANH MỤC HÌNH VẼ Hình 1.1 Một số ứng dụng thiết bị bay không người lái Hình 1.2 Một số kiểu dáng thiết bị bay không người lái Hình 1.3 Một số loại điểm đánh dấu Hình 1.4 Thẻ AprilTag Hình 1.5 Quá trình xử lý ảnh AprilTag Hình 1.6 AprilTag phát giải mã Hình 1.7 Bố cục thẻ AprilTag 21h7 10 Hình 1.8 Một số kích thước từ điển cho ArUco 12 Hình 1.9 Quá trình phát giải mã thẻ ArUco 14 Hình 1.10 Quay bit giải mã 90 độ 15 Hình 1.11 Bảng đánh dấu nhiều ArUco 15 Hình 1.12 Điểm đánh dấu Whycon 16 Hình 1.13 Ảnh hưởng mờ cạnh Whycon 19 Hình 1.14 Mơ hình máy ảnh Pinhole 20 Hình 1.15 Mơ tả chuyển từ hệ tọa độ thực tới hệ tọa độ máy ảnh 21 Hình 1.16 Một số ví dụ sử dụng việc hiệu chỉnh máy ảnh 22 Hình 1.17 Mơ tả điểm giới thực sử dụng mơ hình Pinhole 23 Hình 1.18 Mơ tả phép chuyển hệ tọa độ 23 Hình 1.19 Mơ tả mối quan hệ hai điểm hai mặt phẳng 24 Hình 1.20 Mô tả chuyển đổi hệ tọa độ homography 26 Hình 1.21 Trục tọa độ góc quay thiết bị bay 33 Hình 1.22 Phép tịnh tiến hai hệ tọa độ 34 Hình 1.23 Phép xoay trục tọa độ 34 Hình 1.24 Chuyển đổi hệ tọa độ kết hợp phép xoay tịnh tiến 35 Hình 1.25 Các hệ tọa độ sử dụng thực chuyến bay 35 Hình 1.26 Hệ thống điều khiển có phản hồi 36 Hình 1.27 Tổng quan tồn hệ thống PID 37 Hình 1.28 Phản hồi bước đơn vị điển hình 37 Hình 2.1 So sánh phát khoảng cách AprilTag ArUco 39 Hình 2.2 So sánh phát khoảng cách hai AprilTag ArUco 40 Hình 2.3 So sánh khả phát thẻ bị ảnh hưởng bới chuyển động 40 Hình 2.4 Khả phát thẻ ArUco AprilTag 41 Hình 2.5 Điểm hạ cánh sử dụng cho độ cao 20m 42 Hình 2.6 Điểm hạ cánh điều kiện bị che khuất 43 Hình 2.7 Các giai đoạn hạ cánh 44 Hình 2.8 Các thành phần hệ thống 46 Hình 2.9 Kiến trúc chương trình 46 Hình 2.10 Sơ đồ xử lý bắt đầu nhận tín hiệu hạ cánh 47 Hình 2.11 Q trình gửi vị trí tới chuyển đổi 48 Hình 2.12 Q trình tính tốn vận tốc 49 Hình 2.13 Tính vận tốc theo vị trí đo lường 50 Hình 2.14 Tính vận tốc theo vị trí ước tính 50 Hình 2.15 Mơ tả đầu vào PID 51 Hình 3.1 Q trình truyền thơng hai node thơng qua ROS Master 54 Hình 3.2 Truyền nhận liệu qua topic 55 Hình 3.3 Khung cảnh mô giao diện Gazebo 56 Hình 3.4 Vị trí bắt đầu UAV môi trường mô 58 Hình 3.5 Hiển thị thơng số khởi tạo trạng thái 58 Hình 3.6 Quá trình hạ cánh độ cao 20m mơ 59 Hình 3.7 Q trình hạ cánh độ cao 15m mơ 60 Hình 3.8 Vị trí kết thúc hạ cánh mô độ cao 15m 60 Hình 3.9 Khung Tarot Iron Man 650 61 Hình 3.10 HolyBro Pixhawk 61 Hình 3.11 Jetson Xavier NX 61 Hình 3.12 Depth Camera D455 61 Hình 3.13 Điểm hạ cánh thực tế 62 Hình 3.14 Thiết bị bay thực tế 63 Hình 3.15 Vị trí xuất phát UAV 63 Hình 3.16 Độ cao UAV thực nghiệm 64 Hình 3.17 Phát Whycon độ cao 20m 64 Hình 3.18 Phát whycon chuyển động 65 Hình 3.19 ArUco phát độ cao 7m 65 Hình 3.20 Phát AprilTag độ cao 3m 66 Hình 3.21 UAV tiếp cận điểm hạ cánh độ cao 1m 66 Hình 3.22 Vị trí UAV sau hạ cánh 67 Hình 3.23 Qũy đạo vị trí theo thời gian 67 Hình 3.24 Qũy đạo di chuyển không gian 3D 68 Hình 3.25 Vị trí UAV lúc kết thúc chương trình khơng gian 3D 68 Hình 3.26 Điểm xuất phát ban đầu điểm hạ cánh bị che khuất 69 Hình 3.27 Độ cao UAV với điểm hạ cánh bị che khuất 69 Hình 3.28 Qũy đạo UAV độ cao 8m thực nghiệm 69 Hình 3.29 Phát Whycon với điểm hạ cánh bị che khuất 70 Hình 3.30 Phát ArUco AprilTag với điểm hạ cánh bị che khuất 70 Hình 3.31 UAV hạ cánh điểm đánh dấu bị che khuất 70 Hình 3.32 Qũy đạo UAV không gian 3D 71 Hình 3.33 Vị trí UAV hệ trục thời gian 71 DANH MỤC BẢNG BIỂU Bảng 1.1 Ảnh hưởng việc tăng tham số độc lập 38 Bảng 3.1 Mô tả kịch bay với độ cao 20m 57 Bảng 3.2 Mô tả kịch bay với độ cao 15m 59 ơô 11 12 ¼» PT 1.42 Nếu n ảnh mặt phẳng mơ hình quan sát, cách xếp chồng n phương trình (1.42), có: vub PT 1.43 Trong v ma trận 2n × Nếu n ≥ 3, nói chung có nghiệm b xác định theo hệ số tỷ lệ Nếu n = 2, áp đặt ràng buộc không lệch γ = 0, nghĩa [0, 1, 0, 0, 0, 0]b = 0, thêm vào phương trình bổ sung cho (1.43) (Nếu n = 1, giải hai tham số nội máy ảnh, ví dụ α β, giả sử u0 v0 biết (tại tâm ảnh) γ = Nghiệm T (1.43) vectơ riêng v v liên quan đến giá trị riêng nhỏ (tương đương vectơ kỳ dị bên phải v liên quan đến giá trị kỳ dị nhỏ nhất) Khi b ước tính, tính tốn tất ma trận nội máy ảnh A Ma trận B, mơ tả (1.39), ước tính theo hệ số tỷ lệ, tức B O AT A với λ tỷ lệ tùy ý trích xuất tham số nội từ ma trận B 32 v0 ( B12 B13  B11B23 ) / ( B11B22  B122 ) O B33  êơ B132  v0 ( B12 B13  B11B23 ) º¼ / B11 D O / B11 E O B11 / ( B11B12  B ) J 12 PT 1.44  B 12D E / O u0 J v0 / E  B13D / O 1.3.4.8 Chuyển hệ tọa độ Không giống phương tiện di chuyển mặt đất, thiết bị bay khơng người lái di chuyển theo khơng gian ba chiều Ngồi chuyển động tiến, lùi sang ngang, chúng cịn tăng giảm độ cao Việc làm cho chuyển động thiết bị bay phức tạp so với phương tiện mặt đất Chuyển động thiết bị bay chuyển động quay dọc theo ba trục hình 1.21: trục chạy phía trước, trục từ trái sang phải trục lên xuống Bằng cách xoay nghiêng, dọc theo trục khác này, máy bay di chuyển phía trước phía sau, trái phải đơn giản xoay chỗ Hình 1.21 Trục tọa độ góc quay thiết bị bay Với vị trí điểm đánh dấu so với máy ảnh ước tính bước trên, để điều khiển thiết bị bay tới vị trí điểm đánh dấu ta cần phải chuyển đồi giá trị vị trí thu hệ tọa độ chuẩn (được sử dụng để điều khiển thiết bị bay) thông qua phép biến đổi hệ tọa độ để điều khiển lắp thiết bị bay hiểu giá trị Để chuyển đổi hệ tọa độ, cần tìm mối quan hệ khung hệ tọa độ khung khác khơng gian hình học, hay thực chất tìm hai phép tịnh tiến quay Phép tịnh tiến loại phép dời hình để di chuyển vị trí hình mặt phẳng tọa độ sang vị trí khác Phép tịnh tiến biểu diễn dạng vectơ không quay Việc tịnh tiến không thay đổi hình dạng kích thước không xoay nên hướng không thay đổi (xem Hình 1.22) 33 Hình 1.22 Phép tịnh tiến hai hệ tọa độ Phép quay định dạng ma trận xoay, góc Euler trục, góc Trong không gian ba chiều, ma trận quay định nghĩa ma trận 3ൈ3 phép quay trục hệ tọa độ Ba ma trận quay (1.45) sau xoay hệ tọa độ góc θ so với hệ tọa độ góc theo trục x, y z sử dụng quy tắc phải (Hình 1.23) Hình 1.23 Phép xoay trục tọa độ Rx J Ry E Rz D ê1 ô0 cos J ô ôơ0 sin J ê cos E ô ô ôơ sin E êcosD ô sin D ô ôơ 0  sin J ằằ cos J »¼ sin E º »» cos E »¼  sin D 0º cosD 0»» 1»¼ R Rz D Ry E Rx J PT 1.45 ê r11 r12 r13 ôr r r ằ ô 21 22 23 ằ ôơ r31 r32 r33 ằẳ 34 Sau có ma trận quay ma trận tịnh tiến, kết hợp chúng thành ma trận biến đổi dùng để chuyển đổi hệ tọa độ với (xem Hình 1.24) Hình 1.24 Chuyển đổi hệ tọa độ kết hợp phép xoay tịnh tiến Khi bắt đầu cất cánh, thiết bị bay không người lái lấy điểm ban đầu làm tọa độ tham chiếu sử dụng hệ tọa độ để di chuyển Vì vậy, để xác định vị trí điểm hạ cánh cần phải tính tốn cho tương ứng với điểm ban đầu Áp dụng vào toán chúng ta, hệ tọa độ chia thành bốn khung tọa độ khung giới {W} (hệ tọa độ ban đầu), khung thân thiết bị bay {B}, khung máy ảnh {C} khung điểm đánh dấu {M} hình 1.25 minh họa Vị trí điểm hạ cánh biến đổi sang hệ tọa độ biết ma trận biến đổi khung giới, khung thân thiết bị bay, khung máy ảnh khung đánh Hình 1.25 Các hệ tọa độ sử dụng thực chuyến bay Hệ tọa độ điểm đánh dấu hình 1.26 với trục z hướng lên trên, hệ tọa độ máy ảnh trục z hướng xuống hệ tọa độ thiết bị bay hình 1.22 có trục x hướng phía trước, trục y phía bên trái trục z hướng nên Việc chuyển đổi từ {B} sang {W} cung cấp mô-đun GPS Việc chuyển đổi từ {B} thành {C} thường cố định cấu hình phần cứng (bằng cách xoay 180 độ ngáp 90 độ so với khung thân) Sau đó, phép biến đổi từ {C} thành {M} cung cấp thuật tốn phát Do đó, tư điểm đánh dấu khung 35 {W} tính tốn cho q trình hạ cánh điều hướng Trong luận văn này, tư điểm đánh dấu khung {B} sử dụng để điều hướng trình bày chương 1.4 Phương pháp điều khiển vận tốc Phương pháp điều khiển bay theo vận tốc nhận điểm xuất phát điểm đích Điểm xuất phát thường vị trí thiết bị bay Sau nhận vị trí từ cảm biến gửi về, điểm đích, chương trình điều khiển áp dụng thuật toán điều khiển tỉ lệ, tích phân vi phân (proportional-integral-derivative – PID) để tính tốn vận tốc Bộ điều khiển PID vịng điều khiển kín theo chế hồi tiếp áp dụng rộng rãi hệ thống điều khiển công nghiệp Bộ điều khiển tính tốn giá trị sai số từ sai khác giá trị biến đo lường giá trị mong muốn Và mục đích để giảm thiểu sai số cách điều chỉnh giá trị thơng qua q trình điều khiển Hình 1.26 Hệ thống điều khiển có phản hồi Thuật tốn điều khiển PID liên quan đến ba thông số riêng biệt: giá trị tỉ lệ (ký hiệu P), giá trị tích phân (ký hiệu I) giá trị vi phân (ký hiệu D) Nói cách đơn giản, giá trị hiểu theo thời gian sau: P phụ thuộc vào sai số tại, I dựa tích lũy sai số khứ, D dự đoán sai số tương lai, dựa tỉ lệ thay đổi Tổng trọng số ba khâu sử dụng để điều chỉnh q trình thơng qua phần tử điều khiển vị trí mở van điều khiển nguồn điện cung cấp cho phần tử gia nhiệt,… Mỗi khâu có vai trị riêng tùy vào tốn, ứng dụng u cầu hai khâu thích hợp để kiểm sốt hệ thống Để đạt điều cần đặt giá trị hay hai khâu lại khơng Khi đó, điều khiển PID gọi điều khiển PD, PI, P hay I, tùy vào thông số điều khiển sử dụng tương ứng Bộ điều khiển PI điều khiển phổ biến, thông số vi phân (D) nhạy cảm với nhiễu đo, thiếu thông số tích phân (I) ngăn hệ thống đạt mục tiêu Đặt u(t) đầu điều khiển, cơng thức đầy đủ thuật tốn PID sau: 36 t u t K p u e t  Ki u ³ e t u dt  Kd u de t