Điều khiển hệ máy bay không người lái sử dụng học tăng cường

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Điều khiển hệ máy bay không ngƣời lái sử dụng học tăng cƣờng ĐOÀN ANH ĐỨC Duc.DA202304M@sis.hust.edu.vn Ngành Kỹ thuật điều khiển tự động hóa Giảng viên hƣớng dẫn: PGS TS Nguyễn Hoài Nam Trƣờng: Khoa: Điện - Điện tử Tự động hố HÀ NỘI, 11/2022 Chữ ký GVHD CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ Họ tên tác giả luận văn: Đoàn Anh Đức Đề tài luận văn: Điều khiển hệ máy bay không người lái sử dụng học tăng cường Chuyên ngành: Kỹ thuật điều khiển tự động hóa Mã số SV: 20202304M Tác giả, Người hướng dẫn khoa học Hội đồng chấm luận văn xác nhận tác giả sửa chữa, bổ sung luận văn theo biên họp Hội đồng ngày 03/11/2022 với nội dung sau: - Chỉnh sửa lỗi tả - Bổ xung năm công bố cho số tài liệu tham chiếu - Bổ xung số thích chương trình mơ Ngày 10 tháng 11 năm 2022 Giáo viên hƣớng dẫn Tác giả luận văn CHỦ TỊCH HỘI ĐỒNG ii Lời cảm ơn Lời em xin chân thành cảm ơn đến Ban Giám hiệu Trường Đại học Bách khoa Hà Nội, Trường Điện - Điện tử, Khoa Tự động hoá tạo điều kiện cho em học tập nghiên cứu Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới thầy Nguyễn Hoài Nam hướng dẫn hỗ trợ em q trình thực luận văn Tóm tắt nội dung luận văn Các phương tiện bay không người lái nói chung có nhiều ứng dụng thực tế nhiều lĩnh vực quân sự, nghiên cứu khoa học, công nghiệp, nơng nghiệp, dịch vụ, Trong đó, quadrotor nói riêng có nhiều ưu điểm độ động cao, triển khai quy mơ lớn làm cho phù hợp với ứng dụng giám sát, quay phim, tìm kiến cứu nạn, Trong luận văn này, tác giả lựa chọn quadrotor làm đối tượng nghiên cứu; thiết kế điều khiển sử dụng thuật toán học tăng cường Data-Driven so sánh kết thiết kế với điều khiển PID Chương trình mơ điều khiển đối tượng thực phần mềm Matlab-Simulink Kết mô thiết kế điều khiển sử dụng thuật toán học tăng cường Data-Driven cho thấy đối tượng quadrotor bám tốt giá trị đặt, sở để nghiên cứu áp dụng cho dạng phương tiện bay không người lái khác tương lai HỌC VIÊN Ký ghi rõ họ tên iii MỤC LỤC CHƢƠNG GIỚI THIỆU 1.1 Tổng quan hệ máy bay không người lái 1.2 Một số phương pháp điều khiển máy bay không người lái 1.3 Kết luận chương CHƢƠNG CƠ SỞ LÝ THUYẾT 2.1 Mơ hình quadrotor 2.2 Học tăng cường 10 2.3 2.4 2.2.1 Tìm hiểu học tăng cường 10 2.2.2 Một vài thuật toán học tăng cường với mơ hình Markow 11 2.2.3 Học tăng cường toán tối ưu 18 Thuật toán học tăng cường Data-Driven 19 2.3.1 Thuật toán điều khiển vị trí 19 2.3.2 Thuật toán điều khiển trạng thái 21 2.3.3 Phân tích tính ổn định 24 Kết luận chương 25 CHƢƠNG MÔ PHỎNG ĐIỀU KHIỂN QUADROTOR 26 3.1 Đầu vào mô 26 3.2 Điều khiển quadrotor sử dụng thuật toán học tăng cường Data-Driven 26 3.3 Điều khiển quadrotor sử dụng điều khiển PID 28 3.4 So sánh kết thiết kế với hai điều khiển 32 3.5 Kết luận chương 33 CHƢƠNG KẾT LUẬN 34 4.1 Kết luận 34 4.2 Hướng nghiên cứu, phát triển 34 TÀI LIỆU THAM KHẢO 35 PHỤ LỤC 37 A1 Chương trình mơ điều khiển vị trí sử dụng Data-Driven 37 A2 Chương trình mơ điều khiển góc trạng thái sử dụng Data-Driven 40 iv DANH MỤC HÌNH VẼ Hình 1.1 Quadrotor Hình 1.2 UAV cánh cố định Hình 1.3 UAV có cấu trúc lai .2 Hình 1.4 UAV đập cánh .2 Hình 2.1 Các hệ tọa độ Hình 2.2 Các góc Euler Hình 2.3 Minh họa vận động viên (tác nhân PG) 16 Hình 2.4 Thuật tốn Actor-Critic 17 Hình 2.5 Cấu trúc thuật toán Actor-Critic 18 Hình 3.1 Điều khiển vị trí sử dụng thuật tốn Data-Driven 26 Hình 3.2 Tín hiệu điều khiển vị trí sử dụng thuật tốn Data-Driven 27 Hình 3.3 Điều khiển trạng thái sử dụng thuật tốn Data-Driven 27 Hình 3.4 Tín hiệu điều khiển trạng thái sử dụng thuật tốn Data-Driven 28 Hình 3.5 Cấu trúc điều khiển đối tượng sử dụng điều khiển PID 29 Hình 3.6 Điều khiển vị trí sử dụng điều khiển PID 30 Hình 3.7 Tín hiệu điều khiển vị trí sử dụng điều khiển PID 31 Hình 3.8 Điều khiển trạng thái sử dụng điều khiển PID .31 Hình 3.9 Tín hiệu điều khiển trạng thái sử dụng điều khiển PID 32 Hình 3.10 So sánh điều khiển vị trí hai điều khiển .32 Hình 3.11 So sánh điều khiển trạng thái hai điều khiển 33 v DANH MỤC BẢNG BIỂU Bảng 3.1 Các tham số đối tượng 26 Bảng 3.2 Các tham số điều khiển PID 30 vi DANH MỤC TỪ VIẾT TẮT UAV UAS RL MDP DP ADP ARE HJB HJI PG AC PE PID LQR CNF MPC SISO MIMO : Unmanned Aerial Vehicle - Phương tiện bay không người lái : Unmanned Aircraft System - Hệ thống máy bay không người lái : Reinforcement Learning - Học tăng cường : Markov Decision Process - Quá trình Markov : Dynamic Program - Quy hoạch động : Adaptive Dynamic Program - Quy hoạch động thích nghi : Algebraic Riccati Equation - Phương trình Riccati : Hamilton-Jacobi-Bellman : Hamilton-Jacobi-Isaacs : Policy Gradient : Actor-Critic : Persistence of Excitation : Proportional Integral Derivative : Linear Quadratic Regulator : Composite Nonlinear Feedback : Model Predictive Control : Single Input, Single Output : Multi Inputs, Multi Outputs vii CHƢƠNG GIỚI THIỆU 1.1 Tổng quan hệ máy bay không ngƣời lái UAV phương tiện bay phi cơng buồng lái UAV phận cấu thành UAS, hệ thống bao gồm UAV, kiểm soát viên mặt đất hệ thống liên lạc UAV kiểm soát viên Các chuyến bay UAV vận hành với mức độ tự chủ khác điều khiển từ xa người vận hành hay bay tự động máy tính dựa vào hệ thống tự động Các UAV chia làm ba dạng chính: - UAV có nhiều cánh quạt: quadrotor, hexacopter, bicopter … Hình 1.1 Quadrotor - UAV cánh cố định Hình 1.2 UAV cánh cố định - UAV có cấu trúc lai Hình 1.3 UAV có cấu trúc lai Ngồi dạng trên, UAV thiết kế lấy cảm hứng từ sinh học nghiên cứu, phát triển phịng thí nghiệm có nhiều tiềm ứng dụng thực tế Hình 1.4 UAV đập cánh Đặc điểm dạng UAV trên: - UAV có nhiều cánh quạt có khả bay động bay đứng im vị trí cố định khơng gian - UAV cánh cố định có khả bay với vận tốc bay cao sử dụng cánh cố định hệ thống động lực - UAV có cấu trúc lai có hai ưu điểm loại UAV nêu khả bay nhanh khả động, nhiên khả động khơng thể so với UAV có nhiều cánh quạt UAV có ứng dụng vơ lớn sống, trải rộng nhiều lĩnh vực Ban đầu tham gia vào nhiệm vụ tốn nguy hiểm cho người ứng dụng quân sự, sau mở rộng nhanh chóng tới thương mại, khoa học, giải trí, nơng nghiệp… Các ứng dụng tác chiến, trinh sát, tình báo, giám sát; hỗ trợ ngành báo chí, truyền thơng; vận chuyển đồ cứu trợ, cứu người; hỗ trợ tìm kiếm cứu nạn; giám sát động vật hoang dã; ứng dụng nông nghiệp; kiểm tra sở hạ tầng, khảo sát cơng trình xây dựng; dịch vụ trắc địa, lập đồ, kiểm soát, phát triển tài nguyên đất đai; giao hàng; chụp ảnh, quay phim giải trí từ khơng; tham gia tạo tác phẩm nghệ thuật Một số UAV ứng dụng chúng: - Ứng dụng dân sự: + Thu thập liệu thời tiết: Aerosonde + Nhiệm vụ viễn thám: Global Observer + Giám sát phát cháy rừng: Patroller + Tìm kiếm cứu nạn, giám sát tuần tra hàng hải: AR5 Life Ray + Tìm kiếm cá biển: Fulmar X + Giao thơng (vận chuyển, taxi): SureFly + Quay phim giải trí từ khơng; hỗ trợ ngành báo chí, truyền thơng; tham gia tạo tác phẩm nghệ thuật; dịch vụ trắc địa: Mavic 3, Mini Pro, Air 2S - Ứng dụng quân sự: + Tình báo, giám sát, thu thập mục tiêu trinh sát: Aladin, Anka, Arrow Lite, AR4 Light Ray Evolution, Bat, Bird Eye 400, Black Hornet, Dominator XP, Falco Evo, Firebird, Hermes 90, Hermes 450, Harfang, Hermes 900, Heron 1, Jump 20, Luna X-2000, MQ-8B Fire Scout, Orbiter 1/2/3, P.1HH Hammerhead, RQ-20B Puma AE, Ranger, RQ-4 Global Hawk Block 40, RQ-7 Shadow, RQ-21a Blackjack, ScanEagle, Searcher, Seeker, SD-150 Hero, Shahpar, Skylark I, Sperwer Mk.2, T-20, RQ-16 THawk, Wasp III, Watchkeeper, Zephyr-S + Tình báo, giám sát, thu thập trinh sát mục tiêu biển: AR3 Net Ray, Apid one + Thực nhiệm vụ tác chiến: Aerostar, Apex, Bird Eye 650D, Cabure III, Camcopter S-100, Fury, MQ-1 Predator, MQ-1C Gray Eagle, MQ-9 Reaper, Neuron, Predator C Avenger, Taranis, X-47B + Xác định mối đe dọa di động, cung cấp vị trí mục tiêu cho pháo binh, kiểm soát hỏa lực: KZO, Vulture + Hỗ trợ chiến chống khủng bố: Desert Hawk III Trong UAV trên, quadrotor phương tiện bay khơng người lái có ứng dụng hữu ích nhờ tính động khả bay đứng im vị trí cố định khơng gian Do đó, tác giả lựa chọn quadrotor đối tượng nghiên cứu luận văn, sử dụng để thiết kế mô điều khiển 1.2 Một số phƣơng pháp điều khiển máy bay khơng ngƣời lái Có nhiều phương pháp điều khiển nghiên cứu, phát triển sử dụng cho UAV phụ thuộc vào tính chất, đặc tính đối tượng nhiệm vụ bay khác Một số phương pháp điều khiển nghiên cứu, thử nghiệm thực tế cụ thể sau - Điều khiển PID: Bộ điều khiển PID áp dụng để điều khiển SISO tách kênh trạng thái, vận tốc, vị trí bay lơ lửng với sai lệch 0,2 m [1] Bộ điều khiển PID áp dụng để điều khiển tách kênh trạng thái, vận tốc vị trí Bài thử nghiệm bay theo quỹ đạo từ điểm đến điểm thực để đánh giá hiệu điều khiển [2]