(Đồ án hcmute) xây dựng mô hình quadcopter và điều khiển bay bám theo đối tượng

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA XÂY DỰNG MƠ HÌNH QUADCOPTER VÀ ĐIỀU KHIỂN BAY BÁM THEO ĐỐI TƯỢNG GVHD: LÊ MỸ HÀ SVTH: NGUYỄN VĂN MINH PHỤNG MSSV: 16151068 SVTH: NGUYỄN THÀNH QUANG MSSV: 16151070 SKL 0 2 Tp Hồ Chí Minh, 2020 an TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO  - ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG MƠ HÌNH QUADCOPTER VÀ ĐIỀU KHIỂN BAY BÁM THEO ĐỐI TƯỢNG SVTH: NGUYỄN VĂN MINH PHỤNG 16151068 NGUYỄN THÀNH QUANG 16151070 KHÓA: 2016 - 2020 NGÀNH: CNKT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HÓA GVHD: PGS TS LÊ MỸ HÀ Tp.Hồ Chí Minh, ngày tháng năm 2020 an CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu Thiết bị bay không người lái (drones hay quadcopter) trước thiết bị chủ yếu ứng dụng lĩnh vực quân Tuy nhiên, sóng cách mạng cơng nghiệp 4.0 với việc ứng dụng tiến công nghệ thông tin truyền thông vào lĩnh vực cơng nghiệp truyền thống diễn mạnh mẽ, drones dần trở nên phổ biến hơn, sử dụng rộng rãi cho mục đích dân sự, đặc biệt lĩnh vực công nghiệp, nơng nghiệp, lâm nghiệp, truyền hình, ứng dụng khoa học thuộc lĩnh vực địa kỹ thuật không gian Quadcopter máy bay trang bị bốn động bốn cánh quạt sở hoạt động dựa nguyên tắc động học Quadcopter có đặc điểm thuận lợi cho nhiều ứng dụng kiểm tra sở hạ tầng, giám sát giám sát tài sản, khả di chuột, cất cánh hạ cánh thẳng đứng Nhờ phát triển gần thuật toán điều khiển chuyến bay, sức mạnh xử lý hình ảnh đặc biệt học máy, máy bay tứ giác có hội tự chủ chấp nhận để cung cấp dịch vụ loạt kịch ứng dụng Vì lý đó, tơi định chọn quad quad đối tượng dự án với mục tiêu xây dựng mơ hình quad quad để theo mục tiêu Tuy nhiên, góc quay từ xuống giới hạn thời gian thực, khơng có nhiều ý ứng dụng tầm nhìn thơng minh cho máy ảnh tứ giác Các vấn đề khác dung lượng trọng lượng máy bay không người lái hạn chế phần cứng nhúng để thực thuật tốn máy tính thơng minh mạnh mẽ Trong luận án này, mơ hình quadcopter tự phát triển tự động phát theo dõi đối tượng cách sử dụng xử lý ảnh kỹ thuật theo dõi lọc tương quan trình bày 1.2 Mục tiêu  Xây dựng mơ hình quadcopter hồn chỉnh  Điều khiển quadcopter bay bám theo đối tượng  Hoàn thành thời gian tiến độ đặt an 1.3 Nghiên cứu quốc tế Thị trường thương mại drones hãng nghiên cứu đánh giá thị trường tiềm phát triển mạnh tương lai gần Hãng nghiên cứu thị trường công nghệ tiếng Gartner đưa dự đốn có khoảng triệu thiết bị bay khơng người lái cho mục đích cá nhân thương mại vận chuyển (bán ra) năm 2017 Việc sản xuất drones phát triển nhanh chóng, Gartner dự đốn doanh thu thị trường toàn cầu tăng 34% đạt tỷ USD năm 2017, tăng lên 11,2 tỷ USD vào năm 2020 [1] Hãng nghiên cứu thị trường BI Intelligence, đưa báo cáo ước tính đầu tư cho phần cứng drones thị trường tồn cầu tăng, dự tính đạt 12 tỷ USD vào năm 2021[2] Sở dĩ công nghệ thiết bị bay không người lái phát triển mạnh mẽ dù hoạt động sơ khai đem lại hiệu đáng kể ứng dụng vào ngành công nghiệp khác nhau, tạo thay đổi có tính đột phá so với phương thức hoạt động truyền thống lĩnh vực Hình 1.1 Dự kiến đầu tư vào phần cứng Drone (2015 - 2021) an Hình 1.2 DJI Tello drone 1.3.1 Camera (flycam) Flycam máy bay khơng người lái trang bị thiết bị ghi hình ảnh điều khiển từ xa cho phép người dùng chụp ảnh từ cao Ngày nay, Flycam trở nên vô phổ biến với nhiều người Flycam đổi ngày kiểu dáng, kích thước, thời gian bay, khoảng cách điều khiển, giá cả, camera chất lượng, v.v Hình 1.2 cho thấy hình ảnh Flycam phổ biến thị trường - DJI Tello drone [1] 1.3.2 Drone với công nghệ theo dõi đối tượng Với cơng nghệ Follow-object, UAV lập trình để tự động theo dõi đối tượng, mang đến cho người dùng nhiều hội để quay ảnh không độc đáo Máy bay không người lái sử dụng GPS / GSC Nhiều máy bay không người lái sử dụng thiết bị hỗ trợ GPS điện thoại di động, máy tính bảng Bộ điều khiển mặt đất (GSC) với máy phát (máy phát đeo điện thoại di động) Máy bay không người lái lập trình để theo dõi máy phát để giữ đối tượng khung hình máy ảnh lúc Công nghệ theo dõi đối tượng tạo dây nối ảo máy bay không người lái thiết bị di động trang bị GPS cho phép máy bay không người lái theo dõi vật thể chuyển động Cầu UAV đứng yên theo dõi đối tượng cách xoay di chuyển với đối tượng Công nghệ nhận dạng máy bay không người lái Cảm biến công nghệ nhận dạng, với thuật toán phần mềm cung cấp cho UAV khả nhận dạng theo dõi người đối tượng Việc phát triển an theo công nghệ máy bay không người lái cho phép UAV theo dõi đối tượng chuyển động mà khơng cần trình theo dõi GPS riêng biệt Một ứng dụng khác công nghệ phát tráng vật cản phát triển Hình 1.3 minh họa máy bay không người lái phát tránh vật xung quanh Hình 1.3 Máy bay không người lái theo dõi đối tượng bóng Đây dự án drone phát & tránh chướng ngại vật 3,5 mili giây nghiên cứu phát triển University of Zurich vào tháng năm 2020 [2] 1.3.3 Máy bay không người lái điều khiển suy nghĩ Người dùng đeo tai nghe Tai nghe thiết bị điện não đồ thu nhận xung điện não thông qua cảm biến da đầu người dùng Nó ghi lại chúng máy tính chuyển suy nghĩ thành hướng dẫn bay cho máy bay không người lái nhỏ 1.4 Nghiên cứu nước Nghiên cứu sinh viên nước Chủ đề quadcopter chủ đề thu hút nhiều quan tâm sinh viên Nhiều mơ hình quadcopter chọn để nghiên cứu luận văn tốt nghiệp nghiên cứu khoa học an Tuy nhiên, yêu cầu kiến thức khoa học nhiều lĩnh vực thiếu kinh nghiệm nghiên cứu UAV, máy bay không người lái sinh viên cịn số hạn chế Ngồi chủ đề chuyến bay truyền thống, máy bay không người lái kết hợp với công nghệ đại xử lý hình ảnh, IoT, v.v., nghiên cứu ngày nhiều trường đại học Nghiên cứu máy bay không người lái Ở cấp độ nghiên cứu cao hơn, nghiên cứu UAV, đặc biệt quadcopter đạt kết tốt Nhiều mơ hình đáp ứng u cầu đặt Sự phức tạp hệ thống tăng cường với loạt cảm biến Đi đầu khu vực trung tâm nghiên cứu Bộ Quốc phịng với hàng chục loại máy bay khơng người lái khác cho nhiệm vụ quân sự, nghiên cứu khoa học, quan sát khơng, tìm kiếm cứu nạn 1.5 Hạn chế • Máy bay tứ giác tự phát triển nên không ổn định máy bay thương mại • Thời gian bay: đến phút • Điều kiện mơi trường: Ngồi trời • Chỉ theo dõi người lần • Hệ thống theo dõi mục tiêu cách tự xoay 1.6 Nội dung - Chương 1: Tổng quan Chương cung cấp nhìn tổng quan ngắn gọn yêu cầu báo cáo bao gồm giới thiệu, mục tiêu, phạm vi nội dung luận án - Chương 2: Quadcopter tự động theo dõi đối tượng Chương cung cấp kiến thức luận án này, chẳng hạn nguyên tắc quadcopter, điều khiển PID, sở lý thuyết xử lý ảnh nhận diện màu sắc, mơ hình phát đối tượng, lọc tương quan, kỹ thuật theo dõi - Chương 3: Thiết kế xây dựng phần cứng Chương trình bày chi tiết phần cứng mơ hình, bao gồm hệ thống khí bảng mạch điện tử Hệ thống khí bao gồm hình dạng, kích thước cách lắp ráp thành phần khung mơ hình an - Chương 4: Thuật tốn điều khiển Nội dung chương bao gồm mô hình tốn học, sơ đồ thuật tốn thuật tốn cho tốn mơ hình - Chương 5: Kết thực nghiệm Chương viết sau mô hình lắp ráp hồn chỉnh, hoạt động ổn định đáp ứng yêu cầu chủ đề - Chương 6: Kết luận phát triển Chương cung cấp kết luận mặt lợi giới hạn luận án Điều kết luận đóng góp, đề xuất ý tưởng cơng việc tương lai an CHƯƠNG 2: CƠ SỞ LÝ THUYẾT MÁY BAY KHÔNG NGƯỜI LÁI BAY BÁM THEO DÕI ĐỐI TƯỢNG Phần thảo luận nội dung sau: (1) Lý thuyết điều khiển bay, mô hình động quadcopter, (2) Đơn vị đo lường bên trong, (3) Bộ điều khiển PID, (4) Tổng quan xử lý ảnh , (5) Mơ hình phát đối tượng dựa lý thuyết nhận diện màu sắc, (6) Kỹ thuật theo dõi lọc tương quan 2.1 Lý thuyết điều khiển máy bay Một quadcopter bao gồm bốn động Bốn cánh quạt gắn bốn động giúp tạo thang máy cho phép quad quad bay lên cánh quạt di chuyển Hình 2.1 Biểu thị cấu trúc quadcopter Hiểu cánh quạt máy bay điều khiển từ xa động hướng động với thiết kế cho thấy làm máy bay điều khiển từ xa hoạt động Máy bay điều khiển từ xa động ngày dễ bay bay theo hướng Tuy nhiên, thiết kế kỹ thuật khác với máy bay thông thường trực thăng việc vận hành bay làm để quadcopter bay bay theo hướng nào, nâng hạ xuống khoảnh khắc chạm vào điều khiển từ xa Máy bay điều khiển từ xa bay tự động thông qua phần mềm điều hướng lập trình từ trước bay theo hướng cho điểm đến điểm Các cánh quạt phía trước bên phải phía sau bên trái quay ngược chiều kim đồng hồ, phía trước bên trái phía sau bên phải xoay theo chiều kim đồng hồ để cân mô-men xoắn tạo cánh quạt khung Tất cánh quạt phải tạo lực đẩy quad quad cất cánh hạ cánh (Throtle Up Down) Góc Roll điều khiển cách thay đổi tốc độ bên phải (Phía trước bên phải – Cánh quạt quay vịng phía sau bên phải) bên trái (Phía trước bên trái – cánh quạt quay vịng phía sau bên trái), tổng lực đẩy tạo cánh quạt khơng thay đổi Tương tự, góc Pitch điều khiển cách thay đổi tốc độ mặt trước (Phía trước bên phải –phía trước bên trái) phía sau (phía sau bên phải –phía sau bên trái), giữ tồn lực đẩy Góc Yaw điều khiển cách thay đổi tốc độ cặp cánh quạt phía trước bên phải - Phía sau bên trái cặp cánh quạt phía trước bên trái - Phía sau bên phải để tổng lực đẩy bốn cánh quạt khơng đổi Hình 2.2 cho thấy chuyển động quadcopter an Hình 2.1 Cấu trúc bay quadcopter Hình 2.2 Chuyển động quadcopter an Giá trị x từ khung ảnh sử dụng để làm tín hiệu điều khiển trục Yaw quadcopter, giá trị R từ khung ảnh sử dụng để làm tín hiệu điều khiển trục Pitch quadcopter Hình 4.5 giá trị pixel x R đối trượng ảnh Hình 4.5 Giá trị pixel x R đối trượng ảnh 4.2.2 Tạo xung PWM làm tín hiệu điều khiển Để điều khiển quadcopter, từ điều khiển raspberry pi ta truyền tín hiệu dạng xung PWM tới STM32, xung có tần số 50Hz độ rộng xung từ 1100µs - 1900µs Hình 4.6 xung PWM tạo từ raspberry pi điều khiển: (a) xung PWM có độ rộng 1100µs tạo từ raspberry pi, (b) xung PWM có độ rộng 1500µs tạo từ raspberry pi, (c) xung PWM có độ rộng 1500µs tạo từ raspberry pi Hình 4.6 Xung PWM tạo từ raspberry pi điều khiển (a) xung PWM có độ rộng 1100µs (b) xung PWM có độ rộng 1500µs (c) xung PWM có độ rộng 1500µs Kênh throttle tạo xung giá trị từ tăng từ 1100µs - 1900µs điều khiển quadcopter bay thấp tới cao Các kênh roll, pitch, yaw tạo giá trị xung 1500µs điều khiển 60 an quadcopter đứng yên, tăng giảm từ giá trị quadcopter bay tới, lui, nghiêngtrái, ngiêng phải, xoay trái xoay phải 4.2.3 Bộ điều khiển PID cho quadcopter bay theo đối tượng Thơng thường tín hiệu hồi tiếp điều khiển PID đọc từ cảm biến, mơ hình quadcopter bay theo đối tượng, ta thay cảm biến camera, camera hồi tiếp giá trị pixel trục x bán kính R đối tượng Hình 4.7 4.8 cho thấy sơ đồ khối điều khiển PID giữ cho quadcopter bay theo đối tượng Hình 4.7 Sơ đồ khối điều khiển PID theo trục x đối tượng Hình 4.8 Sơ đồ khối điều khiển PID theo bán kính R đối tượng Giá trị đặt giá trị pixel trục x bán kính R đối tượng lấy từ q trình xử lý ảnh, tín hiệu điều khiển dạng xung qua điều khiển PID giúp quadcopter giữ ổn định bay theo đối tượng 4.3 Nền tảng nhận diện xử lý ảnh 4.3.1 Ngôn ngữ lập trình Python Python ngơn ngữ kịch cấp cao, giải thích, tương tác hướng đối tượng Python thiết kế để dễ đọc Nó sử dụng từ khóa tiếng Anh thường xuyên ngơn ngữ khác sử dụng dấu câu có cấu trúc cú pháp ngơn ngữ khác 61 an Python phiên dịch - Python trình thơng dịch xử lý thời gian chạy Bạn khơng cần phải biên dịch chương trình trước thực Python tương tác - Chúng tơi thực ngồi dấu nhắc Python tương tác trực tiếp với trình thơng dịch để viết chương trình bạn Python hướng đối tượng - Python hỗ trợ kiểu hướng đối tượng kỹ thuật lập trình đóng gói mã đối tượng Python ngôn ngữ người bắt đầu - Python ngôn ngữ tuyệt vời cho lập trình viên bắt đầu hỗ trợ phát triển loạt ứng dụng từ xử lý văn đơn giản đến trình duyệt WWW đến trị chơi Python Guido van Rossum phát triển vào cuối năm tám mươi đầu năm chín mươi Viện nghiên cứu quốc gia toán học khoa học máy tính Hà Lan Python có nguồn gốc từ nhiều ngôn ngữ khác, bao gồm ABC, Modula3, C, C ++, Algol-68, SmallTalk Unix shell ngơn ngữ script khác Các tính Python  Một thư viện tiêu chuẩn rộng - Phần lớn thư viện Python dễ mang theo đa tảng tương thích UNIX, Windows Macintosh  Chế độ tương tác - Python có hỗ trợ cho chế độ tương tác cho phép kiểm tra tương tác gỡ lỗi đoạn mã Hình 4.5 Một số thư viện phổ biến Python  Portable - Python chạy nhiều tảng phần cứng khác có giao diện tất tảng  Có thể mở rộng - Chúng tơi thêm mơ-đun cấp thấp vào trình thơng dịch Python Các mơ-đun cho phép lập trình viên thêm tùy chỉnh công cụ họ để hiệu 62 an  Cơ sở liệu - Python cung cấp giao diện cho tất sở liệu thương mại  Lập trình GUI - Python hỗ trợ ứng dụng GUI tạo chuyển đến nhiều gọi hệ thống, thư viện hệ thống cửa sổ  Khả mở rộng - Python cung cấp cấu trúc hỗ trợ tốt cho chương trình lớn so với kịch lệnh shell  Ngoài tính đề cập trên, Python cịn có danh sách lớn tính tốt, số tính liệt kê đây: o Nó sử dụng ngôn ngữ kịch biên dịch thành mã byte để xây dựng ứng dụng lớn o Nó cung cấp kiểu liệu mức cao hỗ trợ kiểm tra kiểu động o Nó hỗ trợ thu gom rác tự động o Nó dễ dàng tích hợp với C, C ++, COM, ActiveX, CORBA Java Thư viện Python Thư viện Python kèm theo loại liệu thường coi phần lõi Lõi ngôn ngữ, số danh sách Đối với loại này, lõi ngôn ngữ Python xác định hình thức chữ đặt số ràng buộc ngữ nghĩa chúng, không xác định đầy đủ ngữ nghĩa Hình 4.5 cho thấy số thư viện Python IDE Python IDLE (mơi trường phát triển tích hợp mơi trường học tập phát triển tích hợp) mơi trường phát triển tích hợp cho Python Nó đóng gói phần tùy chọn bao bì Python với nhiều phân phối Linux Nó viết hồn tồn Python cơng cụ GUI Tkinter IDLE dự định IDE đơn giản phù hợp cho người bắt đầu, đặc biệt môi trường giáo dục Theo README kèm, tính là:  Trình soạn thảo văn với cú pháp tô sáng, tự động hồn thành, thụt lề thơng minh 4.4 Sơ đồ khối 4.4.1 Sơ đồ phát theo dõi đối tượng Mô tả hệ thống: - Sau camera mở, hình ảnh chụp liên tục 63 an - Mỗi ảnh có kích thước 200x200 pixel để giảm thời gian tính tốn cho đối tượng theo dõi - Thuật toán theo dõi đối tượng thực bóng phát - Tín hiệu điều khiển gửi Raspberry Pi xung PWM tính tốn từ điều khiển PID - Nếu bán kính R