Xe điều khiển kết hợp xử lý ảnh sử dụng esp32 cam

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KHOA KĨ THUẬT ĐIỆN TỬ I - - BÁO CÁO ĐỒ ÁN MÔN HỌC: ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG ĐỀ TÀI: XE ĐIỀU KHIỂN KẾT HỢP XỬ LÝ ẢNH SỬ DỤNG ESP32-CAM GIẢNG VIÊN : NGUYỄN NGỌC MINH MỤC LỤC MỤC LỤC LỜI MỞ ĐẦU LỜI CẢM ƠN GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu đề tài .6 1.2 Mục đích đề tài 1.3 Sơ lược bước thực .6 TỔNG QUAN VỀ ESP32-CAM 2.1 Giới thiệu ESP32-CAM 2.2 Các đặc điểm, tính ESP32-CAM 2.3 Các thông số kỹ thuật 2.4 Sơ đồ chân cách hoạt động .11 MicroSD card 13 ESP32 13 OV2640 CAMERA .15 ESP32 15 Variable name in code 15 GIỚI THIỆU LINH KIỆN 16 3.1 Module điều khiển động L298N: 16 Thông số kỹ thuật: .16 L298 gồm chân: .16 3.2 Động Servo MG90S: 17 3.3 Khung xe 18 3.4 Motor, bánh xe .19 3.5 Pin 19 Phần mềm sử dụng: .20 4.1 Adruino IDE 20 4.2 Tìm hiểu giao thức UDP 22 4.2.1 Khái niệm UDP .22 4.2.2 Cấu trúc gói tin UDP .22 4.2.3 Cách hoạt động UDP 23 4.2.3 Ứng dụng UDP 23 4.3 Arduino Websocket Client 23 4.3.1 Giới thiệu 23 4.3.2 Ưu điểm & Nhược điểm 23 4.3.3 Xây dựng Websocket Client cho ESP32 với Arduino Core 24 Giới thiệu opencv thuật toán, code demo 28 5.1 Thư viện OPENCV 28 5.2 Thuật toán Object Detection 29 5.3 Thuật toán OBJECT TRAKING 30 - Single Obkect Tracking (SOT) 31 5.4.Thuật toán PID .31 5.4.1 Sơ lược cấu trúc điều khiển .31 5.4.2 Thực thuật toán điều khiển ESP32 33 5.5 Nguyên lý hoạt động 34 THIẾT KẾ MƠ HÌNH, SẢN PHẦM, CODE DEMO 35 6.1 Sơ đồ 35 6.2 Sản phẩm .36 6.3 Code demo .40 KẾT LUẬN VÀ TÀI LIỆU THAM KHẢO .47 7.1 Kết dự án 47 7.2 Hướng phát triển dự án 47 7.3 Các kinh nghiệm rút 47 7.4 Tài liệu tham khảo 48 LỜI MỞ ĐẦU Ngày nay, phát triển mạnh mẽ khoa học đời sống, sống người thay đổi ngày tốt hơn, với trang thiết bị đại phục vụ công công nghiệp hóa, đại hóa Đặc biệt góp phần khơng nhỏ ngành kĩ thuật điện – điện tử nghiệp xây dựng đất nước Những thiết bị điện, điện tử phát triển ứng dụng rộng rãi đời sống ngày Từ thời gian đầu phát triển vi xử lý cho thấy ưu việt ngày tính ưu việt ngày khẳng định thêm Những thành tựu biến tưởng chừng khơng thể thành có thể, góp phần nâng cao đời sống vật chất tinh thần cho người Để góp phần làm sáng tỏ hiệu ứng dụng thực tế môn vi xử lý, sau thời gian học tập thầy cô khoa giảng dạy kiến thức chuyên ngành, đồng thời giúp đỡ nhiệt tình thầy khoa Điện-Điện tử, với nỗ lực nhóm, nhóm em “XE ĐIỀU KHIỂN KẾT HỢP XỬ LÝ ẢNH” thời gian, kiến thức kinh nghiệm chúng em cịn có hạn nên khơng thể tránh khỏi sai sót Chúng em mong giúp đỡ tham khảo ý kiến thầy cô bạn nhằm đóng góp phát triển thêm đề tài LỜI CẢM ƠN Lời em xin chân thành cảm ơn đến thầy Nguyễn Ngọc Minh giúp em nhiều trình thực đồ án Trong trình thực đồ án, giúp đỡ tận tình thầy Nguyễn Ngọc Minh nhóm em thu nhiều kiến thức quý báu giúp nhóm em nhiều q trình học làm việc tương lai: tiếp xúc với ESP32-CAM, giao tiếp UDP, OPENCV… Trong trình thực đồ án em chưa có nhiều kinh nghiệm nên khơng tránh khỏi sai sót Mong nhận góp ý thầy để hoàn thiện Một lần em xin chân thành cảm ơn giúp đỡ thầy giáo q trình thực đồ án để em hồn thành đồ án GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu đề tài Ngày nay, robotic đạt thành tựu to lớn sản xuất công nghiệp cũndg đời sống Sản xuất robot nghành công nghiệp trị giá hang tỉ USD ngày phát triển mạnh, họ robot không nhắc tới mobile robot với đặc thù riêng mà loại robot khác khơng có Mobile robot di chuyển cách linh hoạt, tạo nên khơng gian hoạt động lớn dần khẳng định vai trị quan trọng thiếu nhiều lĩnh vực, thu hút nhiều đầu tư nghiên cứu Mobile robot chia làm nhiều loại: robot học đường đi, robot dò đường line, robot tránh vật cản, robot tìm đường cho mê cung,…trong số robot điều khiển kết hợp nhận diện ảnh dễ dàng ứng dụng nhiều sống Việc phát triển loại xe phục vụ đắc lực cho người 1.2 Mục đích đề tài Xe điều khiển, nhận diện, dị line vừa có nhiều ứng dụng thực tế vừa dễ dàng để sinh viên vận dụng kiến thức tiếp thu giảng đường vào Với kết cấu khí đơn giản lại kết hợp với nhiều thành phần điện tử nên xe phù hợp để sinh viên học tập nghiên cứu thêm ngành Điện tử cách cụ thể 1.3 Sơ lược bước thực Bước 1: Thảo luận đề tài, tìm hiểu linh kiện, đọc tài liệu liên quan Bước 2: Vẽ phác họa sản phẩm, phận xe tự hành Bước 3: Thiết kế mạch mô hoạt động xe phần mềm proteus, altium, Bước 4: Sử dụng phần mềm arduino để code, nạp vào mạch mô để kiểm tra khả hoạt động sửa lỗi Bước 5: Thống kê linh kiện, giá tiền , chọn giá sản phẩm phù hợp với nhu cầu tiến hành mua linh kiện cần thiết Bước 6: Lắp ráp linh kiện cần thiết kiểm thử sản phẩm Bước 7: Làm báo cáo, thuyết trình, kết luận TỔNG QUAN VỀ ESP32-CAM 2.1 Giới thiệu ESP32-CAM - ESP32-CAM camera module tiêu thụ lượng thấp, kích thước nhỏ dựa ESP32 Đi kèm với camera OV2640 tích hợp khe cắm thẻ TF board mạch - ESP32-CAM mô-đun phát video trực tuyến tiêu thụ điện thấp độ trễ thấp - ESP32-CAM có module camera cỡ nhỏ hoạt động hệ thống độc lập với kích thước 27×40.5×4.5mm dịng tiêu thụ chế độ deep sleep có mA - ESP32-CAM có kiểu chân DIP-16 hai hàng, dễ dàng lắp đặt bread board tích hợp lên bo mạch sản phẩm cách chắn có tính tuỳ biến cao ứng dụng IoT - Các ứng dụng bo mạch IoTs như: Camera IP, nhận dạng khn mặt, nhận dạng màu sắc, nhận dạng hình dạng sản phẩm, nhận diện đồ vật,… 2.2 Các đặc điểm, tính ESP32-CAM - Tích hợp module ESP32-S board mạch, hỗ trợ WiFi + Bluetooth - Camera OV2640 có đèn flash - Khe cắm thẻ TF board mạch, hỗ trợ thẻ nhớ TF lên đến 4G để lưu trữ liệu - Hỗ trợ WiFi video monitoring and WiFi image upload - Hỗ trợ multi sleep modes, dòng sleep sâu thấp tới 6mA - Giao diện điều khiển truy cập thơng qua pinheader, dễ dàng tích hợp nhúng vào sản phẩm người dùng 2.3 Các thông số kỹ thuật - Module WIFI: ESP-32S - Bộ xử lý: ESP32-D0WD - Flash tích hợp: 32Mbit - RAM: 512KB bên + PSRAM 4M bên - Antenna: Antenna PCB board - Giao thức WiFi: IEEE 802.11 b / g / n / e / i - Bluetooth: Bluetooth 4.2 BR / EDR BLE - Chế độ WIFI: Station / SoftAP / SoftAP+Station - Bảo mật: WPA / WPA2 / WPA2-Enterprise / WPS - Định dạng hình ảnh đầu ra: JPEG (chỉ hỗ trợ OV2640), BMP, GRAYSCALE - Thẻ TF hỗ trợ: tối đa 4G - Giao diện ngoại vi: UART / SPI / I2C / PWM - Cổng IO: - Tốc độ truyền UART: mặc định 115200bps - Nguồn điện: 5V - Transmitting power: + 802.11b: 17 ± 2dBm (@ 11Mbps) + 802.11g: 14 ± 2dBm (@ 54Mbps) + 802.11n: 13 ± 2dBm (@ HT20, MCS7) - Nhận nhạy cảm: + CCK, 1Mb / giây: -90 dBm + CCK, 11Mb / giây: -85 dBm + 6Mb / giây (1/2 BPSK): -88 dBm + 54Mbps (3/4 64-QAM): -70 dBm + HT20, MCS7 (65Mbps, 72.2Mbps): -67 dBm - Power consumption: + Flash off: 180mA @ 5V + Flash on and brightness max: 310mA @ 5V + Deep-Sleep: thấp tới 6mA @ 5V + Modern-Sleep: thấp tới 20mA @ 5V + Light-Sleep: thấp tới 6,7mA@5V - Nhiệt độ hoạt động: -20oC ~ 85oC - Môi trường bảo quản: -40oC ~ 90oC,