xe điều khiển kết hợp xử lý ảnh sử dụng esp32 cam

Xe điều khiển kết hợp xử lý ảnh GVHD TS Nguyễn Ngọc Minh HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA KĨ THUẬT ĐIỆN TỬ I BÁO CÁO ĐỒ ÁN MÔN HỌC ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG ĐỀ TÀI XE ĐIỀU KHIỂN KẾT HỢ.

Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG KHOA KĨ THUẬT ĐIỆN TỬ I - - BÁO CÁO ĐỒ ÁN MÔN HỌC: ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG ĐỀ TÀI: XE ĐIỀU KHIỂN KẾT HỢP XỬ LÝ ẢNH SỬ DỤNG ESP32-CAM Giảng viên: Nguyễn Ngọc Minh Hà Nội – 2022 1|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh LỜI MỞ ĐẦU Ngày nay, phát triển mạnh mẽ khoa học đời sống, sống người thay đổi ngày tốt hơn, với trang thiết bị đại phục vụ công cơng nghiệp hóa, đại hóa Đặc biệt góp phần khơng nhỏ ngành kĩ thuật điện – điện tử nghiệp xây dựng đất nước Những thiết bị điện, điện tử phát triển ứng dụng rộng rãi đời sống ngày Từ thời gian đầu phát triển vi xử lý cho thấy ưu việt ngày tính ưu việt ngày khẳng định thêm Những thành tựu biến tưởng chừng thành có thể, góp phần nâng cao đời sống vật chất tinh thần cho người Để góp phần làm sáng tỏ hiệu ứng dụng thực tế môn vi xử lý, sau thời gian học tập thầy cô khoa giảng dạy kiến thức chuyên ngành, đồng thời giúp đỡ nhiệt tình thầy khoa Điện-Điện tử, với nỗ lực nhóm, nhóm em “XE ĐIỀU KHIỂN KẾT HỢP XỬ LÝ ẢNH” thời gian, kiến thức kinh nghiệm chúng em cịn có hạn nên khơng thể tránh khỏi sai sót Chúng em mong giúp đỡ tham khảo ý kiến thầy bạn nhằm đóng góp phát triển thêm đề tài 2|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh LỜI CẢM ƠN Lời chúng em xin chân thành cảm ơn đến thầy Nguyễn Ngọc Minh giúp chúng em nhiều trình thực đồ án Trong trình thực đồ án, giúp đỡ tận tình thầy Nguyễn Ngọc Minh nhóm em thu nhiều kiến thức quý báu giúp nhóm em nhiều trình học làm việc tương lai: tiếp xúc với ESP32-CAM, giao tiếp UDP, OPENCV… Trong trình thực đồ án em chưa có nhiều kinh nghiệm nên khơng tránh khỏi sai sót Mong nhận góp ý thầy để hoàn thiện Một lần em xin chân thành cảm ơn giúp đỡ thầy giáo trình thực đồ án để em hồn thành đồ án 3|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh MỤC LỤC BÁO CÁO ĐỒ ÁN I GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu đề tài 1.2 Mục đích đề tài 1.3 Sơ lược bước thực .6 II TỔNG QUAN VỀ ESP32-CAM 2.1 Giới thiệu ESP32-CAM 2.2 Các đặc điểm, tính ESP32-CAM 2.3 Các thông số kỹ thuật 2.4 Sơ đồ chân cách hoạt động MicroSD card 12 ESP32 12 OV2640 CAMERA 13 ESP32 13 Variable name in code .13 III GIỚI THIỆU VỀ CÁC LINH KIỆN KHÁC .13 3.1 Module điều khiển động L298N 13 3.2 Động servo MG90S 14 3.3 Mạch chuyển USB UART TTL FT232RL .16 IV V PHẦN MỀM 17 4.1 Arduino IDE 17 4.2 Arduino Websocket Client 18 4.2.1 Giới thiệu .18 4.2.2 Ưu điểm nhược điểm .18 4.2.3 Xây dựng Websocket Client cho ESP32 với Arduino Core 19 GIỚI THIỆU OPENCV VÀ CÁC THUẬT TOÁN 22 5.1 Thư viện OPENCV .22 5.2 Thuật toán OBJECT DETECTION 23 5.3 Thuật toán OBJECT TRAKING 24 Single Obkect Tracking (SOT) 24 5.4 Thuật toán PID 25 5.4.1 Sơ lược cấu trúc điều khiển .25 5.4.2 Thực thuật toán điều khiển ESP32 26 4|Page Xe điều khiển kết hợp xử lý ảnh 5.4.3 VI GVHD: TS Nguyễn Ngọc Minh Nguyên lý hoạt động 27 HỆ ĐIỀU HÀNH VÀ LƯU ĐỒ THUẬT TOÁN 29 6.1 Hệ điều hành FreeRTOS 29 6.2 Chương trình thử với động l298n 30 VII THIẾT KẾ MƠ HÌNH VÀ SẢN PHẨM 33 7.1 Sơ đồ khối .33 7.2 Sản phẩm 34 VIII KẾT LUẬN VÀ TÀI LIỆU THAM KHẢO .35 8.1 Kết dự án .35 8.2 Hướng phát triển dự án 36 8.3 Các kinh nghiệm học rút 36 5|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh I GIỚI THIỆU ĐỀ TÀI I.1 Giới thiệu đề tài Ngày nay, robotic đạt thành tựu to lớn sản xuất công nghiệp cũndg đời sống Sản xuất robot nghành công nghiệp trị giá hang tỉ USD ngày phát triển mạnh, họ robot không nhắc tới mobile robot với đặc thù riêng mà loại robot khác khơng có Mobile robot di chuyển cách linh hoạt, tạo nên không gian hoạt động lớn dần khẳng định vai trị quan trọng thiếu nhiều lĩnh vực, thu hút nhiều đầu tư nghiên cứu Mobile robot chia làm nhiều loại: robot học đường đi, robot dò đường line, robot tránh vật cản, robot tìm đường cho mê cung,…trong số robot điều khiển kết hợp nhận diện ảnh dễ dàng ứng dụng nhiều sống Việc phát triển loại xe phục vụ đắc lực cho người I.2 Mục đích đề tài Xe điều khiển, nhận diện, dị line vừa có nhiều ứng dụng thực tế vừa dễ dàng để sinh viên vận dụng kiến thức tiếp thu giảng đường vào Với kết cấu khí đơn giản lại kết hợp với nhiều thành phần điện tử nên xe phù hợp để sinh viên học tập nghiên cứu thêm ngành Điện tử cách cụ thể I.3 Sơ lược bước thực Bước 1: Thảo luận chọn đề tài, lên kế hoạch thực Bước 2: Tìm hiểu linh kiện, đọc tài liệu liên quan Bước 3: Kiểm thử chạy mô Bước 4: Sử dụng phần mềm Arduino để code nạp vào mạch mô để kiểm tra khả hoạt động sửa lỗi Bước 5: Thống kê linh kiện, giá tiền, chọn sản phẩm phù hợp với nhủ cầu tiến hành mua linh kiện cần thiết Bước 6: Tiến hành lắp linh kiện cần thiết kiểm tra thử sản phẩm Bước 7: Làm báo cáo thuyết trình sản phẩm, phát triển thêm sản phẩm 6|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh II TỔNG QUAN VỀ ESP32-CAM II.1Giới thiệu ESP32-CAM - ESP32-CAM camera module tiêu thụ lượng thấp, kích thước nhỏ dựa ESP32 Đi kèm với camera OV2640 tích hợp khe cắm thẻ TF board mạch Hình 2.1: Module ESP32-CAM - ESP32-CAM mơ-đun phát video trực tuyến tiêu thụ điện thấp độ trễ thấp Nó có module camera cỡ nhỏ hoạt động hệ thống độc lập với kích thước 27×40.5×4.5mm dịng tiêu thụ chế độ deep sleep có mA - ESP32-CAM có kiểu chân DIP-16 hai hàng, dễ dàng lắp đặt bread board tích hợp lên bo mạch sản phẩm cách chắn có tính tuỳ biến cao ứng dụng IoT - Các ứng dụng bo mạch IoTs như: Camera IP, nhận dạng khn mặt, nhận dạng màu sắc, nhận dạng hình dạng sản phẩm, nhận diện đồ vật 7|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh II.2Các đặc điểm, tính ESP32-CAM - Tích hợp module ESP32-S board mạch, hỗ trợ WiFi + Bluetooth - Camera OV2640 có đèn flash - Khe cắm thẻ TF board mạch, hỗ trợ thẻ nhớ TF lên đến 4G để lưu trữ liệu - Hỗ trợ WiFi video monitoring and WiFi image upload - Hỗ trợ multi sleep modes, dòng sleep sâu thấp tới 6mA - Giao diện điều khiển truy cập thơng qua pinheader, dễ dàng tích hợp nhúng vào sản phẩm người dùng II.3Các thông số kỹ thuật - Module WIFI: ESP-32S - Bộ xử lý: ESP32-D0WD - Flash tích hợp: 32Mbit - RAM: 512KB bên + PSRAM 4M bên - Antenna: Antenna PCB board - Giao thức WiFi: IEEE 802.11 b / g / n / e / i - Bluetooth: Bluetooth 4.2 BR / EDR BLE - Chế độ WIFI: Station / SoftAP / SoftAP+Station - Bảo mật: WPA / WPA2 / WPA2-Enterprise / WPS Định dạng hình ảnh đầu ra: JPEG (chỉ hỗ trợ OV2640), BMP, GRAYSCALE Thẻ TF hỗ trợ: tối đa 4G Giao diện ngoại vi: UART / SPI / I2C / PWM Cổng IO: Tốc độ truyền UART: mặc định 115200bps Nguồn điện: 5V Transmitting power: o 802.11b: 17 ± 2dBm (@ 11Mbps) - o 802.11g: 14 ± 2dBm (@ 54Mbps) o 802.11n: 13 ± 2dBm (@ HT20, MCS7) Nhận nhạy cảm: o CCK, 1Mb / giây: -90 dBm o CCK, 11Mb / giây: -85 dBm o 6Mb / giây (1/2 BPSK): -88 dBm o 54Mbps (3/4 64-QAM): -70 dBm 8|Page Xe điều khiển kết hợp xử lý ảnh GVHD: TS Nguyễn Ngọc Minh - Power consumption: o Flash off: 180mA @ 5V o Flash on and brightness max: 310mA @ 5V o Deep-Sleep: thấp tới 6mA @ 5V o Modern-Sleep: thấp tới 20mA @ 5V o Light-Sleep: thấp tới 6,7mA@5V - Nhiệt độ hoạt động: -20oC ~ 85oC - Môi trường bảo quản: -40oC ~ 90oC,