Xây dựng sản phẩm robot kết hợp xử lý ảnh bằng raspberry pi

BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG TÊN ĐỀ TÀI: XÂY DỰNG SẢN PHẨM ROBOT KẾT HỢP XỬ LÝ ẢNH BẰNG RASPBERRY PI GIẢNG VIÊN : NGUYỄN NGỌC MINH MỤC LỤC Thực nghiệm xây dựng sảng phẩm robot kết hợp xử lý ảnh Raspberry Pi CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG MÁY TÍNH NHÚNG RASPBERRY PI 1.1 Giới thiệu chung Raspberry Pi 1.1.1 Khái niệm Raspberry Pi 1.1.2 Ứng dụng Raspberry Pi .6 1.1.3 Ưu điểm Raspberry Pi .6 1.2 Cấu tạo phần cứng Raspberry Pi 1.2.1 Thông số kỹ thuật .6 1.2.2 Sơ đồ khối Raspberry Pi 1.3 Các hệ điều hành Raspberry Pi 2.1.1 Lý thuyết sở hiển thị hình ảnh : 2.1.2 Cách thức thực : 1.4 Ứng dụng raspberry pi xử lý ảnh 10 1.4.1 Một số sở lý thuyết xử lý ảnh 10 CHƯƠNG 2: Object Detection sử dụng mơ hình SSD 12 1.1 Giới thiệu 12 1.2 Tổng quan: 12 1.3 Thuật toán SSD - SINGLE SHOT DETECTOR Object Detection 13 1.4 Kiến trúc mơ hình 13 1.5 Quá trình huấn luyện .17 1.6 Giai đoạn 1: Mơ hình SSD sử dụng mạng sở VGG16 để trích xuất feature map 21 1.7 Giai đoạn 2: Sử dụng trình dự đốn tích chập (Convolution preditors) cho phát đối tượng: 23 1.7.1 Feature maps nhiều tỷ lệ cho việc detection: 24 1.7.2 Bbx mặc định: Anchor Box hiểu bbx xếp chồng lên Nó giúp phát đối tượng: 24 1.7.3 Bbx bao gồm nhiều loại đối tượng hơn: 26 1.8 Cài đặt 27 CHƯƠNG THỰC NGHIỆM XÂY DỰNG SẢN PHẨM ROBOT ÁP DỤNG RASPBERRY PI 29 2.1 Thiết kế sơ đồ khối hệ thống: .29 2.2 Nguyên lý hoạt động khối : 29 2.2.1 Khối điều khiển .29 2.2.2 : Khối xử lý trung tâm .31 2.2.3 Khối công suất 35 2.2.4 Khối nguồn 37 2.2.5 Khối thị giác 37 2.2.6 Khối cảm biến 40 2.3 Nguyên lý hoạt động hệ thống .41 2.3.3 Di chuyển điều khiển web 41 2.3.4 Điều khiển cánh tay app blynk .41 2.4 Kết thực nghiệm 41 TÀI LIỆU THAM KHẢO 43 PHÂN CHIA NHIỆM VỤ .44 MỤC LỤC HÌNH ẢNH Hình 1.1 Máy tính nhúng Raspberry Pi Model B Hình 1.2 Cấu tạo Raspberry Pi Model B Hình 1.3 Sơ đồ chân Pin Out Raspberry Pi Hình 2.1 Hình ảnh từ webcam Hình 2.2 Stream web sử dụng ngơn ngữ python Hình 2.3 Quá trình xử lý ảnh Hình 2.4 Sơ đồ tổng qt hệ thống xử lý ảnh Hình 2.5 Mơ thuật tốn SSD Hình 2.6 Kiến trúc mơ hình Hình 2.7 Hình ảnh vị trí bounding box Hình 2.8 Hình mơ khoảng cách Hình 2.9 Sau phát vật thể Hình 2.10 Dựa vào thuật tốn SSD tọa độ để phát vật thể Hình 2.11 Phát đối tượng sử dụng trình dự đốn tích chập Hình 2.12 Hình ảnh tỷ lệ feature Hình 3.0 Hình ảnh sơ đồ khối Hình 3.1 Hình ảnh website điều khiển xe Hình 3.2 Appblynk điều khiển cánh tay Hình 3.3 Hình ảnh ESP 8266 Hình 3.4 Sơ đồ phần xe điều khiển esp8266 Hình 3.5 Hình ảnh Raspberry Pi Hình 3.6 Hình ảnh chân GPIO Raspberry Pi Hình 3.7 Hình ảnh cánh tay robot gắn vào xe Hình 3.8 Hình ảnh Arduino Esp8266 Hình 3.9 Hình ảnh servo motor Hình 3.10 Pin dự phịng cấp nguồn Raspberry Pi Hình 3.11 Pin cấp nguồn cho xe Hình 3.12 Camera cho Raspberry Pi Hình 3.13 Cảm biến sóng âm đo khoảng cách Hình 3.14 Kết hồn thành sau lắp ráp lập trình LỜI MỞ ĐẦU Ngày với phát triển khoa học kĩ thuật đa dạng linh kiện điện tử số, thiết bị điều khiển tự động Các công nghệ cũ thay công nghệ đại Các thiết bị công nghệ tiên tiến với hệ thống điều khiển lập trình vi điều khiển,vi xử lý, PLC thiết bị điều khiển từ xa ứng dụng rộng rãi thực tiễn Trong nghiên cứu phổ biến tại, việc ứng dụng khoa học cơng nghệ có đóng góp quan trọng đặc biệt lĩnh vực điện tử Ngày sản phẩm thơng minh có nghĩa phải có cải tiến ưu việt đời trước, khơng thể thiếu ứng dụng công nghệ để làm việc Từ việc nhận dạng đến kiểm sốt cơng nghệ giải nhiều toán thực tế gắp vật, tránh vật cản, dò đường, điều khiển thiết bị,… Đề tài bao gồm nội dung sau: Chương 1: Tổng quan hệ thống máy tính nhúng Raspberry Pi Chương Ứng dụng raspberry pi Chương Thực nghiệm xây dựng sản phẩm robot áp dụng Raspberry Pi Tuy có nhiều cố gắng, vốn kiến thức thời gian cịn hạn chế nên khơng thể tránh khỏi sai sót em mong nhận đóng góp bảo quý thầy cô bạn CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG MÁY TÍNH NHÚNG RASPBERRY PI 1.1 Giới thiệu chung Raspberry Pi 1.1.1 Khái niệm Raspberry Pi Raspberry Pi từ để máy tính có board mạch (hay cịn gọi máy tính nhúng) kích thước bẳng thẻ tín dụng, phát triển Anh Raspberry Pi Foundation với mục đích ban đầu thúc đẩy việc giảng dạy khoa học máy tính trường học nước phát triển Nhà sản xuất tích hợp thứ cần thiết để sử dụng máy vi tính Trên bo mạch Pi có CPU, GPU, RAM, khe cắm thẻ microSD, Wi-Fi, Bluetooth cổng USB 2.0 Khi sử dụng Pi, việc cài hệ điều hành, gắn chuột, bàn phím hình bắt đầu sử dụng Raspberry Pi ban đầu dựa hệ thống vi mạch (SoC) BCM2835 Broadcom, bao gồm vi xử lý ARM1176JZF-S 700 MHz, VideoCore IV GPU, ban đầu xuất xưởng với 256 MB RAM, sau nâng cấp (model B B +) lên đến 512 MB Board có socket Secure Digital (SD) (model A B) MicroSD (model A + B +) dùng làm thiết bị khởi động lưu trữ liên tục Trong năm 2014, Raspberry Pi Foundation phát hành Mơ-đun Compute, đóng gói BCM2835 với 512 MB RAM flash chip eMMC vào module để sử dụng phần hệ thống nhúng Tổ chức cung cấp Debian Arch Linux ARM để người dùng tải Các công cụ có sẵn cho Python ngơn ngữ lập trình chính, hỗ trợ cho BBC BASIC (thơng qua RISC OS image Brandy Basic clone cho Linux), C, C++, Java, Perl Ruby Hình 1- Máy tính nhúng Raspberry Pi Model B 1.1.2 Ứng dụng Raspberry Pi Raspberry Pi mini computer có đầy đủ vi xử lý vi điển khiển để thực hầu hết chức như: - Đầu coi phim HD giống Android Box, hỗ trợ KODI đầy đủ Máy chơi game cầm tay, console, game thùng Chơi máy điện tử băng ngày xưa, giả lập nhiều hệ máy Cắm máy tải Torrent 24/24 Dùng làm VPN cá nhân Biến ổ cứng bình thường thành ổ cứng mạng (NAS) Làm camera an ninh, quan sát từ xa Hiển thị thời tiết, hiển thị thông tin mạng nội Máy nghe nhạc, máy đọc sách Làm thành máy Terminal di động có hình, bàn phím, pin dự phịng để sử dụng lúc nơi, dò pass Wi-Fi Làm thiết bị điều khiển Smart Home, điều khiển thiết bị điện tử nhà Điều khiển robot, máy in không dây từ xa, Airplay 1.1.3 Ưu điểm Raspberry Pi - - - Giá rẻ: từ USD bạn mua Pi (phiên rút gọn Raspberry Pi Zero) Bản Pi mạnh tại, có đầy đủ Wi-Fi, Bluetooth, cấu hình cao Đơn giản, dễ dùng, tiết kiệm khơng gian: dùng làm cơng việc văn phịng đơn giản, gõ Word, Excel hay tạo PowerPoint, lướt web Tự học lập trình app đơn giản Pi, trẻ em học Tiêu thụ điện: Ví dụ tải Torrent, thay cắm máy tính cơng suất hàng trăm Watts liên tục 24/24 cần dùng Pi công suất chưa tới 5W làm Có tính di động cao: bỏ vào túi mang khắp nơi, thích hợp để làm máy nghe nhạc di động, máy đọc ebook, máy dò pass Wi-Fi, máy chơi game cầm tay 1.2 Cấu tạo phần cứng Raspberry Pi 1.2.1 Thông số kỹ thuật - Chipset BCM2837 Broadcom chạy tốc độ 1,2 GHz ARM Cortex-A53 lõi tứ 64 bit Mạng LAN không dây 802.11 b/g /n Bluetooth 4.1 (Cổ điển & Năng lượng thấp) Bộ đồng xử lý đa phương tiện Videocore IV® lõi kép Bộ nhớ LPDDR2 GB Hỗ trợ tất phân phối ARM GNU / Linux Windows 10 IoT Đầu nối MicroUSB cho nguồn điện 2,5 A - Cổng Ethernet x 10/100 x đầu nối video / âm HDMI x đầu nối video / âm RCA cổng USB 2.0 40 chân GPIO Chip ăng ten Đầu nối hình DSI Khe cắm thẻ MicroSD Kích thước: 85 x 56 x 17 mm 1.2.2 Sơ đồ khối Raspberry Pi Raspberry Pi Model B có đầy đủ thành phần máy tính thơng thường Hình 1- Cấu tạo Raspberry Pi Model B CPU: “Trái tim” board mạch Raspberry Pi sử dụng vi xử lý BCM2836 Broadcom Đây loại SoC (system on chip) CPU: 900 MHz ,4 nhân, kiến trúc ARM Cortex-A7 Vì sử dụng ARM Cortex-A7 nên Raspberry Pi chạy Ubuntu core Windows 10 core mượt mà SD RAM: GB GPU: Broadcom VideoCore IV @ 250 MHz Hình 1- Sơ đồ chân Pin Out Raspberry Pi Khe cắm thẻ micro SD: Có thể nhận thấy khơng có ổ cứng Raspberry Pi thay vào thẻ nhớ SD Tất liệu lưu trữ thẻ nhớ Cần dùng thẻ 4GB class (4MB/s) cho Raspberry Pi (khuyên dùng thẻ 8GB class 10) Cổng USB: Raspberry Pi có cổng USB 2.0 Đủ để bạn cắm ngoại vi cần thiết chuột, bàn phím usb wifi Cổng Ethernet: Model có cổng Ethernet chuẩn RJ45 Cổng HDMI: Dùng để truyền tín hiệu Video Audio số Có tới 14 chuẩn video hỗ trợ tín hiệu HDMI dễ dàng chuyển đổi thành chuẩn khác DVI, RCA, SCART Ngõ Audio-Video: Ngõ giắc cắm chuẩn 3.5mm, hỗ trợ cho người dùng khơng có hình hỗ trợ HDMI Âm hình ảnh lấy từ cổng có chất lượng chút so với từ cổng HDMI Cổng cấp nguồn Micro USB: Một điều nhận thấy Raspberry Pi khơng có nút nguồn Micro USB chọn làm cổng cấp nguồn Nguồn cấp cho Raspberry Pi 5v điện áp (bắt buộc) dòng nên lớn hớn 1A Cấp nguồn 5v dễ làm cháy board mạch Cổng DSI (Display Serial Interface): Cổng dùng để kết nối với LCD hình OLED Cổng CSI (Camera Serial Interface): Cổng dùng để kết nối với module camera riêng Raspberry Pi Module thu hình ảnh chất lượng lên đến 1080p GPIO (General Purpose Input and Output): Giống chân vi điều khiển, IO Raspberry Pi sử dụng để xuất tín hiệu led, thiết bị… đọc tín hiệu vào từ nút nhấn, cơng tắc,cảm biến… Ngồi cịn có IO tích hợp chuẩn truyền liệu UART, I2C SPI 1.3 Các hệ điều hành Raspberry Pi Raspberry Pi chủ yếu sử dụng hệ điều hành dựa nhân Linux Chip ARM11 trung tâm Pi (mơ hình hệ đầu tiên) dựa phiên ARM Các phiên số phân nhánh phổ biến Linux, bao gồm Ubuntu, không chạy ARM11 Không thể chạy Windows Raspberry Pi gốc, Raspberry Pi chạy hệ điều hành Windows 10 IoT Core Raspberry Pi hỗ trợ Ubuntu Snappy Core, Raspbian, OpenELEC RISC OS Một số hệ điều hành thông dụng cho Raspberry Pi: - Raspbian, Ubuntu Mate, Snappy Core Ubuntu, Windows 10 IoT Core, OSMC, OpenELEC, PiNet, RiscOS,… 2.1 Hiển thị hình ảnh qua Raspberry Pi 2.1.1 Lý thuyết sở hiển thị hình ảnh : - Hình ảnh gửi từ camera tới raspberry hiển thị lên hình máy tính PC, giúp điều khiển xe từ xa trở nên dễ dàng 2.1.2 Cách thức thực : A, stream hình ảnh lên webcam : - Lắp đặt camera cho Raspberry chạy webstream để hiển thị liệu hình ảnh Kết thực : Hình 2.1 Hình ảnh từ webcam B, Stream python : - cài đặt opencv chop y thon stream qua python cài đặt mặc định raspberry ... P(c,c1,c2,…) Do đó, ảnh xử lý ảnh xem ảnh n chiều 11 Hình 2- Sơ đồ tổng quát hệ thống xử lý ảnh Các hệ thống xử lý ảnh: - Tiền xử lý: Tiền xử lý giai đoạn xử lý ảnh số Tuỳ thuộc vào trình xử lý giai đoạn... dạng ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “đã xử lý? ?? kết luận Hình 2- Quá trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ... nghiệm xây dựng sảng phẩm robot kết hợp xử lý ảnh Raspberry Pi CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG MÁY TÍNH NHÚNG RASPBERRY PI 1.1 Giới thiệu chung Raspberry Pi 1.1.1 Khái niệm Raspberry