Đồ án thiết kế hệ thống nhúng, học viện công nghệ bưu chính viễn thông (9)

Hệ thống nhúng Thực nghiệm xây dựng sảng phẩm robot kết hợp xử lý ảnh Raspberry Pi THÀNH VIÊN Nguyễn Đức Phúc B17DCDT142 Trịnh Huy Đạt B17DCDT142 Đoàn Tuấn Nhật B17DCDT138 Nguyễn Nhật Minh B17DCDT126 Mã sửa lỗi trước (FEC) truyền dẫn truyền hình số I.Tổng quan Raspberry pi II.Xây dựng sản phẩm Robot ứng dụng Raspberry Giới thiệu chung Raspberry Pi Sơ đồ khối hệ thống Nguyên Lý hoạt động khối Ứng dụng raspberry pi xử lý ảnh I.Tổng quan Raspberry pi Giới thiệu chung Raspberry Pi • Raspberry Pi từ để máy tính có board mạch (hay cịn gọi máy tính nhúng) kích thước bẳng thẻ tín dụng, phát triển Anh Raspberry Pi Foundation • Mục đích ban đầu thúc đẩy việc giảng dạy khoa học máy tính trường học nước phát triển Raspberry Pi I.Tổng quan Raspberry pi Ưu điểm Raspberry Pi Giá rẻ  Đơn giản, dễ dùng, tiết kiệm khơng gian  Tự học lập trình app đơn giản Pi, trẻ em học  Tiêu thụ điện  Có tính di động cao I.Tổng quan Raspberry pi Ứng dụng Raspberry Pi • Raspberry Pi mini computer có đầy đủ vi xử lý vi điển khiển để thực hầu hết chức ví dụ như: Đầu coi phim HD giống Android Box, hỗ trợ KODI đầy đủ Máy chơi game cầm tay, console, game thùng Chơi máy điện tử băng ngày xưa, giả lập nhiều hệ máy Máy chơi game cầm tay, Cắm máy tải Torrent 24/24 Dùng làm VPN cá nhân Biến ổ cứng bình thường thành ổ cứng mạng (NAS) Làm camera an ninh, quan sát từ xa I.Tổng quan Raspberry pi Ứng dụng xử lý ảnh 4.1 Một số sở lý thuyết xử lý ảnh • Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực • Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho trình khác có việc ứng dụng thị giác vào điều khiển Hình 2: Quá trình xử lý ảnh I.Tổng quan Raspberry pi Hình 2- Sơ đồ tổng quát hệ thống xử lý ảnh I.Tổng quan Raspberry pi 4.2 Object Detection sử dụng mơ hình SSD 4.2.1 Giới thiệu Computer Vision lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Object Detection có lẽ khía cạnh sâu sắc thị giác máy số lần sử dụng thực tế Object Detection đề cập đến khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh xác định đối tượng Object Detection sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe không người lái SSD thiết kế để phát đối tượng thời gian thực R-CNN nhanh sử dụng mạng đề xuất khu vực để tạo hộp ranh giới sử dụng hộp để phân loại đối tượng Mặc dù coi khởi đầu xác, tồn q trình chạy khung hình giây I.Tổng quan Raspberry pi 4.2 Object Detection sử dụng mô hình SSD 4.2.2Tổng quan Mơ hình SSD chia làm hai giai đoạn: Trích xuất feature map (dựa vào mạng sở VGG16) để tăng hiệu việc phát => nên sử dụng ResNet, InceptionNet, MobileNet Áp dụng lọc tích chập để detect đối tượng I.Tổng quan Raspberry pi 4.7 Giai đoạn 2: Sử dụng trình dự đốn tích chập (Convolution preditors) cho phát đối tượng: Sau trích xuất feature maps dựa vào kiến trúc mạng sở (base network), mơ hình SSD tiếp tục tính tốn hai giá trị: location score cho class việc sử dụng lọc tích chập nhỏ Sau extract feature maps, SSD sử dụng kernel × để tạo dự đốn Mỗi đầu lọc 25 channels: 21 scores lớp + bbx I.Tổng quan Raspberry pi 4.7.1 Feature maps nhiều tỷ lệ cho việc detection: • Vấn đề phối cảnh thay đổi kích thước vật thể • Ở việc phát đối tượng kích thước, thực tế việc detect nhiều đối tượng vs nhiều kích thước sử dụng quy trình tương tự lớp khác Một điểm cần ý: I.Tổng quan Raspberry pi 4.7.2 Bbx mặc định: Anchor Box hiểu bbx xếp chồng lên I.Tổng quan Raspberry pi 4.7.3 Bbx bao gồm nhiều loại đối tượng hơn: Trong thực tế, ko phải hình dạng đối tượng tùy ý, ln tn theo quy tắc, tỷ lệ đó, ta sd bbx default mặc định sau, có khả giúp bao phát nhiều đối tượng nhất: Đối với lớp feature maps, chia sẻ bbx mặc định khác để tùy chỉnh detect đối tượng có kích thước khác (các feature maps độ phân giải khác nhau) hộp bbx màu xanh hộp bbx mặc định lớp: I.Tổng quan Raspberry pi 4.7.3 Bbx bao gồm nhiều loại đối tượng hơn: Feature map nhiều kích thước & bbx default Trong thực tế, ko phải hình dạng đối tượng tùy ý, ln tn theo quy tắc, tỷ lệ đó, ta sd mộtđây bbxlàdefault mặcviệc địnhsửnhư sau, cómap khả nhiều giúp phát hiệnđểđược nhiều đốiratượng nhất: Đối với mỗithước: lớp Dưới ví dụ cho dụng feature tỷ lệbao bbx default detect object nhiều kích feature maps, chia sẻ bbx mặc định khác để tùy chỉnh detect đối tượng có kích thước khác (các feature maps độ phân giải khác nhau) hộp bbx màu xanh hộp bbx mặc định lớp: I.Tổng quan Raspberry pi 4.7.3 Bbx bao gồm nhiều loại đối tượng hơn: Trong thực tế, ko phải hình dạng đối tượng tùy ý, ln tn theo quy tắc, tỷ lệ đó, ta sd bbx default mặc định sau, có khả giúp bao phát nhiều đối tượng nhất: Đối với lớp feature maps, chia sẻ bbx mặc định khác để tùy chỉnh detect đối tượng có kích thước khác (các feature maps độ phân giải khác nhau) hộp bbx màu xanh hộp bbx mặc định lớp: II.Xây dựng sản phẩm Robot ứng dụng Raspberry 2.Nguyên lý hoạt động khối 2.1.Khổi điều khiển : - Là khối điều khiển xe cánh tay bao gồm website, app - Website : + Kết nối với Esp 8266 thông qua giao thức MQTT + MQTT (Message Queuing Telemetry Transport) + Website điều khiển xe thông qua giao thức MQTT blynk II.Xây dựng sản phẩm Robot ứng dụng Raspberry App Blynk + ứng dụng cho phép người dùng kết nối tới thiết bị điều khiển thông qua wifi sử dụng chung + kết nối thiết bị với đám mây thiết kế ứng dụng để kiểm sốt chúng, phân tích liệu đo từ xa, quản lý sản phẩm triển khai bạn quy mô lớn + Đối với đề tài, sử dụng để điều khiển cánh tay robot + Hình ảnh App Blynk sử dụng: II.Xây dựng sản phẩm Robot ứng dụng Raspberry 2.2 Khối xử lý trung tâm • • • • • • Là khối bao gồm: Esp 8266 Raspberry Pi, Adruino Esp 8266 Raspberry Pi: Công suất tiêu thụ GPIO Adruino Uno Wifi: • Cánh tay điều khiển arduino wifi II.Xây dựng sản phẩm Robot ứng dụng Raspberry 2.3 Khối công suất: - Là gồm bao gồm: động servo motor loại động cụ thể kết hợp với mã hóa quay (encoder) chiết áp để tạo thành cấu servo động motor cho xe điều khiển Hình 3.5 Hình ảnh servo motor Hình 3.6 Hình ảnh motor xe II.Xây dựng sản phẩm Robot ứng dụng Raspberry 2.4 Khối nguồn: -Là khối cung cấp nguồn gồm sạc dự phòng 5v pin 9v -Sạc dự phòng 5v : Cung cấp nguồn cho xe -Pin 9v : Cung cấp nguồi cho cánh tay 3.11 Sạc dự phòng 5V 3.12 Pin 9V II.Xây dựng sản phẩm Robot ứng dụng Raspberry 2.5 Khối thị giác: - Xử lý ảnh - Hiển thị xử lý hình ảnh dựa vào camera Raspberry Pi II.Xây dựng sản phẩm Robot ứng dụng Raspberry Nguyên lý hoạt động hệ thống - Di chuyển điều khiển web - Điều khiển cánh tay app blynk - Code thuật toán nhận diện vật thể - Kết thực nghiệm Hình 3.15 Kết sau hoàn thành lắp ráp KẾT LUẬN Sau thời gian nghiên cứu đề tài: “Đồ án thiết kế hệ thống nhúng‘‘ em thiết kế xe robot điều khiển qua app blynk stream video qua websever Kết thực nghiệm sát với thực tế! Hướng phát triển đề tài: - Nâng cấp phần cứng cánh tay để di chuyển nhanh lấy đồ vật chuẩn xác - Nâng cấp website để lưu trữ liệu stream + điều khiển nhanh nhạy   Trong q trình nghiên cứu hồn thiện đồ án, khơng tránh khỏi thiếu sót Em mong nhận đóng góp quý báu quý thầy để nghiên cứu ngày hồn thiện ... tài: ? ?Đồ án thiết kế hệ thống nhúng‘‘ em thiết kế xe robot điều khiển qua app blynk stream video qua websever Kết thực nghiệm sát với thực tế! Hướng phát triển đề tài: - Nâng cấp phần cứng cánh... Nguyên lý hoạt động hệ thống - Di chuyển điều khiển web - Điều khiển cánh tay app blynk - Code thuật toán nhận diện vật thể - Kết thực nghiệm Hình 3.15 Kết sau hoàn thành lắp ráp KẾT LUẬN Sau thời... Raspberry App Blynk + ứng dụng cho phép người dùng kết nối tới thiết bị điều khiển thông qua wifi sử dụng chung + kết nối thiết bị với đám mây thiết kế ứng dụng để kiểm sốt chúng, phân tích liệu đo