Xây dựng hệ thống IOT chủ động giám sát từ xa qua cảm biến hình ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐÀ NẴNG SAU ĐẠI HỌC ~~~~~~*~~~~~~ BÀI BÁO CÁO MÔN HỌC TÊN BÀI: Xây dựng hệ thống IOT chủ động giám sát từ xa qua cảm biến hình ảnh Học viên thực Lớp Môn học Giảng viên hướng dẫn : : : : NGUYỄN HOÀNG ANH VŨ K43.KMT CÔNG NGHỆ IOT TS BÙI THỊ THANH THANH Đà Nẵng – 2022 1) Ý tưởng Ngày nay, việc quan sát hình ảnh từ xa thơng qua camera phổ biến Rất nhiều ứng dụng (AI) giúp tự động phân tích, nhận diện, định danh dựa hình ảnh camera (lĩnh vực computer vision) từ lưu trữ cảnh báo hoàn toàn chủ động đến người dùng tạo tạo nhiều tiện ích cho sống Hình 1: Ứng dụng camera nhận diện người Tuy nhiên camera thường lắp đặt cố định có phạm vi quan sát định Với hạn chế giúp hình thành nên ý tưởng xây dựng thiết bị giám sát nhận diện vật thể/người thông qua camera có khả di động điều khiển hoạt động thiết bị từ xa qua internet Báo cáo cụ thể hoá ý tưởng để xây dựng thiết bị IOT tự động giám sát người dùng vắng nhà, chủ động bám đuổi theo người với khả di chuyển linh hoạt Ngồi thiết bị cịn cho phép điều khiển việc di chuyển, bật tắt đèn quan sát, nhận tín hiệu hình ảnh realtime thơng qua internet 2) Phần cứng Phần cứng thiết bị bao gồm: + Máy tính: Máy tính nhúng (Raspberry Pi, Nvidia Jetson ), laptop: Đọc tín hiệu camera, nhận lệnh từ xa, xử lý phân tích hình ảnh thực lệnh điều khiển Trong báo cáo này, điều kiện thực tế nên sử dụng máy tính laptop để xử lý + Camera: Thiết bị ghi nhận hình ảnh từ mơi trường Trong đề tài sử dụng webcam kết nối với máy tính xử lý theo cổng usb Hình 2: Cụm webcam đèn led chiếu sáng thiết bị + Hệ chuyển động: Bánh xích gắn motor (2 DC motors) kết hợp mạch điều khiển động PCA9685 TB6612 Hình 3: Bánh xe gắn motor mạch điều khiển motor PCA9685 TB6612 + Đèn chiếu sáng: Đèn Led gắn thêm phục vụ cho ban đêm cho môi trường thiếu sáng (hình 2) + Mạch chuyển tín hiệu điều khiển: (FT232h) Thiết bị IO hỗ trợ trực tiếp giao tiếp máy tính (cổng usb) với mạch điều khiển như: động bật tắt đèn FT232h hỗ trợ phương thức giao tiếp như: SPI, I2C, … Với máy tính nhúng Jetson hay Raspberry Pi hỗ trợ cổng GPIO để xuất/nhập tính hiệu điều khiển trực tiếp Tuy nhiên báo cáo sử dụng laptop nên cần thêm FT232h để hỗ trợ cổng GPIO Hình 4: Mạch chuyển tín hiệu điều khiển sơ đồ chân FT232h + Thiết bị mạng: Giúp thiết bị IOT kết nối internet để gửi nhận thông tin Trong báo cáo sử dụng card wifi build-in laptop với anten gắn chuẩn 2.4 GHz để mở rộng phạm vi kết nối mạng thiết bị Hình 5: Module kết nối mạng wifi thiết bị + Nguồn điện: Để giúp thiết bị vận hành ngày, báo cáo sử dụng 10 viên pin li-ion 3.7V 2200mAh mắt nối tiếp cụm viên tạo nên nguồn điện 7.4V 22Ah Đi kèm mạch sạc bảo vệ pin Hình 6: Nguồn điện thiết bị Để cung cấp nguồn cho thiết bị, động sạc pin riêng laptop, module nguồn điện cịn có hạ áp (từ 7.4v sang 5v) tăng áp (từ 7.4 sang 19.5v) Hình 7: Mạch hạ áp mạch tăng áp Kết nối thiết bị phần cứng lại để hệ thống camera đèn kèm theo máy tính xử lý di động Hình 8: Sơ đồ tổng quan thiết bị 3) Phần mềm Phần mềm cài đặt cho thiết bị bao gồm chức giúp thiết bị nhận dạng người qua camera, xử lý, điều khiển động di chuyển hướng (di chuyển theo người), bật tắt đèn trợ sáng cho camera, gửi hình ảnh realtime camera nhận lệnh điều khiển từ internet Một số câu lệnh phần mềm: + Module đọc tín hiệu từ camera sử dụng opencv: + Module nhận diện objects: + Module điều khiển động cơ: + Module nhận lệnh điều khiển từ internet: 4) Kết thực Hình 3: Camera di động giao diện điều khiển 5) Hướng phát triển: Hiện thiết bị tự động giám sát phát có người, tự động di duyển báo đuổi theo người thời gian chủ nhà vắng nhà, gửi hình ảnh realtime lên internet Ngồi thiết bị cho phép điều khiển việc di chuyển, bật tắt đèn quan sát từ xa thông qua internet Một số hướng phát triển thời gian tới thiết bị: Tích hợp thêm số cảm biến cho việc giám sát an ninh nhà như: cảm biến khói, khí ga, cảm biến nhiệt độ, độ ẩm từ phát triển thêm chức cảnh báo ninh mơi trường cho ngơi nhà ngồi việc phát người, nhận diện vật thể Xây dựng thêm chức nhận diện khuôn mặt để biết người lạ hay người quen từ đưa thơng tin cảnh báo hữu ích Gắn thêm camera góc để từ tích hợp thêm chức camera 360 để thuận lợi việc quan sát thực thuật toán xử lý, nhận diện ảnh (computer vision) Tối ưu trình truyền hình ảnh realtime lên internet để giảm chi phí độ trễ Ngồi phát triển thêm chương trình xử lý ảnh để giúp việc di chuyển tự động thiết bị thuận lợi như: tránh vật cản, hiểu biến sơ đồ nhà hay tự sạc điện * Tài liệu tham khảo [1] Bochkovskiy, Alexey, Chien-Yao Wang, and Hong-Yuan Mark Liao YOLO "Optimal Speed and Accuracy of Object Detection." arXiv preprint arXiv:2004.10934 (2020) [2] Kawakura, Shinji, and Ryosuke Shibasaki "Deep Learning-Based SelfDriving Car: JetBot with NVIDIA AI Board to Deliver Items at Agricultural Workplace with Object-Finding and Avoidance Functions." European Journal of Agriculture and Food Sciences 2.3 (2020) [3] Forcier, Jeff, Paul Bissex, and Wesley J Chun Python web development with Django Addison-Wesley Professional, 2008 [4] Fisher, Daniel K., Reginald S Fletcher, and Saseendran S Anapalli "Python Software Integrates with Microcontrollers and Electronic Hardware to Ease Development for Open-Source Research and Scientific Applications." Advances in Internet of Things 11.1 (2021): 42-58 [5] Frost, Sandra L Circuit Playground Express-Introduction No LA-UR-1924117 Los Alamos National Lab.(LANL), Los Alamos, NM (United States), 2019