(Đồ án tốt nghiệp) xây dựng mô hình ngôi nhà thông minh trên nền tảng home assistant kết hợp xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH XÂY DỰNG MƠ HÌNH NGƠI NHÀ THƠNG MINH TRÊN NỀN TẢNG HOME ASSISTANT KẾT HỢP XỬ LÝ ẢNH GVHD: TRƯƠNG QUANG PHÚC SVTH : HỒ QUANG THI MSSV: 15119046 SKL005487 Tp Hồ Chí Minh, tháng 07/2019 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG MÔ HÌNH NGƠI NHÀ THƠNG MINH TRÊN NỀN TẢNG HOME ASSISTANT KẾT HỢP XỬ LÝ ẢNH SVTH : HỒ QUANG THI MSSV : 15119046 KHĨA: 2015 Ngành: CNKT MÁY TÍNH GVHD: ThS TRƯƠNG QUANG PHÚC Tp.Hồ Chí Minh, tháng 07 năm 2019 LỜI CẢM ƠN Trong thời gian làm đồ án tốt nghiệp, em nhận nhiều giúp đỡ, đóng góp ý kiến bảo nhiệt tình thầy cô bạn bè Đặc biệt em xin gửi lời cảm ơn chân thành đến Thầy Trương Quang Phúc, giảng viên người tận tình hướng dẫn, bảo em suốt trình làm đồ án tốt nghiệp Em xin chân thành cảm ơn thầy cô trường Đại Học Sư Phạm Kỹ Thuật TP.HCM nói chung, thầy cô Bộ môn Kĩ Thuật Máy Tính - Viễn Thơng nói riêng dạy dỗ cho em kiến thức môn đại cương mơn chun ngành, giúp em có sở lý thuyết vững vàng tạo điều kiện giúp đỡ em suốt trình học tập Cuối cùng, em xin chân thành cảm ơn gia đình bạn bè, tạo điều kiện, quan tâm, giúp đỡ, động viên em suốt q trình học tập hồn thành đề tài Trong trình thực hiện, em cố gắng để hoàn thành tốt đề tài này, cịn thiếu sót, mong đóng góp ý kiến thầy cơ, bạn để đề tài hoàn thiện Xin chân thành cảm ơn! i TÓM TẮT Trong đồ án này, tác giả xây dựng mơ hình ngơi nhà thơng minh sử dụng tảng mã nguồn mở Home Assistant làm hệ thống điều khiển trung tâm thiết bị Một hệ thống với tảng Home Assistant dễ dàng xây dựng tùy biến dựa nhu cầu người dùng thiết bị sử dụng nhà, bên cạnh số lượng thiết bị hỗ trợ với tảng nhiều nên hệ thống hồn tồn mở rộng dựa sở thích, thói quen nhu cầu người dùng Hệ thống thu thập liệu từ cảm biến để xử lý tự động tác vụ dựa theo kịch thiết lập Bên cạnh hệ thống cịn áp dụng phương pháp nhận diện gương mặt dùng đặc trưng Haar thuật toán LBPH để gia tăng khả bảo mật ngơi nhà Và sau q trình nghiên cứu thực đồ án, tác giả xây dựng hệ thống mơ hình ngơi nhà thơng minh, chạy tảng Home Assistant để đóng mở thiết bị, bên cạnh sử dụng liệu cảm biến để theo dõi điều kiện nhà thực kịch xây dựng, kết hợp hệ thống khóa cửa nhận diện gương mặt ii MỤC LỤC LỜI CẢM ƠN TÓM TẮT MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT ̉̉ DANH MỤC CÁC BẢNG BIÊU ̉̉ DANH SÁCH CÁC HÌNH ẢNH, BIÊU ĐỒ CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề 1.2 Tình hình nghiên cứu 1.2.1 Tình hình nghiên cứu nước 1.2.2 Tình hình nghiên cứu ngoài nước 1.3 Tính cấp thiết đề tài 1.4 Mục đích đề tài 1.5 Bố cục đồ án CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu nhà thông minh và n 2.1.1 Nền tảng tự động hóa cho nhà thơng minh 2.2 Các thư viện Python 2.2.1 Thư viện OpenCV 2.2.2 Thư vi 2.2.3 Modul 2.2.4 Thư vi 2.3 Haarcascade và phát gương m 2.4 Thuật toán Local Binary Pattern 2.5 Nhận diện gương mặt 2.5.1 Tổng quan nhận diện gương mặt Bài toá 2.5.2 iii 2.5.3 Ứng dụng nhận diện gương mặt nhà thơng minh 2.6 Máy tính nhúng Raspberry Pi Giới thiệu 2.6.1 2.6.2 Thông số kỹ thuật 2.7 Bo mạch phát triển Node MCU ESP8266 Giới thiệu 2.7.1 2.7.2 Thông số kỹ thuật 2.8 Cảm biến hệ thống Smart Home 2.8.1 Cảm biến nhiệt độ, độ ẩm DHT11 2.8.2 Cảm biến cường độ ánh sáng BH1750 2.8.3 Cảm biến khí gas 2.9 Module Relay Động Servo 2.10 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG 3.1 Giới thiệu và tóm tắt 3.1.1 Yêu cầu hệ thống 3.1.2 Đặc tả hệ thống 3.2 Sơ đồ khối hệ thống 3.3 Thiết kế phần cứng 3.3.1 Khối nguồn 3.3.2 Khối Camera 3.3.3 Khối xử lý trung tâm Khối cửa khóa 3.3.4 3.3.5 Khối liệu cảm biến 3.4 Thiết kế phần mềm 3.4.1 Thiết kế hoạt động và giao diện Home Assistant 3.4.2 Thiết kế tự động hóa 3.5 Thiết kế hoạt động cập nhật liệu cảm CHƯƠNG 4: KẾT QUẢ THỰC HIỆN 4.1 Kết thi công phần cứng iv 4.2 Kết thi công phần mềm 43 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 48 5.1 Kết luận 48 5.2 Hướng phát triển 48 TÀI LIỆU THAM KHẢO 49 PHỤ LỤC 52 v Từ viết tắt CPU CUDA GPU IFTTT IoT IP LBPH MCU MQTT NAS OpenCV PWM RAM SoC UI USB VPN vi ̉̉ DANH MỤC CÁC BẢNG BIÊU Bảng 2.1: Bảng thông số kĩ thuật Raspberry Pi 3B+ [15] Bảng 2.2: Thông số kỹ thuật Soc EspressIf WiFi ESP8266EX [17] Bảng 2.3: Thông số DHT11 [18] Bảng 2.4: Chức chân Module GY-302 [19] Bảng 2.5: Chức chân cảm biến khí ga MQ-4 [20] Bảng 2.6: Chức chân module Relay [21] Bảng 2.7: Thông số Servo SG92R vii GY-302 Servo DHT11 Hình 4.2: Khu vực cửa khóa cảm biến nhà Các thiết bị đèn, quạt phòng khách, phòng bếp phòng ngủ điều khiển từ Home Asistant Đèn led Relay Quạt Hình 4.3: Khu vực phịng khách Trong hình 4.4, có thêm cảm biến khí gas MQ4 phát khí gas rị rỉ phịng bếp gửi đến xử lý trung tâm thông báo cho người dùng nhằm phịng chống 41 cháy nổ Bên cạnh đó, Node MCU ESP8266 đặt cạnh phòng bếp gửi liệu đọc từ cảm biến lên Home Assistant nhanh chóng ổn định Đèn led Relay Quạt ESP8266 Hình 4.4: Khu vực phịng bếp DHT11 Quạt Đèn led Relay Hình 4.5: Khu vực phịng ngủ Trong hình 4.5, phịng ngủ cịn gắn thêm cảm biến DHT11, liệu cảm biến gửi lên trang Home Assistant người dùng theo dõi nhiệt độ phịng 42 Raspberry Pi 3B+ Module nguồn Hình 4.6: Khu vực nguồn xử lý trung tâm hệ thống Hình 4.7: Khối Camera hệ thống Trong hình 4.6, khối nguồn khối xử lý trung tâm Raspberry Pi 3B+ đặt chung vào khối kèm với quạt tản nhiệt 12V cho hai khối nguồn lẫn khối xử lý trung tâm nóng hoạt động liên tục, dẫn đến vấn đề hiệu suất Bên cạnh đó, khối Camera Raspberry Pi Camera gắn vào khối chung hình 4.7 4.2 Kết thi cơng phần mềm Sau q trình phát triển hồn thiện, hồn thành giao diện Home Assistant để tương tác với người dùng 43 Hình 4.8: Trang chủ giao diện Home Assistant Trang giao diện có thẻ thẻ hiển thị dự báo thời tiết, thẻ hiển thị đồng hồ số, thẻ hiển thị trạng thái chủ nhà, thẻ hiển thị thông số kiểm tra tốc độ mạng sử dụng với Speedtest Các ảnh chủ đề thay đổi tùy vào thiết lập người dùng Hình 4.9: Trang quản lý phịng khách 44 Bên cạnh cịn có thẻ hiển thị nhiệt độ độ ẩm từ cảm biến DHT11 Hình 4.9 giao diện để người dùng tương tác với thiết bị đèn, quạt từ phòng khách, cho phép người dùng bật hay tắt thiết bị với thẻ tương tác Giao diện có thẻ hiển thị cường độ ánh sáng nhận từ cảm biến phịng khách để người dùng theo dõi Hình 4.10: Trang quản lý phịng bếp Hình 4.11: Trang quản lý phịng ngủ 45 Hình 4.10 giao diện để người dùng bật tắt đèn quạt phòng bếp qua thẻ tương tác, theo dõi nồng độ khí gas phịng bếp thơng qua liệu gửi lên đọc từ cảm biến khí gas MQ4 gắn phịng bếp Hình 4.11 giao diện để người dùng bật tắt thiết bị phòng ngủ, theo dõi nhiệt độ phịng thơng qua thẻ thể liệu đo từ cảm biến DHT11 phòng ngủ Đối với hệ thống mở khóa cửa nhận diện gương mặt, việc nhận tín hiệu điều khiển mở khóa tương đối nhanh, đáp ứng yêu cầu hệ thống Hình 4.12 thể kết so sánh nhận diện gương mặt chụp từ Camera tập liệu huấn luyện hệ thống Thông số nhận nhỏ tức liêu khuôn mặt giống với tập liệu huấn luyện, thấy kết dao động từ 46 59, thông số thay đổi thay đổi góc chụp, trạng thái khn mặt,…Trong hình 4.13, ảnh chụp từ Camera rõ, đáp ứng yêu cầu hệ thống Hệ thống khóa cửa tự động chạy khởi động Raspberry Pi 3B+ Hình 4.12: Các kết so sánh nhận diện gương mặt 46 Hình 4.13: Frame ảnh chụp nhận diện từ Camera 47 CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Như sau trình nghiên cứu phát triển đề tài “ Xây dựng mơ hình ngơi nhà thơng minh tảng Home Assistant kết hợp xử lý ảnh”, đề tài hoàn thành với ưu điểm khuyết điểm Qua thời gian thực đề tài, phần lớn mục tiêu đặt ban đầu đạt Thiết kế phần cứng chạy ổn định dựa mơ hình ta xây dựng nhiều ứng dụng có ý nghĩa thực tiễn cao, có khả phát triển mở rộng Tuy nhiên, ứng dụng đòi hỏi nhiều kiến thức lĩnh vực phần cứng, phần mềm, mạng máy tính, nhiều vấn đề tồn giao diện tương tác thân thiện chưa chuyên nghiệp, việc hệ thống chưa tích hợp nhiều tính tiện lợi cho người dùng hay việc tính toán hiệu suất lượng tiêu thụ cho hệ thống, cần có thời gian để hồn thiện, nâng cấp Bên cạnh giá thiết bị thông minh thực tế cao, nên đề tài chưa thể sử dụng thiết bị để cải thiện tính thực tế thân thiện với người dùng Hệ thống khóa cửa cịn sai số có tác động từ thay đổi mơi trường bên 5.2 Hướng phát triển Phát triển thêm giao diện tương tác với người dùng, xếp thành phần cho trang giao diện Sử dụng thiết bị thông minh quen thuộc hiệu thị trường Tăng thêm liệu cảm biến để thêm chức tự động hóa cho nhà, biết vị trí người nhà điều khiển thiết bị bật/tắt tự động, điều chỉnh độ sáng đèn hay nhiệt độ máy lạnh Cải thiện tính xác tốc độ nhận diện gương mặt hệ thống khóa cửa, cho nhiều người nhà Tăng cường tính bảo mật nhà với hệ thống khác mật khẩu, vân tay 48 TÀI LIỆU THAM KHẢO Tiếng Việt [1] P Vân, “Cuộc sống thông minh trở thành xu hướng Việt Nam,” January 2019 [Trưcc̣ tuyến] Available: https://vnexpress.net/so-hoa/cuocsong-thong-minh-se-tro-thanh-xu-huong-o-viet-nam-3863854.html [Đa ̃ truy câpc̣ Tháng 2019] [3] H V Duy, “Thiết kế thi cơng mơ hình ngơi nhà thơng minh,” Tp.Hồ Chí Minh, 2015 [4] T V Tiệp, “Thiết kế mơ hình Smart Home đơn giản sử dụng Module Wifi ESP8266,” Tp.Hà Nội, 2013 [7] H S Hùng, “OpenCV ứng dụng nay,” TechMaster, Tháng 2016 [Trưcc̣ tuyến] Available: https://techmaster.vn/posts/33943/opencv-va-cac-ung-dung-cua-no-hien-nay [Đa ̃truy câpc̣ Tháng 2019] [8] T D Sach, “Tìm hiểu thư viện Numpy Python,” Tháng 2017 [Trưcc̣ tuyến] Available: https://tuhocblog.wordpress.com/2017/07/13/first-blog-post/ [Đa ̃truy câpc̣ Tháng 2019] [10] L Ryan, “Làm Quen Với Thư Viện Imaging (PIL),” Stdio, Tháng 2015 [Trưcc̣ tuyến] Available: https://www.stdio.vn/articles/lam-quen-voithu-vien-imaging-pil-phan-1-co-ban-333 [Đa t ̃ ruy câpc̣ Tháng 2019] Tiếng Anh [2] S Friedrich and K Tim, "Smart Home VietNam," Statista, 2007 [Online] Available: https://www.statista.com/outlook/279/127/smarthome/vietnam [Accessed June 2019] [5] J Era, B Pradnya and T Vidhi, "Remote Controlled Home Automation Using Android Application via WiFi Connectivity," Mumbai, 2015 [6] Harshavardhan and M Kumar, "Automation Using Home Assistant," hackster.io, 26 April 2019 [Online] Available: https://www.hackster.io/idifro/automation-using-home-assistant-b86904 [Accessed June 2019] [9] P S Foundation, "os.path-Common pathname manipulations," Python Software Foundation, 2019 [Online] Available: https://docs.python.org/3.7/library/os.path.html [Accessed June 2019] 49 [11] OpenCV, "Face Detection using Haar Cascades," OpenCV, 2018 [Online] Available: https://docs.opencv.org/3.4.1/d7/d8b/tutorial_py_face_detection.html [Accessed June 2019] [12] K Salton, "Face Recognition: Understanding LBPH Algorithm," towardsdatascience, November 2017 [Online] Available: https://towardsdatascience.com/face-recognition-howlbph-works-90ec258c3d6b [Accessed June 2019] [13] 4tronix, "Raspberry Pi 3B+ - Model B Plus," 4Tronix, 2019 [Online] Available: https://shop.4tronix.co.uk/products/raspberry-pi-3bmodel-b-plus [Accessed June 2019] [14] G Halfacree, Raspberry Pi Beginner’s Guide, Cambridge: Raspberry Pi Trading Ltd, 2018 [15] S Z Nasir, "Introduction to Raspberry Pi B+," The engineering projects, July 2018 [Online] Available: https://www.theengineeringprojects.com/2018/07/introduction-to-raspberrypi-3-b-plus.html [Accessed June 2019] [16] A Garrets, "Tutorial: Intro to the NodeMCU," The kurks, 2018 [Online] Available: https://thekurks.net/blog/2018/3/14/intro-to-nodemcu [Accessed June 2019] [17] E Systems, "ESP8266EX Datasheet" 2018 [18] M Electronics, DHT11 Humidity & Temperature Sensor [19] C Laws, "BH1750 (GY-302) measure the lighting quality of your home," DIY Projects, 2018 [Online] Available: https://diyprojects.io/bh1750-gy-302-measure-lighting-quality-homearduino-esp8266-esp32/#.XRoTdOgzbDc [Accessed June 2019] [20] Engineers, "MQ-4 Methane Gas Sensor," Component101, October 2018 [Online] Available: https://components101.com/sensors/mq4-methane-gas-sensor-pinout-datasheet [Accessed June 2019] [21] Cytron, "1CH Active H/L 5V OptoCoupler Relay Module," Cytron Marketplace, 2018 [Online] Available: https://www.cytron.io/p-1ch-active-hl-5v-optocoupler-relay-module [Accessed June 2019] 50 [22] C Specialist, "SG92R Digital Servo," Circuitspecialists, [Online] Available: https://www.circuitspecialists.com/sg92r-digital-servo.html [Accessed June 2019] [23] Robu, "5MP Raspberry Pi Model B Camera Module Rev 1.3 with Cable," Robu.init, 2019 [Online] Available: https://robu.in/product/raspberry-pi-camera-module/ [Accessed July 2019] 51 PHỤ LỤC TRIỂN KHAI NỀN TẢNG HOME ASSISTANT Cài đặt Home Assistant hệ điều hành Raspbian Raspberry Pi Để chạy Home Assistant Raspbian, phải cài đặt docker, socat jq để chạy Home Assistant docker curl -sSL https://get.docker.com | sh sudo apt-get install socat sudo apt-get install jq sudo su curl -sL https://raw.githubusercontent.com/home-assistant/hassioinstaller/master/hassio_install.sh | bash -s -m raspberrypi3 Cấu hình giao diện, hoạt động Home Assistant Người dùng thiết lập giao diện, chức Home Assistant tiện ích Configurator sau chỉnh sửa tập tin yaml Người dùng thêm tài khoản đăng nhập vào Home Assistant để đảm bảo tính bảo mật Trong đồ án này, đăng nhập vào trang Home Assistant với tên đăng nhập mật sau Tên đăng nhập: hqthi Mật : spkt ... PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP XÂY DỰNG MƠ HÌNH NGƠI NHÀ THƠNG MINH TRÊN NỀN TẢNG HOME ASSISTANT KẾT HỢP XỬ LÝ ẢNH SVTH : HỒ QUANG THI MSSV :... khối khác Khối xử lý trung tâm xử lý chạy tảng Home Assistant để kiểm soát thiết bị nhận tín hiệu hình ảnh từ khối Camera, sau xử lý hình ảnh phân tích nhận dạng gương mặt Khối xử lý cịn có nhiệm... dùng tảng, công cụ phần mềm nhà thông minh để kết nối điều khiển thiết bị nhà thông minh thông qua kết nối Wifi, Z-Wave hay Zigbee Hình 2.1: Sơ đồ hoạt động hệ thống nhà thơng minh Có nhiều tảng