ỨNG DỤNG CÔNG NGHỆ xử lý ẢNH kết hợp IOT để THEO dõi và PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN cây cà CHUA

TÊN ĐỀ TÀI : ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA 2022 Họ tên sinh viên : Huỳnh Quốc Chí-Nguyễn Hiếu Nghĩa ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: KỸ THUẬT ĐIỆN – ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ ĐỀ TÀI: ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA Người hướng dẫn: Sinh viên thực hiện: Th.S TRẦN DUY CHUNG Huỳnh Quốc Chí MSV: 1811505123135 Lớp 18D4 Nguyễn Hiếu Nghĩa MSV:1811505120133 Lớp 18D3 Đà Nẵng, 6/2022 ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH: KỸ THUẬT ĐIỆN – ĐIỆN TỬ CHUYÊN NGÀNH: KỸ THUẬT ĐIỆN TỬ ĐỀ TÀI: ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA Người hướng dẫn: Sinh viên thực hiện: Th.S TRẦN DUY CHUNG Huỳnh Quốc Chí MSV: 1811505120133 Lớp 18D4 Nguyễn Hiếu Nghĩa MSV: 1811505120133 Lớp 18D3 Đà Nẵng, 6/2022 Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa ii GVHD: ThS Trần Duy Chung Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa iii GVHD: ThS Trần Duy Chung TÓM TẮT Tên đề tài: ỨNG DỤNG CƠNG NGHỆ XỬ LÝ HÌNH ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QỦA TRÊN CÂY CÀ CHUA Sinh viên thực hiện: Huỳnh Quốc Chí Mã SV: 1811505120135 Lớp 18D4 Nguyễn Hiếu Nghĩa Mã SV: 1811505120133 Lớp 18D3 Ngày phát triển ngành nông nghiệp hướng mang lại nguồn lợi kinh tế cho nước nhà Nhưng áp dụng phương pháp nơng nghiệp truyền thống có lẽ hiệu trồng trọt hiệu kinh tế thấp.Chính áp dụng công nghệ kỹ thuật hướng thông minh nhằm kế thừa phát huy công nghệ kỹ thuật mà ngành khoa học ngày tìm IoT hướng thơng minh, hệ thống giúp giảm bớt áp lực việc tìm kiếm nguồn nhân cơng, khơng mà giảm chất lượng việc giảm sát thực trạng, nhân tố ảnh hưởng trồng, ngược lại thông qua hệ thống cảm biến cung cấp cho cách đầy đủ xác yếu tố độ ẩm đất, mức ánh sáng vv Được gợi ý từ giáo viên hướng dẫn,cũng chúng em muốn nghiên cứu ứng dụng loT vào ngành nơng nghiệp nhằm tạo hệ thống có giá thành hợp lý, hiệu quan trọng mang vào áp dụng cho nơng nghiệp nước nhà, chúng em định nghiên cứu đề tài “ỨNG DỤNG CÔNG NGHỆ XỬ LÝ HÌNH ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QỦA TRÊN CÂY CÀ CHUA’’ bao gồm: Mơ hình sử dụng kit ESP32 CAM để xử lý hình ảnh kit ESP8266 để làm vi xử lý trung tâm, thu thập liệu từ cảm biến độ ẩm đất, cảm biến nhiệt độ, độ ẩm khơng khí, cảm biến mưa để đưa lên firebase ,sau điều khiển tự động hệ thống kéo rèm để che mưa ,máy bơm nước cần thiết Nội dung đề tải tập trung nghiên cứu phương thức giao tiếp ESP8266 với cảm biến độ ẩm đất, cảm biến nhiệt độ độ ầm khơng khi, ESP8266 Node MCU Mơ hình nhỏ gọn,bố trí linh kiện hợp lí,dễ quan sát,sử dụng,đảm bảo tính an tồn thẩm mỹ i Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa GVHD: ThS Trần Duy Chung TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT CỘNG HÒA XÃ HÔI CHỦ NGHĨA VIỆT NAM KHOA ĐIỆN-ĐIỆN TỬ Độc lập - Tự - Hạnh phúc NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Giảng viên hướng dẫn: Th.S TRẦN DUY CHUNG Sinh viên thực hiện: Huỳnh Quốc Chí Mã SV: 1811505120135 Lớp 18D4 Nguyễn Hiếu Nghĩa Mã SV: 1811505120133 Lớp 18D3 I Tên đề tài: ỨNG DỤNG CÔNG NGHỆ XỬ LÝ HÌNH ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA II.Nhiệm vụ 1.Các số liệu ban đầu: Mơ hình hệ thống camera giám sát kết hợp IOT để theo dõi phân tích trình trạng phát triển cà chua Bao gồm: - Thiết kế mơ hình có kích thước dài, rộng, cao 65 x 50 x 30 cm khung bìa fomex mica - Kit ESP32 CAMARA - Kit ESP8266 - Module Cảm Biến Độ Ẩm, Nhiệt Độ DHT11 - Module Cảm Biến Độ Ẩm Đất - Module Cảm Biến Mưa - Module Relay 5v, động motor Nội dung thực hiện: Nội dung 1: Tìm hiểu, lựa chọn giải pháp, linh kiện sử dụng để giải yêu cầu đặt Nội dung 2: Tính tốn, thiết kế khối chức hệ thống Nội dung 3: Thiết kế, thi công mơ hình hệ thống Nội dung 4: Vận hành thử nghiệm hiệu chỉnh lỗi Nội dung 5: Đánh giá kết thực Nội dung 6: Viết báo cáo ii Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa GVHD: ThS Trần Duy Chung III Ngày giao nhiệm vụ: 02/03/2022 IV Ngày hoàn thành nhiệm vụ: 01/06/2022 V Họ tên giáo viên hương dẫn: Th.S Trần Duy Chung Đà Nẵng, ngày 02 tháng 06 năm 2022 Trưởng môn ThS Trần Duy Chung iii Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa GVHD: ThS Trần Duy Chung TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT KHOA ĐIỆN – ĐIỆN TỬ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc ĐỀ CƯƠNG ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: HUỲNH QUỐC CHÍ NGUYỄN HIẾU NGHĨA Mã sinh viên: 1811505120305 1811505120133 Lớp: 18D4 Lớp: 18D3 Họ tên người hướng dẫn: Th.S TRẦN DUY CHUNG Đề tài Tên đề tài: ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA Thời gian thực hiện: Từ ngày: 03/02/2022 đến ngày: 01/06/2022 Mô Tả Đề Tài Từ trước tới nơng nghiệp lĩnh vực áp dụng công nghệ Đặc biệt quốc gia phát triển chậm phát triển, nông nghiệp gần phụ thuộc vào kinh nghiệm người nơng dân đặc tính trồng, thời tiết Chính vậy, suất hiệu suất canh tác gần để ngỏ, mang tính “may, rủi" Và từ nhu cầu thực tế ý tưởng theo dõi phân tích nơng nghiệp (cây cà chua )được hình hành Trong bối cảnh ngày xã hội lo ngại chất lượng an toàn thực phẩm Điều then chốt việc đánh tan lo ngại này, góp phần thúc đẩy nâng cao chất lượng sản phẩm nông nghiệp, việc nâng cao tính minh bạch, chuyên nghiệp, sản xuất nơng nghiệp loT đóng vai trị lớn việc giúp minh bạch chuyên nghiệp trở nên đáng tin cậy Từ ý Tưởng đó, nhu cầu sống thoải mái nên việc xây dựng “ỨNG DỤNG CÔNG NGHỆ XỬ LÝ ẢNH KẾT HỢP IOT ĐỂ THEO DÕI VÀ PHÂN TÍCH TÌNH TRẠNG QUẢ TRÊN CÂY CÀ CHUA” để đáp ứng phần sống nông nghiệp người Do thời gian nghiên cứu thực đề tài giới hạn khoảng thời gian định, vốn kiến thức việc tìm hiểu sâu hệ thống cịn hạn chế nên đề tài có nhiều thiếu sót đáng kết, mọng q thầy người đọc đóng góp ý kiến để đề tài hồn thiện iv Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa GVHD: ThS Trần Duy Chung Nội dung Thiết kế, xây dựng mơ hình vườn giám sát điều kiện mơi trường trồng,tự động bơm tưới thông minh, điều khiển từ xa thông qua smart phone phù hợp với trồng nhà khu đô thị hay khu vườn quy mô vừa nhỏ Với mục tiêu - Tự động: hệ thống vườn điều khiển bơm tưới thơng minh có chức tự động, giảm thiểu tối đá sức ảnh hưởng từ sức lao động - NăNg suất, hiệu quả: có suất cao, hiệu lớn, chăm sóc theo nhu cầu trồng dựa yếu tố mơi trường trồng nhiệt độ, độ ẩm hay độ ẩm đất -Tiết kiệm thời gian: Giảm thiếu tối đa cơng sức thời gian chăm sóc cho người - Kinh tế: Mơ hình vườn thơng minh thiết kế với phận, linh kiện công nghệ tối giản nhằm vừa đáp ứng yêu cầu vừa tiết kiệm chi phí để cho mơ hình vừa có hiệu vừa không gây tồn kinh tế Kết dự kiến đạt - Hồn thành sản phẩm giám sát đo tham số yêu cầu đặt Tiến độ thực TT Thời gian Tuần Tuần Tuần Tuần Tuần Nội dung công việc Kết dự kiến đạt Lên ý tưởng cho đề tài Tìm hiểu chọn đề tài lên kế hoạch chi tiết Chọn đề tài ghi đề cương nhiệm vụ đề tài Tìm hiểu giải pháp cho đề tài Gặp GVHD để báo cáo hướng thực đề tài Tìm hiểu ESP8266 Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa GVHD: ThS Trần Duy Chung Tuần Nghiên cứu thiết kế chế tạo phần cứng Lập trình điều khiển Tuần Tuần Lập trình điều khiển giao tiếp phần cứng Tuần Lập trình điều khiển , lắp ráp linh kiện Sắp xếp bố trí cho hợp lí 10 Tuần 10 Báo cáo tiến độ cho GVHD Hoàn thiện mơ hình Viết báo cáo 11 Tuần 11 12 Tuần 12 13 Kiểm tra hoạt động hệ thống Tuần 13 14 Tuần 14 15 Tuần 15 Hoàn tất báo cáo Khắc phục cố Vá lỗi cố có Hồn thiện chỉnh chu báo cáo, chuẩn bị gặp GVPB bảo vệ Đà Nẵng, ngày 02 tháng 03 năm 2022 BỘ MÔN DUYỆT NGƯỜI HƯỚNG DẪN ThS Trần Duy Chung SINH VIÊN Huỳnh Quốc Chí LỜI NĨI ĐẦU Để hồn thành báo cáo tốt nghiệp này, trước hết em xin gửi lời cảm ơn chân thành đến thầy Th.S TRẦN DUY CHUNG Khoa Điện-Điện Tử hỗ trợ hướng dẫn em cách chi tiết trình thực đề tài Thầy ln tận tình bảo, hướng dẫn gợi ý phương án thực hiệnsao cho khả thi dễ tiếp cận nghiên cứu Em xin gửi lời cảm ơn đến quý thầy cô giáo khoa Điện-Điện Tử, Trường Đại học Sư Phạm Kỹ Thuật tận tình hỗ trợ giúp đỡ em trình thực đề tài Em xin cảm ơn bạn sinh viên, nhiệt tình giúp đỡ đóng góp ý kiến cho em q trình thực đề tài Cuối cùng, em xin cảm ơn chân thành sâu sắc đến Cha, Mẹ gia đình - người ln bên cạnh hỗ trợ tài tinh thần suốt năm tháng sinh viên Nếu thiếu đóng góp hỗ trợ q thầy giáo, gia đình bạn bè em khơng thể hồn thành khóa học báo cáo tốt nghiệp Một lần xin chân thành gửi lời cảm ơn chân thành đến tất Xin chân thành cảm ơn! Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa ii GVHD: ThS Trần Duy Chung Hinh Hình mak sub chín đỏ Hinh 10 Mơ cà chua chín đỏ Hinh 11 Hình ảnh giá trị màu chín đỏ Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 63 GVHD: ThS Trần Duy Chung Hinh 12 Hình ảnh thực tế cà chua chín đỏ Tổng hợp loại cà chua: Hinh 13 Hình ảnh tổng hợp loại cà chua thực tế Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 64 GVHD: ThS Trần Duy Chung Hinh 14 Hình ảnh mơ tổng hợp loại cà chua 5.3 Kết App Mit Invetor  App mit invertor hiển thị đầy đủ thông số nhiệt độ c, nhiệt độ f,độ ẩm  chín hiển thị lên hình thu hoạch số lượng  hiển thị lên hình chưa thể thu hoạch số lượng vàng  hiển thị lên hình chưa thể thu hoạch số lượng xanh  hiển thị lên nút bấm công tắc để người sử dụng điều khiển động cách dễ dàng Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 65 GVHD: ThS Trần Duy Chung Hinh 15 Giao diện app Nhận xét : Trong trình nghiên cứu , tìm hiểu thi công hệ thống , chúng em gặp không khó khăn phát sinh việc lựa chọn linh kiện cho phù hợp , hướng thiết kế gặp số trục trặc phần cứng phần mềm , thơng qua q trình tìm hiểu , nghiên cứu vấn đề giải Khó khăn lớn chúng em gặp phải trình xử lý hình ảnh Nhìn chung hệ thống hoạt động ổn định , hoạt động liên tục , yêu cầu đặt hệ thống đạt 85 % , điểm hạn chế chưa áp dụng vào qui mô lớn 5.4 Đánh giá Hệ thống giúp người dùng giám sát đối tượng canh tác xa mà khơng cần phải đến nông trại thường xuyên Người dùng tự điều chỉnh yếu tố mơi trường cho phù hợp với đối tượng canh tác Hệ thống hoạt động khoản thời gian dài , đảm bảo việc thu thập thông tin từ đối tượng canh tác nhờ đưa chuẩn tương ứng loại đối tượng canh tác KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận: Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 66 GVHD: ThS Trần Duy Chung Đề tài “Ứng dụng cơng nghệ xử lý hình ảnh kết hợp IOT để theo dõi phân tích tình trạng cà chua.” đề tài phong phú phức tạp Tuy nhiên, sau thời gian làm việc nghiêm túc, với giúp đỡ tận tình Th.s Trần Duy Chung, đề tài chúng em hoàn thành tiến độ Đề tài giải đươc vấn đề sau :  Nghiên cứu thiết kế giao diện web, từ điều khiển vi khí hậu cho mơ hình cách trực quan rõ ràng  Điều khiểm, giám sát thông số qua thiết bị thông qua công nghệ kết nối không dây: 3G,4G, wifi  Xây dựng hồn thiện mơ hình thực nghiệm nhà trồng thơng minh có hệ thống tự động giám sát, chăm sóc trồng ứng dụng cơng nghệ IoT (Internet of Things) Vì điều kiện thời gian, kinh phí kiến thức có hạn, đề tài dừng lại việc nghiên cứu xây dựng mơ hình thực nghiệm nên nhiều mặt hạn chế Đặc biệt tính bảo mật sử dụng cơng nghệ kết nối không dây Hướng phát triển đề tài: Để hệ thống hoạt động đạt hiệu tốt cần:  Khắc phục hạn chế kết nối wifi hay 3G, 4G  Tăng thêm nhiều tính tiện ích cho hệ thống phát sâu bệnh, chuột phá hoại mùa màng  Tạo vi khí hậu tốt cho sinh trưởng phát triển  Kết hợp với kiến thức nông nghiệp để tăng cao hiệu trồng  Nhân rộng mơ hình để người tiếp cận với kỹ thuật canh tác hiệu quả, giúp tiết kiệm chi phí, sức lao động, người tiêu dùng an tâm nguồn gốc thực phẩm… Đây định hướng mà nhóm tác giả muốn đề xuất để phát triển đề tài Vì vậy, nhóm chúng em mong nhận giúp đỡ đóng góp q thầy(cơ) giáo bạn Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 67 GVHD: ThS Trần Duy Chung TÀI LIỆU THAM KHẢO [1] Trang Mona Media IoT gì? https://mona.media/iot-la-gi/ [2] Tìm hiểu cơng nghệ nhận dạng hình ảnh xử lý hình ảnh https://webnhiepanh.com/tim-hieu-cong-nghe-nhan-dang-hinh-anh-va-xu-ly-hinh-anh4819 [3] Firebase gì? Ưu nhược điểm & Các dịch vụ Firebase https://fptcloud.com/firebase-la-gi/ [4] Cây cà chua, kỹ thuật trồng chăm sóc nào? https://dantocmiennui.vn/cay-ca-chua-ky-thuat-trong-va-cham-soc-nhu-thenao/130923.html [5] Hướng dẫn sử dụng ESP8266 ứng dụng Internet Of Things https://htelectronics.vn/huong-dan-su-dung-esp8266-trong-cac-ung-dung-internet-ofthings-phan-1/ [6] Hướng dẫn sử dụng module ESP32 camera https://htpro.vn/news/tu-hoc-avr-arduino/huong-dan-su-dung-module-esp32-camera17.html [7] App Inventor gì? Hướng dẫn sử dụng App Inventor https://teky.edu.vn/blog/app-inventor-la-gi/ Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 68 GVHD: ThS Trần Duy Chung PHỤ LỤC Code xử lý hình ảnh import json from flask import Flask, render_template, Response import cv2 import numpy as np from firebase import firebase import threading firebase = firebase.FirebaseApplication('https://testesp8266-37984-defaultrtdb.firebaseio.com/', None) dataColor1 = { 'min': { 'r': 0, 'b': 0, 'g': 0, }, 'max': { 'r': 255, 'b': 255, 'g': 255, } } dataColor2 = { 'min': { 'r': 0, 'b': 0, 'g': 0, }, 'max': { 'r': 255, 'b': 255, 'g': 255, } } dataColor3 = { 'min': { 'r': 0, Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 69 GVHD: ThS Trần Duy Chung 'b': 0, 'g': 0, }, 'max': { 'r': 255, 'b': 255, 'g': 255, } } checkbox = "" app = Flask( name ) @app.route('/') def index(): return render_template('index.html') def fireBase(contours1, contours2, contours3): if len(contours1) > 0: count = for contour in contours1: area = cv2.contourArea(contour) if area > 5000: count += firebase.put('/DIEUKHIENIOT', 'vat_the1', count) else: firebase.put('/DIEUKHIENIOT', 'vat_the1', 0) if len(contours2) > 0: count = for contour in contours2: area = cv2.contourArea(contour) if area > 5000: count += firebase.put('/DIEUKHIENIOT', 'vat_the2', count) else: firebase.put('/DIEUKHIENIOT', 'vat_the2', 0) Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 70 GVHD: ThS Trần Duy Chung if len(contours3) > 0: count = for contour in contours3: area = cv2.contourArea(contour) if area > 5000: count += firebase.put('/DIEUKHIENIOT', 'vat_the3', count) else: firebase.put('/DIEUKHIENIOT', 'vat_the3', 0) def getFirebase(): global dataColor1, dataColor2, dataColor3, checkbox dataColor1 = firebase.get('/value', '1') dataColor2 = firebase.get('/value', '2') dataColor3 = firebase.get('/value', '3') checkbox = firebase.get('/check', 'mask') def gen(): global contours cap = cv2.VideoCapture('http://192.168.1.5:81/stream') #cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() imgcopy = frame.copy() lower1 = np.array([dataColor1['min']['b'], dataColor1['min']['g'], dataColor1['min']['r']]) upper1 = np.array([dataColor1['max']['b'], dataColor1['max']['g'], dataColor1['max']['r']]) lower2 = np.array([dataColor2['min']['b'], dataColor2['min']['g'], dataColor2['min']['r']]) upper2 = np.array([dataColor2['max']['b'], dataColor2['max']['g'], dataColor2['max']['r']]) lower3 = np.array([dataColor3['min']['b'], dataColor3['min']['g'], dataColor3['min']['r']]) upper3 = np.array([dataColor3['max']['b'], dataColor3['max']['g'], dataColor3['max']['r']]) kernel = np.ones((6, 6)) kernel1 = np.ones((5, 5)) # hsv=cv2.cvtColor(frame,cv2.COLOR_BGR2HSV) mask_sub1 = cv2.inRange(imgcopy, lower1, upper1) mask_sub2 = cv2.inRange(imgcopy, lower2, upper2) mask_sub3 = cv2.inRange(imgcopy, lower3, upper3) Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 71 GVHD: ThS Trần Duy Chung mask_sub1 = cv2.erode(mask_sub1, kernel) mask_sub1 = cv2.dilate(mask_sub1, kernel1) mask_sub2 = cv2.erode(mask_sub2, kernel) mask_sub2 = cv2.dilate(mask_sub2, kernel1) mask_sub3 = cv2.erode(mask_sub3, kernel) mask_sub3 = cv2.dilate(mask_sub3, kernel1) contours1 = cv2.findContours(mask_sub1, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)[0] contours2 = cv2.findContours(mask_sub2, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)[0] contours3 = cv2.findContours(mask_sub3, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)[0] thread1 = threading.Thread(target=fireBase, args=[contours1, contours2, contours3]) thread2 = threading.Thread(target=getFirebase) thread2.start() if len(contours1) > 0: for contour in contours1: area = cv2.contourArea(contour) if area > 5000: M = cv2.moments(contour) x = int(M['m10'] / M['m00']) y = int(M['m01'] / M['m00']) cv2.circle(imgcopy, (x, y), 10, (255, 0, 0), 2) cv2.putText(imgcopy, "tomato1", (x, y), cv2.FONT_HERSHEY_COMPLEX, 1, (0, 0, 255), 2) if len(contours2) > 0: for contour in contours2: area = cv2.contourArea(contour) if area > 5000: M = cv2.moments(contour) x = int(M['m10'] / M['m00']) y = int(M['m01'] / M['m00']) cv2.circle(imgcopy, (x, y), 10, (255, 0, 0), 2) cv2.putText(imgcopy, "tomato2", (x, y), cv2.FONT_HERSHEY_COMPLEX, 1, (0, 0, 255), 2) if len(contours3) > 0: for contour in contours3: area = cv2.contourArea(contour) if area > 5000: Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 72 GVHD: ThS Trần Duy Chung M = cv2.moments(contour) x = int(M['m10'] / M['m00']) y = int(M['m01'] / M['m00']) cv2.circle(imgcopy, (x, y), 10, (255, 0, 0), 2) cv2.putText(imgcopy, "tomato3", (x, y), cv2.FONT_HERSHEY_COMPLEX, 1, (0, 0, 255), 2) thread1.start() if not ret: print("Error: failed to capture image") break if checkbox == '1': cv2.imwrite('demo.jpg', mask_sub1) elif checkbox == '2': cv2.imwrite('demo.jpg', mask_sub2) elif checkbox == '3': cv2.imwrite('demo.jpg', mask_sub3) else: cv2.imwrite('demo.jpg', imgcopy) yield (b' frame\r\n' b'Content-Type: image/jpeg\r\n\r\n' + open('demo.jpg', 'rb').read() + b'\r\n') @app.route('/video_feed') def video_feed(): return Response(gen(), mimetype='multipart/x-mixed-replace; boundary=frame') if name == ' main ': app.run(debug=True) Code điều khiển IOT #include "FirebaseESP8266.h" #include #include #include #define DHTPIN 14 Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 73 GVHD: ThS Trần Duy Chung #define DHTTYPE DHT11 #define FIREBASE_HOST "testesp8266-37984-default-rtdb.firebaseio.com/" #define FIREBASE_AUTH "tEZ9XATMz7ykoLxNLd9WFD7T6EgPk5nRgYkJLoeq" #define WIFI_SSID "redmi" #define WIFI_PASSWORD "23456789" FirebaseData dulieufirebase; FirebaseData firebaseData; FirebaseData nhietdoData; FirebaseData doamData; DHT dht(DHTPIN, DHTTYPE); int relay = 5; int cb = A0; int doc_cb, TBcb; int cbmua = 2; int relaymua = 0; int relayled = 4; int phantramthuc; String n; String m; String l; void setup() { Serial.begin(115200); pinMode(D1, OUTPUT); pinMode (cb, INPUT); pinMode (relay, OUTPUT); digitalWrite (relay, LOW); pinMode (cbmua, INPUT); pinMode (relaymua, OUTPUT); digitalWrite (relaymua, LOW); pinMode (relayled, OUTPUT); digitalWrite (relayled, LOW); Firebase.setString(dulieufirebase, "/DIEUKHIENIOT/Dongco_cb_dat", "0"); Firebase.setString(dulieufirebase, "/DIEUKHIENIOT/Dongco_cb_mua", "0"); Huỳnh Quốc Chí – Nguyễn Hiếu Nghĩa 74 GVHD: ThS Trần Duy Chung Firebase.setString(dulieufirebase, "/DIEUKHIENIOT/Led", "0"); WiFi.begin(WIFI_SSID, WIFI_PASSWORD); Serial.print("Connecting to Wi-Fi"); while (WiFi.status() != WL_CONNECTED) { Serial.print("."); delay(300); } Serial.println(); Serial.print("Connected with IP: "); Serial.println(WiFi.localIP()); Serial.println(); Firebase.begin(FIREBASE_HOST, FIREBASE_AUTH); Firebase.reconnectWiFi(true); } void loop() { Firebase.getString(dulieufirebase, "/DIEUKHIENIOT/Dongco_cb_dat"); n = dulieufirebase.stringData(); Firebase.getString(dulieufirebase, "/DIEUKHIENIOT/Dongco_cb_mua"); m = dulieufirebase.stringData(); Firebase.getString(dulieufirebase, "/DIEUKHIENIOT/Led"); l = dulieufirebase.stringData(); Serial.print(" n = "); Serial.println(n); Serial.print(" m = "); Serial.println(m); Serial.print(" l = "); Serial.println(l); for (int i = 0; i