Đồ án kỹ thuật máy tính đèn đường thông minh tích hợp camera phân tích người đi bộ trong công viên

TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA CÔNG NGHỆ THÔNG TIN BÁO CÁO PBL5 - ĐỒ ÁN KỸ THUẬT MÁY TÍNH Đèn đường thơng minh tích hợp camera phân tích người công viên Giảng viên đồng hướng dẫn: Phạm Cơng Thắng STT NHĨM: 42 LỚP HỌC PHẦN ĐỒ ÁN HỌ VÀ TÊN SINH VIÊN Hoàng Nguyễn Ngọc Duy Linh 20.91A Bùi Dương Hoàng Nguyên 20.91A Nguyễn Phan Việt Anh 20.91A Lê Doãn Minh Huy 20.91A ĐÀ NẴNG, 06/2023 Báo cáo đồ án PBL5 – Kỹ thuật máy tính TĨM TẮT ĐỒ ÁN Với xu hướng cơng nghiệp hóa, đại hóa nay, việc người dân đường tập thể dục nói chung cơng viên nói riêng diễn sơi Nhưng sau nhóm khảo sát, tuyến đường quanh công viên 29/3 thiếu ánh sáng vào tối từ sau 18h Đồng thời với thị thành phố Đà Nẵng việc tắt điện chiếu sáng trang trí để tiết kiệm điện năng, cải tiến nhỏ lập trình đèn để giúp giảm thiểu lượng tiêu hao nhóm triển khai Chính vậy, nhóm đặt tốn thiết kế hệ thống đèn điện chiếu sáng thông minh nằm cung đường công viên Vừa giải vấn đề ánh sáng, vừa tiết kiệm điện tiêu thụ phân tích đánh giá đặc trưng người để đưa thống kê, đánh giá độ cần thiết đồ án Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính BẢNG PHÂN CƠNG NHIỆM VỤ Sinh viên thực Hoàng Nguyễn Ngọc Duy Linh Các nhiệm vụ Tự đánh giá theo mức (Đã hoàn thành/Chưa hồn thành/Khơng triển khai) - Lắp đặt, thiết kế phần cứng NodeMCU, lập trình cảm biến - Chụp ảnh, thu thập liệu người Đã hoàn thành - Lập trình Web Server, hosting server Bùi Dương Hoàng Nguyên - Chụp ảnh, thu thập liệu người - Lập trình phát người (mang khấu trang không) Nguyễn Phan Việt Anh - Chụp ảnh, thu thập liệu người Đã hồn thành Đã hồn thành - Lập trình Web Server - Phân tích liệu, huấn luyện mơ hình Lê Dỗn Minh Huy Đã hồn thành - Chụp ảnh, thu thập liệu người Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Mục lục TĨM TẮT ĐỒ ÁN BẢNG PHÂN CÔNG NHIỆM VỤ Danh mục hình ảnh Danh mục bảng biểu Giới thiệu 1.1 Thực trạng sản phẩm: 1.2 Các vấn đề cần giải quyết: 1.3 Đề suất giải pháp tổng quan Giải pháp 2.1 Giải pháp phần cứng truyền thông 2.1.1 Phần cứng 2.1.2 Truyền thông 2.2 Giải pháp phần mềm 11 2.2.1 Giải pháp phát người 11 2.2.2 Giải pháp ứng dụng web 12 2.2.3 Giải pháp xử lý hệ thống đèn: 12 Kết 13 3.1 Phát người 13 3.1.1 Tập liệu 13 3.1.2 Huấn luyện: 13 3.1.3 Kết quả: 14 3.2 Server 18 3.2.1 API 18 3.2.2 Tốc độ thực thi hệ thống 19 3.2.3 Ứng dụng web 20 Kết luận 21 4.1 Đánh giá 21 4.2 Hướng phát triển 22 DANH MỤC TÀI LIỆU THAM KHẢO 23 Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Danh mục hình ảnh Hình 1: Sơ đồ lắp đặt phần cứng hệ thống Hình 2: Mơ hình giao tiếp liệu hệ thống Hình 3: Mơ hình phát người hệ thống 11 Hình 4: Mơ hình giao tiếp điều khiển hệ thống đèn 12 Hình 5: Tệp liệu “HumanWithoutMask” 13 Hình 6: Tệp liệu “HumanWithMask” 13 Hình 7: Q trình resize kích thước tập ảnh 13 Hình 8: Chạy 10 epochs lưu kết vào file “Face_Mask_Model.h5” 14 Hình 12: Kết nhận diện có trang qua camera 16 Hình 13: Kết nhận diện khơng có trang qua ảnh (1) 16 Hình 14: Kết nhận diện khơng có trang qua ảnh (2) 17 Hình 15: Kết nhận diện ảnh 17 Hình 16: Chức đăng nhập 20 Hình 17: Trang chủ web 20 Hình 18: Tình trạng thiết bị 21 Hình 19: Hình ảnh từ camera 21 Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Danh mục bảng biểu Bảng 1: Giải pháp tổng quan Bảng 2: Danh mục linh kiện Bảng 3: Chức đăng nhập 18 Bảng 4: Chức đăng xuất 18 Bảng 5: Hiển thị tất camera 18 Bảng 6: Hiện thị vị trí thiết bị Google Maps 18 Bảng 7: Lấy ảnh từ Firebase gửi qua camera nhận diện 18 Bảng 8: Chỉnh chế độ điều khiển độ sáng đèn (auto/ manual) 19 Bảng 9: Tự động cập nhật liệu từ database đèn 19 Bảng 10: Cập nhập vị trí đèn Google Maps 19 Bảng 11: Tạo bảng chứa danh sách đèn chế độ thực thi (auto/ manual) 19 Bảng 12: Hiển thị vị trí đèn định vị qua Google Maps 19 Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Giới thiệu 1.1 Thực trạng sản phẩm: Hệ thống đèn đường thông minh tích hợp camera phân tích người cơng viên, tương đồng với vài sản phẩm lớn nước Anh, Pháp, Đức hệ thống đèn đường thông minh cho xe cộ lại vào ban đêm nhằm hạn chế lượng điện, giảm thiểu chi phí cho thành phố, … Với sản phẩm giá thành đắt phạm vi lại lớn từ cấp thành phố Với đề tài lần này, nhóm bọn em thử nghiệm giới hạn pham vi hoạt động công viên 29/3 địa bàn thành phố Đà Nẵng, nhằm giúp mô lại hệ thống với giải pháp tốt kèm chi phí phù hợp 1.2 Các vấn đề cần giải quyết: - Phần cứng để thu thập liệu - Hệ thống đèn hoạt động phạm vi phù hợp cho người - Phát gương mặt người có đeo khơng đeo trang cơng viên - Phân tích đưa đánh giá thực trạng tập sức khỏe - Hệ thống hoạt động theo thời gian thực - Ứng dụng để người quản lý kiểm sốt hệ thống đèn 1.3 Đề suất giải pháp tổng quan Bảng 1: Giải pháp tổng quan Vấn đề Giải pháp đề xuất Phần cứng Raspberry Pi 3b Webcam Logitech C270 Cảm biến chuyển động, ánh sáng Node MCU Đèn hoạt động phạm vi phù hợp cho Sử dụng cảm biến chuyển động để ước người chừng phạm vi chiếu sáng phù hợp cho người Phát gương mặt Xây dựng huấn luyện mơ hình phát khn mặt Thử nghiệm với model: face_detection_model Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Ứng dụng Xây dựng website Người quản lý đăng nhập Quản lý hệ thống đèn bật, tắt chỉnh độ sáng Xem thông tin đếm lượng người lại ngày Giải pháp Các chức tổng quan hệ thống đèn đường thông minh bao gồm: - Tự động điều chỉnh cường độ sáng có người qua lại khơng có người - Cập nhật tình trạng trạng thái đèn để xử lý kịp thời có cố - Phân tích thói quen người tập thể dục để điều chỉnh thủ cơng đánh giá độ xác việc sáng đèn 2.1 Giải pháp phần cứng truyền thông 2.1.1 Phần cứng Hệ thống bao gồm Raspberry pi để xử lý hình ảnh nhận từ web cam, NodeMCU để xử lý thông tin từ cảm biến điểu khiển hệ thống đèn Thông qua kết nối mạng, ta điều khiển hệ thống từ web http://smartlight.hopto.org:8000/ (sử dụng Django Framework) Nhóm demo mẫu mơ hình với đèn cơng suất 5V để thử nghiệm cảm biến lập trình Mẫu hình đây: Hình 1: Sơ đồ lắp đặt phần cứng hệ thống Các phận xử lý bao gồm: Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính - Bộ xử lý trung tâm Arduino Uno - Mạch điều khiển công suất L298N cho đầu 25W - Cảm biến ánh sáng dùng quang trở - Cảm biến chuyển động PIR - Nguồn 9V - Mạch gắn linh kiện -… Bảng 2: Danh mục linh kiện Tên linh kiện Đơn giá Ghi Hộp mơ hình 48.000 Mua Webcam Logitech C270 x 0.000 Mượn Node MCU x 100.000 Mua Cảm biến linh kiện 1.000.000 loại Mua cũ Raspberry Pi x Tổng 1.148.000 2.1.2 Truyền thơng Mơ hình giao tiếp liệu hệ thống: Hình 2: Mơ hình giao tiếp liệu hệ thống Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người Báo cáo đồ án PBL5 – Kỹ thuật máy tính Giới thiệu Firebase: - Firebase tảng giúp phát triển ứng dụng di động web Bên cạnh đó, Firebase cịn hiểu dịch vụ sở liệu hoạt động tảng đám mây cloud với hệ thống máy chủ mạnh mẽ Google - Firebase chứa sở liệu mang đến khả code nhanh thuận tiện Lập trình viên dễ dàng lập trình ứng dụng cách đơn giản hóa thao tác với sở liệu sẵn có Giới thiệu Django: Django web framework tiếng viết hồn tồn ngơn ngữ Python Nó framework với đầy đủ thư viện, module hỗ trợ web-developer Mục tiêu Django đơn giản hóa việc tạo website phức tạp có sử dụng sở liệu Django tập trung vào tính “có thể tái sử dụng” “có thể tự chạy”, tính phát triển nhanh, khơng làm lại làm Một số website phổ biến xây dựng từ Django Pinterest, Instagram, Mozilla, Bitbucket Kiến trúc Django: - Django sử dụng mơ hình MVT (Model-View-Template) thay sử dụng mơ hình MVC (Model-View-Controller) Mơ hình MVT sử dụng tạo ứng dụng với Tương tác người dùng - Mơ hình bao gồm code HTML với Django Template Language (DTL) - Controller mã viết để kiểm soát tương tác Model View Django dễ dàng xử lý Bất người dùng người request, xử lý request người dùng Model, View Template Nó hoạt động Controller để kiểm tra xem có khả dụng hay khơng cách ánh xạ URL URL ánh xạ thành cơng View bắt đầu tương tác với Model gửi lại Template cho người dùng dạng response Google Cloud: Google Cloud hay gọi Google Cloud Platform (GCP) tảng kỹ thuật điện tốn đám mây cho phép cá nhân, tổ chức, doanh nghiệp, quan xây dựng, phát triển, hoạt động ứng dụng hệ thống phần mềm google tạo Các ứng dụng phổ biến người sử dụng nhiều Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 10 Báo cáo đồ án PBL5 – Kỹ thuật máy tính VPS Google Cloud: Hiện nay, VPS google doanh nghiệp cá nhân ưu tiên lựa chọn sử dụng khả vượt trội kèm tính bảo mật, backup tuyệt vời nó, kể đến loại hình kinh doanh như: - Sử dụng để làm máy chủ game (game server), nhiên game có lượng truy cập vừa phải, khơng q lớn Lưu trữ website (tất loại website dịch vụ bán hàng, tin tức, diễn đàn, thương mại điện tử….) Làm hệ thống email cho doanh nghiệp Tạo mơi trường ảo để lập trình, nghiên cứu, thí nghiệm, phân tích liệu Chạy chương trình quảng cáo, kiện, truyền thông trực tiếp Phát triển loại platform, lưu trữ liệu hình ảnh, tài liệu, video 2.2 Giải pháp phần mềm 2.2.1 Giải pháp phát người Bài toán phát người cách mà nhóm sử dụng để kiểm tra độ xác cảm biến Vì đơi lúc cảm biến đọc vật di chuyển khác sáng đèn người Để giải tốn này, nhóm xây dựng mơ hình phát người theo sơ đồ Hình 3: Mơ hình phát người hệ thống Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 11 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Chi tiết bước trình bày mục 3.1 Phát người 2.2.2 Giải pháp ứng dụng web Đặt tốn đưa thơng tin thiết bị (ở đèn) lên marker đồ Đà Nẵng Nhóm sử dụng Google maps API để lấy liệu đồ giới Sau sử dụng GPS điểm kết nối Wifi với NodeMCU để lấy vị trí địa lý Bên cạnh chức đăng nhập, hiển thị thông tin, gửi nhận tín hiệu tới server 2.2.3 Giải pháp xử lý hệ thống đèn: - Cách 1: NodeMCU đọc tín hiệu từ cảm biến ánh sáng: - Nếu trời sáng tắt tồn hệ thống đèn - Nếu trời tối điều chỉnh độ sáng dựa vào cảm biến chuyển động PIR - Cách 2: NodeMCU nhận tín hiệu thủ cơng từ server để bật tắt đèn Hình 4: Mơ hình giao tiếp điều khiển hệ thống đèn Thiết lập cơng suất đèn: - Khi khơng có người qua lại vào trời tối, mặc định công suất đèn 50% công suất tối đa Để khu vực xung quanh nhìn khơng tối hẳn - Khi có người qua lại vào lúc trời tối, đèn sáng với cường độ tăng đến 100% công suất tối đa - Sau không nhận diện người nữa, đèn giảm cường độ xuống 30% công suất tối đa Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 12 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Kết 3.1 Phát người 3.1.1 Tập liệu Trong phần huấn luyện mơ hình, nhóm sử dụng tập liệu Human Detection Kaggle Nguồn: https://www.kaggle.com/datasets/ashwingupta3012/human-faces https://www.kaggle.com/datasets/constantinwerner/human-detection-dataset https://github.com/X-zhangyang/Real-World-Masked-Face-Dataset 3.1.2 Huấn luyện Phân tích liệu: Lọc ảnh chia thành tệp “HumanWithMask” “HumanWithoutMask”: Hình 5: Tệp liệu “HumanWithoutMask” Hình 6: Tệp liệu “HumanWithMask” Sau Resize kích thước tập ảnh cho phù hợp với việc xây dựng mơ hình: Target_size=(128,128) Hình 7: Q trình resize kích thước tập ảnh Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 13 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Trích xuất tất ảnh có tệp đánh nhãn theo tên tệp, sau có tất ảnh tiến hành lưu vào X_train dạng ma trận số thu tập X_train, X_test có 13785 mẫu liệu Tiếp tiến hành xây dựng mơ hình nhận diện người đeo trang hay không đeo trang lưu vào file “Face_Mask_Model.h5” Hình 8: Chạy 10 epochs lưu kết vào file “Face_Mask_Model.h5” 3.1.3 Kết Đồ thị kết quả: Hình 9: Đồ thị biểu diễn mát mơ hình epoch Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 14 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Hình 10: Đồ thị biểu diễn độ xác mơ hình epoch Kết nhận diện tập test: Hình 11: Ma trận nhầm lẫn Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 15 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Dựa vào ma trận nhầm lẫn ta thấy tỷ lệ nhận diện người đeo trang không đeo trang 88% số cao tốt Kết nhận diện qua camera số ảnh: Hình 12: Kết nhận diện có trang qua camera Hình 13: Kết nhận diện khơng có trang qua ảnh (1) Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 16 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Hình 14: Kết nhận diện khơng có trang qua ảnh (2) Hình 15: Kết nhận diện ảnh Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 17 Báo cáo đồ án PBL5 – Kỹ thuật máy tính 3.2 Server 3.2.1 API Account Bảng 3: Chức đăng nhập Tên chức Method Đăng nhập POST / URL Parameters “username”, “password” Bảng 4: Chức đăng xuất Tên chức URL Đăng xuất /logout Camera Bảng 5: Hiển thị tất camera Tên chức Method URL Hiển thị camera GET /camera Bảng 6: Hiện thị vị trí thiết bị Google Maps Tên chức Method URL Hiển thị vị trí thiết bị Google Maps GET /location Bảng 7: Lấy ảnh từ Firebase gửi qua camera nhận diện Tên chức Method URL Hiển thị vị trí camera Google Maps GET /get_image Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 18 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Đèn Bảng 8: Chỉnh chế độ điều khiển độ sáng đèn (auto/ manual) Tên chức URL Chỉnh chế độ điều khiển độ sáng đèn (auto / manual) /update-mode Bảng 9: Tự động cập nhật liệu từ database đèn Tên chức Method URL Tự động cập nhập liệu từ sở liệu đèn sau khoảng thời gian POST /fetch-mode Bảng 10: Cập nhập vị trí đèn Google Maps Tên chức Method URL Cập nhập ví trí đèn Google Maps POST /update_status Bảng 11: Tạo bảng chứa danh sách đèn chế độ thực thi (auto/ manual) Tên chức URL Tạo bảng chứa danh sách đèn chế độ thực thi (auto / manual) /table Bảng 12: Hiển thị vị trí đèn định vị qua Google Maps Tên chức URL Hiển thị ví trí đèn định vị qua Google Maps /dashboard 3.2.2 Tốc độ thực thi hệ thống Sau thử nghiệm nhiều địa điểm loại mạng khác nhau, nhóm thu kết sau: Đối với thông tin liệu đèn: Gần khơng có độ trễ Đối với hình ảnh từ camera: Tốc độ gửi khơng có độ trễ tốc độ xử lý video Raspberry cịn chậm Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 19 Báo cáo đồ án PBL5 – Kỹ thuật máy tính 3.2.3 Ứng dụng web Sau host lên web, nhóm có đường link sau để điều khiển hệ thống từ xa: http://smartlight.hopto.org:8000/ Hình 16: Chức đăng nhập Hình 17: Trang chủ web Dưới trang điều khiển hệ thống đèn điện thông minh Có chức đổi qua lại auto manual: • Auto: Hệ thống tự động điều chỉnh độ sáng theo tín hiệu cảm biến • Manual: Hệ thống điều chỉnh độ sáng kéo với mức (0%, 25%, 50%, 75%, 100%) Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 20 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Hình 18: Tình trạng thiết bị Trang web thu thập liệu video từ thiết bị camera để thuận lợi việc quản lý thu thập liệu Hình 19: Hình ảnh từ camera Kết luận 4.1 Đánh giá Thiết kế: Mơ hình triển khai thực tế phức tạp mặt điện áp cấp xuất Nhưng xử lý NodeMCU gọn nhẹ lắp đặt dễ dàng cột điện Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 21 Báo cáo đồ án PBL5 – Kỹ thuật máy tính Chức năng: Phát người bộ: Mơ hình phát khn mặt chưa hồn thiện Tuy nhiên, khả phát khuôn mặt cho kết tốt, phát tất khuôn mặt lớp học Tốc độ phát người nhanh , cải thiện với thuật toán tối ưu Server: Server hệ thống xử lý ổn định, gần không xảy lỗi Ứng dụng web: Ứng dụng có giao diện bắt mắt, dễ sử dụng, đầy đủ chức giúp quản lý hệ thống tốt 4.2 Hướng phát triển Phát người bộ: Hiện mơ hình phát mặt người Nếu có thêm thời gian, nhóm tìm kiếm thu thập dataset để phân biệt hành động người từ đưa đánh giá xác cho việc bật tắt hệ thống đèn Server: Server xử lý chậm, xử lý số request cịn thấp Nhóm phát triển khả xử lý server, xử lý chế độ đa luồng, đa truy cập Đồng thời, tăng khả bảo mật hệ thống để tránh trường hợp sập server, bị cơng DDOS Ngồi ra, tiếp tục cải thiện sở liệu để hệ thống vận hành tốt, xử lý liệu nhanh Phần cứng: Nhóm sử dụng camera có độ phân giải tốt để có hình độ phân giải cao Đồng thời, nâng cấp phần cứng raspberry TFU để tăng tốc độ xử lý hình ảnh Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 22 Báo cáo đồ án PBL5 – Kỹ thuật máy tính DANH MỤC TÀI LIỆU THAM KHẢO [1] Giới thiệu Python https://openplanning.net/11385/gioi-thieu-ve-python [2] Giới thiệu Django Framework https://viblo.asia/p/tim-hieu-ve-django-framework-ho-tro-python-trong-laptrinh-web-QpmlexbkZrd [3] Giới thiệu VPS Google Cloud cách đăng ký https://tenten.vn/tin-tuc/vps-google-cloud/ [4] Lập trình Arduino với cảm biến chuyển động http://arduino.vn/bai-viet/522-pir-sensor-alarm [5] Lập trình NodeMCU giao tiếp Firebase https://hocarm.org/esp8266-va-firebase/ Nhóm 42: Hệ thống đèn đường thơng minh tích hợp camera phân tích người 23