XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN THIẾT BỊ GIA ĐÌNH BẰNG CẢM BIẾN

Trong thới buổi hiện đại thì việc áp dụng Công nghệ thông tin vào cuộc sống là một việc làm hết sức cần thiết và thực tế. Với tốc độ phát triển nhanh chóng của Khoa học công nghê, đặc biệt là công nghê trí tuệ nhân tạo AI đang là một lĩnh vực đang rất nóng với các nhà nghiên cứu cũng như thực hiện các đồ án liên quan. Trong đó nhận diện khuôn mặt là thứ đang được mọi người rất quan tâm và tính ứng dụng của nó đối với con người.

XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN THIẾT BỊ GIA ĐÌNH BẰNG CẢM BIẾN Báo cáo: Báo cáo tốt nghiệp LỜI CẢM ƠN  Sau thời gian em bắt tay vào nghiên cứu với giúp đỡ tận tình thầy Ths ., em hoàn thành đề tài “Xây dựng ứng dụng Điều khiển thiết bị gia đình cảm biến” Qua em học hỏi nhiều điều cách thức nghiên cứu, phân tích vấn đề Với lòng biết ơn sâu sắc nhất, em xin gửi đến Thầy Cô Khoa truyền đạt vốn kiến thức quý báu cho chúng em suốt thời gian học tập trường Nhờ có lời hướng dẫn, dạy bảo thầy cô nên đề tài nghiên cứu em hồn thiện tốt đẹp Tuy nhiên trình thực thời gian có hạn kinh nghiệm thân hạn chế nên chắn báo cáo khơng tránh khỏi thiếu sót chỗ xử lý vấn đề chưa tối ưu Em mong nhận nhận xét, đánh giá từ phía thầy, người trực tiếp hướng dẫn Một lần em xin chân thành cảm ơn mong nhận đóng góp q báu q thầy dành cho đề tài em Báo cáo: Báo cáo tốt nghiệp TÓM TẮT ĐỀ TÀI Đề tài nghiên cứu “Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến” tiến hành văn phịng khoa Kỹ thuật – Công nghệ Đại học Thủ Dầu Một, thời gian thực từ ngày 25 tháng 01 năm 2020 đến ngày 25 tháng 06 năm 2020 Đề tài thực theo trình tự sau: • • • • • • Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến ESP32-Cam Thiết kế mơ hình nhận diện khuôn mặt từ liệu Camera Ứng dụng thư viện ESP32 tạo kiểu lưu trữ liệu vào vùng nhớ Thực chức them, xóa liệu khuôn mặt Kết thu được: Xây dựng ứng dụng điều khiển mở cửa tự động nhận diện khn mặt • Báo cáo trình bày nội dung đề tài Báo cáo: Báo cáo tốt nghiệp SUMMARY The research project "Building applications to control household devices by sensors" was conducted at the office of the Faculty of Engineering and Technology of Thu Dau Mot University, from January 25 to 2020 June 25, • 2020 The project is implemented in the following order: • Building application to control ESP32-Cam sensor family devices • Designing facial recognition models from Camera data • ESP32 library application creates data storage types to device • Perform the function of adding and erasing face data • Results: • Build an automatic door opening control application using face recognition • Report and present the topic Báo cáo: Báo cáo tốt nghiệp MỤC LỤC Báo cáo: Báo cáo tốt nghiệp MỤC LỤC HÌNH Báo cáo: Báo cáo tốt nghiệp Chương TỔNG QUAN 1.1 Lý chọn đề tài Trong thới buổi đại việc áp dụng Cơng nghệ thơng tin vào sống việc làm cần thiết thực tế Với tốc độ phát triển nhanh chóng Khoa học cơng nghê, đặc biệt cơng nghê trí tuệ nhân tạo AI lĩnh vực nóng với nhà nghiên cứu thực đồ án liên quan Trong nhận diện khn mặt thứ người quan tâm tính ứng dụng người Tổng số dân Việt Nam 96.208.984 người Việt Nam quốc gia đông dân thứ ba khu vực Đông Nam Á Tổng số hộ dân cư nước 26.870.079 hộ dân cư Cho thấy hội việc áp dụng CNTT vào việc điều khiển thiết bị gia đình lĩnh vực có quy mơ lớn 1.2 Mục tiêu đối tượng nghiên cứu 1.2.1 Mục tiêu - Thông qua nghiên cứu tảng nhận diện khuôn mặt tạo ứng dụng có độ xác, có tính thực tiễn cao, dễ sử dụng - Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến từ nhà bình thường trở thành nhà thông minh - Mục tiêu đồ án tìm hiểu số phương pháp nhận diện khuôn mặt ứng dụng vào thực tế cho phù hợp với thực tế nước ta - Nhận diện khn mặt chủ nhà - Xác nhận danh tính người sử dụng - Kiểm tra thông báo lên hình - Cơ chế đóng/ mở cửa khóa điện - Cơ chế bảo mật sản phẩm 1.2.2 Đối tượng nghiên cứu - Nghiên cứu thuật toán nhận diện khn mặt - Tập trung vào đối tượng nghiên cứu mặt người Chương Báo cáo: Báo cáo tốt nghiệp - Xử lý hình ảnh - Các thuật toán dung cảm biến 1.3 Phương pháp nghiên cứu 1.3.1 Đặt vấn đề nghiên cứu Các vấn đề cần nghiên cứu để hỗ trợ cho báo cáo tốt nghiệp: - Nhận diện khuôn mặt chủ nhà Xác nhận danh tính người sử dụng Kiểm tra thơng báo lên hình Cơ chế đóng/ mở cửa khóa điện Cơ chế bảo mật sản phẩm 1.3.2 Khảo sát nghiên cứu tài liệu - Khảo sát ứng dụng có liên quan đến đề tài - Tìm kiếm ứng dụng có thơng tin cần thiết - Xem các báo, đồ án tương tự - Phân tích, thực chức đề - Thực thi ứng dụng, thay đổi, bổ sung, khắc phục cố cho ứng dụng 1.3.3 Các tài liệu liên quan - Tập liệu Bộ tiêu chuẩn giúp ngăn chặn giả mạo khuôn mặt Nhằm hỗ trợ ngăn chặn giả mạo khuôn mặt, tác giả đưa tập liệu có tên CASIASURF Đây tập liệu mở lớn chống giả mạo khuôn mặt, bao gồm 21.000 video 1.000 đối tượng chế độ RGB, Depth IR Trong nghiên cứu, tác giả trình bày mơ hình đa phương thức lạ làm sở cho việc chống giả mạo khuôn mặt - Hệ thống nhúng cho nhận dạng phân cụm khn mặt FaceNet Nhóm nghiên cứu đào tạo mạng nơ ron tích chập cụm CPU 1.0002.000 giờ, sau đó, đưa đánh giá phương pháp dùng bốn tập liệu Ấn tượng FaceNet đạt độ xác lên tới 99,63% Labeled Faces tập Wild (LFW) 95,12% sở liệu Youtube Faces Chương Báo cáo: Báo cáo tốt nghiệp Tác giả người đóng góp: Yichun Shi Anil K Jain, Đại học Michigan State - Ảnh hưởng nhiễu nhận diện khuôn mặt Hai mục tiêu nghiên cứu khám phá ảnh hưởng nhiễu đỗi với sản phẩm cuối xác định phương pháp hiệu cho nhận dạng khuôn mặt Để làm điều đó, nhóm làm hai tập liệu hình ảnh mở phổ biến MegaFace MS-Celeb-1M Sau đó, phát mơ hình đào tạo 32% tập liệu MegaFace 20% MS-Celeb-1M đạt hiệu suất tương tự mơ hình đào tạo tồn tập liệu chưa làm ban đầu - Tập liệu nhận dạng khuôn mặt qua điệu tuổi VGGFace2 Trong nghiên cứu này, nhà nghiên cứu từ Đại học Oxford giới thiệu liệu VGGFace2 Bộ liệu chứa 3,31 triệu hình ảnh, bao gồm hình ảnh từ độ tuổi, dân tộc, độ chiếu sáng điệu khác 9.131 đối tượng 1.3.4 Tổng hợp Sau tìm hiểu yêu cầu khách hàng ưu điểm nhược điểm sản phẩm cạnh tranh có thị trường để tìm phương pháp, phân tích giải vấn đề đặt Tổng hợp ý kiến xây dựng chi tiết kế hoạch thực đề tài 1.4 Phân tích, xây dựng quy trình ứng dụng 1.4.1 Sơ đồ khối Chương Báo cáo: Báo cáo tốt nghiệp • Khối nguồn Chức năng: Đóng vai trị đầu não hệ thống, tiếp nhận tín hiệu nhận từ camera so sánh hình ảnh nhận Từ đưa tín hiệu điều khiển đến cho khối relay khối mạch điều khiển Truyền tín hiệu đến khối thơng báo • Khối camera Chức năng: Khối camera camera để lấy hình ảnh từ bên ngồi truyền đến khối xử lý trung tâm, đầu vào liệu • Khối relay Chức năng: Nhận tín hiệu từ khối xử lý trung tâm để phát tín hiệu đóng/mở đến mạch điều khiển đóng/mở cửa • Khối thơng báo Chức năng: Nhận tín hiệu từ khối xử lý trung tâm để hiển thi thơng báo cho người dùng • Mạch điều khiển khóa cửa Chức năng: Nhận tín hiệu từ Khối relay để thực việc đóng/mở khóa cửa 1.4.2 Quy trình thiết lặp nhận diện khn mặt Chương Báo cáo: Báo cáo tốt nghiệp 44 Trang 5.3 Chức ứng dụng 5.3.1 Chức phát nhận diện khn mặt Người dùng nhìn vào camera camera phát nhận diện khuôn mặt đồng thời kèm với thông báo Chương Báo cáo: Báo cáo tốt nghiệp 45 5.3.2 Chức them lưu trữ thông tin người dùng Cho phép người dùng thu thập liệu hình ảnh cá nhân thành viên gia đình có nhu cầu cấp quyền đóng/mở Chương Trang Báo cáo: Báo cáo tốt nghiệp 46 Trang 5.3.3 Chức kiểm tra nhận dạng khuôn mặt Kiểm tra hình ảnh nhận diện từ camera so sánh với CSDL lưu trữ từ trước nhầm nhận dạng danh tính người dùng Chương Báo cáo: Báo cáo tốt nghiệp 47 Trang 5.3.4 Chức xóa liệu khn mặt #include "esp_camera.h" #include "fd_forward.h" #include "fr_forward.h" #include "fr_flash.h" #define ENROLL_CONFIRM_TIMES #define FACE_ID_SAVE_NUMBER static face_id_list id_list = {0}; void setup() { Serial.begin(115200); face_id_init(&id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); read_face_id_from_flash(&id_list);// Read current face data from on-board flash Serial.println("Faces Read"); while ( delete_face_id_in_flash(&id_list) > -1 ){ Serial.println("Deleting Face"); } Serial.println("All Deleted"); } void loop() { } Chương Báo cáo: Báo cáo tốt nghiệp 48 Trang Khi chạy code tất khn mặt Fr_flash xóa Chương Báo cáo: Báo cáo tốt nghiệp 49 Trang 5.3.5 Chức điều khiển Relay mạch điều khiển đóng/mở cửa #include "esp_camera.h" #include "fd_forward.h" #include "fr_forward.h" #include "fr_flash.h" #define relayPin 12 // pin 12 can also be used unsigned long currentMillis = 0; unsigned long openedMillis = 0; long interval = 5000; // open lock for milliseconds #define PWDN_GPIO_NUM 32 #define RESET_GPIO_NUM -1 #define XCLK_GPIO_NUM #define SIOD_GPIO_NUM 26 #define SIOC_GPIO_NUM 27 #define Y9_GPIO_NUM 35 #define Y8_GPIO_NUM 34 #define Y7_GPIO_NUM 39 #define Y6_GPIO_NUM 36 #define Y5_GPIO_NUM 21 #define Y4_GPIO_NUM 19 #define Y3_GPIO_NUM 18 #define Y2_GPIO_NUM #define VSYNC_GPIO_NUM Chương 25 Báo cáo: Báo cáo tốt nghiệp 50 #define HREF_GPIO_NUM 23 #define PCLK_GPIO_NUM 22 #define ENROLL_CONFIRM_TIMES #define FACE_ID_SAVE_NUMBER static inline mtmn_config_t app_mtmn_config() { mtmn_config_t mtmn_config = {0}; mtmn_config.type = FAST; mtmn_config.min_face = 80; mtmn_config.pyramid = 0.707; mtmn_config.pyramid_times = 4; mtmn_config.p_threshold.score = 0.6; mtmn_config.p_threshold.nms = 0.7; mtmn_config.p_threshold.candidate_number = 20; mtmn_config.r_threshold.score = 0.7; mtmn_config.r_threshold.nms = 0.7; mtmn_config.r_threshold.candidate_number = 10; mtmn_config.o_threshold.score = 0.7; mtmn_config.o_threshold.nms = 0.7; mtmn_config.o_threshold.candidate_number = 1; return mtmn_config; } mtmn_config_t mtmn_config = app_mtmn_config(); Chương Trang Báo cáo: Báo cáo tốt nghiệp 51 Trang static face_id_list id_list = {0}; dl_matrix3du_t *image_matrix = NULL; camera_fb_t * fb = NULL; dl_matrix3du_t *aligned_face = dl_matrix3du_alloc(1, FACE_WIDTH, FACE_HEIGHT, 3); void setup() { Serial.begin(115200); digitalWrite(relayPin, LOW); pinMode(relayPin, OUTPUT); camera_config_t config; config.ledc_channel = LEDC_CHANNEL_0; config.ledc_timer = LEDC_TIMER_0; config.pin_d0 = Y2_GPIO_NUM; config.pin_d1 = Y3_GPIO_NUM; config.pin_d2 = Y4_GPIO_NUM; config.pin_d3 = Y5_GPIO_NUM; config.pin_d4 = Y6_GPIO_NUM; config.pin_d5 = Y7_GPIO_NUM; config.pin_d6 = Y8_GPIO_NUM; config.pin_d7 = Y9_GPIO_NUM; config.pin_xclk = XCLK_GPIO_NUM; config.pin_pclk = PCLK_GPIO_NUM; config.pin_vsync = VSYNC_GPIO_NUM; config.pin_href = HREF_GPIO_NUM; config.pin_sscb_sda = SIOD_GPIO_NUM; config.pin_sscb_scl = SIOC_GPIO_NUM; config.pin_pwdn = PWDN_GPIO_NUM; Chương Báo cáo: Báo cáo tốt nghiệp 52 Trang config.pin_reset = RESET_GPIO_NUM; config.xclk_freq_hz = 20000000; config.pixel_format = PIXFORMAT_JPEG; config.frame_size = FRAMESIZE_UXGA; config.jpeg_quality = 10; config.fb_count = 2; esp_err_t err = esp_camera_init(&config); if (err != ESP_OK) { Serial.printf("Camera init failed with error 0x%x", err); return; } //drop down frame size for higher initial frame rate sensor_t * s = esp_camera_sensor_get(); s->set_framesize(s, FRAMESIZE_QVGA); s->set_vflip(s, 1); face_id_init(&id_list, FACE_ID_SAVE_NUMBER, ENROLL_CONFIRM_TIMES); read_face_id_from_flash(&id_list);// Read current face data from on-board flash } void rzoCheckForFace() { currentMillis = millis(); if (run_face_recognition()) { // face recognition function has returned true Serial.println("Face recognised"); digitalWrite(relayPin, HIGH); //close (energise) relay openedMillis = millis(); //time relay closed } if (currentMillis - interval > openedMillis) { // current time - face recognised time > secs Chương Báo cáo: Báo cáo tốt nghiệp 53 Trang digitalWrite(relayPin, LOW); //open relay } } bool run_face_recognition() { bool faceRecognised = false; // default int64_t start_time = esp_timer_get_time(); fb = esp_camera_fb_get(); if (!fb) { Serial.println("Camera capture failed"); return false; } int64_t fb_get_time = esp_timer_get_time(); Serial.printf("Get one frame in %u ms.\n", (fb_get_time - start_time) / 1000); // this line can be commented out image_matrix = dl_matrix3du_alloc(1, fb->width, fb->height, 3); uint32_t res = fmt2rgb888(fb->buf, fb->len, fb->format, image_matrix->item); if (!res) { Serial.println("to rgb888 failed"); dl_matrix3du_free(image_matrix); } esp_camera_fb_return(fb); box_array_t *net_boxes = face_detect(image_matrix, &mtmn_config); if (net_boxes) { if (align_face(net_boxes, image_matrix, aligned_face) == ESP_OK) { int matched_id = recognize_face(&id_list, aligned_face); if (matched_id >= 0) { Chương Báo cáo: Báo cáo tốt nghiệp 54 Serial.printf("Match Face ID: %u\n", matched_id); faceRecognised = true; // function will now return true } else { Serial.println("No Match Found"); matched_id = -1; } } else { Serial.println("Face Not Aligned"); } free(net_boxes->box); free(net_boxes->landmark); free(net_boxes); } dl_matrix3du_free(image_matrix); return faceRecognised; } void loop() { rzoCheckForFace(); } Chương Trang Báo cáo: Báo cáo tốt nghiệp 55 Chương Trang Báo cáo: Báo cáo tốt nghiệp 56 Trang 5.4 Ý nghĩa thực tiễn “Xây dựng ứng dụng Điều khiển thiết bị gia đình cảm biến” tạo sản phẩm thiết thực cho sống ngày Sản phẩm tạo ứng dụng, mơ hình mở cửa thơng minh sử dụng cơng nghệ nhận diện gương mặt giúp cho chủ nhà dễ dàng cho việc mở cửa nhanh chóng, dễ dàng với độ xác cao Tạo sở để quản lý nhà thông minh hơn, áp dụng công nghê mới, đại vào sống Đặc biệt hứu ích với người hay qn chìa khóa, chìa khóa Chương Báo cáo: Báo cáo tốt nghiệp 57 Trang CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết luận Đề tài : “Xây dựng ứng dụng Điều khiển thiết bị gia đình cảm biến” xây dựng mơ hình mở cửa thơng minh nhận diện khuôn mặt Ứng dụng vào ngơi nhà thơng minh Ứng dụng có chức sau: • • • • • Phát nhận diện khuôn mặt Lưu trữ liệu thông tin ID hình ảnh khn mặt người dùng Nhận dạng danh tính người dùng Chức thêm, xóa liệu Điều khiển khóa cửa đóng/mở cách có điều kiện Hạn chế: • Chất lượng hình ảnh nhận từ camera chưa cao • Chưa cá nhân hóa cho thành viên gia đình 6.2 Hướng phát triển  Sự dụng thêm loại cảm biến : vân tay, nhập mật khẩu,…  Cung cấp phương thức dự phịng có cháy nổ, cúp điện, hết pin, phá hoại  Hồn thiện tính cá nhân hóa cho ID người dùng Chương Báo cáo: Báo cáo tốt nghiệp 58 Trang TÀI LIỆU THAM KHẢO Lập Trình Iot Với Arduino TS Lê Mỹ Hà, KS Phạm Quang Huy Nhà Xuất Bản Thanh Niên Lập Trình Điều Khiển Xa Với ESP8266, ESP32 Và Arduino Nhà Xuất Bản Thanh Niên Công nghệ nhận diện khn mặt: http://echip.com.vn/cong-nghe-nhan-dienkhuon-mat-a20130830163155290-c1049.html Khóa Cửa Thơng Minh Xiaomi Trên Ứng Dụng Mihome: https://mihub.vn/huong-dan-cach-thiet-lap-khoa-cua-thong-minh-xiaomitren-ung-dung-mihome/ Nhà thông minh: https://smarthome.com.vn/ Hướng dẫn sử dụng Arduino: http://arduino.vn/reference Chương ... LỜI CẢM ƠN  Sau thời gian em bắt tay vào nghiên cứu với giúp đỡ tận tình thầy Ths ., em hoàn thành đề tài ? ?Xây dựng ứng dụng Điều khiển thiết bị gia đình cảm biến? ?? Qua em học hỏi nhiều điều. .. cao, dễ sử dụng - Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến từ nhà bình thường trở thành nhà thơng minh - Mục tiêu đồ án tìm hiểu số phương pháp nhận diện khuôn mặt ứng dụng vào thực... Một, thời gian thực từ ngày 25 tháng 01 năm 2020 đến ngày 25 tháng 06 năm 2020 Đề tài thực theo trình tự sau: • • • • • • Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến ESP32-Cam Thiết kế