LUẬN VĂN THẠC SĨ Nghiên cứu, thiết kế hệ thống cơ điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt và thuật toán học sâu trong việc điểm danh và đánh giá độ chuyên cần của sinh viên

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên NGUYỄN DUY KHÁNH Khanh.NDCB180012@sis.hust.edu.vn Ngành Kỹ thuật Cơ Điện Tử Giảng viên hướng dẫn: TS Đặng Thái Việt Chữ ký GVHD Viện: Cơ Khí HÀ NỘI, 05/2020 ĐỀ TÀI LUẬN VĂN Đề tài: Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên Tên tiếng anh: Research and design the intelligent mechatronics system using facial recognition technology and deep learning algorithm to roll up and evaluate the diligence Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Em xin chân thành cảm ơn Thầy giáo, Tiến sĩ Đặng Thái Việt, người hướng dẫn tận tình cho em suốt thời gian tìm hiểu, nghiên cứu hồn thành luận văn từ lý thuyết đến việc ứng dụng sản xuất Sự hướng dẫn tận tình thầy giúp em có thêm nhiều kiến thức liên quan đến cơng nghệ trí tuệ nhân tạo ứng dụng thực tế môi trường công nghiệp Đồng thời em xin cảm ơn quý thầy, cô viện khí, đặc biệt thầy mơn Cơ điện tử - Trường Đại học Bách khoa Hà Nội, trang bị cho em nhiều kiến thức cần thiết suốt thời gian học tập, nghiên cứu trường để em hồn thành luận văn Trong suốt trình học thời gian làm luận văn khơng tránh khỏi thiếu sót, em mong nhận góp ý quý thầy, cô bạn để luận văn em hoàn thiện Em xin chân thành cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn nhằm giải toán quản lý mật độ đối tượng ứng dụng cơng nghệ xử lý hình ảnh, deep learning Để kiểm nghiệm thuật toán, đề tài ứng dụng vào lĩnh vực cụ thể điểm danh đánh giá độ chuyên cần sinh viên từ giúp giải toán quản lý mật độ đối tượng cách hiệu Phương pháp thực hiện: Đánh giá độ chuyên cần khoảng liệu rộng, tốn kết hợp hai phương pháp nhận diện khn mặt điểm danh qua vân tay Hai phương pháp hỗ trợ để xây dựng thành hệ thống xử lý khoảng liệu lớn với độ xác chấp nhận Cơng cụ sử dụng: Pycharm, Python 3.8.2, Anaconda, Office 2013… Kết luận văn: Phù hợp yêu cầu đặt độ xác đạt 89%, phương pháp bổ trợ giải vấn đề tồn đọng Định hướng phát triển: Ứng dụng công nghệ IoT, Big Data vào quản lý xử lý liệu giúp việc xử lý liệu hiệu Hà Nội, Ngày tháng năm 2020 Học viên LỜI MỞ ĐẦU Thế giới trải qua cách mạng công nghiệp bước vào kỉ nguyên số với cách mạng công nghiệp lần thứ dẫn đến bùng nổ công nghệ đặc biệt lĩnh vực robot, trí tuệ nhân tạo, cơng nghệ big data,…đã phần đưa kinh tế quốc gia phát triển vượt bậc Chúng ta nhận thấy trí tuệ nhân tạo trở nên phổ biến nhiều khía cạnh sống hàng ngày Từ cảm biến thơng minh giúp chụp ảnh hồn hảo, đến tính đỗ xe tự động xe hơi, trợ lý cá nhân điện thoại thơng minh, trí thơng minh nhân tạo ln xung quanh Trên thực tế, có nhiều ứng dụng trí tuệ nhân tạo thực thi đặc biệt toán xác định mật độ đối tượng áp dụng vào lĩnh vực an ninh, an tồn nhiên độ xác phương pháp xử lý chưa giải tối ưu Để tối ưu phương pháp giải toán đồng thời giúp tăng độ xác xử lý hệ thống, thầy hướng dẫn định hướng giao nhiệm vụ nghiên cứu đề tài: “Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên” Mục đích luận văn tập trung nghiên cứu, tìm hiểu phân tích phương pháp học sâu ứng dụng vào tốn phân tích quản lý mật độ đối tượng, đồng thời thực cài đặt mô hình huấn luyện nhận dạng người Học sâu với số lượng ảnh định sử dụng chúng làm nhận dạng sở cho ứng dụng điểm danh tự động cải thiện cho việc điểm danh Bộ sở liệu ảnh thành phần quan trọng hàng đầu phương pháp Học máy nói chung, sử dụng để phục vụ cho q trình tính tốn tham số huấn luyện, tinh chỉnh mơ hình Thơng thường, liệu lớn chọn lọc tỉ mỉ cẩn thận độ xác mơ hình cải thiện Sau thu thập đủ số lượng ảnh gốc sinh viên, ta sử dụng thuật tốn mơi trường Python để trainning, nhận dạng đánh giá độ xác thuật tốn từ chọn thuật tốn có độ xác cao Luận văn tổ chức thành chương với nội dung cụ thể sau: Chương 1: Đưa nhìn tổng quan trí tuệ nhân tạo, mạng neural tích chập CNN cấu trúc So sánh, đánh giá cơng bố từ trước từ đề xuất đề tài Ngồi ra, tác giả trình bày số thuật tốn tích hợp hệ thống điểm danh Chương 2: Đưa nhìn tổng quan toán xác định quản lý mật độ đối tượng Tập trung so sánh, đánh giá với kết cơng bố từ đưa giải pháp nâng cao độ xác, mơ liệu Chương 3: Tiếp cận cách thiết kế xây dựng hệ thống điểm danh tự động kết hợp phần cứng phần mềm cách hiệu Chương 4: Kết luận hướng phát triển hệ thống tương lai Dù cố gắng hoàn thành đề tài với cường độ làm việc cao, kỹ lưỡng hướng dẫn cụ thể, nhiệt tình thầy hướng dẫn hiểu biết cịn hạn chế nên chắn luận văn khơng tránh khỏi khả thiết sót Vì em mong sửa chữa góp ý hội đồng, quý thầy cô để em rút kinh nghiệm bổ sung thêm kiến thức cho thân Cuối em xin chân thành cảm ơn quan tâm bảo thầy cô môn Cơ Điện Tử trường Đại học Bách khoa Hà Nội đặc biệt hướng dẫn tận tình TS Đặng Thái Việt giúp em hoàn thành luận văn Hà Nội, ngày 10 tháng năm 2020 Học viên thực hiện: Nguyễn Duy Khánh MỤC LỤC CHƯƠNG TỔNG QUAN 1.1 Đặt vấn đề 1.2 Tổng quan mạng neural tích chập CNN 1.2.1 Giới thiệu mạng Neural 1.2.2 Cấu trúc mạng Neural tích chập CNN 1.3 Thuật toán FaceNet 1.4 Thuật toán MTCNN 12 CHƯƠNG CƠ SỞ LÝ THUYẾT VÀ PHƯƠNG PHÁP PHÂN TÍCH XỬ LÝ BÀI TỐN 16 2.1 Tổng quan toán xác định mật độ đối tượng 16 2.2 Tổng quan hệ thống điểm danh sinh viên 21 2.3 Phân tích, cải tiến toán xác định mật độ đối tượng 22 2.3.1 Thuật tốn nhận dạng khn mặt sử dụng mạng Neural 26 2.3.2 Cách thức tổ chức xử lý liệu trainning 27 2.3.3 Cải thiện, nâng cao độ xác cho toán 32 CHƯƠNG THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN 39 3.1 3.2 3.3 Yêu cầu chung hệ thống điều khiển 39 3.1.1 Phân tích hệ thống 39 3.1.2 Nguyên lý hoạt động hệ thống điều khiển 40 3.1.3 Yêu cầu phần cứng phần mềm 41 Lấy liệu từ module quét vân tay 42 3.2.1 Giới thiệu cảm biến vân tay R305 43 3.2.2 Lựa chọn vi điều khiển 44 3.2.3 Truyền thông hệ thống với module vân tay 47 3.2.4 Thiết kế sơ đồ nguyên lý giao tiếp module vân tay 49 Thiết kế phần mềm điểm danh tự động 50 3.3.1 Bài tốn nhận diện khn mặt 51 3.3.2 Xây dựng giao diện phần mềm điểm danh tự động 53 3.4 Phương pháp đánh giá 53 3.5 Thử nghiệm độ xác thuật tốn sau tích hợp vào hệ thống 54 CHƯƠNG KẾT LUẬN 60 4.1 Kết luận 60 4.2 Hướng phát triển tương lai 60 DANH MỤC HÌNH VẼ Hình 1.1: Cấu trúc mạng Neural Hình 1.2: Cấu trúc mạng tích chập CNN Hình 1.3: Nguyên lý lọc tích chập Hình 1.4 Kết xử lý sau lớp tích chập Hình 1.5: Xử lý Max Pooling Hình 1.6: Fully Connected Layer Hình 1.7: FaceNet process Hình 1.8: Triplet Loss 10 Hình 1.9: Dataset LWF 11 Hình 1.10: Quá trình xử lý mạng P-Net 14 Hình 1.11: Ví dụ xử lý mạng P-Net 14 Hình 1.12: Quá trình xử lý mạng R-Net 14 Hình 1.13: Ví dụ xử lý mạng R-Net 15 Hình 1.14: Quá trình xử lý O-Net 15 Hình 2.1: Tổng quan hệ thống điểm danh 22 Hình 2.2: Lưu đồ q trình nhận diện khn mặt 27 Hình 2.3: Mẫu chuẩn tách đặc trưng 29 Hình 2.4: Tiền xử lý ảnh 30 Hình 2.5: Thuật tốn dị tìm khn mặt 31 Hình 2.6: Kết độ xác nhóm tác giả [32] 32 Hình 2.7: Độ xác cơng bố Vishal Agarwal 33 Hình 2.8: AFAD Dataset 34 Hình 2.9: Dữ liệu trước trainning 35 Hình 2.10: Dữ liệu sau trainning 35 Hình 2.11:Kết độ hội tụ Vishal Agarwal 36 Hình 2.12: Độ xác hệ thống điểm danh 36 Hình 2.13: Ngưỡng sáng ảnh giả mạo thật 37 Hình 2.14: Độ xác trainning nhận dạng chống giả mạo 38 Hình 3.1: Cách thức hoạt động hệ thống 40 Hình 3.2: Nguyên lý hoạt động điểm danh vân tay 43 Hình 3.3: Cảm biến vân tay R305 43 Hình 3.4: Sơ đồ chân vi điểu khiển ATMEL328P 47 Hình 3.5: Kết nối truyền nhận UART 48 Hình 3.6: Gói liệu truyền nhận UART 48 Hình 3.7: Sơ đồ nguyên lý kết nối 50 Hình 3.8: Mạch layout PCB 50 Hình 3.9: Q trình nhận dạng khn mặt 52 Hình 3.10: Giao diện phần mềm 53 Hình 3.11: Đánh giá chuyên cần theo tháng 58 DANH MỤC BẢNG BIỂU Bảng 2.1: So sánh phương pháp nhận diện khuôn mặt 25 Bảng 3.1: Giá tiền sản phẩm nhóm tác giả 39 Bảng 3.2: Yêu cầu phần cứng phần mềm 41 Bảng 3.3: So sánh dòng vi điều khiển 45 Bảng 3.4: Dữ liệu thử nghiệm 55 Bảng 3.5: Độ xác điểm danh vân tay 55 Bảng 3.6: Chi tiết trình thử nghiệm 55 Bảng 3.7: So sánh thời gian thử nghiệm 57 Bảng 3.8: Thử nghiệm kết tính điểm 58 Hình 3.5: Kết nối truyền nhận UART Việc truyền liệu UART thực cách sử dụng bus liệu dạng song song thiết bị khác vi điều khiển, nhớ, CPU,… Sau nhận liệu song song từ bus, tạo thành gói liệu cách thêm ba bit bắt đầu, dừng lại trung bình Nó đọc bit gói liệu chuyển đổi liệu nhận thành dạng song song để loại bỏ ba bit gói liệu, gói liệu nhận UART chuyển song song phía bus liệu đầu nhận Hình 3.6: Gói liệu truyền nhận UART Cấu tạo tin UART: - Start-bit: gọi bit đồng hóa đặt trước liệu thực tế Nói chung, đường truyền liệu khơng hoạt động điều khiển mức điện áp cao Để bắt đầu truyền liệu, truyền UART kéo đường liệu từ mức điện áp cao (1) xuống mức điện áp thấp (0) UART thu thông báo chuyển đổi từ mức cao sang mức thấp qua đường liệu bắt đầu hiểu liệu thực Nói chung, có start-bit 48 - Bit dừng: Bit dừng đặt phần cuối gói liệu Thông thường, bit dài bit thường sử dụng bit Để dừng giao tiếp, UART giữ đường liệu mức điện áp cao - Bit chẵn lẻ: Bit chẵn lẻ cho phép người nhận đảm bảo liệu liệu thu thập có hay không Đây hệ thống kiểm tra lỗi cấp thấp bit chẵn lẻ có sẵn hai phạm vi chẵn lẻ – chẵn lẻ Chẵn lẻ – lẻ Trên thực tế, bit không sử dụng rộng rãi nên không bắt buộc - Dữ liệu bit khung liệu: Các bit liệu bao gồm liệu thực truyền từ người gửi đến người nhận Độ dài khung liệu nằm khoảng Nếu bit chẵn lẻ khơng sử dụng chiều dài khung liệu dài bit Nói chung, LSB liệu truyền trước tiên sau hữu ích cho việc truyền Ưu điểm: - Chỉ cần hai dây để truyền liệu - Tín hiệu CLK khơng cần thiết - Nó bao gồm bit chẵn lẻ phép kiểm tra lỗi - Sắp xếp gói liệu sửa đổi hai mặt xếp - Kích thước khung liệu tối đa bit - Nó khơng chứa số hệ thống phụ - Tốc độ truyền UART phải mức 10% 3.2.4 Thiết kế sơ đồ nguyên lý giao tiếp module vân tay Để thử nghiệm mơ hình, hệ thống điểm danh vân tay thiết kế, mô phần mềm Proteus với tác vụ sau đây: - Thiết kế sơ đồ mạch nguyên lý - Lập trình mơ hệ thống - Thiết kế mạch PCB layout linh kiện thực tế Nguyên lý: Thực mô hệ thống với số chức đơn giản thêm dấu vân tay, xóa dấu vân tay Sau thêm vân tay tiến hành nhận dạng Module vân tay giao tiếp với vi điều khiển chân chuẩn UART Q 49 trình thêm, xóa, nhận dạng hiển thị hình LCD 1602 cách trực quan Hình 3.7: Sơ đồ nguyên lý kết nối Sau mô hệ thống chạy ổn định, tiến hành xây dựng mạch PCB để tiến tới gia công mạch, thử nghiệm thực tế Hình 3.8: Mạch layout PCB Sau thử nghiệm module điểm danh qua vân tay, bước cần thực thiết kế phần mềm hệ thống, nhận dạng khuôn mặt xử lý liệu thu sở liệu lấy sở tiến hành đánh giá học tập sinh viên cách tự động 3.3 Thiết kế phần mềm điểm danh tự động 50 3.3.1 Bài tốn nhận diện khn mặt Trong thực tế, để giải toán điểm danh sinh viên qua nhận dạng khuôn mặt, ta cần giải hai tốn nhỏ Face Detection (Phát khuôn mặt) Face Recognization (Nhận diện khuôn mặt) Mỗi q trình lại sử dụng thuật tốn khác Face Detection: Đây trình phát khn mặt ảnh Để tiến hành đánh giá phương pháp sử dụng so với số phương pháp khác, ta tìm hiểu số phương pháp nhận diện khuôn mặt phổ biến Theo cơng bố gần đây, có nhiều cách để phát khuôn mặt: Thông qua màu sắc, cử động qua góc cạnh ảnh,… Một thuật toán sử dụng nhiều Viola-Jones Thuật tốn có ưu điểm chỗ khơng nhận diện khn mặt mà cịn nhận diện đồ vật, hình dạng Cơ chế đơn giản: Bước 1: Tạo frame hình vng, di chuyển frame khắp ảnh gốc Bước 2: Mỗi frame di chuyển, kiểm tra xem khu vực frame có phải khuôn mặt hay đồ vật hay không (Bằng cách kiểm vùng sáng tối frame) Bước 3: Sau di chuyển hết ảnh, tăng kích cỡ frame lên quay trở lại thực bước → Dừng thuật toán frame đủ lớn Một thuật toán khác để phát khn mặt ảnh kể đến MTCNN trình bày phần Do sử dụng mạng Neural để phát nên độ xác cao, ưu việt thuật tốn Viola-Jones Bài tốn Face Detection thực khơng phải đơn giản hệ thống phải tranning từ vài ngàn đến vài chục ngàn ảnh có ouput nhận dạng tương đối chuẩn Mục đích trình sau input ảnh, đầu cho ta khuôn mặt detect Face Recognition: Đây trình nhận diện khn mặt tức đưa danh tính cho khn mặt phát bước trước Các khn mặt so sánh với khn mặt có sở liệu để tìm 51 khn mặt giống Có vơ số thuật tốn nhận diện khn mặt, chúng phát triển dựa thuật toán sở như: PDA, LCA, MDA, Kernel Method… Bước này, tốn nhiều thời gian để trainning để đạt độ xác chấp nhận Phương pháp nhận dạng mặt chia tiếp cận theo tiêu chí sau: - Nhận dạng với liệu đầu vào ảnh tĩnh 2D (still image based FR) phổ biến - Nhận dạng phương pháp nhận dạng 3D FR tương lai phổ biến (vì việc bố trí nhiều camera 2D cho liệu 3D đem lại kết tốt hơn, đáng tin cậy hơn) Nguyên lý nhận dạng: Tác giả đưa lý thuyết giải thích phát nhận dạng khn mặt chương trước Dưới mô tả chi tiết q trình nhận diện khn mặt từ ảnh input đầu vào dựa vào ảnh trainning trước Hình 3.9: Q trình nhận dạng khn mặt Q trình thực gồm bước nhỏ sau: Bước 1: Tiếp nhận ảnh mẫu cần nhận dạng (Lớp 1) Bước 2: Bắt đầu phân lớp Triple Loss: Lớp lớp 29 52 Bước 3: Tiếp tục phân lớp hiệu chỉnh thông số network cho khoảng cách lớp với gần nhất, lớp với lớp khác xa Bước 4: Xác định danh tính Sau phân lớp, ta có thơng số khoảng cách ảnh mẫu so với lớp trainning, danh tính ảnh có hệ số khoảng cách nhỏ ( Lớp 1) 3.3.2 Xây dựng giao diện phần mềm điểm danh tự động Thiết kế phần mềm điểm danh tự động với chức cụ thể sau: - Kết nối hệ thống phần cứng qua chuẩn giao tiếp UART - Hiển thị sinh viên học nghỉ học tiết học - Hiển thị danh sách sinh viên có mặt, diểm danh tiết học - Vẽ đồ thị trực quan số buổi học tháng sinh viên - Tự động cập nhật, đánh giá điểm kết thúc môn tự động - Thao tác liệu database Hình 3.10: Giao diện phần mềm 3.4 Phương pháp đánh giá Như trình bày trên, toán nhận dạng chia thành hai trình phát khn mặt khung hình nhận dạng danh tính 53 khn mặt Chính kết tốn đánh giá dựa hai tiêu chí khả phát khn mặt khung hình realtime độ xác phát phần trăm Độ xác nhận dạng tính theo cơng thức: Độ xác = Số ảnh nhận diện Cơng thức tính điểm kết thúc môn: (3.1) Tổng số ảnh test Điểm kết thúc = Điểm trình*0.3 + Điểm thi*0.7 Điểm chuyên cần tính dựa vào điểm thi kì học đầy đủ: - Vắng bỏ tiết : Khơng trừ điểm kì - Vắng bỏ lớn tiết: Trừ điểm - Khơng vắng tiết nào: Cộng điểm Ngồi đánh giá độ sai số nhận dạng vân tay số thơng só sau: - False Accept: Đơi người khác chấp nhận người điểm danh, tương đồng với mẫu nằm biến thể người dùng nội người điểm danh FAR tượng trưng cho tỷ lệ phần trăm tỷ lệ, xác suất người khác khớp với người điểm danh FAR xác định theo cơng thức: (3.2) - False Reject: Khi tín hiệu sinh trắc học thu có chất lượng kém, người điểm danh bị từ chối xác thực Hình thức lỗi dán nhãn từ chối sai Xác suất điều xảy gọi tỷ lệ từ chối sai, FRR Vì vậy, xác suất từ chối sai cao, khả bạn bị từ chối cao FRR xác định theo công thức: (3.3) 3.5 Thử nghiệm độ xác thuật tốn sau tích hợp vào hệ thống Để mơ hồn chỉnh tốn điểm danh đánh giá sinh viên lớp học, đưa số liệu liên quan đến sinh viên vào trainning, sau 54 nhập điểm chuyên cần để hệ thống tính điểm chuyên cần tự động Các liệu cần nhập tay điểm lên bảng làm điểm cuối kỳ Lấy tập liệu đánh giá gồm lớp điện tử thông số kèm sau: Bảng 3.4: Dữ liệu thử nghiệm Sĩ số Số buổi học Cơ Điện Tử 50 24 Cơ Điện tử 50 24 Cơ Điện Tử 50 24 Lớp Qua q trình thử nghiệm, ta có kết sau: - Kết nhận dạng vân tay: Bảng 3.5: Độ xác điểm danh vân tay FAR FRR 0% 2.00% - Kết test nhận dạng khuôn mặt: Bảng 3.6: Chi tiết trình thử nghiệm STT Kết Hình ảnh lỗi Khn mặt ĐCX (%) Vân tay OK 85.1 OK OK 82.2 OK OK 87.1 OK OK 80.8 OK OK 80.9 OK OK 83.3 OK OK 83.9 NG OK 89.4 OK OK 84.2 OK 10 OK 84.5 OK 55 11 OK 83.2 OK 12 OK 84.7 OK 13 OK 85.1 OK 14 NG X OK 15 OK 83.2 OK 16 OK 84.1 OK 17 OK 84.9 OK 18 OK 88.3 OK 19 OK 91.5 OK 20 OK 81.9 OK 21 OK 81.6 OK 22 OK 82.0 OK 23 OK 82.3 OK 24 OK 84.1 OK 25 OK 84.3 OK 26 OK 85.1 OK 27 OK 83.3 OK 28 OK 84.9 OK 29 OK 84.0 OK 30 OK 83.0 OK 31 OK 82.7 OK 32 OK 84.4 OK 33 OK 89.2 OK 34 OK 83.9 OK 56 35 OK 84.0 OK 36 OK 83.7 OK 37 OK 82.2 OK 38 OK 82.8 OK 39 OK 82.9 OK 40 OK 83.7 OK 41 OK 83.4 OK 42 OK 83.0 OK 43 OK 82.8 OK 44 OK 86.5 OK 45 OK 83.0 OK 46 OK 83.1 OK 47 NG X OK 48 OK 84.4 OK 49 OK 90.2 OK 50 OK 85.0 OK So sánh thời gian nhận dạng phương pháp: Bảng 3.7: So sánh thời gian thử nghiệm Kiểu điểm danh Thời gian trung Tổng số SV Tổng thời gian(s) Khuôn mặt 150 653.58 4.35 Vân tay 150 1035.59 6.90 bình Sau nhận dạng 24 lần qua q trình tính tốn, đánh giá điểm q trình ta kết điểm kết thúc học phần cuối bảng bên 57 Bảng 3.8: Thử nghiệm kết tính điểm Họ Tên Sinh viên Điểm cuối kỳ Sinh viên Số Điểm Số ngày thi học (Nhận kì dạng) Kết ngày Điểm bỏ tổng kết nhận tiết môn học dạng Nam 8.0 6.5 19/24 7.25 Duy 6.6 7.0 20/24 6.42 Trang 7.5 4.0 22/24 6.15 Tuấn 8.0 7.5 24/24 7.55 Huyền 7.0 8.5 20/24 7.75 Hải 9.5 8.0 22/24 8.75 Thanh 8.5 5.5 24/24 7.6 Trọng 7.5 6.0 19/24 6.75 Mạnh 6.5 9.0 24/24 6.95 Đức 6.0 10.0 23/24 6.9 89.8% Đồ thị hiển thị mức độ chuyên cần theo tháng ứng với số liệu đầu vào đưa vào Hình 3.11: Đánh giá chuyên cần theo tháng 58 Nhận xét: - So với phương pháp điểm danh vân tay, điểm danh khuôn mặt có thời gian xử lý tương đối nhanh Kết hợp phương pháp vào hệ thống giúp tốc độ xử lý liệu nhanh xác - Độ xác phụ thuộc vào số lượng mẫu dùng để trainning ảnh hưởng phần độ sáng nhận dạng Cac trường hợp nhận dạng sai nguyên nhân ngưỡng sáng khơng ổn định Hướng giải vấn đề cần thiết kế buồng nhận dạng để nhận kết xác tương lai - Độ xác nhận dạng mức 85% chấp nhận cần cải thiện tương lai 59 CHƯƠNG KẾT LUẬN 4.1 Kết luận Hoàn thành tốt nghiệp chuyên ngành thạc sĩ điện tử em đúc rút nhiều kinh nghiệm - Kiến thức Deep learning ứng dụng vào ứng dụng cụ thể - Cách kết hợp phần cứng phần mềm để xây dựng hệ thống hoàn thiện ứng dụng thực tế - Phương pháp phân tích xử lý vấn đề triệt để Ngồi ra, em cịn học hỏi cách phân tích, đánh giá kết báo cơng bố từ rút cải tiến cho hệ thống Mặt khác cịn hiểu thêm q trình so sánh, giảm chi phí so vaowis báo cơng bố Tuy nhiên, trình độ điều kiện đo kiểm thực tế cịn hạn chế nên q trình thực luận văn em tránh khỏi sai sót Em mong hướng dẫn, bảo thầy cơ, góp ý q báu hội đồng để giúp em củng cố hồn thiện kiến thức Em xin bày tỏ lòng biết ơn sâu sắc tới TS Đặng Thái Việt tận tình hướng dẫn, giúp đỡ chúng em suốt trình làm đồ án Đồng thời cảm ơn thầy, cô môn Cơ Điện Tử trường Đại Học Bách Khoa Hà Nội hỗ trợ giúp em hoàn thành luận văn 4.2 Hướng phát triển tương lai Hệ thống tương lai phát triển theo số hướng sau: - Tích hợp công nghệ IoT thu thập xử lý liệu - Nâng cao độ xác nhận dạng - Nhận dạng tích hợp nhiều camera 60 TÀI LIỆU THAM KHẢO [1] Cheng-Hsiung Hsieh ; Dung-Ching Lin ; Cheng-Jia Wang ; Zong-Ting Chen ; Jiun-Jian Liaw, "Real-Time Car Detection and Driving Safety Alarm System With Google Tensorflow Object Detection API", 2019 International Conference on Machine Learning and Cybernetics (ICMLC) [2] P Choorat, C Sirikornkarn, T Pramoun, "License Plate Detection and Integral Intensity Projection for Automatic Finding the Vacant of Car Parking Space", 2019 34th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC) [3] Sadhna Sharma, "Template Matching Approach for Face Recognition System", International Journal of Signal Processing Systems Vol 1, No December 2013 [4] S R K, T C Sarma, and K S Prasad, "Face Recognition Office Security System Using LabVIEW 8.6", Int J Electron Commun.Instrum Eng Res Dev., vol 3, no 2, p 8, 2013 [5] N Dileep kumar, S Shanthi, “Automatic Gate using Face Recognition Technique using HAAR Cascade Algorithm", International Journal of Engineering and Advanced Technology (IJEAT) ISSN: 2249 – 8958, Volume-9 Issue-3, February, 2020 [6] P Rajiv, R Raj, and M Chandra, "Email based remote access and surveillance system for smart home infrastructure" , Perspect Sci., pp.3–5, 2016 [7] Nisha Srinivas, Karl Ricanek, Dana Michalski, "Face Recognition Algorithm Bias: Performance Differences on Images of Children and Adults", 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) [8] Ivan William, De Rosal Ignatius Moses Setiadi , Eko Hari Rachmawanto, "Face Recognition using FaceNet (Survey,Performance Test, and Comparison)", 2019 Fourth International Conference on Informatics and Computing (ICIC) [9] Rong Xie, Qingyu Zhang, “A Method of Small Face Detection Based on CNN”, 2019 4th International Conference on Computational Intelligence and Applications (ICCIA) [10] Fahim Faisal Syed Akhter Hossain, “Smart Security System Using Face Recognition on Raspberry Pi”, 2019 13th International Conference on Software, Knowledge, Information Management and Applications (SKIMA) [11] Monali Chaudhari, Shanta sondur, Gauresh Vanjare, “A review on Face Detection and study of Viola Jones method “ [12] Arwa M Basbrain, “Accuracy Enhancement of the Viola-JonesAlgorithm for Thermal Face Detection”, International Journal of New Technology and Research (IJNTR) ISSN:24544116, Volume-3, Issue-9, September 2017 Pages 41-43 [13] Ratnawati Ibrahim, Zalhan Mohd Zin, “Study of Automated Face Recognition System for Office Door Access Control Application”, 2011 IEEE 3rd International Conference on Communication Software and Networks [14]“Automated Attendance Marking and Management System by Facial Recognition Using Histogram”, Ratnawati Ibrahim ; Zalhan Mohd Zin , 2019 5th International Conference on Advanced Computing & Communication Systems (ICACCS) [15] Priyanka Garg , Trisha Jain, “A Comparative Study on Histogram Equalization and Cumulative Histogram Equalization” [16] Shreyak Sawhney, Karan Kacke, Samyak Jain, “Real-Time Smart Attendance System using Face Recognition Techniques”, 2019 9th International Conference on Cloud Computing, Data Science & Engineering (Confluence) 61 [17] Jally Sahoo, Mamata Rath, “Study and Analysis of Smart Applications in Smart City Context”, 2017 International Conference on Information Technology (ICIT) [18] Vishal Dattana, Kishu Gupta, "A Probability based Model for Big Data Security in Smart City", 2019 4th MEC International Conference on Big Data and Smart City (ICBDSC) [19] Akinduyite C.O, “Fingerprint-Based Attendance Management System” , 2015 IEEE International Conference on Electrical, Computer and Communication Technologies (ICECCT) [20] Hong Duan, Ruohe Yan, Kunhui Lin, "Research on Face Recognition Based on PCA", 2012 Symposium on Photonics and Optoelectronics, IEEE, 2012 [21] Issam Dagher and Rabih Nachar, "Face Recognition Using IPCA-ICA Algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 28 , Issue: , June 2006 ) [22] Sebastien Louvignei, Jie Shi, Yoshihiro Katoi, Neil Rubens, Maomi Uenoi, "A Corporal and LDA Analysis of Abstracts of Academic Conference Papers", Proceedings of the 2013 International Conference on Advanced Mechatronic Systems, IEEE, 2013 [23] Fangfang Lu, Hongdong Li, "KLDA - An Iterative approach to fisher discriminal analysis", 2007 IEEE International Conference on Image Processing, IEEE, 2007, Dec [24] Yulin Zhang, Jian Zhuang, Sun’an Wang, Xiaohu Li , "Local Linear Embedding in Dimensionality Reduction Based on Small World Principle", 2008 International Conference on Computer Science and Software Engineering, IEEE, 2018,Dec [25] Sheeba Joseph, Sowmiya R , "Face Detection Through Neural Network", Second International Conference on Current Trends In Engineering and Technology - ICCTET 2014, IEEE, 2014, July [26] Aparna P, Ramachandra Hebbar, "CNN Based Technique for Automatic Tree Counting Using Very High Resolution Data", 2018 International Conference on Design Innovations for 3Cs Compute Communicate Control (ICDI3C), IEEE, 2018, April [27] Schroff, Dmitry Kalenichenko, James Philbin, “FaceNet: A Unified Embedding for Face Recognition and Clustering”, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015, June [28] Vishal Agarwal , “Deep Face Quality Assessment”, 2019 International Conference on Biometrics (ICB), 2019-April [29] Shireesha Chintalapati, M.V Raghuna, “Automated Attendance Management System Based On Face Recognition Algorithms”, 2013 IEEE International Conference on Computational Intelligence and Computing Research, IEEE, 2013, December [30] Amritha Nag, Nikhilendra J N, Mrutyunjay Kalmath, “IOT based door access control using face recognition”, 2018 3rd International Conference for Convergence in Technology (I2CT), IEEE, 2018, April [31] Aditi Purohit, Kumar Gaurav, Chetan Bhati, Prof Atul Oak, “Smart Attendance” , 2017 International conference of Electronics, Communication and Aerospace Technology (ICECA), IEEE, 2017 62