Nghiên cứu, thiết kế hệ thống cơ điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt và thuật toán học sâu trong việc điểm danh và đánh giá độ chuyên cần của sinh viên

TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên NGUYỄN DUY KHÁNH Khanh.NDCB180012@sis.hust.edu.vn Ngành Kỹ thuật Cơ Điện Tử Giảng viên hƣớng dẫn: TS Đặng Thái Việt Chữ ký GVHD Viện: Cơ Khí HÀ NỘI, 05/2020 ĐỀ TÀI LUẬN VĂN Đề tài: Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên Tên tiếng anh: Research and design the intelligent mechatronics system using facial recognition technology and học sâu algorithm to roll up and evaluate the diligence Giáo viên hướng dẫn Ký ghi rõ họ tên Lời cảm ơn Em xin chân thành cảm ơn Thầy giáo, Tiến sĩ Đặng Thái Việt, người hướng dẫn tận tình cho em suốt thời gian tìm hiểu, nghiên cứu hồn thành luận văn từ lý thuyết đến việc ứng dụng sản xuất Sự hướng dẫn tận tình thầy giúp em có thêm nhiều kiến thức liên quan đến cơng nghệ trí tuệ nhân tạo ứng dụng thực tế môi trường công nghiệp Đồng thời em xin cảm ơn quý thầy, cô viện Cơ khí, đặc biệt thầy mơn Cơ điện tử - Trường Đại học Bách khoa Hà Nội, trang bị cho em nhiều kiến thức cần thiết suốt thời gian học tập, nghiên cứu trường để em hồn thành luận văn Trong suốt trình học thời gian làm luận văn khơng tránh khỏi thiếu sót, em mong nhận góp ý quý thầy, cô bạn để luận văn em hoàn thiện Em xin chân thành cảm ơn! Tóm tắt nội dung luận văn Nội dung luận văn nhằm giải toán quản lý mật độ đối tượng ứng dụng cơng nghệ xử lý hình ảnh, thuật toán học sâu Để kiểm nghiệm thuật toán, đề tài ứng dụng vào lĩnh vực cụ thể điểm danh đánh giá độ chuyên cần sinh viên từ giúp giải tốn quản lý mật độ đối tượng cách hiệu Phương pháp thực hiện: Đánh giá độ chuyên cần khoảng liệu rộng, toán kết hợp hai phương pháp nhận diện khuôn mặt điểm danh qua vân tay Hai phương pháp hỗ trợ để xây dựng thành hệ thống xử lý khoảng liệu lớn với độ xác chấp nhận Cơng cụ sử dụng: Pycharm, Python 3.8.2, Anaconda, Office 2013… Kết luận văn: Phù hợp yêu cầu đặt độ xác đạt 86%, phương pháp bổ trợ giải vấn đề tồn đọng Định hướng phát triển: Ứng dụng công nghệ Internet vạn vật, liệu lớn vào quản lý xử lý liệu hiệu Hà Nội, Ngày tháng năm 2020 Học viên LỜI MỞ ĐẦU Thế giới trải qua cách mạng công nghiệp bước vào kỉ nguyên số với cách mạng công nghiệp lần thứ dẫn đến bùng nổ công nghệ đặc biệt lĩnh vực robot, trí tuệ nhân tạo, cơng nghệ liệu lớn,…đã phần đưa kinh tế quốc gia phát triển vượt bậc Chúng ta nhận thấy trí tuệ nhân tạo trở nên phổ biến nhiều khía cạnh sống hàng ngày Từ cảm biến thơng minh giúp chụp ảnh hồn hảo, đến tính đỗ xe tự động xe hơi, trợ lý cá nhân điện thoại thơng minh, trí thơng minh nhân tạo ln xung quanh Trên thực tế, có nhiều ứng dụng trí tuệ nhân tạo thực thi, đặc biệt toán xác định mật độ đối tượng áp dụng vào lĩnh vực an ninh, an tồn nhiên độ xác phương pháp xử lý chưa giải tối ưu Để tối ưu phương pháp giải toán đồng thời giúp tăng độ xác xử lý hệ thống, thầy hướng dẫn định hướng giao nhiệm vụ nghiên cứu đề tài: “Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khuôn mặt thuật toán học sâu việc điểm danh đánh giá độ chuyên cần sinh viên” Mục đích luận văn tập trung nghiên cứu, tìm hiểu phân tích phương pháp học sâu ứng dụng vào tốn phân tích quản lý mật độ đối tượng, đồng thời thực cài đặt mô hình huấn luyện nhận dạng người Học sâu với số lượng ảnh định sử dụng chúng làm nhận dạng sở cho ứng dụng điểm danh tự động cải thiện cho việc điểm danh Bộ sở liệu ảnh thành phần quan trọng hàng đầu phương pháp Học máy nói chung, sử dụng để phục vụ cho q trình tính tốn tham số huấn luyện, tinh chỉnh mơ hình Thơng thường, liệu lớn chọn lọc tỉ mỉ cẩn thận độ xác mơ hình cải thiện Sau thu thập đủ số lượng ảnh gốc sinh viên, ta sử dụng thuật tốn mơi trường Python để huấn luyện, nhận dạng đánh giá độ xác thuật tốn từ chọn thuật tốn có độ xác cao Luận văn tổ chức thành chương với nội dung cụ thể sau: Chƣơng 1: Đưa nhìn tổng quan trí tuệ nhân tạo, mạng nơ-ron tích chập CNN cấu trúc So sánh, đánh giá cơng bố từ trước từ đề xuất đề tài Ngồi ra, tác giả trình bày số thuật tốn tích hợp hệ thống điểm danh Chƣơng 2: Đưa nhìn tổng quan toán xác định quản lý mật độ đối tượng Tập trung so sánh, đánh giá với kết cơng bố từ đưa giải pháp nâng cao độ xác, mơ liệu Chƣơng 3: Tiếp cận cách thiết kế xây dựng hệ thống điểm danh tự động kết hợp phần cứng phần mềm cách hiệu Kết luận: Nêu kết đạt được, khó khăn hướng phát triển tương lai đề tài Dù cố gắng hoàn thành đề tài với cường độ làm việc cao, kỹ lưỡng hướng dẫn cụ thể, nhiệt tình thầy hướng dẫn hiểu biết hạn chế nên chắn luận văn không tránh khỏi khả thiết sót Vì em mong sửa chữa góp ý hội đồng, q thầy để em rút kinh nghiệm bổ sung thêm kiến thức cho thân Cuối em xin chân thành cảm ơn quan tâm bảo thầy cô môn Cơ Điện Tử trường Đại học Bách khoa Hà Nội đặc biệt hướng dẫn tận tình TS Đặng Thái Việt giúp em hoàn thành luận văn Hà Nội, ngày 10 tháng năm 2020 Học viên thực hiện: Nguyễn Duy Khánh MỤC LỤC CHƢƠNG TỔNG QUAN 1.1 Đặt vấn đề 1.2 Tổng quan mạng nơ-ron tích chập CNN 1.2.1 Giới thiệu mạng nơ-ron 1.2.2 Cấu trúc mạng Nơ-ron tích chập CNN 1.3 Thuật toán FaceNet 1.4 Thuật toán MTCNN 12 1.5 Kết luận 15 CHƢƠNG CƠ SỞ LÝ THUYẾT VÀ PHƢƠNG PHÁP PHÂN TÍCH XỬ LÝ BÀI TỐN 17 2.1 Tổng quan toán xác định mật độ đối tượng 17 2.2 Tổng quan hệ thống điểm danh sinh viên 22 2.3 Phân tích, cải tiến toán xác định mật độ đối tượng 23 2.4 2.3.1 Thuật tốn nhận dạng khn mặt sử dụng mạng nơ-ron 27 2.3.2 Cách thức tổ chức xử lý liệu huấn luyện 28 2.3.3 Những cải tiến so với công bố trước 33 Kết luận 40 CHƢƠNG THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN 41 3.1 3.2 3.3 Yêu cầu chung hệ thống điều khiển 41 3.1.1 Phân tích hệ thống 41 3.1.2 Nguyên lý hoạt động hệ thống điều khiển 42 3.1.3 Yêu cầu phần cứng phần mềm 43 Lấy liệu từ module quét vân tay 44 3.2.1 Giới thiệu cảm biến vân tay R305 45 3.2.2 Lựa chọn vi điều khiển 46 3.2.3 Truyền thông hệ thống với module vân tay 49 3.2.4 Thiết kế sơ đồ nguyên lý giao tiếp module vân tay 51 Thiết kế phần mềm điểm danh tự động 52 3.3.1 Bài tốn nhận diện khn mặt 52 3.3.2 Xây dựng giao diện phần mềm điểm danh tự động 54 3.4 Phương pháp đánh giá 55 3.5 Thử nghiệm độ xác thuật tốn sau tích hợp vào hệ thống 56 3.6 Kết luận 61 KẾT LUẬN 62 Kết đạt 62 Khó khăn 62 DANH MỤC HÌNH VẼ Hình 1.1: Cấu trúc mạng Nơ-ron Hình 1.2: Cấu trúc mạng tích chập CNN Hình 1.3: Nguyên lý lọc tích chập Hình 1.4 Kết xử lý sau lớp tích chập Hình 1.5: Xử lý Max Pooling Hình 1.6: Fully Connected Layer Hình 1.7: FaceNet process Hình 1.8: Triplet Loss 10 Hình 1.9: Dữ liệu LWF 11 Hình 1.10: So sánh phương pháp MTCNN 13 Hình 1.11: Nguyên lý hoạt động MTCNN [9] 13 Hình 1.12: Quá trình xử lý mạng P-Net 14 Hình 1.13: Ví dụ xử lý mạng P-Net 14 Hình 1.14: Quá trình xử lý mạng R-Net 14 Hình 1.15: Ví dụ xử lý mạng R-Net 15 Hình 1.16: Quá trình xử lý O-Net 15 Hình 2.1: Kiến trúc quản lý thị công bố [18] 21 Hình 2.2: Tổng quan hệ thống điểm danh 23 Hình 2.3: Lưu đồ q trình nhận diện khn mặt 28 Hình 2.4: Mẫu chuẩn tách đặc trưng 30 Hình 2.5: Tiền xử lý ảnh 31 Hình 2.6: Thuật tốn dị tìm khn mặt 32 Hình 2.7: Kết độ xác nhóm tác giả [27] 34 Hình 2.8: Độ xác cơng bố Vishal Agarwal 34 Hình 2.9: So sánh hiệu suất phương pháp 35 Hình 2.10: Dữ liệu AFAD 35 Hình 2.11: Dữ liệu trước huấn luyện 37 Hình 2.12: Dữ liệu sau huấn luyện 37 Hình 2.13:Kết độ hội tụ Vishal Agarwal 38 Hình 2.14: Độ xác hệ thống điểm danh 38 Hình 2.15: Ngưỡng sáng ảnh giả mạo thật 39 Hình 2.16: Độ xác huấn luyện nhận dạng chống giả mạo 40 Hình 3.1: Cách thức hoạt động hệ thống 42 Hình 3.2: Nguyên lý hoạt động điểm danh vân tay 45 Hình 3.3: Cảm biến vân tay R305 45 Hình 3.4: Sơ đồ chân vi điểu khiển ATMEL328P 49 Hình 3.5: Kết nối truyền nhận UART 49 Hình 3.6: Gói liệu truyền nhận UART 50 Hình 3.7: Sơ đồ nguyên lý kết nối 51 Hình 3.8: Mạch layout PCB 52 Hình 3.9: Q trình nhận dạng khn mặt 54 Hình 3.10: Giao diện phần mềm 55 Hình 3.11: Dữ liệu huấn luyện 57 Hình 3.12: Đánh giá chuyên cần theo tháng 60 DANH MỤC BẢNG BIỂU Bảng 2.1: So sánh phương pháp nhận diện khuôn mặt 26 Bảng 3.1: Giá tiền sản phẩm nhóm tác giả 41 Bảng 3.2: Yêu cầu phần cứng phần mềm 43 Bảng 3.3: So sánh dòng vi điều khiển 47 Bảng 3.4: Dữ liệu thử nghiệm 56 Bảng 3.5: Độ xác điểm danh vân tay 57 Bảng 3.6: Chi tiết trình thử nghiệm 57 Bảng 3.7: Thử nghiệm kết tính điểm 60 - Chỉ cần hai dây để truyền liệu - Tín hiệu CLK khơng cần thiết - Nó bao gồm bit chẵn lẻ phép kiểm tra lỗi - Sắp xếp gói liệu sửa đổi hai mặt xếp - Kích thước khung liệu tối đa bit - Nó khơng chứa số hệ thống phụ - Tốc độ truyền UART phải mức 10% 3.2.4 Thiết kế sơ đồ nguyên lý giao tiếp module vân tay Để thử nghiệm mơ hình, hệ thống điểm danh vân tay thiết kế, mô phần mềm Proteus với tác vụ sau đây: - Thiết kế sơ đồ mạch nguyên lý - Lập trình mơ hệ thống - Thiết kế mạch PCB linh kiện thực tế Nguyên lý: Thực mô hệ thống với số chức đơn giản thêm dấu vân tay, xóa dấu vân tay Sau thêm vân tay tiến hành nhận dạng Module vân tay giao tiếp với vi điều khiển chân chuẩn UART Q trình thêm, xóa, nhận dạng hiển thị hình LCD 1602 cách trực quan Hình 3.7: Sơ đồ nguyên lý kết nối 51 Trên sở sử dụng module, sau mô hệ thống chạy ổn định, tác giả tiến hành tích hợp thành mạch phần cứng tảng vi điều khiển AVR tiến hành xây dựng mạch PCB nhỏ gọn để tiến tới gia cơng mạch, thử nghiệm thực tế Hình 3.8: Mạch layout PCB Sau thử nghiệm module điểm danh qua vân tay, bước cần thực thiết kế phần mềm hệ thống, nhận dạng khuôn mặt xử lý liệu thu sở liệu lấy sở tiến hành đánh giá học tập sinh viên cách tự động 3.3 Thiết kế phần mềm điểm danh tự động 3.3.1 Bài tốn nhận diện khn mặt Trong thực tế, để giải toán điểm danh sinh viên qua nhận dạng khn mặt, ta cần giải hai tốn nhỏ phát khn mặt nhận diện khn mặt Mỗi q trình lại sử dụng thuật tốn khác Phát khn mặt: Đây q trình phát khn mặt ảnh Để tiến hành đánh giá phương pháp sử dụng so với số phương pháp khác, ta tìm hiểu số phương pháp nhận diện khuôn mặt phổ biến Theo cơng bố gần đây, có nhiều cách để phát khuôn mặt: Thông qua màu sắc, cử động qua góc cạnh ảnh,… Một thuật toán sử dụng nhiều Viola-Jones Thuật tốn có ưu điểm 52 chỗ khơng nhận diện khn mặt mà cịn nhận diện đồ vật, hình dạng Cơ chế đơn giản: Bƣớc 1: Tạo khung hình hình vng, di chuyển khung hình khắp ảnh gốc Bƣớc 2: Mỗi khung hình di chuyển, kiểm tra xem khu vực khung hình có phải khn mặt hay đồ vật hay không (Bằng cách kiểm vùng sáng tối khung hình) Bƣớc 3: Sau di chuyển hết ảnh, tăng kích cỡ khung hình lên quay trở lại thực bước → Dừng thuật tốn khung hình đủ lớn Một thuật tốn khác để phát khn mặt ảnh kể đến MTCNN trình bày phần Do sử dụng mạng nơ-ron để phát nên độ xác cao, ưu việt thuật tốn Viola-Jones Bài tốn Face Detection thực khơng phải đơn giản hệ thống phải huấn luyện từ vài ngàn đến vài chục ngàn ảnh có đầu nhận dạng tương đối chuẩn Mục đích q trình sau đầu vào ảnh, đầu cho ta khuôn mặt phát Nhận diện khuôn mặt: Đây q trình nhận diện khn mặt tức đưa danh tính cho khn mặt phát bước trước Các khn mặt so sánh với khuôn mặt có sở liệu để tìm khn mặt giống Có vơ số thuật tốn nhận diện khn mặt, chúng phát triển dựa thuật toán sở như: PDA, LCA, MDA, Kernel Method… Bước này, tốn nhiều thời gian để huấn luyện để đạt độ xác chấp nhận Phương pháp nhận dạng mặt chia tiếp cận theo tiêu chí sau: - Nhận dạng với liệu đầu vào ảnh tĩnh 2D (still image based FR) phổ biến - Nhận dạng phương pháp nhận dạng 3D FR tương lai phổ biến (vì việc bố trí nhiều camera 2D cho liệu 3D đem lại kết tốt hơn, đáng tin cậy hơn) Nguyên lý nhận dạng: 53 Tác giả đưa lý thuyết giải thích phát nhận dạng khuôn mặt chương trước Dưới mô tả chi tiết q trình nhận diện khn mặt từ ảnh đầu vào đầu vào dựa vào ảnh huấn luyện trước Hình 3.9: Q trình nhận dạng khn mặt Q trình thực gồm bước nhỏ sau: Bƣớc 1: Tiếp nhận ảnh mẫu cần nhận dạng (Lớp 1) Bƣớc 2: Bắt đầu phân lớp Triple Loss: Lớp lớp 29 Bƣớc 3: Tiếp tục phân lớp hiệu chỉnh thông số mạng lưới cho khoảng cách lớp với gần nhất, lớp với lớp khác xa Bƣớc 4: Xác định danh tính Sau phân lớp, ta có thơng số khoảng cách ảnh mẫu so với lớp huấn luyện, danh tính ảnh có hệ số khoảng cách nhỏ ( Lớp 1) 3.3.2 Xây dựng giao diện phần mềm điểm danh tự động Thiết kế phần mềm điểm danh tự động với chức cụ thể sau: - Kết nối hệ thống phần cứng qua chuẩn giao tiếp UART - Hiển thị sinh viên học nghỉ học tiết học - Hiển thị danh sách sinh viên có mặt, diểm danh tiết học 54 - Vẽ đồ thị trực quan số buổi học tháng sinh viên - Tự động cập nhật, đánh giá điểm kết thúc môn tự động - Thao tác liệu sở liệu Hình 3.10: Giao diện phần mềm 3.4 Phƣơng pháp đánh giá Như trình bày trên, tốn nhận dạng chia thành hai q trình phát khn mặt khung hình nhận dạng danh tính khn mặt Chính kết toán đánh giá dựa hai tiêu chí khả phát khn mặt khung hình realtime độ xác phát phần trăm Độ xác nhận dạng tính theo cơng thức: Độ xác = Số ảnh nhận diện Tổng số ảnh thử nghiệm (3.1) Cơng thức tính điểm kết thúc môn: Điểm kết thúc = Điểm trình*0.3 + Điểm thi*0.7 Điểm chun cần tính dựa vào điểm thi kì học đầy đủ: - Vắng bỏ tiết : Không trừ điểm kì 55 - Vắng bỏ lớn tiết: Trừ điểm - Không vắng tiết nào: Cộng điểm Ngoài đánh giá độ sai số nhận dạng vân tay số thơng só sau: - False Accept: Đơi người khác chấp nhận người điểm danh, tương đồng với mẫu nằm biến thể người dùng nội người điểm danh FAR tượng trưng cho tỷ lệ phần trăm tỷ lệ, xác suất người khác khớp với người điểm danh FAR xác định theo công thức: (3.2) - False Reject: Khi tín hiệu sinh trắc học thu có chất lượng kém, người điểm danh bị từ chối xác thực Hình thức lỗi dán nhãn từ chối sai Xác suất điều xảy gọi tỷ lệ từ chối sai, FRR Vì vậy, xác suất từ chối sai cao, khả bạn bị từ chối cao FRR xác định theo cơng thức: (3.3) 3.5 Thử nghiệm độ xác thuật tốn sau tích hợp vào hệ thống Để mơ hồn chỉnh tốn điểm danh đánh giá sinh viên lớp học, tác giả đưa số liệu liên quan đến sinh viên vào huấn luyện, sau nhập điểm chuyên cần để hệ thống tính điểm chuyên cần tự động Các liệu cần nhập tay điểm lên bảng làm điểm cuối kỳ Lấy tập liệu đánh giá gồm lớp điện tử thông số kèm sau: Bảng 3.4: Dữ liệu thử nghiệm Sĩ số Số buổi học Cơ Điện Tử 50 24 Cơ Điện tử 50 24 Cơ Điện Tử 50 24 Lớp 56 Dữ liệu hệ thống: Dữ liệu huấn luyện điểm danh tập hợp ảnh 150 người gán nhãn, người lấy 10 ảnh để huấn luyện điểm danh qua khn mặt Hình 3.11: Dữ liệu huấn luyện Qua q trình thử nghiệm, ta có kết sau: - Kết nhận dạng vân tay: Bảng 3.5: Độ xác điểm danh vân tay FAR FRR 100% 98.00% - Kết thử nghiệm nhận dạng khuôn mặt: Bảng 3.6: Chi tiết trình thử nghiệm STT Kết Hình ảnh lỗi Khn mặt ĐCX (%) Vân tay OK 85.1 OK OK 82.2 OK OK 87.1 OK 57 OK 80.8 OK OK 80.9 OK OK 83.3 OK OK 83.9 NG OK 89.4 OK OK 84.2 OK 10 OK 84.5 OK 11 OK 83.2 OK 12 OK 84.7 OK 13 OK 85.1 OK 14 NG X OK 15 OK 83.2 OK 16 OK 84.1 OK 17 OK 84.9 OK 18 OK 88.3 OK 19 OK 91.5 OK 20 OK 81.9 OK 21 OK 81.6 OK 22 OK 82.0 OK 23 OK 82.3 OK 24 OK 84.1 OK 25 OK 84.3 OK 26 OK 85.1 OK 27 OK 83.3 OK 58 28 OK 84.9 OK 29 OK 84.0 OK 30 OK 83.0 OK 31 OK 82.7 OK 32 OK 84.4 OK 33 OK 89.2 OK 34 OK 83.9 OK 35 OK 84.0 OK 36 OK 83.7 OK 37 OK 82.2 OK 38 OK 82.8 OK 39 OK 82.9 OK 40 OK 83.7 OK 41 OK 83.4 OK 42 OK 83.0 OK 43 OK 82.8 OK 44 OK 86.5 OK 45 OK 83.0 OK 46 OK 83.1 OK 47 NG X OK 48 OK 84.4 OK 49 OK 90.2 OK 50 OK 85.0 OK Sau nhận dạng 24 lần qua q trình tính tốn, đánh giá điểm q trình ta kết điểm kết thúc học phần cuối bảng bên 59 Bảng 3.7: Thử nghiệm kết tính điểm Họ Tên Sinh viên Điểm cuối kỳ Sinh viên Số Điểm Số ngày thi học (Nhận kì dạng) Kết ngày Điểm bỏ tổng kết nhận tiết môn học dạng Nam 8.0 6.5 19/24 7.25 Duy 6.6 7.0 20/24 6.42 Trang 7.5 4.0 22/24 6.15 Tuấn 8.0 7.5 24/24 7.55 Huyền 7.0 8.5 20/24 7.75 Hải 9.5 8.0 22/24 8.75 Thanh 8.5 5.5 24/24 7.6 Trọng 7.5 6.0 19/24 6.75 Mạnh 6.5 9.0 24/24 6.95 Đức 6.0 10.0 23/24 6.9 89.8% Đồ thị hiển thị mức độ chuyên cần theo tháng ứng với số liệu đầu vào đưa vào Hình 3.12: Đánh giá chuyên cần theo tháng 60 3.6 Kết luận Nội dung chương tập trung vào xây dựng hệ thống phần cứng phần mềm cho toán điểm danh Sau so sánh với số công bố qua thử nghiệm hệ thống, tác giả đưa số kết luận sau: - So với phương pháp điểm danh vân tay, điểm danh khn mặt có thời gian xử lý tương đối nhanh Kết hợp phương pháp vào hệ thống giúp tốc độ xử lý liệu nhanh xác - Độ xác phụ thuộc vào số lượng mẫu dùng để huấn luyện ảnh hưởng phần độ sáng nhận dạng Các trường hợp nhận dạng sai nguyên nhân ngưỡng sáng không ổn định Hướng giải vấn đề cần thiết kế buồng nhận dạng để nhận kết xác tương lai 61 KẾT LUẬN Kết đạt đƣợc Sau đề xuất mơ hình, phân tích thử nghiệm kết thuật toán toán xác định quản lý mật độ đối tượng áp dụng cho hệ thống cụ thể điểm danh sinh viên, tác giả đạt kết định sau - Xây dựng tổng thể hệ thống điểm danh sinh viên với tập liệu ba lớp Kỹ thuật Cơ điện tử dựa hai phương pháp điểm danh khuôn mặt điểm danh vân tay Hai phương pháp kết hợp linh hoạt để xử lý vùng liệu lớn Dữ liệu sau xử lý lưu sở liệu để thuận tiện cho quản lý đánh giá sinh viên - Tác giả kết hợp liệu huấn luyện để tiến hành nhận diện Bên cạnh đó, để nâng cao độ xác nhận diện người châu Á, tác giả huấn luyện riêng liệu để bổ sung kết hợp với liệu Dựa vào kết thử nghiệm, thấy độ xác tăng lên đáng kể Ngồi ra, nhận thấy cơng bố trước cịn thiếu sót khơng nhận diện giả mạo khn mặt đồng thời để hoàn thiện thêm cho hệ thống, tác giả đưa thêm chức chống giả mạo khuôn mặt nhận diện giúp tăng độ tin cậy lên đáng kể - Để tính tốn giá thành khả ứng dụng thực tiễn hệ thống, tác giả tiến hành thiết kế phần cứng phần mềm tiến hành đánh giá Qua đánh giá ban đầu, hệ thống chạy ổn định với sai số nhận diện chấp nhận Khó khăn Qua thử nghiệm ban đầu, hệ thống chạy tương đối ổn định nhiên tồn số điểm cần cải tiến sau: - Trong trình điểm danh vân tay, không xảy điểm danh nhầm sinh viên tượng không nhận vân tay xảy với tần suất 3/150 sinh viên chiếm 2% sai số Nguyên nhân giải thích vân tay bị biến dạng nước, vết xước làm hệ thống khơng khớp mẫu từ khơng nhận diện Giải pháp kết hợp hai 62 phương pháp điểm danh vân tay khuôn mặt lúc giải vấn đề - Trong trình điểm danh khn mặt, xảy trường hợp không nhận diện sinh viên xảy Nguyên nhân ánh sáng chưa ổn định khiến ảnh mẫu bị mờ Giải pháp phải thiết kế ổn định sáng hợp lý để ảnh mẫu không bị mờ - Để đánh giá ý thức học tập sinh viên tiết học khó khăn có camera với vùng quét hạn chế Hƣớng phát triển tƣơng lai Với hệ thống điểm danh sinh viên, xây dựng với độ xác chấp nhận nhiên cần phải cải tiến tương lai - Xây dựng hệ thống gồm nhiều camera bố trí xung quanh lớp học giao tiếp với hệ thống để đánh giá ý thức học tập lớp sinh viên vào thời gian từ nâng cao ý thức học tập sinh viên, giúp ích khơng cho sinh viên mà cịn cho tồn xã hội - Xây dựng phương pháp lấy liệu huấn luyện mới, kết hợp lấy liệu khuôn mặt lần đầu điểm danh sinh viên tránh việc khó khăn lấy liệu ban đầu - Kết hợp công nghệ Internet vạn vật – IoT xử lý liệu lớn để nâng cao hiệu công việc xử lý lưu trữ liệu sinh viên từ nâng cao hiệu suất độ tin cậy cho hệ thống 63 TÀI LIỆU THAM KHẢO [1] Cheng-Hsiung Hsieh ; Dung-Ching Lin ; Cheng-Jia Wang ; Zong-Ting Chen ; Jiun-Jian Liaw, "Real-Time Car Detection and Driving Safety Alarm System With Google Tensorflow Object Detection API", 2019 International Conference on Machine Learning and Cybernetics (ICMLC) [2] P Choorat, C Sirikornkarn, T Pramoun, "License Plate Detection and Integral Intensity Projection for Automatic Finding the Vacant of Car Parking Space", 2019 34th International Technical Conference on Circuits/Systems, Computers and Communications (ITC-CSCC) [3] Sadhna Sharma, "Template Matching Approach for Face Recognition System", International Journal of Signal Processing Systems Vol 1, No December 2013 [4] S R K, T C Sarma, and K S Prasad, "Face Recognition Office Security System Using LabVIEW 8.6", Int J Electron Commun.Instrum Eng Res Dev., vol 3, no 2, p 8, 2013 [5] N Dileep kumar, S Shanthi, “Automatic Gate using Face Recognition Technique using HAAR Cascade Algorithm", International Journal of Engineering and Advanced Technology (IJEAT) ISSN: 2249 – 8958, Volume-9 Issue-3, February, 2020 [6] P Rajiv, R Raj, and M Chandra, "Email based remote access and surveillance system for smart home infrastructure" , Perspect Sci., pp.3–5, 2016 [7] Nisha Srinivas, Karl Ricanek, Dana Michalski, "Face Recognition Algorithm Bias: Performance Differences on Images of Children and Adults", 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW) [8] Ivan William, De Rosal Ignatius Moses Setiadi , Eko Hari Rachmawanto, "Face Recognition using FaceNet (Survey,Performance Test, and Comparison)", 2019 Fourth International Conference on Informatics and Computing (ICIC) [9] Rong Xie, Qingyu Zhang, “A Method of Small Face Detection Based on CNN”, 2019 4th International Conference on Computational Intelligence and Applications (ICCIA) [10] Fahim Faisal Syed Akhter Hossain, “Smart Security System Using Face Recognition on Raspberry Pi”, 2019 13th International Conference on Software, Knowledge, Information Management and Applications (SKIMA) [11] Monali Chaudhari, Shanta sondur, Gauresh Vanjare, “A review on Face Detection and study of Viola Jones method “ [12] Arwa M Basbrain, “Accuracy Enhancement of the Viola-JonesAlgorithm for Thermal Face Detection”, International Journal of New Technology and Research (IJNTR) ISSN:24544116, Volume-3, Issue-9, September 2017 Pages 41-43 [13] Ratnawati Ibrahim, Zalhan Mohd Zin, “Study of Automated Face Recognition System for Office Door Access Control Application”, 2011 IEEE 3rd International Conference on Communication Software and Networks [14] Ratnawati Ibrahim ; Zalhan Mohd Z, “Automated Attendance Marking and Management System by Facial Recognition Using Histogram”, in 2019, 5th International Conference on Advanced Computing & Communication Systems (ICACCS) [15] Priyanka Garg , Trisha Jain, “A Comparative Study on Histogram Equalization and Cumulative Histogram Equalization” [16] Shreyak Sawhney, Karan Kacke, Samyak Jain, “Real-Time Smart Attendance System using Face Recognition Techniques”, 2019 9th International Conference on Cloud Computing, Dữ liệu Science & Engineering (Confluence) 64 [17] Jally Sahoo, Mamata Rath, “Study and Analysis of Smart Applications in Smart City Context”, 2017 International Conference on Information Technology (ICIT) [18] Vishal Dattana, Kishu Gupta, "A Probability based Model for Dữ liệu lớn Security in Smart City", 2019 4th MEC International Conference on Dữ liệu lớn and Smart City (ICBDSC) [19] Akinduyite C.O, “Fingerprint-Based Attendance Management System” , 2015 IEEE International Conference on Electrical, Computer and Communication Technologies (ICECCT) [20] Hong Duan, Ruohe Yan, Kunhui Lin, "Research on Face Recognition Based on PCA", 2012 Symposium on Photonics and Optoelectronics, IEEE, 2012 [21] Issam Dagher and Rabih Nachar, "Face Recognition Using IPCA-ICA Algorithm", IEEE Transactions on Pattern Analysis and Machine Intelligence ( Volume: 28 , Issue: , June 2006 ) [22] Sebastien Louvignei, Jie Shi, Yoshihiro Katoi, Neil Rubens, Maomi Uenoi, "A Corporal and LDA Analysis of Abstracts of Academic Conference Papers", Proceedings of the 2013 International Conference on Advanced Mechatronic Systems, IEEE, 2013 [23] Fangfang Lu, Hongdong Li, "KLDA - An Iterative approach to fisher discriminal analysis", 2007 IEEE International Conference on Image Processing, IEEE, 2007, Dec [24] Yulin Zhang, Jian Zhuang, Sun’an Wang, Xiaohu Li , "Local Linear Embedding in Dimensionality Reduction Based on Small World Principle", 2008 International Conference on Computer Science and Software Engineering, IEEE, 2018,Dec [25] Sheeba Joseph, Sowmiya R , "Face Detection Through Nơ-ron Network", Second International Conference on Current Trends In Engineering and Technology - ICCTET 2014, IEEE, 2014, July [26] Aparna P, Ramachandra Hebbar, "CNN Based Technique for Automatic Tree Counting Using Very High Resolution Dữ liệu", 2018 International Conference on Design Innovations for 3Cs Compute Communicate Control (ICDI3C), IEEE, 2018, April [27] Schroff, Dmitry Kalenichenko, James Philbin, “FaceNet: A Unified Embedding for Face Recognition and Clustering”, 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015, June [28] Vishal Agarwal , “Deep Face Quality Assessment”, 2019 International Conference on Biometrics (ICB), 2019-April [29] Shireesha Chintalapati, M.V Raghuna, “Automated Attendance Management System Based On Face Recognition Algorithms”, 2013 IEEE International Conference on Computational Intelligence and Computing Research, IEEE, 2013, December [30] Amritha Nag, Nikhilendra J N, Mrutyunjay Kalmath, “IOT based door access control using face recognition”, 2018 3rd International Conference for Convergence in Technology (I2CT), IEEE, 2018, April [31] Aditi Purohit, Kumar Gaurav, Chetan Bhati, Prof Atul Oak, “Smart Attendance” , 2017 International conference of Electronics, Communication and Aerospace Technology (ICECA), IEEE, 2017 65 ... giao nhiệm vụ nghiên cứu đề tài: ? ?Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khn mặt thuật tốn học sâu việc điểm danh đánh giá độ chuyên cần sinh viên? ?? Mục đích...ĐỀ TÀI LUẬN VĂN Đề tài: Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khn mặt thuật tốn học sâu việc điểm danh đánh giá độ chuyên cần sinh viên Tên tiếng anh: Research... đề tài: ? ?Nghiên cứu, thiết kế hệ thống điện tử thông minh ứng dụng công nghệ nhận dạng khn mặt thuật tốn học sâu việc điểm danh đánh giá độ chuyên cần sinh viên? ?? 1.2 Tổng quan mạng nơ-ron tích