Tiểu luận xây dựng hệ thống điểm danh bằng khuôn mặt

XÂY DỰNG HỆ THỐNG ĐIỂM DANH BẰNG KHUÔN MẶT Nguyễn Nhĩ Khang - 1824801040068, Nguyễn Thị Thanh Trúc - 1824801040071, Nguyễn Luân Lưu - 1824801040120, Nguyễn Đức Duy – 1824801040126 Lớp D18HT02 – Khoa Kỹ thuật – Công nghệ GVHD: Tiến sĩ Bùi Thanh Hùng TÓM TẮT: Đề tài xây dựng dựa nhu cầu thực tế việc ứng dụng khoa học công nghệ xây dựng hệ thống điểm danh khuôn mặt đáp ứng yêu cầu người sử dụng điểm danh, rà soát cách dễ dàng Quy trình cũ có nhiều cơng đoạn thừa tốn thời gian nhân lực, dẫn đến dẫn đến tình trạng ùn ứ, chờ đợi q trình điểm danh, khơng tiện lợi cho người sử dụng người quản lý Trong nghiên cứu này, nhóm đề xuất sử dụng phương pháp học sâu – Mạng nơ ron tích chập CNN, phương sử dụng nhiều nghiên cứu thị giác máy tính Trên sở đánh giá liệu chuẩn ORL (của Lab nghiên cứu AT&T) với phương pháp khác PCA-NN, LDADNN phương pháp nhóm đề xuất CNN kết hợp với Haar Cascade xác định khuôn mặt cho kết tốt Dựa kết đó, nhóm xây dựng ứng dụng điểm danh khn mặt áp dụng thí điểm mơn Lý thuyết đồ thị lớp D18HT02, Đại học Thủ Dầu Một Kết khảo sát từ giảng viên thực thí điểm cho thấy ứng dụng đề xuất đạt hiệu tốt việc điểm danh sinh viên QUÁ TRÌNH NGHIÊN CỨU VÀ KẾT QUẢ Tổng quan 1.1 Giới thiệu đề tài Trí tuệ nhân tạo (AI) xu hướng phát triển có nhiều tiềm lĩnh vực cơng nghệ thơng tin, nắm giữ vai trị chủ đạo dịng chảy cơng nghệ đại với nhiều ứng dụng lĩnh vực đời sống xã hội trợ lí ảo, nhà thơng minh, xe tự lái, hệ thống nhận diện,… Nhận diện khuôn mặt một lĩnh vực nghiên cứu ngành thị giác máy tính, xem lĩnh vực nghiên cứu ngành sinh trắc học tương tự nhận dạng vân tay, hay nhận dạng mống mắt Chúng nhận thấy việc điểm danh sinh viên vào buổi học thường tốn nhiều thời gian người điểm danh cần gọi tên, điểm mặt bạn lớp học Đối với lớp học có từ 50 sinh viên trở lên cơng việc khó khăn xảy trường hợp gian lận điểm danh (điểm danh hộ) Trong đề tài này, chọn nghiên cứu nhận diện khn mặt thuật tốn học sâu mạng nơ ron tích chậpCNN Chúng tơi phân tích phương pháp đề xuất với phương pháp khác Trên sở đó, chúng tơi xây dựng ứng dụng điểm danh sinh viên áp dụng thí điểm mơn Lý thuyết đồ thị lớp D18HT02, Đại học Thủ Dầu Một Ứng dụng điểm danh sinh viên nhận dạng khuôn mặt giúp cho việc điểm danh trở nên nhanh chóng dễ dàng hơn, khắc phục khuyết điểm, hạn chế việc điểm danh truyền thống 1.2 Mục tiêu nhiệm vụ nghiên cứu Thông qua máy học nghiên cứu thuật tốn nhận dạng khn mặt mạng nơ-ron tích chập (Convolutional Neural Network) phương pháp học sâu mang lại kết có độ xác cao, từ áp dụng vào tốn thực tế: Xây dựng hệ thống điểm danh khuôn mặt 1.3 Đối tượng phạm vi nghiên cứu Tập trung vào đối tượng nghiên cứu mặt người, kỹ thuật nhận diện khuôn mặt máy học Do hạn chế thời gian thiết bị, đề tài tập trung nghiên cứu triển khai ứng dụng tập liệu có sẵn (ảnh khn mặt 20 thành viên lớp D18HT02 Trường Đại học Thủ Dầu Một) 1.4 Phương pháp nghiên cứu Để thực đề tài khoa học này, sử dụng kết hợp hai phương pháp nghiên cứu sau: Phương pháp nghiên cứu lý thuyết: - Thị giác máy tính - Xử lý hình ảnh - Xử lý video - Các phương pháp học máy - Ngơn ngữ kỹ thuật lập trình Phương pháp nghiên cứu thực nghiệm: - Lập trình xây dựng ứng dụng Các nghiên cứu có liên quan Nhận dạng khn mặt người q trình xác định danh tính tự động cho đối tượng người ảnh/video Nhiều hướng tiếp cận đề xuất để giải tốn [1], [2], [3], [4] Nhìn chung, quy trình giải tốn gồm cơng đoạn như: (i) Thu nhận hình ảnh; (ii) tiền xử lý, tăng cường chất lượng hình ảnh; (iii) Phát hiện, chỉnh, crop ảnh khn mặt; (iv) Nhận dạng (trích chọn đặc trưng phân lớp) khuôn mặt Các đặc trưng tiếp cận trước chủ yếu dựa đặc trưng (feature-based) cố gắng đưa định nghĩa tường minh để biểu diễn khuôn mặt dựa tỷ lệ khoảng cách, dạng tích góc [3] Tuy nhiên, thực tế biểu diễn định nghĩa tường minh thường khơng xác Để khắc phục điều đó, hướng tiếp cận sau đề xuất dựa ý tưởng sử dụng mơ hình học máy thống kê có khả học để lựa chọn đặc trưng khuôn mặt từ tập mẫu cho trước, điển phương pháp PCA (Principal Component Analysis), khn mặt biểu diễn dạng tổ hợp eigenvector, eigenfaces fisherfaces [5], [6] Hiện tại, hiệu mơ hình nhận dạng khn mặt cải thiện đáng kể dựa việc kết hợp sử dụng mơ hình học sâu để tự động phát đặc trưng khuôn mặt kỹ thuật phân lớp Trong [7], [8], [9] tác giả đề xuất mơ hình nhận dạng phức tạp, nhiều công đoạn dựa việc kết hợp mạng nơron tích chập (CNN) với PCA để giảm chiều liệu Y.Taigman cộng [8] đề xuất mô hình DeepFace dựa ý tưởng kết hợp nhiều cơng đoạn (multi-stage): trước tiên sử dụng mơ hình khn mặt chiều để chuẩn hóa ảnh đầu vào tư nhìn thẳng, sau xây dựng kiến trúc mạng nơron học sâu DNN (Deep Neural Network) với 120 triệu tham số, có khả học từ tập liệu khổng lồ với 4,4 triệu khn mặt gán nhãn Nhóm tác giả Nguyễn Thanh Tùng, Bùi Thanh Hùng trình bày nghiên cứu Ứng dụng phương pháp học sâu nhận dạng khuôn mặt Ngày hội Khoa học cán giảng viên trẻ học viên cao học lần III- Năm 2019, Đại học Thủ Dầu Một [10] Tác giả Nguyễn Thanh Tùng nghiên cứu Ứng dụng phương pháp học sâu để nhận diện khuôn mặt qua camera giám sát, Luận văn Thạc sĩ - Đại học Thủ Dầu Một 2019 [11] Tác giả Bùi Thanh Hùng đề xuất phương pháp học sâu kết hợp HOG-CNN cho nhận dạng khuôn mặt báo cáo Hội nghị RICE 2020, Face Recognition Using Hybrid HOG-CNN Approach The Fifth International Conference on Research in Intelligent and Computing in Engineering [12] Dựa sở nghiên cứu trước, nghiên cứu nhóm Đề xuất sử dụng mơ hình Học sâu CNN cho nhận dạng khn mặt Mơ hình tổng qt nhóm trình bày phần Mơ hình đề xuất 3.1 Mơ hình tổng qt Mơ hình tổng qt trình bày Hình 3.1 Hình 3.1 Sơ đồ mơ hình đề xuất Trong mơ hình gồm: Mơ hình huấn luyện xây dựng ứng dụng Web Ở mơ hình huấn luyện, từ tập liệu thơ tự thu thập, nhóm sử dụng phương pháp tiền xử lý liệu tăng cường ảnh, sau đưa qua mơ hình học sâu để trích xuất đặc trưng nhận dạng lưu mơ hình tối ưu để phục vụ xây dựng ứng dụng Web 3.2 Đặc trưng mơ hình đề xuất 3.2.1 Lấy mẫu huấn luyện Chúng tơi thu thập mẫu huấn luyện từ hình ảnh bạn sinh viên cung cấp Khuôn mặt lớp mã hóa dạng vector đặc trưng phân biệt khuôn mặt với khuôn mặt khác lớp Sau đó, vector đặc trưng lưu trữ sở liệu khuôn mặt 3.2.2 Phát khuôn mặt Để phát khn mặt, nhóm sử dụng Phương pháp Haar Cascade Phương pháp thuật toán phát đối tượng học máy sử dụng để xác định đối tượng hình ảnh video dựa khái niệm tính Phương pháp đề xuất Paul Viola Michael Jones báo "Rapid Object Detection using a Boosted Cascade of Simple Features" năm 2001 [13] Sau bước phát khuôn mặt, ảnh đưa qua mạng nơ ron tích chập CNN để trích xuất đặc trưng nhận diện khn mặt 3.2.3 Mạng nơ-ron tích chập Convolutional Neural Network (CNNs –Mạng nơ-ron tích chập) đề xuất Fukushima năm 1980 cải tiến LeCun, Bottou, Bengio and Haffner năm 1998 [14] mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thơng minh với độ xác cao Mơ hình học sâu CNN thực train test, mơ hình ảnh đầu vào chuyển qua loạt lớp tích chập với lọc ( filters) - (Kernals), sau đến Pooling, lớp kết nối hồn chỉnh (FC-fully connected layers) sau áp dụng chức softmax để phân loại đối tượng có giá trị xác suất từ đến Hình 3.2: Mơ hình CNNs CNNs đơn giản bao gồm vài tầng convolution kết hợp với hàm kích hoạt phi tuyến (nonlinear activation function) để tạo thông tin trừu tượng cho tầng Mạng nơ-ron tích chập gồm lớp: Convolution (tích chập), Pooling (để chung), Rectified Linear Units (tinh chỉnh đơn vị tuyến tính), Fully Connected Layers (các layer kết nối đầy đủ) Convolution Là lớp trích xuất đặc trưng từ hình ảnh Hình 3.3: Minh họa tích chập Để tính tốn khớp feature mảnh hình ảnh, ta nhân điểm ảnh feature với giá trị điểm ảnh tương ứng mảnh hình ảnh Sau cộng tổng lại chia cho số lượng điểm ảnh feature Nếu hai điểm ảnh màu trắng (giá trị 1) x = Nếu hai màu đen, ( -1 ) x ( -1 ) = Mỗi điểm ảnh khớp cho kết Tương tự vậy, không khớp -1 Nếu tất điểm ảnh feature khớp, cộng tổng lại chia cho số điểm ảnh kết Tương tự, khơng có điểm ảnh feature khớp với mảnh hình ảnh kết -1 Để hồn tất tích chập, lặp lại trình này, xếp feature với mảnh hình ảnh Ta lấy kết từ tích chập tạo mảng hai chiều từ đó, dựa vào vị trí mảnh nằm hình ảnh Bản đồ phần khớp phiên lọc từ hình ảnh gốc Nó đồ thể nơi tìm thấy feature hình ảnh Các giá trị gần cho thấy khớp mạnh, giá trị gần -1 cho thấy khớp mạnh với âm feature, giá trị gần cho thấy không khớp với loại Pooling Pooling cách lấy hình ảnh lớn làm co chúng lại giữ thông tin quan trọng Pooling dùng kiến thức tốn lớp hai Nó bao gồm việc duyệt bước ô vuông cửa sổ nhỏ dọc hình ảnh lấy giá trị lớn từ cửa sổ bước Sau pooling, hình ảnh có khoảng phần tư số điểm ảnh so với lúc bắt đầu Vì giữ giá trị lớn từ cửa sổ, bảo tồn tính khớp feature bên cửa sổ Hình 3.4: Minh họa Pooling Layer Một layer pooling hoạt động thực pooling hình ảnh tập hình ảnh Đầu có số lượng hình ảnh, có điểm ảnh Hạ ảnh megapixel xuống megapixel giúp xử lý tải trở nên dễ dàng Rectified Linear Units (ReLU) Bài toán ReLU hoạt động sau: nơi có số âm, hốn đổi với Điều giúp CNN giữ vững tin cậy toán học cách giữ giá trị học khỏi bị mắc kẹt gần vô tận Đầu layer ReLU có kích thước giống với đầu vào, tất giá trị âm loại bỏ Hình 3.5: Minh họa ReLU Fully Connected Layers Fully Connected Layers lấy hình ảnh lọc cấp cao chuyển chúng thành phiếu bầu (vote) Fully Connected Layers khối mạng nơ-ron truyền thống Để đưa ảnh từ layer trước vào mạng này, buộc phải dàn phẳng ảnh thành vector thay mảng nhiều chiều trước Tại layer cuối sử dụng hàm softmax để phân loại đối tượng dựa vào vector đặc trưng tính tốn lớp trước Fully Connected Layers giống layer khác, xếp chồng lên đầu chúng (một list vote) trông giống với đầu vào (một list giá trị) Mỗi layer bổ sung cho phép mạng học tổ hợp tinh vi feature giúp đưa định tốt Hình 3.6: Minh họa Fully Connected Layers Mơ hình mạng nơ ron tích chập nhóm đề xuất mơ hình CNN lớp (Convolution, Output Sofmax Layer Fully Connected Max Pooling Relu Convoluton Layer Max Pooling Relu Convoluton Layer Max Pooling Relu Convoluton Layer Input Relu, Max Pooling) tình bày Hình 3.7 Hình 3.7: Mơ hình CNN nhận dạng khuôn mặt đề xuất Thực nghiệm 4.1 Dữ liệu Nhóm thực liệu Bộ liệu ORL (Olivetti Research Laboratory) AT&T [15] để đánh giá kết toán với phương pháp khác: PCA-NN (Neural Network) LDA-DNN (Deep Neural Network) Bộ liệu ORL gồm có 400 ảnh 40 người, người có 10 hình ảnh khác Để xây dựng ứng dụng, nhóm tiến hành thu thập liệu hình ảnh từ 20 sinh viên lớp D18HT02, ảnh chụp thời điểm khác nhau, biểu cảm khn mặt, góc độ ánh sáng Với sinh viên chụp 30 hình góc độ, ánh sáng khác nhau, tổng số mẫu ảnh nhóm thu 600 ảnh (20*30) Dữ liệu sau tiền xử lý sử dụng giải thuật Haar Cascade để xác định khn mặt Q trình mơ tả hình 4.2 Sau để làm giàu liệu, nhóm sử dụng phương pháp tăng cường ảnh gồm: - Chuyển dịch ngang dọc (Horizontal and Vertical Shift Augmentation) - Lật ngang lật dọc (Horizontal and Vertical Flip Augmentation) - Xoay ngẫu nhiên (Random Rotation Augmentation) - Độ sáng ngẫu nhiên (Random Brightness Augmentation) - Phóng to thu nhỏ ngẫu nhiên (Random Zoom Augmentation) Hình 4.1 Minh họa liệu tự thu thập Hình 4.2 Tiền xử lý xác định khuôn mặt giải thuật Haar Cascade Mỗi phương pháp sinh ảnh từ ảnh, tổng số ảnh nhóm thu 27000 ảnh (20*30*5*9) Với liệu ORL liệu tự thu thập, chia thành phần Train, Validation Test theo tỉ lệ 6:2:2 Với liệu tự thu thập, số lượng ảnh cho tập trình bày bảng 4.1 Dataset Số lượng Train 16200 ảnh Test 5400 ảnh Validation 5400 ảnh Bảng 4.1 Bộ liệu tự thu thập 4.2 Phương pháp đánh giá Chúng đánh giá kết thực nghiệm độ đo Accuracy tính theo cơng thức đây: = ố ô ặ ậ đú Chúng đánh giá ứng dụng qua phiếu khảo sát trình bày phần 4.3 Cơng nghệ sử dụng Chúng em sử dụng thư viện: Keras library cho thư viện Deep learning: CNN[16] TensorFlow back-end [17] OpenCV: tiền xử lý ảnh, video [18] Haarcascade [] Chúng em sử dụng ngơn ngữ lập trình Python ngôn ngữ HTML, CSS, Javascript, Bootstrap để xây dựng ứng dụng điểm danh khn mặt trực quan hóa kết Chúng em quản lý liệu SQLite 4.4 Kết Kết liệu ORL so sánh với phương pháp khác PCA-NN, LBPDNN trình bày Bảng 4.2 Phương pháp Độ xác % (Accuracy) ORL Haarcascade- CNN 98,568% ORL PCA-NN 95.833% ORL LBP-DNN 97,878% ORL Bảng 4.2 Kết đánh giá Từ kết cho thấy phương pháp đề xuất Haarcascade- CNN cho kết tốt phương pháp PCA-NN, LBP-DNN liệu ORL 4.5 Xây dựng ứng dụng điểm danh khn mặt Nhóm xây dựng hệ thống điểm danh nhận diện khuôn mặt thành ứng dụng có giao diện thân thiện cho người sử dụng Ứng dụng Cho phép giảng viên điểm danh cách hiệu dễ dàng thông qua camera, tiết kiệm thời gian, ghi nhận trường hợp gian lận điểm danh Từ hình ảnh từ camera hệ thống tiến hành nhận dạng khn mặt có ảnh Qúa trình tiền xử lý khn mặt nhầm cao chất lượng hình ảnh, chuẩn hóa liệu kích thước ảnh Sau hệ thống trích chọn đặc trưng khuôn mặt tiến hành nhận diện khuôn mặt dựa tập liệu huấn luyện Sau xác định thông tin điểm danh sinh viên từ việc nhận diện khuôn mặt, hệ thống xuất kết điểm danh cho biết sinh viên có mặt hay khơng có mặt buổi học khóa học Giao diện ứng dụng trình bày hình 4.3 Hình 4.3 Giao diện ứng dụng điểm danh khuôn mặt Chúng tiến hành triển khai ứng dụng thí điểm lớp D18HT02 môn Lý thuyết đồ thị Để đánh giá ý kiến người sử dụng ứng dụng, tiến hành khảo sát theo phiếu khảo sát trình bày Hình 4.4 Hình 4.4 Phiếu khảo sát đánh giá ứng dụng Kết luận Trong nghiên cứu này, nhóm chúng em đề xuất sử dụng phương pháp học sâu – Mạng nơ ron tích chập CNN, phương sử dụng nhiều nghiên cứu thị giác máy tính để nhận diện khn mặt Trên sở đánh giá liệu chuẩn ORL (của Lab nghiên cứu AT&T) với phương pháp khác PCA-NN, LDA-DNN phương pháp nhóm đề xuất CNN kết hợp với Haar Cascade xác định khuôn mặt cho kết tốt Dựa kết đó, nhóm xây dựng ứng dụng điểm danh khuôn mặt áp dụng thí điểm mơn Lý thuyết đồ thị lớp D18HT02, Đại học Thủ Dầu Một Kết khảo sát từ giảng viên thực thí điểm cho thấy ứng dụng đề xuất đạt hiệu tốt việc điểm danh sinh viên Trong thời gian tới nhóm tiếp tục nghiên cứu thử nghiệm phương pháp khác để lựa chọn phương pháp tối ưu nhất, đồng thời tiến hành triển khai ứng dụng thực tế TÀI LIỆU THAM KHẢO: [1] [2] [3] [4] [5] [6] [7] [8] Hiyam Hatem, Zou Beiji and Raed Majeed, “A Survey of Feature Base Methods for Human Face Detection”, International Journal of Control and Automation Vol.8, No.5 (2015), pp.61-78 Hwai-Jung Hsu and Kuan-Ta Chen, “face recognition on drones issues and limitations in proceedings of the firs workshop on Micro Aerial Vehicle Networks, Systems, and Applications for Civilian Use, DroNet 15, pages 39-44, New York, NY, USA, 2015, ACM Rabia Jafri and Hamid R Arabnia, “A Survey of Face Recognition Techniques”, JIPS, 2009.5.2.041 Hong-Wei Ng and Stefan Winkler, “A data-driven approach to cleaning large face datasets”, IEEE International Conference on Image Processing (ICIP), 10.1109/ICIP.2014.7025068 Sirovich L and Kirby M,”low-dimensional procedure for the characterization of human faces”, JOSA A, 4(3):519-24 Matthew Turk and Alex Pentland, A 1991 “Eigenfaces for Recognition”, J.Cogn Neurosci 3,72-86 Yi Sun, Xiaogang Wang, and Xiaoou Tang, “Deeply learned face representations are sparse, selective, and robust”, CoRR, 1412.1265, 2014 Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato, and Lior Wolf, ”DeepFace: Closing the Gap to Human-Level Performance in Face Verification”, In IEEE Conf on CVPR, 2014 1,2,5,7,8,9 [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] Zhenyao Zhu, Ping Luo, Xiaogang Wang, and Xiaoou Tang, “Recover Canonical-View Faces in the Wild with Deep Neural Networks”, CoRR, abs/1404.3543, 2014.2 Nguyễn Thanh Tùng, Bùi Thanh Hùng (2019) Ứng dụng phương pháp học sâu nhận dạng khuôn mặt Kỷ yếu Ngày hội Khoa học cán giảng viên trẻ học viên cao học lần IIINăm 2019 Đại học Thủ Dầu Một 6.2019 Nguyễn Thanh Tùng (11/2019) Ứng dụng phương pháp học sâu để nhận diện khuôn mặt qua camera giám sát Luận văn Thạc sĩ - Đại học Thủ Dầu Một Bui Thanh Hung (2020) Face Recognition Using Hybrid HOG-CNN Approach The Fifth International Conference on Research in Intelligent and Computing in Engineering (RICE 2020) Paul Viola and Michael Jones (2001) Rapid Object Detection using a Boosted Cascade of Simple Features LeCun, Bottou, Bengio and Haffner (1998) Object Recognition with Gradient-Based Learning ORL dataset: http://cam-orl.co.uk/facedatabase.html Keras: https://keras.io/ Tensorflow: https://www.tensorflow.org/ Opencv: https://opencv.org/ ... ORL 4.5 Xây dựng ứng dụng điểm danh khn mặt Nhóm xây dựng hệ thống điểm danh nhận diện khuôn mặt thành ứng dụng có giao diện thân thiện cho người sử dụng Ứng dụng Cho phép giảng viên điểm danh cách... trưng khn mặt tiến hành nhận diện khuôn mặt dựa tập liệu huấn luyện Sau xác định thông tin điểm danh sinh viên từ việc nhận diện khuôn mặt, hệ thống xuất kết điểm danh cho biết sinh viên có mặt hay... chúng tơi xây dựng ứng dụng điểm danh sinh viên áp dụng thí điểm mơn Lý thuyết đồ thị lớp D18HT02, Đại học Thủ Dầu Một Ứng dụng điểm danh sinh viên nhận dạng khuôn mặt giúp cho việc điểm danh trở