Nhận dạng khuôn mặt dựa trên phương pháp học sâu của mạng nơron và ứng dụng định danh cán bộ, giảng viên tại trường đại học mở hà nội mã số MHN2019 26

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP TRƢỜNG NHẬN DẠNG KHUÔN MẶT DỰA TRÊN PHƢƠNG PHÁP HỌC SÂU CỦA MẠNG NƠRON VÀ ỨNG DỤNG ĐỊNH DANH CÁN BỘ, GIẢNG VIÊN TẠI TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI Mã số: MHN2019-26 Xác nhận quan chủ trì đề tài Chủ nhiệm đề tài TS Dƣơng Thăng Long Hà Nội – 06/2020 DANH SÁCH THÀNH VIÊN THAM GIA NGHIÊN CỨU ĐỀ TÀI VÀ ĐƠN VỊ PHỐI HỢP Danh sách thành viên tham gia nghiên cứu đề tài ThS Trần Tiến Dũng ThS Dương Chí Bằng ThS Lâm Văn Ân ThS Vương Thu Trang ThS Nguyễn Văn Thành Các đơn vị phối hợp Khoa Công nghệ Thông tin, Trung tâm Công nghệ & Học liệu, Bộ phận truyền thông Trường Đại học Mở Hà Nội MỤC LỤC DANH MỤC BẢNG BIỂU & HÌNH VẼ .i DANH MỤC TỪ VIẾT TẮT iii PHẦN I: MỞ ĐẦU I.1 Tính cấp thiết đề tài I.2 Tình hình nghiên cứu I.3 Mục đích nghiên cứu I.4 Đối tượng phạm vi nghiên cứu I.5 Phương pháp nghiên cứu 10 PHẦN II: NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU 11 Chương Mạng nơron nhân tạo phương pháp nhận dạng khuôn mặt 11 1.1 Mạng nơron nhân tạo 11 1.2 Phương pháp nhận dạng khuôn mặt 19 Chương Mơ hình mạng nơron tích chập nhận dạng khuôn mặt dựa phương pháp học chuyển tiếp 25 2.1 Mạng nơron tích chập cho nhận dạng khuôn mặt 25 2.2 Phương pháp học chuyển tiếp mơ hình CNN 31 2.3 Mơ hình nhận dạng khn mặt dựa VF2SENet 36 Chương Xây dựng phần mềm nhận dạng khuôn mặt thử nghiệm 47 3.1 Công cụ phát triển ứng dụng 47 3.2 Một số mơ-đun phần mềm 50 3.3 Thử nghiệm đánh giá 55 PHẦN III: KẾT LUẬN & KIẾN NGHỊ 64 III.1 Kết luận 64 III.2 Kiến nghị 65 TÀI LIỆU THAM KHẢO 66 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội DANH MỤC BẢNG BIỂU & HÌNH VẼ Hình 1.1- Q trình chung nhận dạng khuôn mặt Hình 1.2- Minh hoạ kiến trúc mạng nơron tích chập Hình 2.1 Cấu trúc nơron sinh học 11 Hình 2.2 Minh hoạ cấu trúc ANN 12 Hình 2.3 Quá trình xửa lý nơron ANN 12 Hình 2.4 Một số hàm kích hoạt (a) Tanh, (b) ReLU, (c) Sigmoid 13 Hình 2.5 Cấu trúc ANN kiểu mạng truyền tới lớp 14 Hình 2.6 Minh hoạ cấu trúc ANN có phản hồi hay hồi quy 15 Hình 2.7 Mơ hình mạng Hopfield với nơron 16 Hình 2.8 Bộ sở liệu chữ số viết tay MNIST 17 Hình 2.9 AlphaGo đánh thắng kiện tƣớng cờ vây Lee Sedol 19 Hình 2.10 Cấu trúc chung hệ thống nhận dạng khuôn mặt 20 Hình 2.11 Minh hoạ phƣơng pháp PCA rút gọn số chiều đặc trƣng 22 Hình 2.12 Ví dụ minh họa phép biến đổi LDA 23 Hình 2.13 Mơ hình lƣới khuôn mặt khác 24 Hình 2.1 Minh hoạ mơ hình mạng nơron tích chập (CNN) 25 Hình 2.2 Minh hoạ tính tốn phép tích chập 26 Hình 2.3: Kết ba lọc điển hình ảnh đầu vào 26 Hình 2.4 Minh hoạ tích chập chiều ảnh màu (RGB) 27 Hình 2.5 Một số hàm kích hoạt thƣờng dùng CNN 27 Hình 2.6 Phép max pooling với mặt nạ x 28 Hình 2.7 Hàm softmax tính xác suất đầu phân lớp 28 Hình 2.8 Ví dụ cấu trúc mơ hình CNN 29 Hình 2.9 Cách tính hàm hao tổn dƣới dạng Cross-Entropy 30 Hình 2.10 Biểu đồ biến đổi hàm Loss hệ số học 31 Hình 2.11 Minh hoạ trình học chuyển tiếp 32 Hình 2.12 Phƣơng pháp chuyển giao mơ hình học chuyển tiếp 33 Hình 2.13 Một số mơ hình CNN với kiến trúc đại 34 Hình 2.14 Kiến trúc mơ hình VGG19 34 Hình 2.15 Cấu trúc mô-đun “inception” khối “residual” 35 i Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Hình 2.16 Nguyên lý khối Squeeze-and-Excited (SE) 35 Hình 2.17 Kiến trúc mơ hình VF2SENet 36 Hình 2.18 Cấu trúc khối SENet kiến trúc VF2SENet 37 Hình 2.19 Cấu trúc khối RES kiến trúc VF2SENet 38 Hình 2.20 Biểu đồ khoảng cách intra-class inter-class ảnh 40 Hình 2.21 Sơ đồ phân lớp dựa độ đo khoảng cách 40 Hình 2.22 Bộ ba ảnh thuộc nhóm bị phân lớp sai ATT(a) Yale(b) 41 Hình 2.23 Mơ hình VST nhận dạng khn mặt dựa VF2SENet 41 Hình 2.24 Quy trình ứng dụng nhận dạng khuôn mặt định danh cán 42 Hình 2.25 Biểu đồ phân bố số lƣợng ảnh theo ngƣời LFW 43 Hình 2.26 Biểu đồ phân bố số lƣợng ngƣời theo số lƣợng hình ảnh LFW 44 Hình 2.27 Hình ảnh số ngƣời liệu LFW 44 Hình 2.28 Quy trình thu thập tiền xử lý liệu huấn luyện 45 Hình 2.29 Khoảng cách hình ảnh thu nhỏ với hình ảnh gốc 46 Hình 3.1 Sơ đồ liên kết thƣ viện tảng phát triển 50 Hình 3.2 Cấu trúc thƣ mục chứa liệu hình ảnh cho huấn luyện 52 Hình 3.3 Phân bố số lƣợng ảnh theo ngƣời 58 Hình 3.4 Phân bố theo khoảng cách min(inter-class) max(intra-class) 59 Hình 3.5 Phân bố theo khoảng cách trung bình ảnh lớp 60 Hình 3.6 Bộ ba hình ảnh khn mặt nhận dạng sai 61 Hình 3.7 (c) (d) kết nhận dạng áp dụng ảnh chụp thực tế Trƣờng hợp ảnh khn mặt đƣợc phát q nhỏ (dƣới ngƣỡng kích thƣớc 7070) khơng thực nhận dạng mà hiển thị kích thƣớc ảnh khn mặt đó, hình (c) có (d) có hai ngƣời 61 Hình 3.7 (e) (f) kết nhận dạng tƣơng ứng với hai hình (c) (d) nhƣng đặt ngƣỡng kích thƣớc nhận dạng xuống 4545 ngƣỡng độ tin cậy nhận dạng 0.7 Nhƣ vậy, khn mặt hai hình đƣợc nhận dạng cho kết 62 ii Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội DANH MỤC TỪ VIẾT TẮT Stt Từ viết tắt Ý nghĩa đầy đủ CNN Mạng nơron tích chập PCA Phân tích thành phần KNN K láng giềng gần LBPH Biểu đồ nhị phân cục ANN Mạng nơron nhân tạo VGG Dữ liệu hình ảnh khn mặt đại học Oxford SVM Máy véc-tơ hỗ trợ CONV VF2SENet Lớp nơron tích chập Mạng nơron nhận dạng khn mặt sử dụng mơ hình học chuyển tiếp iii Nhận dạng khn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội PHẦN I: MỞ ĐẦU I.1 Tính cấp thiết đề tài Ngày nay, với phát triển khoa học, việc ứng dụng công nghệ sinh trắc học để định danh phương pháp tự động nhận biết định danh cá nhân với sở đặc điểm sinh học hành vi người Công nghệ nhận dạng dựa sinh trắc học trình tương tự trình mà người thường nhận dạng người khác khía cạnh thể chất, giọng nói họ cử chỉ, dáng điệu, cách họ bộ, v.v Trong số phương pháp sinh trắc học yêu cầu hành động từ người dùng, phương pháp nhận dạng khn mặt sử dụng cách thụ động, tức hệ thống tự động nhận dạng xác định danh tính dựa khn mặt chụp tự động từ thiết bị ghi hình Các nghiên cứu tập trung mạnh vào ứng dụng công nghệ nhận dạng khuôn mặt dựa mạng nơron tích chập (CNN) để xác thực danh tính người Đặc biệt, công nghệ chứng minh thành công lĩnh vực ứng dụng rơ-bốt tự động hố, cơng nghệ nhận dạng hãng lớn giới áp dụng vào sản phẩm Google, Facebook, Microsoft,… Việc nghiên cứu ứng dụng CNN toán nhận dạng khn mặt có nhiều kết nghiên cứu sản phẩm ứng dụng chuyên biệt đưa thương mại hố, có nhiều ứng dụng hữu ích thiết thực thực tiễn Bên cạnh đó, thực tiễn đặt nhiều tốn địi hỏi ứng dụng có hiệu định danh giám sát người học hệ thống học tập thi trực tuyến, giám sát vào cổng quan, đơn vị, hay giám sát an ninh địa điểm nhạy cảm,… Tuy nhiên, khó để có hệ thống sinh trắc học hồn hảo phù hợp với tất nhu cầu ứng dụng Tất hệ thống biết có ưu điểm nhược điểm riêng chúng Một vài nghiên cứu tập trung vào việc cải thiện bảo mật học tập trực tuyến cách sử dụng hệ thống sinh trắc học, số hạn chế số giải xác thực người học liên tục Các nhà nghiên cứu tìm kiếm phương pháp xác định sinh trắc học tốt giúp xác nhận danh tính người học toán ứng dụng Hệ thống nhận dạng khn mặt thân thiện với người chúng khơng u cầu tiếp xúc khơng cần có phần cứng bổ sung (với điều kiện hầu hết máy tính thiết bị đầu cuối có camera) Quan trọng hơn, hệ thống Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội nhận dạng khuôn mặt sử dụng để xác thực liên tục cá nhân người toàn thời gian phạm vi không gian yêu cầu Tại Trường Đại học Mở Hà Nội trang bị hệ thống camera an ninh để ghi lại hình ảnh (dưới dạng video) vị trí quan trọng hai cổng vào/ra quan Hệ thống liệu video camera lưu trữ trực tuyến nguồn liệu quan trọng để xây dựng sở liệu phục vụ cho huấn luyện mô hình mạng nơron Hơn nữa, việc giám sát vào cổng quan làm việc nhằm đảm bảo an ninh, an tồn cần thiết, khơng với Trường ĐH Mở HN mà quan khác Mặt khác, việc ghi nhận vào quan cán bộ, giảng viên giúp cho tự giác người việc đến quan trở nên tốt Trong đề tài này, nghiên cứu phát triển hệ thống xác thực, định danh giám sát cá nhân người Phương pháp tiếp cận sử dụng tiến gần nhận dạng khuôn mặt dựa mạng nơron sâu (CNN) tích hợp hệ thống xác thực với hệ thống camera Nhà trường nhằm đảm bảo an ninh quan ghi nhận thời gian có mặt quan hỗ trợ phần tổng hợp, đánh giá trình làm việc cán bộ, nhân viên I.2 Tình hình nghiên cứu a) Ngồi nước (phân tích, đánh giá tình hình nghiên cứu thuộc lĩnh vực đề tài giới, liệt kê danh mục cơng trình nghiên cứu, tài liệu có liên quan đến đề tài trích dẫn đánh giá tổng quan) Thị giác máy tính (computer vision) lĩnh vực nghiên cứu sôi động nay, với phương pháp dựa lực tính tốn ngày mạnh mẽ hệ thống máy tính với tốn ứng dụng thực tiễn có giá trị to lớn Phương pháp sinh trắc học để nhận dạng yếu tố người nghiên cứu mạnh mẽ ứng dụng vào hệ thống nhận dạng sở đặc điểm thể chất hành vi người Trong đó, nhận dạng khuôn mặt lĩnh vực nghiên cứu sôi động lĩnh vực nhận dạng mẫu thị giác máy tính Khn mặt người giới có độc đáo nét đặc trưng riêng biệt Đó coi sắc riêng người Nhận dạng khn mặt có tính nên sử dụng để xác thực danh tính kiểm sốt người ứng dụng khác [Ary18] Nhận dạng khuôn mặt sử dụng phương pháp sinh trắc học để thiết lập định danh cá nhân dựa đặc điểm khuôn mặt người Q trình nhận dạng khn mặt hoạt động cách sử dụng ứng dụng thiết bị Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội máy tính chụp ảnh khn mặt cá nhân (cũng lấy từ khung hình từ video) so sánh với hình ảnh sở liệu lưu trữ trước (Hình 1.1) Trường hợp ảnh đầu vào (image input) gồm khơng gian có chứa khn mặt người muốn định danh cần phát vùng ảnh chứa khn mặt người (face detection) Đây tốn nghiên cứu sơi động [Def18] Ảnh khn mặt tiền xử lý (cân chỉnh chẳng hạn - face alignment) nhằm đảm bảo chất lượng cho nhận dạng Khn mặt người trích chọn biểu diễn thông qua véc-tơ đặc trưng (feature extraction) nhằm mô tả đặc điểm riêng biệt khn mặt người để so sánh với khuôn mặt khác Việc so sánh khuôn mặt đầu vào với sở liệu khuôn mặt lưu trữ (existing database) trở thành việc tính toán mức độ gần véc-tơ đặc trưng (feature matching), từ tìm khn mặt giống sở liệu Nếu mức độ gần khn mặt tìm ngưỡng cho phép định danh người Face detection Feature extraction Face alignment Feature matching face image Image input Preprocessing stage person output Recognition stage Existing database of faces Hình 1.1- Quá trình chung nhận dạng khn mặt Trong năm gần đây, phát triển mạnh mẽ công nghệ học sâu (deep learning) với mạng nơron tích chập (convolutional neural network - CNN) ứng dụng thành công nhiều toán thực tế [Yam18] CNN cấu trúc mạng nơron nhân tạo gồm ba loại lớp nơron (minh hoạ Hình 1.2): lớp nơron tích chập (convolution layer), lớp nơron gộp chung (pooling layer) lớp nơron kết nối đầy đủ (fully connection layer) Hai lớp nơron đầu (tích chập gộp chung) thực vai trị trích chọn đặc trưng ảnh khn mặt, lớp thứ ba (kết nối đầy đủ) thực vai trị ánh xạ đặc trưng trích chọn thành đầu cuối cùng, tức định danh người nhận dạng Lớp nơron tích chập đóng vai trò quan trọng CNN, bao gồm chồng phép tốn tích chập, loại phép tuyến tính chuyên biệt Lớp nơron gộp Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội chung đóng vai trị làm giảm số chiều khơng gian đặc trưng trích chọn (hay gọi subsampling) nhằm tăng tốc độ xử lý trình nhận dạng Quá trình học mạng nơron điều chỉnh tham số học mạng (trainable parameters) gồm trọng số liên kết lớp nơron tích chập lớp nơron kết nối đầy đủ Thuật tốn học điển hình mạng nơron dạng lan truyền ngược sai số với mục tiêu giảm thiểu sai số kết nhận dạng mạng Ngồi ra, mạng cịn có tham số cần phải thiết lập trước áp dụng kích thước nhân phép tích chập, độ trượt phép tích chập, hàm kích hoạt, phương pháp tính lớp nơron gộp chung tham số khác đề cập chi tiết [Yam18] Hình 1.2- Minh hoạ kiến trúc mạng nơron tích chập Hiện có nhiều nghiên cứu ứng dụng CNN nhận dạng khuôn mặt với cải tiến ngày hiệu chất lượng cao hơn, ứng dụng đa dạng vào toán thực tế Các tác giả [Kam17] phân tích tính hiệu CNN so với ba phương pháp nhận dạng khuôn mặt kinh điển bao gồm phân tích thành phần (PCA), mơ hình biểu đồ mẫu nhị phân cục (LBPH) láng giềng gần (KNN) Thử nghiệm sở liệu ORL cho thấy LBPH đạt kết tốt PCA KNN, CNN đề xuất cho độ xác nhận dạng tốt (98,3% so với phương pháp chưa đến 90%) Qua phần khẳng định phương pháp dựa CNN vượt trội phương pháp khác Trong [Phi15] phân tích đánh giá với kiến trúc CNN cải tiến khác cho nhận dạng khuôn mặt Thứ kiến trúc chứa 22 lớp nơron với 140 triệu tham số học cho ảnh Dạng kiến trúc thứ hai dựa mô hình mạng Interception GoogleNet gồm phiên với kích thước đầu vào khác nhằm làm giảm khơng gian tham số học mạng Các kiến trúc ứng dụng vào phạm vi khác nhau, kiến trúc CNN có kích thước lớn cho kết cao phù hợp với ứng dụng máy tính lớn với CNN nhỏ Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội filetype)) for fn in files: img = kimg.load_img(fn, color_mode='rgb') img = kimg.img_to_array(img) img = cv2.resize(img, target_size) img = img.astype('float32') X_data.append(img) y_data.append(cls_idx) Sau mơ-đun huấn luyện mạng nơron Sử dụng phương pháp học chuyển tiếp (transfer learning), đó, mơ hình thiết lập dựa kiến trúc VF2SENet (VGGFace) nêu phần trước pretrain_model = VGGFace( model='senet50', include_top=False, input_shape=input_shape, pooling='avg' ) for lr in pretrain_model.layers: lr.trainable = False x = Dropout(0.1)(pretrain_model.output) nftr = x._keras_shape[1] x = Dense((num_classes+nftr)//2, activation='relu')(x) x = Dense(num_classes, activation='softmax')(x) model = Model(input=pretrain_model.input, output=x) Chúng tơi chia làm hai pha huấn luyện, huấn luyện hai lớp FC cuối cho phân lớp hình ảnh dựa đặc trưng trích chọn kiến trúc VF2SENet, sau thực tinh chỉnh tồn mơ hình để tăng hiệu cho toán ứng dụng Hai pha khác hệ số học, q trình đầu có hệ số học xuất phát lớn trình sau hệ số học nhỏ để tinh chỉnh (fine-tune) mơ hình khơng phá vỡ mơ hình huấn luyện trước Q trình huấn luyện, chúng tơi sử dụng chế tăng cường liệu huấn luyện phép xử lý hình ảnh xoay, dịch chuyển sang phải, sang trái, co giãn, đối xứng dọc thông qua đối tượng „ImageDataGenerator‟ Keras Dữ liệu „X_data‟, „y_data‟ phân chia thành hai phần: huấn luyện („X_train‟, „y_train‟), thẩm định („X_valid‟, „y_valid‟) phần có thêm (X_test, y_test) để kiểm tra mơ hình opt = Adam() model.compile( optimizer=opt, loss= categorical_crossentropy, metrics=['accuracy']) datagen = ImageDataGenerator( rotation_range=10, width_shift_range=0.1, 53 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội height_shift_range=0.1, shear_range=10, zoom_range=0.1, horizontal_flip=True) epochs = 500 log_saving = CSVLogger(log_file, append=True, separator=',') mcp_saving = ModelCheckpoint( model_file, save_best_only=True, monitor='val_loss', mode='min') batch_size = min(64, len(cls_labels)) model.fit_generator( datagen.flow(X_train, y_train,batch_size = batch_size), steps_per_epoch = len(X_train)//batch_size, validation_data = (X_test, y_test), callbacks = [log_saving, mcp_saving], epochs = epochs) 3.2.3 Mơ-đun nhận dạng Mơ hình sau huấn luyện lưu trữ dạng tệp bao gồm cấu trúc mơ hình trọng số liên kết mơ hình Chúng ta nạp mơ hình vào hệ thống sử dụng để nhận dạng Quá trình nhận dạng với liệu có s n đơn giản thông qua lệnh „predict‟ đối tượng mơ hình (model) Lệnh trả nhãn phân lớp tương ứng với liệu ảnh đưa vào, so sánh với nhãn lớp đ ng liệu để đánh giá t lệ nhận dạng đ ng Đối với ứng dụng thử nghiệm thực tế, phải gắn với mô-đun chụp ảnh từ camera webcam, gắn với mơ-đun hiển thị kết hình ảnh lên cửa sổ hình Sử dụng thư viện „tkinter‟ để xử lý giao diện đồ hoạ (GUI) Python, cửa sổ tạo đơn giản sau: window = tkinter.Tk() window.title('HOU - Faces collection and recognition') # Create a canvas that can show result images canvas = tkinter.Canvas( window, width = ‘canvas_width’, height = ‘canvas_height’ ) canvas.pack() Qúa trình lấy mẫu hình ảnh từ camera/webcam liên tục nên xử lý vòng lặp với độ trễ lấy mẫu xác định, đó, hình ảnh chụp phát khuôn mặt, tiền xử lý đưa vào mơ hình nhận dạng, Hình 2.24 Hàm „detect_align_faces‟ xử lý hai nhiệm vụ phát khuôn mặt cân chỉnh cần 54 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội while True: ret, fra = cap.read() fra = cv2.flip(fra,1) if source==0 else fra # sử dụng mô-đun phát khuôn mặt cân chỉnh cần # faces = detect_align_faces( fra ) # nhận dạng ảnh khuôn mặt phát # y_pred = model.predict( faces ) y_cls = [cls_labels[numpy.argmax(y)] for y in y_pred] # lưu hình ảnh nhãn nhận dạng vào sở liệu # for f,y in zip(faces,y_cls): cv2.imwrite(‘tên tệp ảnh với định danh nhãn y’, f); # hiển thị kết qủa nhận dạng lên hình ảnh chụp # for (l,t,r,b),c,y in zip(fls,fcs,y_cls): txt_show = '{}-{:.2f}'.format(y, c) cv2.rectangle(fra, (l, t), (r, b), (255, 0, 0), 2) cv2.putText(fra, txt_show, (l+6, b-6), cv2.FONT_HERSHEY_DUPLEX, 7, (255, 255, 255), 2) # hiển thị hình ảnh lên cửa sổ # i_h, i_w = fra.shape[:2] th, tw = canvas_height/i_h, canvas_width/i_w tm = min(th,tw) f_img = cv2.resize(fra, (int(i_w*tm),int(i_h*tm))) f_img = cv2.cvtColor(f_img, cv2.COLOR_RGB2BGR) photo = PIL.ImageTk.PhotoImage(PIL.Image.fromarray(f_img)) canvas.create_image(0, 0, image = photo, anchor = tkinter.NW) time.sleep(0.1) Tất mô-đun thể dạng rút gọn minh hoạ với xử lý chính, nhiên, hệ thống phần mềm thiết kế với mô-đun dạng lớp đối tượng hàm riêng biệt đảm bảo tính độc lập dễ phát triển 3.3 Thử nghiệm đánh giá 3.3.1 Thử nghiệm liệu mẫu Chúng sử dụng liệu LFW để thử nghiệm mơ hình với việc sử dụng hình ảnh nhãn lớp để huấn luyện mơ hình, hình ảnh cịn lại dùng để kiểm tra mơ hình Thử nghiệm áp dụng cho nhãn lớp với từ hai ảnh trở lên, ảnh để huấn luyện ảnh để kiểm tra, số ảnh liệu LFW 9.164 gồm 1.680 người (gọi LFW2) Do đó, liệu huấn luyện 1.680 ảnh người ảnh, liệu kiểm tra 7.484 ảnh Người có ảnh kiểm tra 1, người có ảnh kiểm tra nhiều 529 55 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Do kích thước liệu lớn, hạn chế máy tính thử nghiệm, áp dụng phương pháp nhận dạng sử dụng độ đo khoảng cách „cosin‟ để xác định ảnh gần tập huấn luyện với ảnh cần kiểm tra để xác định nhãn phân lớp cho anh kiểm tra (theo sơ đồ Hình 2.21) Kết tập kiểm tra đạt t lệ nhận dạng đ ng 94,70% (Bảng 3.1) Dù sử dụng t lệ ảnh để huấn luyện thấp (chỉ 18,33%) kết nhận dạng đ ng dựa mơ hình cao khả ứng dụng thực tế lớn Tiếp theo, thử nghiệm với kịch t lệ liệu huấn luyện 20%, 40%, 60% liệu LFW với số ảnh tối thiểu người Bây giờ, liệu có 5.985 ảnh 423 người (ký hiệu LFW5) Bảng 3.1 thể kết nhận dạng tập kiểm tra kịch liệu khác LFW5 Ký hiệu #Run số lần chạy thử nghiệm, liệu chia thành phần lấy tổ hợp số phần theo đ ng t lệ chọn phần làm liệu huấn luyện, số lần chạy đ ng số tổ hợp Kết nhận dạng tính trung bình lần chạy T lệ nhận dạng đ ng (%) T lệ liệu huấn luyện #Run 20% 98,42 40% 10 99,23 60% 10 99,45 80% 99,57 Chỉ ảnh người (OvR) tr n liệu LFW2 94,70 Bảng 3.1 Kết phân lớp tập kiểm tra liệu LFW5 Để cho thấy thêm hiệu mơ hình, chúng tơi thử nghiệm liệu VISGRAF gồm 432 hình ảnh 36 người, người có 12 ảnh Vì liệu cân nên chia thành 12 phần, phần gồm 36 ảnh 36 người (mỗi người có ảnh) Do đó, chạy thử nghiệm lấy tổ hợp phần thành tập liệu huấn luyện, lại kiểm tra Số lần chạy đ ng số tổ hợp kết tính trung bình lần chạy Bộ liệu có đặc điểm biểu cảm khuôn mặt khác người, thử nghiệm thêm phần cho thấy kết nhận dạng chịu tác động biểu cảm nét mặt hay không Kết nhận dạng thử nghiệm thể chi tiết Bảng 3.2 Cao 100% nhận dạng đ ng tập huấn luyện đến 91,67% (lấy 11 số 12 ảnh người), trường hợp dùng 50% huấn luyện đạt t lệ nhận dạng 99,80% 56 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Thấp trường hợp dùng ảnh người (OvR) để huấn luyện đạt kết qủa nhận dạng 98,93% Những kết cho thấy chất lượng nhận dạng mơ hình cho kết tốt tiềm ứng dụng thử nghiệm vào thực tế tốn Tiếp theo, chúng tơi thử nghiệm với toán thực tế T lệ liệu huấn luyện #Run T lệ nhận dạng đ ng (%) 16,67% 66 99,56 25% 220 99,66 33,33% 495 99,72 41,67% 792 99,76 50% 924 99,80 91,67% 12 100 Chỉ ảnh người (OvR) 12 98,93 Bảng 3.2 Kết phân lớp tập kiểm tra liệu VISGRAF 3.3.2 Thử nghiệm thực tế Trong thử nghiệm này, nghiên cứu thực với 57 người Trưởng Phó trưởng đơn vị lãnh đạo Nhà trường Các hình ảnh thu thập từ camera an ninh cổng thu thập từ Internet thơng qua cơng cụ tìm kiếm ảnh Danh sách với số lượng ảnh sau thu thập, tiền xử lý để huấn luyện mơ hình Số ảnh người khơng cân bằng, nhiều gồm người có 18 ảnh, 16 người có ảnh, phân bố theo Hình 3.3 Tổng số ảnh 57 người 349 57 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Hình 3.3 Phân bố số lượng ảnh theo người Hình 3.4 phân bố khoảng cách lớn ảnh ảnh lớp (max(intra-class), đường màu „blue‟) khoảng cách nhỏ ảnh ảnh khác lớp (min(inter-class), đường màu „green‟) Có 98 ảnh 23 người có tiềm phân lớp sai (các điểm màu đỏ), khoảng cách min(inter-class) nhỏ max(intra-class) Điều cho thấy khả phân lớp dựa khoảng cách có tiềm sai lớn (98/349 chiếm 28,08%) Khoảng cách phân tích dựa véc-tơ đặc trưng trích chọn mơ hình VF2SENet 58 Nhận dạng khn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Hình 3.4 Phân bố theo khoảng cách min(inter-class) max(intra-class) Tuy nhiên, xét phân bố khoảng cách trung bình ảnh người người khác (Hình 3.5) cho thấy gần ảnh người cao so với người khác Đường chéo biểu thị mức độ gần ảnh bên người, có màu đậm tức gần hay khoảng cách gần Các ô khác biểu thị người khác nhau, chúng có màu sáng tức gần hay khoảng cách xa Điều cho thấy nhìn chung khả phân tách lớp dựa đặc trưng trích chọn VF2SENet thực Thử nghiệm chia ngẫu nhiên tập liệu thành phần có t lệ cân Một phần 175 ảnh phần có 174 ảnh Chạy lần tương ứng với lần chạy lấy phần để tập huấn luyện mơ hình phần lại để kiểm tra kết nhận dạng mơ hình Kết tính trung bình hai lần chạy Thử nghiệm thực lần với việc chia tập liệu khác nhau, cho kết Bảng 3.4 Thử nghiệm #1.run nhận dạng sai ảnh, thử nghiệm #2.run nhận dạng sai ảnh, thử nghiệm #3.run nhận dạng sai ảnh, thử nghiệm #4.run nhận dạng sai ảnh Hình 3.6 thể ba hình ảnh nhận dạng sai thử nghiệm #1.run, ảnh thứ tập kiểm tra nhận dạng cho kết ảnh thứ hai ảnh thứ lớp huấn luyện không dùng để phân lớp 59 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Các thử nghiệm (t lệ chia) T lệ nhận dạng đ ng (%) #1.run (50 training : 50 testing) 99,43 #2.run (50 training : 50 testing) 99,14 #3.run (50 training : 50 testing) 98,85 #4.run (50 training : 50 testing) 99,71 Trung bình (3 lần thử nghiệm) 99,28 Bảng 3.4 Kết phân lớp tập kiểm tra liệu thực tế Hình 3.5 Phân bố theo khoảng cách trung bình ảnh lớp 60 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Hình 3.6 Bộ ba hình ảnh khn mặt nhận dạng sai Hình 3.7 (a) (b) kết chụp hình cửa sổ ứng dụng nhận dạng khuôn mặt chạy thử nghiệm thực tế Khi chạy thực tế, yếu tố phụ thuộc vào kiểu dáng đa dạng người dùng chụp ảnh, thử nghiệm đặt độ tin cậy nhận dạng mức 0.8, kết nhận dạng ngưỡng coi người chưa biết („None‟) hiển thị kết (a) (b) Hình 3.7 (c) (d) kết nhận dạng áp dụng ảnh chụp thực tế Trường hợp ảnh khuôn mặt phát nhỏ (dưới ngưỡng kích thước 61 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội 7070) khơng thực nhận dạng mà hiển thị kích thước ảnh khn mặt đó, hình (c) có (d) có hai người (c) (d) Hình 3.7 (e) (f) kết nhận dạng tương ứng với hai hình (c) (d) đặt ngưỡng kích thước nhận dạng xuống 4545 ngưỡng độ tin cậy nhận dạng 0.7 Như vậy, khn mặt hai hình nhận dạng cho kết đ ng 62 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội (e) (f) 63 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội PHẦN III: KẾT LUẬN & KIẾN NGHỊ Kết luận Đề tài nghiên cứu công nghệ nhận dạng khuôn mặt dựa mơ hình mạng nơron nhân tạo dạng tích chập (CNN) với chế học sâu Trong đó, tập trung phân tích sâu khả trích chọn đặc trưng cho nhận dạng khuôn mặt mô hình CNN với kiến trúc mạng đại ResNet, SENet Các kiến trúc xây dựng huấn luyện liệu lớn, đề tài tiếp cận theo phương pháp học chuyển tiếp (transfer learning) học máy (machine learning) Trên sở nghiên cứu, phân tích kiến trúc mơ hình CNN cho tốn nhận dạng khn mặt, đề tài thiết kế mơ hình nhận dạng khn mặt dựa kiến trúc mạng đại SENet Áp dụng phương pháp học chuyển tiếp nhằm điều chỉnh, cải tiến mơ hình SENet huấn luyện tập liệu VGGFace2 cách huấn luyện phần phân lớp (classification) tinh chỉnh trọng số mơ hình SENet để phù hợp nâng cao chất lượng cho toán đặt Phần phân lớp áp dụng theo hai phương pháp, thứ đơn giản sử dụng độ đo khoảng cách véc-tơ đặc trưng ảnh để nhận dạng, thứ hai, xây dựng lớp nơron liên kết đầy đủ (FC layers) để huấn luyện phân lớp Kết thử nghiệm liệu khác cho thấy hiệu khả nhận dạng mơ hình Trường hợp liệu nghiên cứu (LFW5 VISGRAF) cho t lệ nhận dạng đ ng cao với hầu hết lần thử nghiệm 99%, trường hợp xấu nhất, sử dụng ảnh người tập huấn luyện đạt t lệ nhận dạng đ ng cao (94,7% 98,93%) Kết thử nghiệm toán thực tế với tập liệu ảnh đa dạng kiểu dáng khuôn mặt, trạng thái khuôn mặt, độ sáng tối ảnh khác nhau, nhiên cho t lệ nhận dạng đến 99,28% Do đó, nhận dạng thực qua trực tiếp camera webcam cho kết đ ng người ảnh Tuy nhiên, mơ hình áp dụng với điều kiện khn mặt khơng bị che khuất, kích thước khn mặt chụp hình phải đủ lớn tức phải đứng đủ gần với camera webcam Trường hợp khn mặt góc chụp ngang chưa nghiên cứu xem xét với phương pháp tiền xử lý cân chỉnh khuôn mặt 3D dựa kỹ thuật tổng hợp tạo hình ảnh khn mặt đầy đủ từ anh chụp số nghiên cứu đề cập Đây điểm hạn chế 64 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội nghiên cứu nhóm nghiên cứu đưa vào xem xét phát triển hoàn thiện nghiên cứu Kiến nghị Từ kết nghiên cứu đạt trên, đề tài đề xuất số vấn đề sau: - Cho phép triển khai phạm vi quy mô định hệ thống nhận dạng khuôn mặt phục vụ cho ứng dụng thực tiễn định danh cán người vào quan - Để triển khai hệ thống cần có thiết bị xử lý hình ảnh tốc độ cao máy tính phải có xử lý đồ hoạ chuyên nghiệp (GPU) nhằm đáp ứng cho thực thi tính tốn kiến trúc mạng CNN - Tiếp tục cho nghiên cứu sâu phát triển mở rộng để nhận dạng định danh cá nhân thông qua thể (body) mà không cần đến khuôn mặt, nhận dạng biểu cảm khuôn mặt để xác định mức độ tập trung, hài lòng ứng dụng đánh giá trình học tập trực tuyến 65 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội TÀI LIỆU THAM KHẢO Tiếng Việt [1] [17Tan] Nguyễn Thị Thanh Tân, Huỳnh Văn Huy, Phương pháp nhận dạng khuôn mặt từ webcam, K yếu hội thảo quốc gia lần thứ XX: Một số vấn đề chọn lọc Công nghệ thông v truyền thông, tr.285-291, 2017 [2] [17Khang] Phạm Nguy n Khang v cộng sự, Điểm danh mặt người với đặc trưng GIST v máy học v c-tơ hỗ trợ, K yếu Hội nghị Quốc gia lần thứ X Nghi n cứu v ứng dụng Công nghệ thông tin (FAIR), tr.156-164, 2017 Tiếng Anh [1] [Abu18] M A Abuzneid, A Mahmood, “Enhanced Human Face Recognition Using LBPH Descriptor, Multi-KNN, and BPNN”, IEEE Access, Vol 6, pp.20641-20651, 2018 [2 [Ami16 Alexander Amigud et al., “A Behavioral Biometrics Based and Machine Learning Aided Framework for Academic Integrity in E-Assessment”, International Conference on Intelligent Networking and Collaborative Systems, pp.225-262, 2016 [3] [Amo16] Brandon Amos, Bartosz Ludwiczuk and Mahadev Satyanarayanan, “OpenFace: A general-purpose face recognition library with mobile applications”, CMU School of Computer Science, Tech Rep., 2016 [4 [Ary18 Shraddha Arya, Arpit Agrawal, “Face Recognition with Partial Face Recognition and Convolutional Neural Network”, International Journal of Advanced Research in Computer Engineering & Technology (IJARCET), Vol.7, Iss.1, pp.91-94, ISSN: 2278 – 1323, 2018 [5] [Cao18] Qiong Cao, Li Shen, Weidi Xie, Omkar M Parkhi and Andrew Zisserman, “VGGFace2 - A dataset for recognising faces across pose and age”, IEEE Conference on Automatic Face and Gesture Recognition (http://www.robots.ox.ac.uk/ ∼vgg/data/vgg face2), 2018 [6 [Def18 Lionel Landry S Deffo, Elie T Fute, Emmanuel Tonye, “CNNSFR: A Convolutional Neural Network System for Face Detection and Recognition”, International Journal of Advanced Computer Science and Applications, Vol 9, No 12, pp.240-244, 2018 [7 [Der18 Ekberjan Derman and Albert Ali Salah, “Continuous Real-Time Vehicle Driver Authentication Using Convolutional Neural Network Based Face Recognition”, 13th IEEE International Conference on Automatic Face & Gesture Recognition, 2018 [8 [Fay14 Ayham Fayyoumi, Anis Zarrad, “Novel Solution Based on Face Recognition to Address Identity Theft and Cheating in Online Examination Systems”, Advances in Internet of Things, Vol.4, pp.5-12, 2014 [9] [Gui17] Francisco D Guillen-Gamez, “Biometrics and education: a review about facial authentication software for the identification and verification of students who use 66 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội virtual learning platform (LMS)”, Advances in Educational Technology and Psychology, pp.1-8, Clausius Scientific Press, Canada, 2017 [10] [Han18] Chunrui Han, Shiguang Shan, Meina Kan, Shuzhe Wu, and Xilin Chen, “Face Recognition with Contrastive Convolution”, European Conference on Computer Vision: Computer Vision – ECCV, pp.120-135, 2018 [11 [Kam17 Patrik Kamencay, Miroslav Benco, Tomas Mizdos and Roman Radil, “A New Method for Face Recognition Using Convolutional Neural Network”, Digital Image Processing and Computer Graphics, Vol 15, No 4, pp.663-672, 2017 [12 [Moh18 Hoda Mohammadzade, Amirhossein Sayyafan, Benyamin Ghojogh, “PixelLevel Alignment of Facial Images for High Accuracy Recognition Using Ensemble of Patches”, Journal of the Optical Society of America, A.35(7), 2018 [13] [Par15] Omkar M Parkhi, Andrea Vedaldi, Andrew Zisserman, “Deep Face Recognition”, University of Oxford, 2015 [14 [Phi15 James Philbin, Florian Schroff, Dmitry Kalenichenko, “FaceNet: A Unified Embedding for Face Recognition and Clustering”, IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015 [15] [San18] Kevin Santoso, Gede Putra Kusuma, Kevin Santoso, Gede Putra Kusuma, “Face Recognition Using Modified OpenFace”, 3rd International Conference on Computer Science and Computational Intelligence, Procedia Computer Science, No.135, pp.510–517, 2018 [16 [Saw18 Sonali Sawardekar, Sowmiya Raksha Naik, “Facial Expression Recognition using Efficient LBP and CNN”, International Research Journal of Engineering and Technology (IRJET), e-ISSN: 2395-0056, Volume: 05, Issue: 06, p-ISSN: 2395-0072, pp.2273-2277, 2018 [17 [Sya14 R Syafeeza et al., “Convolutional Neural Network for Face Recognition with Pose and Illumination Variation”, International Journal of Engineering and Technology (IJET), pp.44-57, 2014 [18 [Olo18 Muhtahir O Oloyede et al., “Improving Face Recognition Systems Using a New Image Enhancement Technique, Hybrid Features and the Convolutional Neural Network”, IEEE Access, Vol 6, pp 75181-75191, 2018 [19] [Cui17] Li Cuimei, Qi Zhiliang, Jia Nan and Wu Jianhua, “Human face detection algorithm via Haar cascade classifier combined with three additional classifiers”, 13th IEEE International Conference on Electronic Measurement & Instruments, pp.483-487, 2017 [20] [Sel17] Ramprasaath R Selvaraju et al., “Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization”, IEEE International Conference on Computer Vision (ICCV), Electronic ISSN: 2380-7504, 2017 [21 [Tai14 Yaniv Taigman et al., “DeepFace: Closing the Gap to Human-Level Performance in Face Verification”, IEEE Conference on Computer Vision and Pattern Recognition, e-ISSN: 1063-6919, 2014 67 ... vực nhận dạng khuôn 19 Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội mặt nhận quan tâm nghiên cứu lớn từ nhà khoa học nhằm... nhận dạng khuôn mặt, thử nghiệm cổng vào nhà trường Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội I.5 Phƣơng pháp nghiên... Nhận dạng khuôn mặt dựa phương pháp học sâu mạng nơron ứng dụng định danh cán bộ, giảng viên Trường Đại học Mở Hà Nội Tại nơron, hàm tổng đầu vào () tổng tích trọng số liên kết liệu vào nơron,