Nghiên cứu và ứng dụng mạng nơron tích chập trong nhận dạng khuôn mặt có khẩu trang TT

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Đặng Đình Nghĩa NGHIÊN CỨU VÀ ỨNG DỤNG MẠNG NƠ RON TÍCH CHẬP TRONG NHẬN DẠNG KHN MẶT CĨ KHẨU TRANG Chun ngành: Mã số : KHOA HỌC MÁY TÍNH 8.48.01.01 LUẬN VĂN THẠC SỸ KỸ THUẬT (Theo định hướng ứng dụng) TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI – NĂM 2022 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS Nguyễn Đình Hóa……………………… …………… Phản biện 1: TS Hồng Xuân Dậu Phản biện 2: PGS TS Đỗ Trung Tuấn………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: 08 00 ngày 15 tháng 01 năm 2022 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Công nghệ Bưu Viễn thơng MỞ ĐẦU Nhận dạng khn mặt ứng dụng rộng rãi nhiều lĩnh vực đời sống lĩnh vực An ninh với giải pháp Kiểm soát vào, Quản lý định danh cá nhân, Giám sát trụ sở…, lĩnh vực cung ứng Dịch vụ Chăm sóc khách hàng, Bán hàng, Xử lý toán…, lĩnh vực Quản trị Doanh nghiệp với giải pháp chấm công/điểm danh, Xác thực truy cập hệ thống…Khi tiếp cận trước phát triển dựa kỹ thuật trích xuất so khớp đặc trưng khuôn mặt đầy đủ nên kể từ bùng phát đại dịch Covid -19, người dân khuyến cáo đeo trang để phịng chống dịch hầu hết giải pháp gặp khó khăn khơng nhận dạng có sai lệch lớn đối tượng nhận dạng phải đeo trang Vì lý luận văn này, tác giả tập trung vào việc nghiên cứu hoạt động mạng Nơ-ron tích chập (CNN) triển khai hệ thống nhận dạng khuôn mặt với dạng liệu đầu vào đa dạng, đồng thời cải tiến phương thức nhận dạng khn mặt có trang dựa đặc trưng phần cịn lại khn mặt đeo trang Nhận diện khn mặt có trang có ý nghĩa lớn mặt ứng dụng thực tiễn bối cảnh đại dịch Covid 19 diễn biến phức tạp nhiều nơi Nhận thức điều này, luận văn chọn đề tài là: “Nghiên cứu ứng dụng mạng Nơ-ron tích chập nhận diện khn mặt có trang” Bố cục luận văn bao gồm phần mở đầu, phần kết luận chương nội dung tổ chức sau: - - Chương 1: Tổng quan nhận dạng khuôn mặt Tổng quan mạng Nơ-ron, mạng Nơ-ron tích chập ứng dụng chúng tốn nhận dạng khn mặt Đề xuất phương pháp giải toán nhận dạng khn mặt có đeo trang dựa mạng Nơ-ron tích chập Chương 2: Nhận dạng khn mặt sử dụng mạng Nơ-ron tích chập Chương trình bày cấu trúc mạng Nơ-ron tích chập giải pháp nhận dạng khn mặt có đeo trang Phân tích mặt lý thuyết ưu điểm mạng Nơ-ron tích chập so với với kỹ thuật nhận dạng khuôn mặt khác Trình bày chi tiết bước triển khai hệ thống nhận dạng khn mặt có đeo trang sử dụng mạng Nơ-ron tích chập - Chương 3: Các kết thực nghiệm Nội dung chương trình bày tập liệu sử dụng, kịch thực nghiệm hệ thống Các kết đạt được, đánh giá so sánh với hệ thống nhận dạng khuôn mặt khác Chương TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT Trong chương này, luận văn giới thiệu cách tổng quan mạng Nơ-ron, mạng Nơ-ron tích chập, tổng quan tốn nhận dạng khn mặt Phương pháp giải tốn nhận dạng khn mặt có đeo trang Một số nghiên cứu liên quan đề cập đến chương 1.1 Tổng quan tốn nhận dạng khn mặt 1.1.1 Tổng quan Lý nên áp dụng nhận dạng khuôn mặt? Nhận dạng khn mặt giúp giải tốn nhận dạng cá nhân Mỗi cá nhân có đặc trưng khn mặt khác Hơn nữa, bối cảnh đại dịch covid hồnh hành, cần có phương pháp quản lý “khơng chạm” Vì vậy, tốn nhận dạng khn mặt ngày áp dụng rộng rãi lĩnh vực đời sống khác Các khó khăn gặp phải nhận dạng khn mặt Có nhiều phương pháp tiếp cận tốn nhận dạng khn mặt Nhưng tựu chung vấn đề độ xác tốc độ xử lý Một khuôn mặt trạng thái lý tưởng diện khơng bị che khuất hay thiếu sót phận mặt Trên thực tế, khn mặt khó đạt tiêu chuẩn vậy, thời kỳ covid trang vật dụng thiếu người Hơn nữa, khuôn mặt ln biến đổi theo thời gian nên địi hỏi thuật tốn cần có tính tổng qt hóa thật tốt Như vậy, vấn đề cần phải giải tìm phương pháp nhận dạng khuôn mặt đeo trang có độ xác cao tốc độ xử lý nhanh Mục tiêu đề tài, phương pháp sử dụng đóng góp đề tài Mục tiêu luận văn tìm hiểu phương pháp học sâu thử nghiệm phương pháp việc xây dựng giải pháp nhận dạng khn mặt có đeo trang Trong khn khổ nội dung, luận văn trình bày số phương pháp khó khăn hạn chế phương pháp Trình bày nhiều phương pháp có tên học sâu (deep learning) xử lý liệu đầu vào Mà cụ thể mạng Nơ-ron tích chập - CNN (convolutional neural network) Luận văn sử dụng liệu khuôn mặt công bố nhóm nghiên cứu Sau sử dụng mạng CNN để trích xuất đặc trưng khn mặt Dựa vào đặc trưng để nhận dạng khuôn mặt chủ thể 1.1.2 Các nghiên cứu có liên quan a Phương pháp sử dụng đặc trưng cứng (handcrafted) Sử dụng đặc trưng handcrafted nhận diện khuôn mặt giới thiệu vào năm 2013 hợp tác nhóm nghiên cứu thuộc Đại học Trung Quốc kết hợp với Microsoft Vì sử dụng thuật tốn trích xuất đặc trưng ảnh truyền thống nên số lượng phép tính tốn khơng q nhiều Do đó, dễ thấy thời gian dự đốn ưu điểm phương pháp Nhưng bù lại độ xác khơng cao điều kiện ảnh đầu vào có chất lượng khơng đủ tốt, ví dụ mờ, chói sáng, … Nguyên nhân trích xuất đặc trưng truyền thống phải đặt ngưỡng tham số trình rút đặc trưng ảnh Có thể tham số tốt với ảnh này, không tốt với ảnh khác b Phương pháp sử dụng mơ hình FaceNet FaceNet Google giới thiệu vào năm 2015, mơ hình mạng Nơ-ron huấn luyện 260 triệu ảnh khuôn mặt Học kết hợp face embedding không gian Euclidean để nhận dạng khuôn mặt FaceNet sử dụng mơ hình CNN kết hợp với Stochastic Grasdient Descent (SGD); standard backprop AdaGrad Sau qua mơ hình học sâu, nhóm tác giả nhận vector embedding Vector Embedding có chiều 128x128, đại diện cho khuôn mặt người Nhóm tác giả đưa vector embedding vào hàm mát Triplet Triplet loss thể hình sau hàm để giảm thiểu khoảng cách anchor giá trị positive, hai có nhận dạng tối đa hóa khoảng cách anchor positive nhận dạng khác c Phương pháp sử dụng mơ hình ArcFace ArcFace giới thiệu vào năm 2019 với việc sử dụng mạng ResNet làm backbone trích xuất đặc trưng khuôn mặt Đặc trưng khuôn mặt biểu diễn vector 512 chiều Mơ hình ArcFace đạt kết 99.83% tập liệu LFW 98.02% tập YTF, thấy mơ hình đạt độ xác cao, gần tiệm cận so với người ArcFace đề xuất sử dụng Additive Margin Loss, cải tiến dựa softmax loss Tác giả so sánh loss sử dụng báo hiệu nhiều so với phương pháp trước Tính hiệu quả: ArcFace đạt kết tốt 10 liệu tiếng tốn nhận diện khn mặt, bao gồm tập liệu ảnh lớn tập liệu video Tính dễ sử dụng: ArcFace cần vài dịng code dễ dàng để triển khai tảng học sâu như: MxNet, Pytorch Tensorflow Hơn nữa, ArcFace không cần kết hợp thêm với loại hàm mát khác để có hiệu suất ổn định dễ dàng hội tụ hầu hết tập liệu Tính đơn giản huấn luyện: ArcFace có độ phức tạp tính tốn khơng đáng kể q trình huấn luyện Các GPU dễ dàng hỗ trợ hàng triệu danh tính để huấn luyện mơ hình áp dụng chiến lược song song cho liệu với nhiều danh tính 1.2 Tổng quan mạng Nơ-ron nhân tạo, mạng Nơ-ron tích chập 1.2.1 Tổng quan mạng Nơ-ron nhân tạo a Tổng quan Một móng neural network (mạng Nơ-ron) Deep learning perceptron learning algorithm (hoặc gọn perceptron) Perceptron 12 1998, mạng dùng cho phân loại ảnh, mà cụ thể phân loại chữ số Mạng số ngân hàng thời sử dụng để nhận dạng chữ số viết tay có tờ séc, ảnh đầu vào mạng ảnh xám với độ phân dải ảnh 32x32 pixel Mạng AlexNet (2012): Mạng AlexNet có kiến trúc gần tương tự LeNet sâu (có nhiều layer hơn), nhiều filters layer hơn, Convolution Layer xếp chồng ZFNet (2013) : ILSVRC năm 2013, kiến trúc mạng giành chiến thắng biến thể mạng CNN, biết đến ZFNet 1.3 Đề xuất phương pháp nhận diện khuôn mặt có đeo trang Các kiến trúc mạng Nơ-ron tích chập cho kết tốt với tốn liên quan đến nhận dạng hình ảnh Vì vậy, tác giả sử dụng mạng Nơ-ron tích chập cho tốn nhận dạng khn mặt có đeo trang Mạng Nơ-ron tích chập thuật tốn ArcFace mục đích để trích xuất đặc trưng khn mặt Nhưng hệ thống nhận diện khn mặt có đeo trang nhiều bước khác trước rút đặc trưng Trong 13 bước tiền xử lý ảnh trước đó, luận văn phần lớn sử dụng mạng Nơ-ron làm tảng để xử lý ảnh Vì phương pháp sử dụng mạng cho kết tốt điều kiện hình ảnh thu chất lượng không tốt học với nhiều liệu trước Bên cạnh thuật tốn vấn đề liệu khn mặt có đeo trang quan trọng để đạt mơ hình có kết nhận diện tốt, có tính tổng qt hóa cao cần phải có thật nhiều liệu Hiện hầu hết liệu public ảnh khuôn mặt thông thường người, cần có phương pháp tạo liệu khuôn mặt đeo trang Việc tự thu thập khơng khả thi, để huấn luyện mạng nhận diện khuôn mặt tốt cần số ảnh khuôn mặt lên đến đơn vị triệu Do đó, tác giả sử dụng thuật tốn sinh ảnh khuôn mặt đeo trang từ ảnh khuôn mặt thông thường Thuật toán cách thực trình bày chi tiết phần tạo xử lý liệu luận văn 1.4 Kết chương 14 Chương NHẬN DẠNG KHUÔN MẶT SỬ DỤNG MẠNG NƠ-RON TÍCH CHẬP Trong chương nội dung luận văn giới thiệu cấu cấu trúc mạng Nơ-ron tích chập giải pháp nhận dạng khn mặt có đeo trang Các khâu hệ thống nhận dạng khn mặt có đeo trang sử dụng mạng Nơ-ron tích chập 2.1 Kiến trúc mạng Nơ-ron tích chập giải pháp nhận dạng khn mặt có đeo trang Trong trình phát triển kiến trúc mạng Nơ-ron tích chập đại (Convolutional Neural Network – viết tắt CNN), ResNet kiến trúc mạng CNN bật, có lợi kích thước mơ hình độ xác 2.2 Ưu điểm mạng Nơ-ron tích chập so với phương pháp khác Các phương pháp truyền thống thường sử dụng trích chọn đặc trưng hand-craft mơ tả phần trên, nhiên phương pháp truyền thống lại có nhiều hạn chế Trong trường hợp hình ảnh chất lượng khơng đủ tốt, ví dụ bị mờ, bị chói sang đặc trưng 15 khn mặt thu bị ảnh hưởng Gần đây, với phát triển mơ hình mạng Nơ-ron nhân tạo với chiều sâu lớn hay gọi Deep learning Các trích chọn đặc trưng mạng lại hiệu vượt bậc so với trích chọn đặc trưng truyền thống Các mơ hình học sâu có khả tổng quát hóa liệu tốt học từ nhiều ảnh với điều kiện khác nhau, làm tăng độ xác tốn nhận diện hình ảnh, cụ thể nhận diện khuôn mặt 2.3 Hệ thống nhận dạng khuôn mặt có đeo trang Một hệ thống nhận diện khn mặt gồm nhiều bước, chia thành hai phần tiền xử lý liệu đầu vào trích xuất đặc trưng phục vụ việc nhận dạng Bên cạnh việc nhận diện chủ thể đeo trang hệ thống cần đảm bảo độ xác nhận dạng khơng đeo trang Về hệ thống có bước hệ thống nhận dạng bình thường có thêm phần kiểm tra trang khuôn mặt để toán đạt kết tối ưu Các pha bao gồm: 1, Kiểm tra khn mặt đeo trang 2, Xác định vị trí khn mặt ảnh 3, Tách vùng ảnh khuôn mặt chỉnh lại khn mặt cho phù hợp 4, Trích xuất vector đặc trưng từ 16 ảnh khuôn mặt 5, Nhận diện khuôn mặt ứng với vector đặc trưng thu việc so khớp với vector sở liệu 2.3.1 Xác định khuôn mặt đeo trang Xác định khuôn mặt đeo trang bước đầu hệ thống, việc xác định trang mặt giúp cho luồng xử lý chương trình tối ưu tìm mơ hình trích chọn đặc trưng phù hợp 2.3.2 Xác định vị trí khn mặt ảnh Trải qua nhiều năm phát triền, nhà nghiên cứu phát triển nhiều phương pháp để xác định khuôn mặt từ đơn giản đến phức tạp Và quan trọng việc ảnh hưởng qua lại độ xác tốc độ detect (phát xác định vị trí) Có thể chia phương pháp detect thành loại detect dựa hand-craft feature (đặc trưng cứng) detect dựa feature trính chọn từ mạng CNN 2.3.3 Căn chỉnh lại khuôn mặt Sau phát xác định vị trí khn mặt, vùng khn mặt tách từ ảnh chứa khn mặt với hướng khuôn mặt khác trường hợp khác Vì việc chỉnh lại khn mặt 17 theo tham chiếu quy chuẩn cân thiết để nâng cao 2.3.4 Trích chọn đặc trưng phục vụ cho q trình nhận dạng Ảnh khn mặt sau chỉnh qua trích chọn đặc trưng mà đầu vector biểu thị cho khuôn mặt 2.3.5 Nhận dạng khuôn mặt Tùy vào ứng dụng thực tế mà việc nhận diện khn mặt phân loại thành tốn face verification hay face identification Face verification: tốn xác thực liệu ảnh có phải người không, ứng dụng nhiều tốn bảo mật thơng tin Face identification: khác với toán face verification, toán mục tiêu xác định danh tính khn mặt so với tập khuôn mặt 2.4 Kết chương 18 Chương CÁC KẾT QUẢ THỰC NGHIỆM Trong chương nội dung cuối này, luận văn tập trung vào việc trình bày tập liệu thử nghiệm, kịch kết thử nghiệm hệ thống 3.1 Tập liệu sử dụng kịch kiểm thử hệ thống 3.1.1 Thu thập liệu Để huấn luyện đánh giá mơ hình nhận diện khn mặt cần có liệu Luận văn sử dụng liệu công bố nhóm nghiên cứu giới 3.1.2 Xử lý liệu Các liệu công bố mà tiếp cận giới hầu hết ảnh khn mặt khơng đeo trang Do đó, để tiếp cận tốn nhận diện khn mặt có đeo trang cần có phương pháp tạo liệu khuôn mặt đeo trang 19 3.1.3 Bộ liệu đánh giá Đối với tốn nhận diện khn mặt nói chung, việc đánh giá mơ hình thường thực liệu ứng với nhóm chủng tộc khác nhau, ví dụ như: African, Caucasian, South Asian (Nam Á), East Asian (Đông Á), …, hay dựa đặc điểm liệu như: Easy (dễ), Medium (trung bình), Hard (khó); ….Trong luận văn này, để đánh giá mơ hình, cụ thể với người Việt Nam, tác giả sử dụng liệu COMASK20 – liệu thu thập bao gồm ảnh chân dung sinh viên Học viện Cơng nghệ Bưu Viễn thơng 3.2 Kết thực nghiệm đánh giá Hệ thống triển khai văn phịng thuộc Trung tâm Cơng nghệ thơng tin MobiFone, thấy với ngưỡng phù hợp mơ hình mạng hoạt động tốt với ảnh RGB đạt độ xác trung bình tới khoảng 91.3% 3.3 Kết chương 20 KẾT LUẬN Trên sở tìm hiểu tốn nhận dạng khn mặt có đeo trang sử dụng mạng Nơ-ron tích chập, luận văn đạt số kết sau: - Giới thiệu tổng quan lịch sử hình thành, kiến thức mạng Nơ-ron nhân tạo mạng Nơ-ron tích chập Về mạng Nơ-ron, luận văn làm rõ cấu trúc Nơ-ron nhân tạo, cách hoạt động thành phần Nơ-ron Ngoài ra, luận văn trình bày - mạng Nơ-ron tích chập, thành phần số kiến trúc mạng tiêu biểu Để dựa vào mà đưa hướng tiếp cận với toán nhận dạng khn mặt có trang Tìm hiểu số nghiên cứu liên quan nhận dạng khuôn mặt cách sử dụng phương pháp xử lý ảnh thông thường sử dụng thuật toán học sâu: toán nhận dạng khn mặt nói chung dựa việc trích chọn đặc trưng khn mặt - Trình bày phương pháp áp dụng mạng Nơ-ron tích chập cho tốn nhận dạng khn mặt có trang - - 21 Tiến hành thu thập xử lý liệu, chuẩn hóa liệu chuẩn bị cho training thử nghiệm đo tỉ lệ xác Xây dựng hệ thống nhận dạng khuôn mặt Bên cạnh kết đạt hạn chế cần phải khác phục: - - Việc nhận diện chủ thể chưa thực ổn định ảnh khn mặt khơng diện Số liệu chưa đủ nhiều đa dạng, ngun nhân dẫn đến tỉ lệ xác chưa cao Xử lý liệu chưa đáp ứng theo thời gian thực nên việc nhận diện bị chậm Kết chưa thực hoàn hảo đạt đến số chất lượng tốt định để đáp ứng yêu cầu đề độ xác yếu tố cân khác, phục vụ hướng tìm hiểu, triển khai nghiên cứu cơng nghệ nhận diện khn mặt Để phát triển tiếp tốn vấn đề liệu cần cải thiện nhiều nữa, bên cạnh thuật toán liên quan đến nhận diện khn mặt cịn sử dụng ảnh 3D Việc sử dụng ảnh 3D giúp thu đặc trưng khuôn mặt hiệu so với ảnh 2D Việc sử dụng ảnh 3D để 22 nhận dạng khn mặt có đeo trang hứa hẹn đạt kết tốt 23 24 25 26 ... quan nhận dạng khuôn mặt Tổng quan mạng Nơ-ron, mạng Nơ-ron tích chập ứng dụng chúng tốn nhận dạng khn mặt Đề xuất phương pháp giải tốn nhận dạng khn mặt có đeo trang dựa mạng Nơ-ron tích chập. .. 2: Nhận dạng khuôn mặt sử dụng mạng Nơ-ron tích chập Chương trình bày cấu trúc mạng Nơ-ron tích chập giải pháp nhận dạng khn mặt có đeo trang Phân tích mặt lý thuyết ưu điểm mạng Nơ-ron tích chập. .. trúc mạng Nơ-ron tích chập giải pháp nhận dạng khn mặt có đeo trang Các khâu hệ thống nhận dạng khn mặt có đeo trang sử dụng mạng Nơ-ron tích chập 2.1 Kiến trúc mạng Nơ-ron tích chập giải pháp nhận