Nghiên cứu học sâu trong nhận dạng khuôn mặt ứng dụng cho bài toán điểm danh tự động học sinh (bản tóm tắt luận văn ngành khoa học máy tính)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Công Hịa NGHIÊN CỨU HỌC SÂU TRONG NHẬN DẠNG KHN MẶT ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG HỌC SINH KHOA HỌC MÁY TÍNH Chuyên ngành: Mã số: 8.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ HÀ NỘI - 2020 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS PHAN THỊ HÀ Phản biện 1: ………………………………………………………… Phản biện 2: ………………………………………………………… Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Công nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng 1 MỞ ĐẦU Đảng, Nhà Nước ta xác định “Giáo dục đào tạo quốc sách hàng đầu” để thực tốt mục tiêu, nhiệm vụ chiến lược này, việc ưu tiên ứng dụng công nghệ thông tin quản lý việc hỗ trợ hoạt động dạy - học vấn đề cấp bách, thể qua nhiều văn đạo Đảng, Nhà Nước Bộ giáo dục đào tạo Việc quản lý học sinh nhà trường phổ thơng hồn tồn dựa theo hình thức thủ công, tượng học sinh bỏ buổi học, bỏ tiết, ngồi học khơng lớp học, học sinh nhà trường gây cho công tác kiểm diện quản lý học sinh gặp nhiều khó khăn Hơn nữa, phụ huynh muốn giám sát xem có mặt trường, lớp hay không? nhu cầu lớn Học sâu phát triển, ứng dụng rộng rãi toán nhận dạng như: nhận dạng hình ảnh, nhận dạng giọng nói, xử lý ngơn ngữ tự nhiên … thu thành tựu to lớn với độ xác ngày cao Trong nhận dạng khn mặt để xác định danh tính, giao dịch, kiểm soát an ninh … ngày trở nên phổ biến Xuất phát từ thực tế trên, đề tài “nghiên cứu Học sâu nhận dạng khuôn mặt ứng dụng cho toán điểm danh tự động học sinh” với hy vọng ứng dụng thành cơng mơ hình Học sâu đại việc xây dựng hệ thống điểm danh tự động dựa vào nhận dạng khuôn mặt, đặc biệt ứng dụng cụ thể vào điểm danh tự động học sinh lớp học trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội Mục tiêu luận văn nghiên cứu học sâu nhận dạng khuôn mặt ứng dụng cho tốn điểm danh tự động q trình quản lý học sinh nhà trường phổ thông nhằm nâng cao chất lượng quản lý học sinh công tác giáo dục đào tạo nhà trường Đối tượng nghiên cứu luận văn: Mơ hình mạng nơron tích chập tốn điểm danh tự động Phạm vi nghiên cứu luận văn: Xây dựng hệ thống điểm danh tự động học sinh lớp học trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội Nội dung luận văn trình bày ba chương với nội dung sau: Chương 1: Tổng quan toán điểm danh tự động Nội dung chương tìm hiểu khái quát xử lý ảnh toán nhận dạng khn mặt 2 Chương 2: Tìm hiểu học sâu mơ hình mạng nơron tích chập Nội dung chương tìm hiểu tổng quan học máy, Học sâu, mơ hình mạng nơron tích chập (CNN) cách hoạt động, cấu trúc việc huấn luyện mơ hình mạng nơron tích chập Chương 3: Nhận dạng khn mặt ứng dụng cho tốn điểm danh tự động Nội dung chương trình bày chi tiết bước xây dựng hệ thống điểm danh tự động dựa nhận dạng khuôn mặt 3 Chương TỔNG QUAN VỀ BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG Chương tập trung vào khái niệm xử lý hình ảnh, giới thiệu tốn nhận dạng khn mặt bao gồm ứng dụng, tầm quan trọng khó khăn trở ngại áp dụng tốn nhận dạng khn mặt, cuối phương pháp nhận dạng khuôn mặt Chương vai trò tầm quan trọng toán điểm danh tự động học sinh trường THPT Thanh Oai B, Huyện Thanh Oai, Hà Nội 1.1 Tổng quan xử lý ảnh 1.1.1 Một số khái niệm 1.1.2 Các vấn đề xử lý ảnh a) Điều chỉnh mức xám ảnh b, Trích chọn đặc điểm c, Nhận dạng: d, Nén ảnh 1.1.3 Ứng dụng xử lý ảnh thực tế  Xử lý phục hồi hình ảnh  Lĩnh vực y tế  UV imaging  Truyền mã hóa  Thị giác máy tính robot  Phát vật cản  Công nghệ nhận dạng 1.2 Bài tốn nhận dạng khn mặt 1.2.1 Khái niệm 1.2.2 Một số trở ngại công nghệ nhận dạng khn mặt  Góc chụp khn mặt: Chụp thẳng, chụp nghiêng, chụp hất lên …  Một số thành phần xuất thêm không xuất khuôn mặt như: đeo kính, đeo trang, trang điểm, mọc râu … làm cho việc nhận dạng khn mặt thiếu xác  Khi người thể biểu cảm như: cười, khóc, nhăn mặt … ảnh hưởng đến kết nhận dạng 4  Ngoài số tác nhân khác gây ảnh hưởng đến kết như: Ảnh sáng, mờ, chất lượng ảnh …  Nền ảnh phức tạp Hình 1.1: Nền ảnh phức tạp  Màu sắc da mặt 1.2.3 Tầm quan trọng tốn nhận dạng khn mặt 1.2.4 Các ứng dụng đặc trưng tốn nhận dạng khn mặt  Ứng dụng giám sát an ninh  Ứng dụng ngành bán lẻ, dịch vụ  Ứng dụng doanh nghiệp, công sở  Ứng dụng phủ  Ứng dụng trường học  Ứng dụng lĩnh vực Y tế - sức khỏe  Ứng dụng thiết bị IOT  Phân tích cảm xúc 1.2.5 Xây dựng hệ thống nhận dạng khn mặt Một hệ thống nhận dạng khn mặt khái quát chung gồm có bước sau: Ảnh tĩnh Phát khn mặt Trích rút đặc trưng Nhận dạng khn mặt Hình 1.2: Hệ thống nhận dạng khuôn mặt 1.2.6 Một số phương pháp nhận dạng khn mặt Dựa vào tiêu chí mà người ta chia thành nhiều phương pháp nhận dạng khuôn mặt phổ biến loại sau: + Phương pháp tiếp cận toàn cục + Phương pháp tiếp cận dựa đặc điểm cục 5 + Phương pháp lai 1.3 Vai trò tầm quan trọng toán điểm danh tự động học sinh trường THPT Thanh Oai B, Huyện Thanh Oai, Hà Nội Điểm danh công việc tiến hành hàng ngày thường xuyên buổi học nhà trường phổ thơng có trường THPT Thanh Oai B, huyện Thanh Oai, Hà Nội  Thực trạng: + Học sinh thường đến lớp muộn, nghỉ học bỏ học buổi bỏ tiết học + Hình thức điểm danh thủ cơng: Giáo viên đầu tiết học đếm sĩ số lớp ghi tên học sinh vắng tiết học vào Sổ đầu + Cuối tuần, cuối tháng, cuối học kỳ, cuối năm học giáo viên chủ nhiệm phải tổng hợp ngày nghỉ học sinh để xếp thi đua xét lên lớp cho học sinh Công việc thời gian, thiếu khách quan, thiếu xác  Giải pháp: Cần có hệ thống điểm danh tự động, phòng lắp thiết bị điểm danh cửa phòng hoc Giáo vụ, Ban giám hiệu theo dõi kết điểm danh học sinh vào thời gian buổi học Cuối tháng, cuối kỳ tổng hợp gửi danh sách cho giáo viên chủ nhiệm 1.4 Kết luận chương Trong chương 1, luận văn trình bày khái quát xử lý ảnh đặc biệt trình bày tương đối chi tiết nhận dạng khn mặt ứng dụng cho tốn luận văn “Điểm danh tự động học sinh” Trong chương tiếp theo, luận văn trình bày sơ lược Học máy hướng người đọc đến phần quan trọng Học sâu 6 Chương TÌM HIỂU VỀ HỌC SÂU VÀ MƠ HÌNH MẠNG NƠRON TÍCH CHẬP Kỹ thuật Học sâu phạm trù nhỏ lĩnh vực Học máy, Học sâu tập trung giải vấn đề liên quan đến mạng thần kinh nhân tạo (Artificial Neural Network ANN) nhằm nâng cấp công nghệ nhận dạng giọng nói, thị giác máy tính xử lý ngơn ngữ tự nhiên Bởi chương này, luận văn trình bày khái quát Học máy, sâu vào kỹ thuật Học sâu số thuật toán ứng dụng thực tế, đồng thời trình bày chi tiết mơ hình mạng nơron tích chập (CNN) cách hoạt động, cấu trúc việc huấn luyện mơ hình CNN 2.1 Tổng quan Học máy (Machine learning) Học máy công nghệ phát triển từ lĩnh vực trí tuệ nhân tạo Các thuật tốn Học máy chương trình máy tính có khả học hỏi cách hồn thành nhiệm vụ cách cải thiện hiệu suất theo thời gian 2.2 Các thuật toán Học máy 2.2.1 Học có giám sát (supervised learning) 2.2.2 Học khơng giám sát (unsupervised learning) 2.2.3 Học bán giám sát (Semi-Supervised Learning) 2.2.4 Học củng cố (Reinforcement learning) 2.3 Tìm hiểu Học sâu (Deep learning) 2.3.1 Học sâu gì? 2.3.2 Lịch sử Học sâu 2.3.3 Tổng quan mạng nơron nhân tạo a) Tìm hiểu mạng nơron nhân tạo b) Kiến trúc ANN Kiến trúc chung ANN mô tả hình 2.4 gồm lớp: Lớp đầu vào (Input Layer), lớp ẩn (Hidden Layer) lớp đầu (Ouput Layer) 7 Hình 2.1: Kiến trúc phần ANN c) Huấn luyện ANN - Lan truyền ngược (back-propagation) phương pháp huấn luyện mạng ANN với mục tiêu xác định trọng số tối ưu cho mạng thông qua việc lặp lặp lại trình: lan truyền tiến (tính giá trị đầu mạng từ tính sai số giá trị với giá trị mong muốn) Tiếp theo trình lan truyền ngược sai số (dựa vào sai số cập nhật lại trọng số) +) Lan truyền tiến: Dữ liệu từ tập huấn luyện thông qua tầng nhập chuyển vào tầng Tại neural tầng tiến hành thực việc tính tốn thơng qua hàm kết hợp, giá trị sau truyền qua hàm kích hoạt đầu neural +) Lan truyền ngược sai số: Dựa sai số tính từ q trình lan truyền tiến, mạng cập nhật lại trọng số theo nguyên tắc lan truyền ngược sai số Trong kỹ thuật áp dụng q trình cập nhật trọng số gradient descent Như vậy, để huấn luyện hay để mạng học từ liệu mạng thực bước lan truyền tiến lan truyền ngược sai số Quá trình thực sai số đạt ngưỡng thực qua số bước lặp người huấn luyện mạng đặt d) Thuật toán lan truyền ngược (Back – Propagation) e) Giảm lỗi cho mạng  Underfitting  Overfitting (quá khớp) 2.3.4 Ứng dụng Học sâu a) Nhận dạng giọng nói b) Dịch thuật c) Ơ tơ tự vận hành hay máy bay không người lái 8 d) Tô màu, phục chế hình ảnh e) Nhận dạng khn mặt f) Y học dược phẩm g) Dịch vụ giải trí mua sắm 2.4 Tìm hiểu CNN [2] 2.5 Cấu trúc CNN CNN kiểu mạng ANN truyền thẳng, kiến trúc gồm nhiều thành phần ghép nối với theo cấu trúc nhiều lớp là: Convolution, Pooling, ReLU Fully connected 2.5.1 Lớp tích chập (Convolution) 2.5.2 Lớp phi tuyến Relu 2.5.3 Lớp Pooling 2.5.4 Lớp Fully-connected (FC) 2.6 Huấn luyện mơ hình CNN 2.7 Tìm hiểu Multi-task Cascaded Convolutional Networks 2.7.1 Multi-task Cascaded Convolutional Networks gì? Multi-task Cascaded Convolutional Networks viết tắt MTCNN Nó bao gồm mạng CNN xếp chồng đồng thời hoạt động detect khn mặt Mỗi mạng có cấu trúc khác đảm nhiệm vai trò khác task Đầu MTCNN vị trí khn mặt điểm mặt như: mắt, mũi, miệng… 2.7.2 MTCNN Workflow a Mạng P-Net b Mạng R-Net c Mạng O-Net 2.7.3 Lý lựa chọn MTCNN để detect khuôn mặt 2.8 Tìm hiểu mơ hình ResNet 2.8.1 Giới thiệu mơ hình ResNet 2.8.2 Điểm bật mơ hình ResNet 2.8.3 Kiến trúc ResNet ResNet có kiến trúc gồm nhiều residual block, ý tưởng skip layer cách thêm kết nối với layer trước Ý tưởng residual block feed forward x(input) qua số layer conv-max-conv, ta thu F(x) sau thêm x vào H(x) = F(x) + x Model dễ học thêm feature từ layer trước vào Hình 2.2: Một khối xây dựng ResNet 2.8.4 Mơ hình ResNet Mơ hình chi tiết ResNet-101 Hình 2.3: Mơ hình ResNet-101 2.9 Kết luận chương Trong chương 2, luận văn trình bày nội dung sau: + Khái quát học máy, đặc biệt Học sâu Qua luận văn trình bày sơ lược số mơ hình mạng Học sâu ứng dụng chúng + Trình bày tương đối chi tiết mơ hình, hoạt động mạng nơron tích chập CNN cách xây dựng Bên cạnh đó, luận văn trình bày hai mơ hình CNN sử dụng để xây dựng hệ thống nhận dạng khuôn mặt MTCNN ResNet Sau tìm hiểu học máy cách xây dựng đánh giá mơ hình học máy nội dung kiến thức liên quan đến xử lý hình ảnh mạng CNN, chương luận văn trình bày chi tiết trình xây dựng hệ thống nhận dạng khuôn mặt ứng dụng toán điểm danh tự động học sinh xây dựng ứng dụng quản lý việc điểm danh phần mềm 10 Chương NHẬN DẠNG KHUÔN MẶT ỨNG DỤNG CHO BÀI TOÁN ĐIỂM DANH TỰ ĐỘNG Nội dung chương tập trung vào xây dựng mơ hình nhận dạng khn mặt, phương pháp huấn luyện đánh giá mơ hình Bên cạnh chương giới thiệu công nghệ sử dụng, phương pháp xây dựng liệu huấn luyện Cuối trình bày nghiên cứu thiết kế phần cứng cho thiết bị điểm danh cách tối ưu luồng xử lý 3.1 Xây dựng hệ thống nhận dạng khuôn mặt 3.1.1 Công nghệ sử dụng  MXNet  SQLite  Thuật toán k-NN (K-Nearest Neighbors) Đầu mơ hình nhận dạng khuôn mặt sử dụng mạng Resnet sau bỏ tầng Sofmax activation vector 128 chiều, nghĩa khn mặt trích xuất đặc điểm tổng hợp vector Đối với sở liệu khuôn mặt học sinh, học sinh có 3-4 ảnh chụp khn mặt hệ thống Vấn đề đặt sử dụng thuật toán để so khớp đưa ảnh chụp khuôn mặt vào phần mềm xác định khn mặt Để giải vấn đề này, tơi nhận thấy thuật tốn k-NN hiệu đảm bảo yêu cầu đề K-NN thực chất thuật toán để phân lớp đối tượng dựa vào khoảng cách gần đối tượng cần xếp lớp Tập liệu huấn luyện điểm liệu gán nhãn, đưa vào điểm liệu cần phân lớp, thuật toán tính độ giống điểm liệu với điểm liệu liệu huấn luyện, sau lấy trung bình độ giống với lớp liệu tương ứng Giá trị trung bình lớn nghĩa điểm liệu gần với điểm liệu lớp đó, khả thuộc vào lớp cao Và giá trị trung bình lớn nghĩa điểm liệu có khả thuộc vào lớp Tuy nhiên ta cần phải xác định ngưỡng tối thiểu (threshold) để đảm bảo điểm liệu khơng thuộc vào lớp nằm ngưỡng tối thiểu Áp dụng k-NN vào toán này, học sinh sở liệu có ảnh học sinh coi lớp liệu, ảnh lớp liệu coi điểm liệu Như lớp liệu gồm tối đa điểm liệu Lặp qua học sinh, ta tính độ giống vector đặc điểm ảnh học sinh đưa vào với vector đặc điểm 11 khuôn mặt học sinh sở liệu, sau lấy giá trị trung bình [3] Kết thúc lặp ta có giá trị độ giống trung bình ảnh đưa vào với khn mặt học sinh Dựa vào giá trị ta xác định khn mặt học sinh dk  n n  sim ilar ( q , y ) (3-1) i i 1 Trong đó: dk: Là trung bình độ giống vector q với khuôn mặt lớp k (trường hợp n = ) q: vector đặc điểm khuôn mặt đưa vào hệ thống yi: Vector khuôn mặt thứ i lớp k Để đo độ giống (similar) vector sử dụng khoảng cách Euclid: m  (q sim ilar ( q , y )  j  yj) (3-2) j 1 Viết gọn lại: dk  n  m i 1  j 1     q n j   yj    (3-3) Để xác định khuôn mặt đưa vào học sinh nào, ta tiến hành lấy giá trị dk lớn theo công thức sau: (3-4) Để tránh trường hợp người sở liệu sử dụng hệ thống điểm danh, ta lấy giá trị trung bình độ giống lớn để kết luận dẫn đến việc nhận nhầm mà cịn phải so sánh với giá trị ngưỡng (threshold) để đảm bảo giá trị độ giống phải nhỏ ngưỡng  Thiết kế giao diện thiết bị QtDesigner : 3.1.2 Xây dựng hệ thống nhận dạng khuôn mặt Luận văn sử dụng mơ hình ResNet (đã tìm hiểu chương 2) để trích xuất đặc trưng khn mặt Sau tơi trình bày cách áp dụng mơ hình Resnet- 101 để thực việc nhận dạng khn mặt: 12 Hình 3.1: Các bước thực nhận diện khuôn mặt sử dụng Resnet-101 Camera chụp ảnh học sinh sau ảnh đưa qua mạng MTCNN để mạng phát vị trí trích xuất khn mặt Một ảnh đầu vào có nhiều khn mặt Ảnh khn mặt chỉnh kích thước chuẩn 224 x 224px để giảm số chiều vector Ảnh lúc trở thành ma trận 224 x 224 x [2] Sau tiếp tục đưa ma trận vào mạng Resnet để trích xuất đặc điểm khn mặt Sau qua mơ hình ta nhận features vector 128 chiều Với vector 128 chiều ta sử dụng để làm để xác định độ tương đồng khn mặt đưa vào thuật tốn phân lớp KNN để gán nhãn cho khuôn mặt [7] 3.1.3 Xây dựng liệu huấn luyện Dữ liệu huấn luyện chia làm loại: Dữ liệu thu thập từ internet liệu tự xây dựng Trong phạm vi luận văn sử dụng liệu sau đây: • ORL • Cơ sở liệu khn mặt GTAV • Cơ sở liệu khn mặt Georgia Tech Face FEI • Các khn mặt gắn nhãn tự nhiên (LFW) • Các khn mặt dán nhãn chuẩn hóa diện tự nhiên (F_LFW) • Dữ liệu tự xây dựng (hình 3.2): Dữ liệu tự xây dựng gồm 300 ảnh chụp học sinh khối 11 trường THPT Thanh Oai B với góc chụp khác thẳng, nghiêng (± 30º, ± 45º, ± 60º) 3.1.4 Huấn luyện mơ hình nhận dạng khn mặt a) Hàm mát 13 Để phân tích giống hai hình ảnh, cần biến đổi hình ảnh đầu vào thành hình biểu diễn nhỏ hơn, chẳng hạn vectơ Biểu diễn thường gọi embedding Chúng ta cần xây dựng embedding vector để chúng có thuộc tính sau:  Hai hình ảnh giống tạo hai embeeding vector khoảng cách toán học chúng nhỏ  Hai hình ảnh khác tạo hai embeeding vector khoảng cách toán học chúng lớn Để làm điều đó, cần huấn luyện mạng nơ-ron để tạo embedding vector tốt chứa thuộc tính Để so sánh khn mặt, 'hai hình ảnh giống nhau' mà tơi tham chiếu khn mặt hai ảnh khác (tạo embedding vector có khoảng cách ngắn) 'hai hình ảnh khác nhau' hai khn mặt khác nhau, tạo embedding vector khoảng cách lớn Như số chiều vector nhúng đủ? Ý tưởng việc encode hình ảnh khn mặt vector đầu phải có khả biểu diễn thuộc tính đủ để phân biệt khn mặt với khuôn mặt khác Để giải vấn đề này, chiều dài vector coi tham số cần tìm Với mạng Resnet-50, tơi lựa chọn 128 số để biểu diễn thuộc tính khn mặt tương ứng với vector đầu 128 chiều Có hai cách để tìm tham số cho mạng CNN: Thứ nhất, đơn giản coi phần bên phải hệ thống phân loại nhị phân với Y = ảnh đầu vào thuộc lớp Y = ảnh đầu vào không thuộc lớp X Y 14 1 Hình 3.2: Mơ tả phương pháp tính độ lỗi Cách thứ 2, muốn so sánh hình ảnh có khoảng cách embedding vector nhỏ ảnh giống khoảng cách lớn ảnh khác [4] Như vậy: o Một ảnh đầu tiên, gọi Anchor (neo) o Một hình ảnh từ lớp với Anchor, gọi Positive o Một hình ảnh từ lớp khác với Anchor, gọi Negative Anchor Positive Negative Hình 3.3: Mơ tả phương pháp tính độ lỗi dựa điểm neo Với ba ba hình ảnh này, (gọi vector embeeding ảnh A, P N), mơ hình cần phải đưa : Khoảng cách(A, P)