HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - Nguyễn Thị Thủy NGHIÊN CỨU MƠ HÌNH HỌC SÂU ỨNG DỤNG VÀO BÀI TOÁN ĐIỂM DANH TẠI DOANH NGHIỆP Chuyên ngành: Hệ thống thơng tin Mã số: B21CHIS013 TĨM TẮT ĐỀ ÁN TỐT NGHIỆP THẠC SĨ HÀ NỘI - NĂM 2023 Đề án tốt nghiệp hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: Tiến sĩ Phan Thị Hà Phản biện 1: ……………………………………………………………… Phản biện 2: …………………………………………………………… Đề án tốt nghiệp bảo vệ trước Hội đồng chấm đề án tốt nghiệp thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: ngày tháng năm Có thể tìm hiểu đề án tốt nghiệp tại: TĨM TẮT ĐỀ ÁN Bài tốn nhận dạng toán thu hút quan tâm cộng đồng nghiên cứu tính ứng dụng cao vào toán thực tiễn Dạng toán trải dài qua nhiều lĩnh vực khác từ xử lý ảnh, xử lý âm đến xử lý ngôn ngữ tự nhiên toán phát triển học máy/học sâu Nhận diện gương mặt xếp vào nhóm tốn nhận dạng mục đích để xác định danh tính người sở liệu Nhận diện khuôn mặt ứng dụng để giám sát an ninh, đảm bảo an toàn xã hội nơi, đặc biệt số đơn vị/địa điểm cần mức độ an tồn mức bình thường như: quan cơng an, doanh trại qn đội, văn phịng cơng ty, chung cư cao cấp, … Nhận diện danh tính qua khn mặt không đặc biệt quan trọng ngành an ninh mà cịn áp dụng cho nhiều lĩnh vực khác như: điểm danh học sinh/sinh viên ngành giáo dục, giám sát trẻ nhỏ lớp học…Nhận diện khn mặt có hai yếu tố phát khn mặt ảnh nhận diện danh tính khn mặt Phát khn mặt có mặt nhiều thiết bị di động thơng minh, cịn muốn biết xem danh tính người từ thư viện ảnh ta dùng nhận diện khn mặt Để nhận dạng khuôn mặt, điều quan trọng phải phát khn mặt Tính đến nay, nhà nghiên cứu chưa thực đạt ưng ý việc giải khó khăn tốn cho kết hồn tồn Tuy nhiên, thành đạt tính đến thời điểm đủ để ứng dụng rộng rãi đem lại lợi ích cho đời sống xã hội Tuy cịn nhiều khó khăn, khơng thể phủ nhận tốn có sức hấp dẫn lớn, nhìn vào ứng dụng tuyệt vời sống cộng thêm niềm đam mê công nghệ đại, với khát khao chinh phục khám phá tri thức mẻ Nội dung gồm chương, sau: Chương 1: Tổng quan toán Chương giới thiệu tổng quan toán nhận dạng, toán điển hình lĩnh vực thị giác máy tính Được đánh giá toán cổ điển, nhiên để giải triệt để hiệu cịn vấn đề khó chưa đạt thành cơng hồn chỉnh Nói riêng nhận dạng nhận dạng khn mặt trường hợp cụ thể tốn nhận dạng, ln tồn khó khăn riêng Trên thực tế, có nhiều khn mặt giống đến mắt người cịn khó phân biệt phải dựa vào đặc điểm nhỏ khn mặt nhận dạng Hướng giải toán: Để nhận diện gương mặt có giai đoạn phát gương mặt (Face Detection) nhận diện gương mặt (Face Verifiaction) Các giai đoạn ứng dụng nhiều thuật tốn mơ hình khác Dựa vào yếu tố chính: tốc độ, xử lý, độ xác độ lớn mơ hình để lựa chọn mơ hình phù hợp Sau nghiên cứu lựa chọn mơ hình phù hợp đánh giá hiệu nhất, ta ứng dụng phát triển hệ thống nhận diện gương mặt dựa theo mơ hình lựa chọn Trong chương 1, nghiên cứu phương pháp học máy học sâu Phân nhánh Học máy bao gồm: Học có giám sát (Supervised learning), học khơng giám sát (Unsupervised learning), học bán giám sát (Semisupervised learning), học củng cố (Reinforcement learning) học sâu (Deep learning) Nghiên cứu kỹ phương pháp Học sâu, học sâu việc mô lại cách thức hoạt động não người với phần tử nơ ron Nếu học máy cần bước trích xuất đặc trưng từ liệu đầu vào học sâu tự động thực nhiệm vụ dựa liệu mà nhận Do đó, điểm khác biệt lớn học sâu so với học máy lượng liệu cần thiết để huấn luyện học sâu lớn nhiều Một số thuật tốn tiếng học sâu kể đến là: Mạng nơ ron tích chập (Convolutional neural network – CNN) mạng nơ ron tái tạo (Recurrent neural networks – RNN) Đồng thời nêu lên số ứng dụng điển hình việc ứng dụng Deep learning như: Ứng dụng xe tự động, mô nhận diện hình ảnh, trợ lý ảo tính dịch tự động Trên sở tổng quan, dựa sở lý thuyết chương 1, chương thực nghiệm tốn nhận diện khn mặt sử dụng phương pháp học sâu Chương 2: Thực nghiệm toán nhận diện khuôn mặt Trong chương này, đồ án vào thực nghiệm dựa sở lý thuyết trình chương trước Mục tiêu chương cài đặt thực nghiệm hệ thống, sở phát triển ứng dụng nhận diện khn mặt Các bước nhận diện khuôn mặt, bao gồm: Thực thu thập liệu Bước toán tiến hành thu thập liệu Dữ liệu toán bao gồm tập ảnh, ảnh chứa khn mặt định danh tương ứng khn mặt Đối với tốn nhận diện khuôn mặt, yêu cầu tập liệu ảnh là: chất lượng ảnh sắc nét, khn mặt to, rõ ràng, có chứa khn mặt người khuôn mặt không lệch q nhiều so với phương nhìn diện, ảnh phải có định danh tương ứng kèm, định danh phải có từ 50 ảnh trở lên, … Để tìm kiếm liệu khn mặt, ta thu thập mạng internet, nhiên khơng phải dễ dàng tìm kiếm nguồn ảnh tin cậy đáp ứng yêu cầu toán Đồ án có hướng giải sử dụng khn mặt người tiếng mạng, ảnh họ có chất lượng tốt hơn, dễ tìm chụp đa dạng bối cảnh khác Do đó, liệu ảnh tìm dễ dàng đớp ứng tiêu chuẩn chất lượng ảnh đầu vào Dữ liệu thu thập từ trang tìm kiếm Google, mục Image Tiền xử lý liệu Dữ liệu sau thu thập đủ số lượng, tiến hành kiểm tra loại bỏ ảnh không đạt chất lượng như: ảnh nhỏ, to, mờ nhịe, lóa sáng, hình ảnh chứa nhiều khuôn mặt, khuôn mặt không trực diện bị xoay q 15 độ, ảnh có chứa khn mặt kích thước khn mặt lại q nhỏ mờ, … vậy, cần phải loại bỏ ảnh không đạt yêu cầu Đối với ảnh không đạt yêu cầu tiến hành loại bỏ cách thủ cơng Sau q trình xử lý thủ cơng, số lượng ảnh đạt yêu cầu lại lưu vào thư mục nhãn dự án Trích xuất vecto đặc trưng Sau thực tiền xử lý ảnh, chọn lọc ảnh loại bỏ ảnh không đạt chất lượng, bước thực trích rút đặc trưng Đầu vào ảnh tương ứng với tên nhân vật, đầu vector đặc trưng tương ứng với ảnh Mỗi ảnh có vector đặc trưng riêng Số chiều vector 512, tương ứng với 512 giá trị vector đặc trưng Để có 512 giá trị thực bước sau: Bước 1: Phát khuôn mặt bước ảnh đầu vào, để phát khn mặt ta sử dụng thuật tốn RetinaFace Kết ta thu khung hình bao gồm khn mặt cần trích xuất đặc trưng Bước 2: Trích xuất vector đặc trưng, để thực việc ta tiến hành đưa ảnh qua mơ hình huấn luyện có tên Arcface, đầu vector đặc trưng khuôn mặt: Điểm danh khn mặt Sau thực trích rút vector đặc trưng, vector lưu vào file Khi điểm danh, hệ thống tải lại vector vào nhớ để thực việc điểm danh khuôn mặt Khi mở hệ thống điểm danh, hệ thống chụp lại chân dung người điểm danh Với khung hình này, hệ thống thực bước trích rút đặc trưng trình bày phần 3, bao gồm: Phát khuôn mặt trích xuất vector đặc trưng khn mặt Mỗi khuôn mặt mà hệ thống phát trích xuất thành vector đặc trưng riêng, sau thực phân loại khn mặt xem khn mặt thuộc người Một khn mặt chụp từ điện thoại có chưa có tập liệu ban đầu Vì vậy, ngồi nhãn người có tập liệu ra, hệ thống phải đưa nhãn “Checkin khơng thành công” (“Unknown”) cho khuôn mặt lạ Chương vào mô tả chi tiết cách thực nghiệm nhận diện khn mặt, để tốn có nhìn trực quan hơn, đồ án trình bày chi tiết ứng dụng điểm danh khuôn mặt chương 6 Chương 3: Xây dựng ứng dụng điểm danh nhận dạng khuôn mặt Trong chương 3, đồ án trình bày ứng dụng điểm danh nhận diện khn mặt tập đồn VNPT, mơ tả chức năng, công nghệ sử dụng ứng dụng Ứng dụng VnFace ứng dụng điểm danh nhận diện khuôn mặt, cho phép nhân viên điểm danh ra/vào công ty đảm bảo chấp hành quy định giấc nơi làm việc Qua giúp nâng cao chất lượng quản lý nhân sự, thúc đẩy nhân viên chấp hành nội quy công ty Dựa theo phân quyền hệ thống Nhân viên, Quản trị đơn vị hay Quản trị hệ thống thực chức tương ứng với quyền hạn Thể tổng quan kiến trúc ứng dụng, biểu đồ usecase thiết kế sở liệu ứng dụng Cuối kết ứng dụng, điểm danh hình thức qua Tablet Smart phone Sau điểm danh thành công người dùng nhận thông báo gửi kênh tích hợp ví dụ telegram Admin vào trang web quản trị để thống kê danh sách điểm danh đơn vị, phê duyệt từ chối ghi điểm danh qua Vnface remote giải khiếu nại ghi báo “checkin khơng hợp lệ” Ngồi admin cịn xem quản lý danh sách nhân viên đơn vị danh sách người lạ có database Sau trình vào thử nghiệm ứng dụng đơn vị, đưa kết đánh giá độ xác model từ lên phương án cải tiến phát triển thêm Tuy độ xác chưa đạt 100% theo đánh giá trình trải nghiệm ứng dụng phù hợp với nhu cầu quản lý điểm danh Công ty VNPT IT thuộc tập đồn Bưu viễn thơng Việt Nam