Ứng dụng trí tuệ nhân tạo tự động nhận diện khách hàng qua khuôn mặt – thử nghiệm tại học viện ngân hàng

NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG - ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP CƠ SỞ NĂM 2020 ỨNG DỤNG TRÍ TUỆ NHÂN TẠO TỰ ĐỘNG NHẬN DIỆN KHÁCH HÀNG QUA KHUÔN MẶT – THỬ NGHIỆM TẠI HỌC VIỆN NGÂN HÀNG MÃ SỐ: DTHV.34/2020 CHỦ NHIỆM ĐỀ TÀI: TS Chu Thị Hồng Hải HÀ NỘI – 2020 Tai ngay!!! Ban co the xoa dong chu nay!!! 17014129718811000000 NGÂN HÀNG NHÀ NƯỚC VIỆT NAM HỌC VIỆN NGÂN HÀNG - ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP CƠ SỞ NĂM 2020 ỨNG DỤNG TRÍ TUỆ NHÂN TẠO TỰ ĐỘNG NHẬN DIỆN KHÁCH HÀNG QUA KHUÔN MẶT – THỬ NGHIỆM TẠI HỌC VIỆN NGÂN HÀNG MÃ SỐ: DTHV.34/2020 Chủ nhiệm đề tài: TS Chu Thị Hồng Hải Thư ký đề tài: ThS Trần Thị Huế Thành viên tham gia: TS Nguyễn Văn Thủy ThS Ngô Thùy Linh ThS Triệu Thu Hương HÀ NỘI – 2020 DANH SÁCH THÀNH VIÊN THAM GIA ĐỀ TÀI TT Thành viên Vai trò Chức vụ, quan công tác Chủ nhiệm Giảng viên – Khoa HTTTQL, HVNH TS Chu Thị Hồng Hải Ths Trần Thị Huế TS Nguyễn Văn Thủy Thành viên Chuyên viên – Phòng Đào tạo, HVNH Ths Ngô Thùy Linh Thành viên Giảng viên – Khoa HTTTQL, HVNH Ths Triệu Thu Hương Thành viên Giảng viên – Khoa HTTTQL, HVNH Thư ký Giảng viên – Khoa HTTTQL, HVNH DANH MỤC CÁC TỪ VIẾT TẮT Ý nghĩa Từ viết tắt Tên tiếng Anh LBP Local Binary Pattern Mẫu nhị phân cục PCA Principle Components Analysis Phân tích thành phần HMM Hidden Markov Model Mơ hình Markov ẩn Artificial Intelligence Trí tuệ nhân tạo AI HVNH Học viện Ngân hàng Database Cơ sở liệu API Application Programming Interface giao diện lập trình ứng dụng IoT Internet of Thing Vạn vật kết nối Video Management System Hệ thống quản lý video CSDL VMS NDKM Nhận dạng khuôn mặt HTTT Hệ thống thông tin IPA Intelligent Process Automation Tự động hóa qui trình thơng minh DANH MỤC SƠ ĐỒ, HÌNH VẼ Hình 1.1 Sơ đồ chung HT nhận dạng đối tượng qua khuôn mặt Hình 1.2 Mơ hình Markov cho định vị khn mặt 10 Hình 1.3 Ví dụ tính tốn LBP 11 Hình 1.4 Toán tử LBP mở rộng với (P, R) khác 12 Hình 1.5 Ví dụ LBP 12 Hình 1.6 LBP giống với độ sáng khác 13 Hình Ví dụ mẫu đồng mẫu không đồng 13 Hình 1.8 Mẫu đồng LBP 14 Hình 1.9 Sử dụng LBP trích rút đặc trưng khn mặt 14 Hình 1.10 Khơng gian theo hướng phân bố mạnh vector tìm theo PCA 15 Hình 1.11 Phép thử Turing 17 Hình 1.12 Lịch sử phát triển AI 18 Hình 2.1 Đặc trưng Haar- like theo cạnh 28 Hình 2.3 Đặc trưng theo Haar- like xung quanh tâm 28 Hình 2.4 Đặc trưng Haar- like theo đường chéo 28 Hình 2.5.Cơng thức tính Integral Image ảnh 29 Hình 2.6 Cơng thức tính tổng giá trị Pixel theo vùng 30 Hình 2.7 Các bước thực trích trút đặc trưng 35 Hình 2.8 Minh họa véc tơ biểu diễn ảnh 37 Hình 3.1 Kiến trúc hệ thống lõi nhận diện khuôn mặt 46 Hình 3.2 Mơ hình hệ thống nhận diện đối tượng thi cử 47 Hình 3.3 Biểu đồ usercase nhận diện đối tượng qua khuôn mặt 48 Hình 3.4 Biểu đồ mô tả hoạt động nhận diện đối tượng 49 Hình 3.5 Sơ đồ lớp hệ thống 49 Hình 3.6 Giao diện Back end 50 Hình 3.7 Giao diện nhập thông tin đối tượng 50 Hình 3.8 Giao diện chỉnh sửa thông tin đối tượng 51 Hình 3.9 Giao diện xóa đối tượng 51 Hình 3.10 Giao diện Front end 51 Hình 3.11 Mơ hình triển khai hệ thống 52 Hình 3.12 Quy trình thực 53 DANH MỤC BẢNG Bảng 3.1 Đội ngũ cán bộ, giảng viên Học viện Ngân hàng 41 Bảng 3.2 Quy mô đào tạo Học viện Ngân hàng 42 Bảng 3.4 Thông kê số lượng thi hộ 43 MỤC LỤC DANH MỤC CÁC TỪ VIẾT TẮT iv DANH MỤC SƠ ĐỒ, HÌNH VẼ v DANH MỤC bảng vi LỜI MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu nghiên cứu đề tài 3 Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu 3.2 Phạm vi nghiên cứu Phương pháp nghiên cứu 4.1 Nghiên cứu lý thuyết 4.2 Nghiên cứu thực nghiệm Kết cấu đề tài CHƯƠNG I: TỔNG QUAN VỀ NHẬN DẠNG KHN MẶT TRÍ TUỆ NHÂN TẠO 1.1.Tổng quan nhận dạng khuôn mặt 1.1.1 Khái niệm nhận dạng 1.1.2 Sơ đồ chung ứng dụng nhận dạng 1.1.3 Một số kỹ thuật truyền thống NDKM 1.2.Tổng quan trí tuệ nhân tạo 16 1.2.1 Khái niệm trí tuệ nhân tạo 16 1.2.2 Lịch sử phát triển 16 1.2.3 Các ứng dụng trí tuệ nhân tạo 18 1.2.4 Xu phát triển AI 20 1.3.Tổng quan tài liệu nghiên cứu liên quan nhận dạng khuôn mặt 23 1.4.Kết luận chương 26 CHƯƠNG 2: ỨNG DỤNG TRÍ TUỆ NHÂN TẠO NHẬN DIỆN KHÁCH HÀNG QUA KHUÔN MẶT 27 2.1 Học máy … 27 2.1.1 Phương pháp Deep Learning CNN 27 2.1.2 Phương pháp truyền thống 27 2.2 Nhận diện khách hàng qua khuôn mặt 27 2.2.1 Phát khuôn mặt 27 2.2.2 Theo vết khuôn mặt theo trình tự video 33 2.2.3 Trích rút đặc trưng 34 2.4.3 Nhận dạng khuôn mặt 38 2.4.4 Những thách thức tốn nhận dạng khn mặt 39 2.3 Ứng dụng trí tuệ nhân tạo nhận diện khách hàng qua khuôn mặt 39 2.4 Kết luận……………………………………………………………… 40 CHƯƠNG III: XÂY DỰNG HỆ THỐNG NHẬN DIỆN đối tượng QUA KHUÔN MẶT – thử nghiệm với liệu học viện ngân hàng 41 3.1 Giới thiệu chung Học viện ngân hàng 41 3.2 Thực trạng nhận diện sinh viên học viện Ngân hàng 42 3.2.1 Phương pháp nhận diện sinh viên HVNH 42 3.2.2 Nhận xét thực trạng nhận diện đối tượng 44 3.3 Bài toán cần giải 45 3.4 Thiết kế hệ thống 46 3.4.1 Kiến trúc hệ thống 46 3.4.2 Mô hình hệ thống 47 3.4.3 Thiết kế ca sử dụng 48 3.4.4 Thiết kế liệu cho hệ thống 49 3.5 Cài đặt hệ thống 50 3.5.1 Giao diện Back End hệ thống 50 3.5.2 Giao diện cập nhật đối tượng vào CSDL 50 3.5.3 Giao diện chỉnh sửa thông tin đối tượng 51 3.5.4 Giao diện xóa đối tượng 51 3.5.5 Giao diện Front end 51 3.6 Triển khai thử nghiệm hệ thống 52 3.6.1 Mơ hình triển khai 52 3.6.2.Quy trình thực 53 3.7 Kết luận chương 54 Kết luận 55 Tài liệu tham khảo 57