Mô hình nhận diện khuôn mặt tại cây ATM của ngân hàng techcombank

Mô hình nhận diện khuôn mặt tại cây ATM của ngân hàng techcombank Mô hình nhận diện khuôn mặt tại cây ATM của ngân hàng techcombank Mô hình nhận diện khuôn mặt tại cây ATM của ngân hàng techcombank

HỌC VIỆN NGÂN HÀNG KHOA HỆ THỐNG THÔNG TIN QUẢN LÝ BÀI BÁO CÁO Học phần: Trí tuệ nhân tạo kinh doanh ĐỀ TÀI: MƠ HÌNH NHẬN DIỆN KHN MẶT TẠI CÂY ATM CỦA NGÂN HÀNG TECHCOMBANK Giảng viên hướng dẫn : TS Vũ Trọng Sinh Nhóm thực : Nhóm Lớp : 202IS42A13 Hà Nội, ngày 25 tháng 06 năm 2020 MỤC LỤC I Đặt vấn đề 1 Giới thiệu chung 1.1 Giới thiệu chung ngân hàng 1.2 Hoạt động 1.3 Thực trạng 1.4 Kỳ vọng Lập kế hoạch 2.1 Danh sách số biện pháp cho hệ thống ATM ngân hàng Techcombank 2.2 Lựa chọn giải pháp khả thi 2.3 Lí thuyết mạng CNN II Chuẩn bị liệu 1.1 Xác định liệu cần thu nhập 1.2 Thuộc tính nhãn cần dự đốn 1.3 Cách thức thu nhập III Xây dựng mơ hình chạy thực nghiệm 3.1 Ý tưởng mơ hình 3.2 Chạy thực nghiệm 3.3 Kết mơ hình 18 IV Đánh giá 19 4.1 Ưu điểm 19 4.2 Nhược điểm 19 V Kết luận 20 Tài liệu tham khảo 20 Giới thiệu chung I Đặt vấn đề 1.1 Giới thiệu chung ngân hàng Ngân hàng thương mại cổ phần Kỹ Thương Việt Nam thành lập thành lập năm 1993 với số vốn điều lệ ban đầu 20 tỷ đồng Trong bối cảnh kinh tế chuyển từ chế độ kinh tế tập trung sang kinh tế thị trường Tên đầy đủ: Ngân hàng Thương mại cổ phần Kỹ thương Việt Nam Website: https://www.techcombank.com.vn Tên giao dịch quốc tế: Vietnam Technological and Commerical Joint – Stock Bank Tên viết tắt: Techcombank Ngành nghề: Ngân hàng Thể loại: Kỹ thuật, thương mại Thành lập: 27 tháng 9, 1993 1|Page Trụ sở chính: 191 phố Bà Triệu, quận Hai Bà Trưng, Hà Nội, Việt Nam Sản phẩm: Dịch vụ tài Số nhân viên: 7.800 Chi nhánh: 300 chi nhánh phòng giao dịch Sau 27 năm xây dựng phát triển, Techcombank ngày dần xây dựng tảng tài ổn định cho khách hàng tin tưởng chọn lựa giao dịch Techcombank ngân hàng TMCP lớn Việt Nam ngân hàng hàng đầu Châu Á Ngân hàng cung cấp sản phẩm dịch vụ tài đa dạng cho 5.4 triệu khách hàng Việt Nam với mạng lưới 315 chi nhánh toàn quốc Trở thành ngân hàng lớn hàng đầu vốn điều lệ Techcombank theo đuổi mơ hình kinh doanh khác biệt, lấy khách hàng làm trọng tâm, gặt hái thành công cụ thể việc thực cách tiếp cận theo hệ sính thái Thơng qua việc hợp tác với khách hàng doanh nghiệp lớn đóng vai trị đầu mối, tập đoàn phát triển bất động sản hàng đầu, hãng hàng khơng, hay tập đồn điện lực viễn thông Từ cam kết giá trị Ngân hàng tới khách hàng, từ sản phẩm thiết kế phù hợp cho phân khúc khách hàng, chất lượng dịch vụ đứng đầu thị trường giúp cho Techcombank thu hút nắm giữ sở khách hàng chất lượng cao từ doanh nghiệp lớn, đến doanh nghiệp vừa nhỏ, đến cá nhân Techcombank tiên phong việc ứng dụng công nghệ tảng để cung cấp dịch vụ tốt cho khách hàng 1.2 Hoạt động Ngân hàng Techcombank cung cấp đầy đủ sản phẩm tài chính, ngân hàng Khách hàng sử dụng đầy đủ dịch vụ từ chuyển tiền nước, gửi tiết kiệm, vay vốn, bảo hiểm,… (1) Các sản phẩm thẻ ngân hàng Techcombank 1|Page – Các loại thẻ tốn Techcombank: An tồn, tiện lợi, dễ dàng theo dõi chi tiết giao dịch qua dịch vụ E-banking hồn tồn miễn phí nhận hồn tiền khơng giới hạn cho chi tiêu với thẻ tốn Techcombank – Các loại thẻ tín dụng Techcombank: Với tối đa 45 ngày miễn lãi tốn thẻ tín dụng Techcombank, bạn thỏa sức tận hưởng sống khoảnh khắc với sản phẩm, dịch vụ đẳng cấp Việt Nam giới (2) Sản phẩm tiết kiệm ngân hàng Techcombank – Tiết kiệm Thường – Tiết kiệm Phát Lộc – Tiền gửi Online – Tiết kiệm Trả lãi trước: (3) Sản phẩm tín dụng ngân hàng Techcombank Các sản phẩm tín dụng ngân hàng Techcombank hướng đến đối tượng cụ thể với sách cho vay ưu đãi lãi suất vay vốn hấp dẫn – Ưu đãi vượt trội dành cho khách hàng – Vay mua, sửa nhà – Vay tiêu dùng – Vay sản xuất kinh doanh – Vay du học… 1.3 Thực trạng Mạng lưới ATM ngân hàng Techcombank có số lượng lớn chủ yếu phân bổ Hà Nội Hồ Chí Minh chưa thật phủ sóng đến tỉnh thành khác nước Tuy nhiên, nhu cầu giao dịch qua ATM phổ biến người dân không thành phố lớn mà tỉnh thành khác nước Khách hàng liên tục gặp phải rắc rối khó khăn giao dịch ATM: số lượng quầy giao cịn hạn chế khơng có tất tỉnh, thành phố; ATM bị hỏng hay báo lỗi hệ thống ATM hoạt động chậm, tải hay hết tiền số lớn khơng kém; giao diện máy ATM chưa thật tốt, cịn khó khăn sử dụng nhiều người dẫn đến tình trạng nhập sai mã pin làm thẻ bị khóa; quy trình phức tạp rút nguyên nhân dẫn đến tình trạng tải làm sai bước, bạn phải thực lại từ đầu; tình trạng người dân xếp hàng dài để rút tiền ATM Điều không mang lại nhiều hội cho Techcombank mà cịn khiến cho khách hàng cảm thấy khó khăn, tạo trải nghiệm không tốt Trong bối cảnh đại dịch Covid-19, nhiều vấn đề phát sinh số lượng lớn khách hàng sử dụng ATM có khả truyền nhiễm bệnh cao Từ đặt câu hỏi cho Techcombank, làm để trì đồng thời phải cải tiến, phát triển hệ thống ATM để khơng giải vấn đề tải 2|Page ATM, giảm thiểu hỏng hóc ATM, gia tăng tốc độ trình đồng thời phải đảm bảo an tồn cho người dân trước dịch bệnh 1.4 Kỳ vọng Trước thực trạng ngân hàng Techcombank, nhóm nghiên cứu kỳ vọng đề xuất giải pháp giúp ngân hàng Techcombank giải phần vấn đề tồn hệ thống ATM Techcombank nâng cấp hệ thống ATM cách an toàn, nhanh chóng đáp ứng nhu cầu khách hàng, đặc biệt tiêu chí độ tin cậy bảo mật với khách hàng để khách hàng có trải nghiệm dịch vụ tốt hệ thống ATM ngân hàng Lập kế hoạch 2.1 Danh sách số biện pháp cho hệ thống ATM ngân hàng Techcombank a Mở thêm nhiều ATM Ưu điểm: Giảm tình trạng tải ATM, phục vụ tốt khách hàng nhiều nơi Nhược điểm: Chi phí mở rộng hệ thống máy ATM lớn, chi phí cho nhân viên bảo trì vấn đề khác cịn bỏ ngỏ, chưa giải b Phát triển hệ thống tốn khơng dùng tiền mặt Ưu điểm: Có thể giảm lượng lớn tiền mặt lưu thơng, giúp người dân khơng cịn gặp tình trạng đánh rơi tiền, tình trạng cướp giật, bắt kịp xu hướng cơng nghệ, tình trạng tắc nghẽn hệ thống ATM khơng xảy Nhược điểm: Cịn nhiều bất cập đáp ứng phận nhỏ dân cư hầu hết giao dịch thường ngày người dân dùng tiền mặt Mặt khác, để phát triển hệ thống cần phối hợp lớn doanh nghiệp khác hệ thống chung ngân hàng thương mại c Tối ưu hóa quy trình làm hồ sơ ngân hàng Ưu điểm: Nghiệp vụ ngân hàng bao gồm nhiều quy trình mang tính lặp lại với tiêu chuẩn, quy định xác định sẵn Công cụ robot tích hợp trí tuệ nhân tạo xử lý cơng việc cách nhanh chóng, xác Nhược điểm: Chi phí cao, đa số cơng việc phải cần đến can thiệp người để kiểm tra phụ thuộc vào xu thị trường, cần người thực tế thị trường d Thêm tính tự động phát lỗi sửa lỗi Ưu điểm: Tiết kiệm thời gian, khắc phục cố giao dịch Nhược điểm: Tự động phát lỗi khắc phục biện pháp sửa lỗi gặp trục trặc tính khả thi khơng cao khó thực nhiều lỗi cần phải dùng đến trực tiếp người khắc phục e Dự đoán thời gian cao điểm rút tiền nhu cầu rút tiền Ưu điểm : Dựa vào hệ thống phát nào, ngày người dân rút tiền, nhu cầu người dân để kịp thời cung cấp tiền vào ATM Nhược điểm : Cịn phụ thuộc vào tâm lí người dân mà tâm lí người dân ln thay đổi tiền tệ thứ nhạy cảm khó luôn mở ATM để đút tiền vào, muốn đút tiền cịn phải có khung theo quy định giao diện cỉa ATM cịn nhiều hạn chế f Có hệ thống nhân viên 24/7 trực hệ thống ATM Ưu điểm: Các ATM ln tình trạng giám sát, bảo đảm hoạt động tốt 24/7 thỏa mãn nhu cầu khách hàng Nhược điểm: Cần số lượng chi phí để mở rộng thuê nhân viên, đào tạo việc phụ vụ 24/7 không khả thi g Phát triển hệ thống nhận diện khuôn mặt ATM Ưu điểm: Hệ thống nhận diện khuôn mặt cho kết nhanh, xác, khơng cần thao tác nhập mã pin nên khắc phục tình trạng lỗi giao dịch tình trạng quên mật khẩu, thực giao dịch cho dù bạn khơng mang theo thẻ tín dụng, giúp ngân hàng hội nhập với thời đại công nghệ số Nhược điểm: Có thể bị nhận nhầm người giao dịch có anh ( chị, em) song sinh, cần chi phí, thời gian xây dựng hệ thống lâu phải thu thập nhiều liệu người dân, bị phần mềm tác động 2.2 Lựa chọn giải pháp khả thi Dựa sở ưu điểm, nhược điểm tính khả thi phương án, nhóm chúng em lựa chọn phương án “Phát triển hệ thống nhận diện khn mặt ATM” : Khả ứng dụng mơ hình cao Giải độ chậm trễ, cần bước vào thực thao tác cách đơn giản, nhanh chóng Góp phần nâng cao an ninh hệ thống camera ATM Người dân thực mà không cần tương tác người Tạo kho liệu dựa mức độ tin cậy cách dễ dàng nhận diện khn mặt, từ đưa vào danh sách phổ biến “Trắng – Tin cậy” “Đen – Blacklist ( danh sách đen )” Giúp gia tăng an ninh cho ngân hàng người dân quanh khu vực rút tiền 2.3 Lí thuyết mạng CNN Để dạy thuật toán nhận diện đối tượng hình ảnh, ta sử dụng loại mạng nơron nhân tạo (Artificial Neural Network): Convolutional Neural Network (CNN – Mạng nơ-ron tích chập) Tên dựa phép tính quan trọng sử dụng mạng tích chập CNN mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thơng minh với độ xác cao Đặc trưng: CNN so sánh hình ảnh theo mảnh, mảnh gọi feature (đặc trưng) Mỗi feature coi hình ảnh mini, tức chúng mảng hai chiều nhỏ Các feature khớp với khía cạnh chung ảnh nghĩa feature tương ứng với khía cạnh ảnh chúng khớp lại với Khi xem hình ảnh mới, CNN khơng biết vị trí feature khớp với đâu, thử chúng tất vị trí khác Trong q trình chúng tạo thành lọc, gọi filter Và để thực điều này, sử dụng phép tốn tích chập Phép tích chập phép nhân điểm ảnh feature với giá trị điểm ảnh tương ứng hình ảnh Cấu trúc: CNN bao gồm tập hợp lớp bao gồm: lớp tích chập (Convolutional); lớp kích hoạt phi tuyến (Non Linearity); lớp lấy mẫu (Pooling); lớp kết nối đầy đủ (Fullyconnected) Các lớp liên kết với theo thứ tự định Thông thường, ảnh lan truyền qua lớp tích chập lớp kích hoạt phi tuyến đầu tiên, sau giá trị tính tốn lan truyền qua lớp lấy mẫu, ba lớp tích chập lớp kích hoạt phi tuyến lớp lấy mẫu lặp lại nhiều lần mạng Và sau lan truyền qua kết nối đầy đủ để tính sác xuất ảnh chứa vật thể Cấu trúc mạng CNN bao gồm: lớp tích chập Convolution Layer, lớp kích hoạt phi tuyến, lớp lấy mẫu Pooling Layer, lớp kết nối đầy đủ Fully Connected Layer II Chuẩn bị liệu 2.1 Xác định liệu cần thu nhập Dữ liệu cần thu thập thơng tin hình ảnh khách hàng ngân hàng Techcombank 2.2 Thuộc tính nhãn cần dự đốn Thuộc tính cần dự đốn khách hàng ai- tên khách hàng 2.3 Cách thức thu nhập a Thủ cơng Dữ liệu thu nhập cách thủ cơng từ hồ sơ (có hình ảnh từ CCCD/CMND) khách hàng ngân hàng, thông qua giấy tờ kê khai mở tài khoản toán, thiết kiệm, thẻ ghi nợ nội địa hay sử dụng dịch vụ cho vay, chuyển tiền ngân hàng Techcombank b Hình ảnh Video Dữ liệu thu nhập trích xuất hình ảnh video từ camera ngân hàng khách hàng đến ATM vào quầy giao dịch ngân hàng Techcombank để thực giao dịch III Xây dựng mô hình chạy thực nghiệm 3.1 Ý tưởng mơ hình Bài tốn sử dụng phương pháp học có giám sát, cụ thể học sâu ( deep learning ), ta sử dụng loại mạng mạng nơ – ron tích chập ( Convolutional Neural Network – CNN ) Mơ hình nhận dạng danh tính trích xuất đặc điểm từ hình ảnh khn mặt đầu vào so sánh chúng với đặc điểm gán nhãn sở liệu So sánh thực dựa số liệu độ tương đồng tính nhãn sở liệu tương tự sử dụng để gán nhãn cho hình ảnh đầu vào Đề tài nhóm lấy ý tưởng từ mơ hình tái nhận diện danh tính (Khơi Tuấn Nguyễn, Aivivn) mơ hình nhận diện khn mặt sử dụng keras Martin Krasser Cụ thể toán này, kết nhóm mong muốn đạt chụp ảnh khách hàng đến ATM, mơ hình định danh khách hàng Từ kết này, sau ngân hàng tiến hành kiểm tra thông tin khách hàng kho liệu để đảm bảo tính bảo mật cho giao dịch ATM Mơ hình triển khai sau: sử dụng thư viện face_detection phát khn mặt Tiếp theo train mơ hình xác định danh tính sử dụng việc tính tốn khoảng cách embedding vector để so sánh Mơ hình sử dụng cấu trúc CNN với phần cuối mạng lớp mạng kết nối đầy đủ (Fully Connected) 128 phần tử lớp L2 normalization, cho phép thu embedding vector Bằng việc so sánh khoảng cách Euclide embedding vector khn mặt, ta xác định khn mặt giống hay khác, cụ thể, hai khn mặt giống có khoảng cách Euclide nhỏ hai khn mặt khác biệt có khoảng cách Euclide lớn Cấu trúc chi tiết mạng CNN mơ tả chi tiết phần code phía sau 3.2 Chạy thực nghiệm Việc xây dựng chạy mơ hình thử nghiệm dựa ứng dụng Google Colab Bước 1: Đăng nhập vào công cụ cần thiết: Đăng nhập Gmail vào Tài khoản Google Drive Google Colab Tiếp theo tạo thư mục tên My driver, sau ấn chuột phải chọn ứng dụng khác Google Colab Bước 2: Tải liệu tìm kiếm lên Google Drive Để chạy code cho nhận diện thuận lợi phải chuẩn bị trước file sau đây: Cài thư viện: Opencv 3.4.5, keras 2.2.4, tqdm 4.31.1, pandas 0.23.4, scipy 1.2.0 Dlib 19.4.0 (wheel file cho windows ) Download shape_predictor_68_face_landmarks.dat để vào folder chứa project Chạy python face_detect_and_save.py Chạy python main.py Được file giống hình đây: Trước hết, nhóm tải ảnh 10 người Mỗi người file ảnh có định dạng ảnh jpg (joint photographic group) xếp vào 10 thư mục có tên Ngoc_Anh, Le_Quynh, Hong_Hao, Kim_Chi, Nguyen_Ha, Hai_Hau, Lisa, Son_Tung, Song_Joong_Ki, Yang_Ki_Yong thư mục mẹ „image‟ My Drive Ngồi nhóm tải thêm 52 ảnh để test thư mục test_image Bước 3: Chạy code cho mơ hình Google Collab: Kết nối với Google Drive để đọc liệu Khai báo thư viện cần sử dụng 3.Định nghĩa thêm hàm LRN2D, conv2d_bn để chạy mơ hình Khai báo thư viện định nghĩa hàm create_model mạng CNN để sử dụng cho mơ hình nn4.small2 Cấu trúc CNN xây dựng theo mơ hình sau: Phần cuối mạng lớp Fully Connected 128 phần tử lớp L2 normalization, cho phép thu embedding vector Bằng việc so sánh khoảng cách Euclide embedding vector khn mặt, ta xác định khn mặt giống hay khác, cụ thể, hai khn mặt giống có khoảng cách Euclide nhỏ hai khn mặt khác biệt có khoảng cách Euclide lớn Cấu trúc chi tiết mạng CNN định nghĩa model.py 10 11 12 13 inception (3a) inception (3b) inception (3c) max pool inception (4a) inception (4e) max pool inception (5a) inception (5b) av_pool reshape layer dense layer norm layer 5.Sử dụng lệnh return đế lấy output thoát hàm 6 Khởi tạo/xây dựng mơ hình Output: 7.Xoay khn mặt Load liệu để train Output: 9.Tìm embedding vector Output: 10 Train mơ hình Out: 11 Tính tốn khoảng cách embedding vector Output thống kê khoảng cách tính: 12 Test mơ hình 17 | P a g e Output số khuôn mặt nhận diện được: 13.Trình chiếu ảnh output Collab: 3.3 Kết mơ hình Nhóm tiến hành test 52 ảnh, số lượng ảnh mà mơ hình dự đốn tồn 42, chiếm tỷ lệ 80,77% Một số output kết mơ hình: IV Đánh giá 4.1 Ưu điểm Về ưu điểm, mơ hình huấn luyện thành cơng với tỷ lệ 80% output xác với kết thực tế Mơ hình kết hợp hai tốn nhận diện khn mặt nhận diện danh tính sử dụng CNN so sánh khoảng cách embedding vector, bổ sung quy trình alignment để tăng chất lượng ảnh input từ làm tăng độ xác cho mơ hình.Về tính thực tiễn, mơ hình nhận diện danh tính áp dụng vài tảng Facebook hay iPhone Techcombank hồn tồn có khả áp dụng mơ hình hệ thống ATM Hệ thống nhận diện cho kết nhanh, xác khơng cần thao tác nhập mã pin nên khơng bị tình trạng lỗi, giúp rút ngắn thời gian thao tác rút tiền, giải hạn chế ATM So sánh với phương án khác phát triển hệ thống nhận diện khuôn mặt ATM phương án tối ưu đạt ưu điểm vượt trội 4.2 Nhược điểm Mơ hình nhận dạng danh tính khn mặt hình ảnh, nhận diện camera dễ dàng, thuận tiện cho ngân hàng Techcombank Về tính thời sự, mơ hình có tương đối nghiên cứu thực trước ý tưởng này, khơng cịn mẻ Khi Techcombank thành công với phương án này, chắn ngân hàng đối thủ áp dụng dẫn đến bão hòa phương án Do vậy, Techcombank nên đề phương án mới, tiếp tục phát triển từ công nghệ nhận diện khuôn mặt để giữ vững vị trí lĩnh vực ngân hàng V Kết luận Qua việc sử dụng mơ hình thấy tác dụng tối ưu việc nhận biết danh tính thơng qua hình ảnh giúp ích cho ngành đặc biệt ngân hàng, ngân hàng Techcombank áp dụng Bên cạnh cần khắc phục nhược điểm nâng cấp mơ hình để nhận diện cách xác khách hàng qua khuôn mặt đáp ứng số lượng lớn để sử dụng cho ngành, tránh nhầm lẫn với người có nét mặt giống nhau, ảnh hưởng đến quyền lợi khách hàng mang lại hậu khơng đáng có Tài liệu tham khảo Deep face recognition with Keras, Dlib and OpenCV, Martin Krasser AIviVN Celebs Re-identification Baseline, Nguyễn Tuấn Khôi https://forum.machinelearningcoban.com/t/face-recognition-voi-keras-dlib-vaopencv/4688?fbclid=IwAR1r1jAoIuY3083yPu7LSDRm8y9UiMwF8SPuNZuU MogpZUKl2a0au0_yER8 ... hạn chế ATM So sánh với phương án khác phát triển hệ thống nhận diện khn mặt ATM phương án tối ưu đạt ưu điểm vượt trội 4.2 Nhược điểm Mơ hình nhận dạng danh tính khn mặt hình ảnh, nhận diện camera... thơng qua hình ảnh giúp ích cho ngành đặc biệt ngân hàng, ngân hàng Techcombank áp dụng Bên cạnh cần khắc phục nhược điểm nâng cấp mơ hình để nhận diện cách xác khách hàng qua khn mặt đáp ứng... nhập trích xuất hình ảnh video từ camera ngân hàng khách hàng đến ATM vào quầy giao dịch ngân hàng Techcombank để thực giao dịch III Xây dựng mơ hình chạy thực nghiệm 3.1 Ý tưởng mơ hình Bài tốn