Xây dựng hệ thống quản lý nhân sự tích hợp chấm công bằng khuôn mặt

Mặc dù đã rất cY gắng hoàn thiện đu án với tất cả sự nỗ lực, tuy nhiên, dobước đầu đi vào thực tế, tìm hiểu và xây dựng đu án trong thời gian có hvn, và kiến thức còn hvn chế, nhiều bỡ n

TRƯỜNG ĐẠI HỌC ĐIỆN LỰC

KHOA CÔNG NGHỆ THÔNG TIN

Sinh viên thực hiện : MẪN BÁ TI

Giảng viên hướng dẫn : NGUYỄN VĂN ĐON

Mã sinh viên : 19810000544

Chuyên ngành : TTNT&TGMT

Lớp : D14TTNT&TGMT

Khóa : 2019-2024

Giảng viên chấm điểm:

MỤC LỤC

DANH MỤC HÌNH ẢNH 3

LỜI NÓI ĐẦU 4

CHƯƠNG 1: GIỚI THIỆU VỀ ĐƠN VỊ THỰC TẬP 5

1.1 Giới thiệu doanh nghiệp 5

CHƯƠNG 2: TỔNG QUAN THỊ GIÁC MÁY TÍNH 7

2.1 Giới thiệu chung về thị giác máy tính 7

2.1.1 Khái niệm 7

2.1.2 Ứng dụng 7

2.2 Ứng dụng 8

CHƯƠNG 3: PHÂN TÍCH HỆ THỐNG 10

3.1 Xây dựng hệ thYng phát hiện khuôn mặt 10

3.1.1 Thu thập ảnh 10

3.1.2 Tiền xử lý 11

3.1.3 Tách các đặc tính, Trích trọn đặc trưng: 12

3.2 Xây dựng hệ thYng nhận diện khuôn mặt 13

3.3 Thiết kế giao diện 15

3.3.1 Màn hình đăng nhập 15

3.3.2 Màn hình trang chủ 15

3.3.3 Màn hình danh mục tài khoản 16

3.3.4 Màn hình Lịch sử chấm công 16

3.3.5 Màn hình Danh sách nhân sự 17

3.3.6 Màn hình Bảng chấm công 17

3.3.7 Màn hình Danh sách nhân sự 18

3.3.6 Màn hình Bảng chấm công 18

CHƯƠNG 4: KẾT LUẬN 19

TÀI LIỆU THAM KHẢO 21

DANH MỤC HÌNH ẢNH

Hình 1 Logo công ty 5

Hình 2 Các bước cn bản trong mot hệ xử lý ảnh 10

Hình 3 Dữ liệu hình ảnh và video 10

Hình 4 Dữ liệu hình ảnh sau khi được tách frame 11

Hình 5 Hình ảnh khuôn mặt sau khi đc crop 12

Hình 6 File excel trích xuất đặc trưng 13

Hình 7 Sn đu nhận dvng khuôn mặt 13

Hình 8 Kết quả sau khi huấn luyện 14

Hình 9 Màn hình đăng nhập 15

Hình 10 Màn hình trang chủ 15

Hình 11 Màn hình danh mục tài khoản 16

Hình 12 Màn hình lịch sử chấm công 16

Hình 13 Màn hình Danh sách nhân sự 17

Hình 14 Màn hình Bảng chấm công 17

LỜI NÓI ĐẦU

Hiện nay công nghệ thông tin đang phát triển mvnh mẽ, nhanh chóng và xâmnhập vào nhiều lĩnh vực khoa học, kỹ thuật cũng như trong cuoc sYng Nó trở thànhcông cụ đắc lực trong nhiều ngành nghề như giao thông, quân sự, y học, xã hoi,… vàđặc biệt hnn là trong công tác quản lý nói chung và quản lý hệ thYng quản lý tư vấnbảo hiểm nói riêng Việc sử dụng thiết bị di đong và công tác quản lý hệ thYng là motyêu cầu cần thiết nhằm xóa bỏ những phưnng pháp quản lý lvc hậu, lỗi thời gây tYnkém về nhiều mặt

Mặc dù đã rất cY gắng hoàn thiện đu án với tất cả sự nỗ lực, tuy nhiên, dobước đầu đi vào thực tế, tìm hiểu và xây dựng đu án trong thời gian có hvn, và kiến

thức còn hvn chế, nhiều bỡ ngỡ, nên đu án “Xây dựng hệ thống quản lý nhân sự tích hợp chấm công nhận dạng khuôn mặt” chắc chắn sẽ không thể tránh khỏi những thiếu

sót Chúng em rất mong nhận được sự quan tâm, thông cảm và những đóng góp quýbáu của các thầy cô và các bvn để đu án này ngày càng hoàn thiện hnn

Em xin chân thành cám nn thầy Nguyễn Văn Đoàn đã tận tâm hướng dẫn chúng

em qua từng buổi học trên lớp cũng như những buổi nói chuyện, thảo luận về môn học.Trong thời gian được học tập và thực hành dưới sự hướng dẫn của thầy cô, chúng emkhông những thu được rất nhiều kiến thức bổ ích, mà còn được truyền sự say mê vàthích thú đYi với bo môn “Thực tập hệ thống thị giác máy tính” Nếu không có nhữnglời hướng dẫn, dvy bảo của thầy cô thì chúng em nghĩ đu án này của chúng em rất khó

có thể hoàn thành được!

Hà Noi, ngày 05 tháng 05 năm 2023

Sinh viên thực hiện Tài Mẫn Bá Tài

CHƯƠNG 1: GIỚI THIỆU VỀ ĐƠN VỊ THỰC TẬP

1.1 Giới thiệu doanh nghiệp

Công ty Cổ phần Giải pháp Công nghệ Truyền thông Đa phưnng tiện Sáng Kiến(IMT Solutions) là mot công ty phát triển phần mềm và chuyển đổi kỹ thuật sY có trụ

sở tvi Việt Nam và hợp tác với khách hàng trên toàn cầu IMT có trụ sở tvi Thành phY

Hu Chí Minh, Việt Nam và có văn phòng tvi Singapore và Nhật Bản Công ty đượcthành lập năm 2008 và đvt các giải thưởng: Sao Khuê, Top 50 công ty công nghệ thôngtin hàng đầu Việt Nam, ĐYi tác vàng của Microsoft, ĐYi tác sáng kiến FastTrack củaMicrosoft DevOps …

Hình 1 Logo công tyCông ty đã có 14 năm kinh nghiệm về cung cấp dịch vụ CNTT & Giải phápchuyển đổi sY có văn phòng tvi Singapore, Nhật Bản và Việt Nam, có quan hệ hợp tácvới khách hàng trên khắp thế giới.Hướng tới mục tiêu tập trung phát triển mvng lưới,liên tục thay đổi làm mới mình, Finlife với hệ thYng văn phòng trải dài từ Bắc vàoNam và hệ sinh thái FinGroup đa dvng trong lĩnh vực công nghệ, bảo hiểm, tài chính đem đến những sản phẩm dịch vụ với chất lượng vượt troi, những giá trị sYng đíchthực và trải nghiệm dịch vụ khách hàng tYt nhất Để khẳng định vị thế của mình và đáplvi sự cY gắng nỗ lực của các thành viên trong Finlife, sự đung hành tin tưởng tuyệt đYicủa quý đYi tác và khách hàng, Công ty CP Finlife Việt Nam đã suất xắc đvt giải

thưởng Sao Khuê năm 2022 mot giải thưởng vinh dự cho việc là công ty hàng đầu,

trong việc chuyển đổi sY của ngành tài chính và bảo hiểm tvi Việt Nam 55-57 Bàu Cát

4, Phường 14, Tân Bình, Thành phY Hu Chí Minh

IMT Solutions, nhà cung cấp dịch vụ CNTT và chuyển đổi kỹ thuật sY hàng đầu

có văn phòng tvi Singapore, Nhật Bản và Việt Nam Chúng tôi chuyên về các nền tảng

Di chuyển trên đám mây, AI/MLOps, RPA và Giám sát tổng hợp Chúng tôi là đYi táccủa mot sY doanh nghiệp hàng đầu, giúp họ giải quyết các thách thức công nghệ phứctvp và thường gặp trong kinh doanh

Với hnn 14 năm kinh nghiệm đổi mới, chúng tôi là Nhà cung cấp Giải pháp vàDịch vụ CNTT hàng đầu Việt Nam Phưnng pháp phân phYi của chúng tôi được xâydựng xung quanh các mô hình linh hovt và đa trang toàn diện, được hỗ trợ bởi cn sở hvtầng được chứng nhận ISO-27001 Chúng tôi phục vụ cn sở khách hàng toàn cầu vàgiúp khách hàng của mình cvnh tranh hnn về mặt kỹ thuật sY

Ưu tiên sY 1 của chúng tôi là tvo ra mYi quan hệ đYi tác lâu dài Đó là lý do tvisao chúng tôi tập trung vào các mô hình phân phYi toàn diện, dựa trên cn sở hv tầngAgile, được chứng nhận ISO 27001 Chúng tôi có trụ sở chính tvi Thành phY Hu ChíMinh, làm việc để trao quyền cho khách hàng của mình bằng các giải pháp hiệu quả vềchi phí, dựa trên sự đổi mới

Website: https://imt-soft.com/en/

CHƯƠNG 2: TỔNG QUAN THỊ GIÁC MÁY TÍNH

2.1 Giới thiệu chung về thị giác máy tính

2.1.1 Khái niệm

Thị giác máy tính (tiếng Anh: computer vision) là mot lĩnh vực bao gum cácphưnng pháp thu nhận, xử lý ảnh kỹ thuật sY, phân tích và nhận dvng các hình ảnh và,nói chung là dữ liệu đa chiều từ thế giới thực để cho ra các thông tin sY hoặc biểutượng, ví dụ trong các dvng quyết định Việc phát triển lĩnh vực này có bYi cảnh từviệc sao chép các khả năng thị giác con người bởi sự nhận diện và hiểu biết mot hìnhảnh mang tính điện tử.S Sự nhận diện hình ảnh có thể xem là việc giải quyết vấn đềcủa các biểu tượng thông tin từ dữ liệu hình ảnh qua cách dùng các mô hình được xâydựng với sự giúp đỡ của các ngành lý thuyết học, thYng kê, vật lý và hình học Thị giácmáy tính cũng được mô tả là sự tổng thể của mot dải rong các quá trình tự đong và tíchhợp và các thể hiện cho các nhận thức thị giác

Thị giác máy tính là mot môn học khoa học liên quan đến lý thuyết đằng sau các

hệ thYng nhân tvo có trích xuất các thông tin từ các hình ảnh Dữ liệu hình ảnh có thểnhiều dvng, chẳng hvn như chuỗi video, các cảnh từ đa camera, hay dữ liệu đa chiều

từ máy quét y học Thị giác máy tính còn là mot môn học kỹ thuật, trong đó tìm kiếmviệc áp dụng các mô hình và các lý thuyết cho việc xây dựng các hệ thYng thị giác máytính

2.1.2 Ứng dụng

- Mvng nn-ron tích chập (CNN)

- Phân đovn hình ảnh (Image segmentation)

- Rút trích đặc trưng (Feature extraction)

- Mvng nn-ron GAN (Generative Adversarial Network)

- Phát hiện và theo dõi đYi tượng (Object detection and tracking):

- Học sâu (Deep Learning)

Lĩnh vực y tế

Những tiến bo lớn liên tục xuất hiện trong các lĩnh vực nhận dvng mẫu và xử lýhình ảnh Đung thời, không có gì đáng ngvc nhiên khi với cong đung y tế và cácchuyên gia trong lĩnh vực chăm sóc sức khỏe cho rằng hình ảnh y khoa đã trở thànhmot phần thiết yếu trong cách thức làm việc của họ, hướng đến các công cụ chẩn đoántYt hnn và tăng đáng kể khả năng đưa ra các hành đong hiệu quả hnn

Xử lí dữ liệu

Để hỗ trợ con người thực hiện các nhiệm vụ nhận dvng và tổ chức thông tin, cáccông cụ Computer Vision và mô hình Deep Learning đã được đưa vào nghiên cứu, đòihỏi khYi lượng dữ liệu lớn được dán nhãn Khi các thuật toán Deep Learning phát triển,chúng chủ yếu thay thế quy trình gắn thẻ thủ công thông qua mot phưnng pháp tiếp cậnđược gọi là nghiên cứu dữ liệu đám đông – thu thập theo thời gian thực tự đong và gắnthẻ dữ liệu do các chuyên gia tvo ra và từ đó máy học sẽ bắt đầu quy trình nhận dvngcác đYi tượng

Trình đọc tự động

Nếu bvn đã từng sử dụng ứng dụng Google translate, bvn có thể đã phát hiện rakhả năng trỏ camera điện thovi thông minh của bvn vào văn bản từ bất kỳ sY ngôn ngữnào và dịch nó sang ngôn ngữ khác trên màn hình gần như ngay lập tức Sử dụng thuật

Vận hành tự động

Có lẽ bvn đã thấy trên tivi những chiếc xe không người lái, lĩnh vực này phụthuoc rất nhiều vào Computer vision và Deep learning Mặc dù chưa đến thời điểmthay thế hoàn toàn người lái, công nghệ xe tự hành đã tiến bo đáng kể trong vài nămqua

Công nghệ AI phân tích dữ liệu thu thập được từ hàng triệu người lái xe, học hỏi

từ hành vi lái xe để tự đong tìm làn đường, ước tính đo cong đường, phát hiện các mYinguy hiểm và giải thích các tín hiệu và tín hiệu giao thông

CHƯƠNG 3: PHÂN TÍCH HỆ THỐNG

3.1 Xây dựng hệ thyng phát hiện khuôn mặt

Sử dụng thuật toán CenterFace để phát hiện khuôn mặt

Hình 2 Các bước cn bản trong mot hệ xử lý ảnh

3.1.1 Thu thập ảnh

Các video, ảnh đầu vào sẽ được thu nhận qua các thiết bị như camera, sensor,máy scanner,v.v Các thông sY quan trọng ở bước này là đo phân giải, chất lượngmàu, dung lượng bo nhớ và tYc đo thu nhận ảnh của các thiết bị

3.1.2 Tiền xử lý

¢ bước này, ảnh sẽ được cải thiện về đo tưnng phản, khử nhiễu, khử bóng, khử

đo lệch,v.v với mục đích làm cho chất lượng ảnh trở lên tYt hnn nữa, chuẩn bị chocác bước xử lý phức tvp hnn về sau trong quá trình XLA Quá trình này thường đượcthực hiện bởi các bo lọc, để lovi bỏ các ảnh quá mờ, ảnh quá nghiêng, ảnh fake

- Các video sẽ đc tách thành các frame ảnh với mỗi thư mục chứa ảnh của motngười tưnng ứng

Hình 4 Dữ liệu hình ảnh sau khi được tách frame

- Khi đã có các frame ảnh tiếp theo sẽ dùng MTCNN (Multi-task CascadedConvolutional Networks) bao gum 3 mô hình CNN (P-Net, R-Net và O-Net)

để phát hiện khuôn mặt và CenterFace để phát hiện và crop khuôn mặt ra khỏiframe ảnh Sau đó lovi bỏ những ảnh chất lượng thấp, ảnh không hợp lệ, quánghiêng,…CenterFace có mot ưu điểm là có khả năng phát hiện vật thể sYng

mà MTCCN không có giúp lovi bỏ được những ảnh fake khi nhận diện

Hình 5 Hình ảnh khuôn mặt sau khi đc crop

Hình 3 4:

- Các ảnh khuôn mặt sẽ được chuẩn hóa về size 160x160 để phục vụ cho việc trích trọnđặc trưng

3.1.3 Tách các đặc tính, Trích trọn đặc trưng:

- Đầu vào là các ảnh khuôn mặt có kích thước 160x160

- Đầu ra là các vector nhúng 128 chiều

- FaceNet hovt đong bằng cách lấy hình ảnh từ gưnng mặt người làm input và sẽ trả ramot vector output có 128 giá trị sY đvi diện cho những nét đặc trưng có trên gưnngmặt Trong máy học, vector này được gọi là vector nhúng (embedding vector) Lý docác vector được gọi như vậy là vì tất cả các thông tin quan trọng trên gưnng mặt được

“nhúng” vào vector này Theo lý thuyết, vector nhúng của các gưnng mặt thuoc cùngmot người sẽ tưnng đưnng với nhau

- FaceNet cần xác định các đặc điểm chính trên khuôn mặt của mot người để

tách biệt với các khuôn mặt khác nhau Khoảng cách giữa các khuôn mặt được ẩn sau các con sY trong mot vector nhúng

Sử dụng FaceNet để trích chọn vector nhúng:

- 128 cot là các chiều của vector nhúng

- Cot cuYi cùng FID là ID của các khuôn mặt

Hình 6 File excel trích xuất đặc trưng

3.2 Xây dựng hệ thyng nhận diện khuôn mặt

Hình 7 Sn đu nhận dvng khuôn mặt

Sử dụng thuật toán SVM (Support Vector Machine) để phân lớp

Kết quả huấn luyện SVM sử dụng hàm RBF – Radious Basic Function:

3.3.3 Màn hình danh mục tài khoản

Hình 11 Màn hình danh mục tài khoản

3.3.4 Màn hình Lịch sử chấm công

Hình 12 Màn hình lịch sử chấm công

3.3.7 Màn hình Danh sách nhân sự

Hình 3 1: Màn hình Danh sách nhân sự

3.3.6 Màn hình Bảng chấm công

Hình 3 2: Màn hình Bảng chấm công

CHƯƠNG 4: KẾT LUẬNKết quả đạt được

Quá trình nghiên cứu và thực hiện cài đặt chưnng trình theo sự khảo sát và yêucầu của ban giám đYc đã hoàn thành và đvt mot sY kết quả sau:

- Hiểu được nghiệp vụ cn bản của mot hệ thYng trí tuệ nhân tvo

- Thông qua nghiệp vụ kết hợp với mục đích thực hiện tin học hóa, mô tả chứcnăng của từng hệ thYng

- Xây dựng chưnng trình thông qua kết quả thu thập được qua quá trình khảosát, phân tích hệ thYng và đặc tả giao diện

Ưu nhược điểm của chương trình

- Tích hợp thêm nhiều tính năng vào công nghệ mới

- Liên tục cải tiến giao diện để tYi ưu trải nghiệm người dùng

- Tác đong mvnh mẽ của Công nghệ thông tin đã tvo ra nhiều thay đổi trong đờisYng kinh tế xã hoi Trong nền kinh tế thị trường, nền văn hóa xã hoi ViệtNam, việc giảm thiểu tYi đa nguun Nam, việc giảm thiểu tYi đa nguun lực vàtYi ưu hóa hiệu suất làm việc trở thành vấn đề sYng còn, việc ứng dụng tin họcvào công tác quản lý trở thành sự tất yếu

- Hệ thYng có thể mở rong phần mềm mà không làm gián đovn dịch vụ

Trong đề tài “Xây dựng hệ thống quản lý nhân sự tích hợp chấm công bằng khuôn mặt” mục đích để giúp ngắn thời gian quản lý nhân sự, chấm công, từ đó

tiết kiệm nhiều thời gian và sức lao đong hướng tới tự đong hoá từng khâu trongdoanh nghiệp

Dù cY gắng hết sức tYi ưu hóa, xong do khả năng còn có hvn, nên em khôngthể tránh khỏi những hvn chế và thiếu sót khi thực hiên đề tài này Em kính mongnhận được ý kiến đóng góp của các thầy cô để có thể rút ra nhiều kinh nghiệm quýgiá hnn

Mot lần nữa em em xin chân thành cảm nn các thầy, cô giáo, đặc biệt là thầyNguyễn Văn Đoàn đã tận tình hướng dẫn, tvo điều kiện tYi đa để em hoàn thành đềtài này!

TI LIỆU THAM KHẢO

1 Giáo trình Trí tuệ nhân tvo Đvi học Bách Khoa Hà Noi

2 Tài liệu về thuật toán SVM: https://machinelearningcoban.com/2017/04/09/smv/

3 Tài liệu về mvng tích chập CNN :

https://viblo.asia/p/deep-learning-tim-hieu-ve-mang-tich-chap-cnn-maGK73bO