Báo cáo Đồ án chuyên ngành Đề tài phần mềm nhận diện và phân tích dữ liệu khách hàng

Một trong những bài toán nhận dạng con người được quan tâm nhất hiện nay đó là nhận dạng qua khuôn mặt.. Với sự phát triển của khoa học máy tính, bài toán nhận dạng mặt người từ ảnh số đ

Số thứ tự đà HH HH HH HH1 122g rờg

Mã sinh viên _ cccsS2

GVHD Đỗ Công Đức

Đà nẵng, tháng 05 năm 2021

LỜI CẢM ƠN

Trước tiên, em xin phép bày tỏ lòng biết ơn chân thành và sâu sắc nhất tới Tiến sĩ

Tran Anh Tho da tan tinh chỉ bảo, hướng dẫn, động viên và giúp đỡ em trong suốt quá trình thực hiện đề tài Em xin gửi lời cảm ơn sâu sắc tới quý thầy cô giáo trong Khoa khoa học máy tính của trường Đại học Công nghệ thông tin - Đại học Đà Nẵng đã truyền đạt kiến thức quý báu cho em trong suốt quá trình thực hiện đồ án

Chúng em xin chân thành cảm ơn!

LE VAN QUANG-241121132236- 50K32.2 Trang 1

NHẬN XÉT CUA GIÁO VIÊN HƯỚNG DÂN

LE VAN QUANG-241121132236- 50K32.2 Trang 11

MỤC LỤC

LỜI CẢM ƠN co eerree Là H112 1111211101111 101g i

NHAN XET CUA GIAO VIEN HUONG DAN cccccccccccccscssccsesseseessvsesecsesstseeeeees ii

\ lBI ®8 Haiiiiẳ44ÝẢ eee te ese taeeeseeeeesiseeeseeeseesseeeesesittitieeeeesees ili

DANH MỤC BẢNG 25: 2222222112221112211121111111112111111112111212ee v 0o 0À2i vn vi

MỞ ĐẦU S2 2222212221221 1122112122122 rea 1 CHƯƠNGI — GIỚI THIỆU BÀI TOÁN 52s 22222221212 E1Etrrtea 3

1.1 — Giới thiệu về bài toán sc TH TH HH HH H2 n1 rye 3

1⁄22 _ Phân tích dữ liệu -5: 2 222k 4 ZMH ! 4 1.2.2 — Cự ly của đối lượng so VỚI CGHI€FA: 5c TH HT tt xe 4

1.2.3 Cảm xúc biểu cảm trên khuôn HẶT à cS SH EH HH re 4

1.3 Bai toa GAt 1a 4

1.3.1 Yêu cầu của ảnh đầu Vào Ăn HH hung 5

1.4 Vai trò và ý nghĩa của bài toán LH H111 01111011 5

CHUONG 2 PHAN TÍCH, THIẾT KẾ ỨNG DỤNG 52 7

KẾT LUAN ooo ccccccccccccccceccececeeeececeesceseecscsisssressesscensusicsnsesicscicsicasiesnsisieecsteeseseeten 11

1 Ve kiém thức chung + 5t c2 E271 112 221 1211121212121 ng re 11

3 Ưu điềm của hệ thống hiện tại 56 St St E2 12712212211 01t 21211 na 11

TAL LIEU THAM KHẢO - 5 2 T1 11121111211111211712 21 1T 1 T11 2112 ra 12

LE VAN QUANG-241121132236- 50K32.2 Trang 11

DANH MỤCHÌNH

Hình 1.1 Phân tích đữ liệu - 2L 2C 222 12201112111 123 115111511 11111 11511111 8111k 3 Hinh 1.2 Nhận diện khuôn mặt con nĐƯỜI - 2 22 2221221121121 1212k re2 4 Hình 2.1 Sơ đồ khối tổng quan hệ thống 2-22 SE SE11 8752121111152 e2 7

Hình 2.2 Lược đồ EER Hệ thống - S-SSSE 1E 211711117111 221 111211 x tre 8

CAC TU VIET TAT

MỞ ĐẦU

Trong nền kinh tế thị trường, Phân tích dữ liệu và dự đoán là vô cùng quan

trọng trong việc hỗ trợ các nhà quản lý đưa ra phán đoán, quyết định đúng đắn dựa vào các dữ liệu đã thu thập được Trên thế giới đã có nhiều tác giả đưa ra cách phân loại các phương pháp dự báo khác nhau Tuy nhiên, theo Gordon trong hai thập kỷ gần đây, có những phương pháp dự báo được áp dụng rộng rãi trên thế giới như: Tiên đoán, ngoại suy xu hướng, dự báo tông hop [1](Chén tài liệu tham khảo)

Trong vấn đề nhận dạng sinh trắc học con người, hiện nay có khá là nhiều phương pháp để nhận đạng: nhận dạng vân tay, nhận dạng bàn tay, nhận dạng vân mắt, Các

phương pháp trên đã qua một thời gian dài phát triển nên đã đạt được những thành

công nhất định, và độ chính xác ngày càng được tăng lên một cách nhanh chóng

Một trong những bài toán nhận dạng con người được quan tâm nhất hiện nay đó

là nhận dạng qua khuôn mặt Vì nhận dạng qua khuôn mặt là cách mà con npười sử dụng để phân biệt nhau Bên cạnh đó, ngày nay việc thu thập, xử lý thông tín qua ảnh

để nhận biết đối tượng đang được quan tâm và ứng dụng rộng rãi, Với phương pháp này, chúng ta có thể thu nhận được nhiều thông tin từ đối tượng mà lại không cần tác động nhiều đến đối tượng nghiên cứu Với sự phát triển của khoa học máy tính, bài toán nhận dạng mặt người từ ảnh số đang có được môi trường phát triển hết sức thuận lợi [2].(Chèn tài liệu tham khảo)

Trong đề tài nảy, tôi tập trung nghiên cứu về nhận diện khuôn mặt xác nhận

danh tính của con người tại cửa hàng và phân tích được nhu cầu tiêu dùng của khách

Chương 2: Phân tích, thiết kế ứng dụng: Tông quan về hệ thống, vẽ hình, mô

tả các chức năng và sự tương tác piữa các module chính Các chức năng phía máy khách và máy chủ, vẽ hình, cách thức phát triển các module và sự tương tác giữa các

module Mô tả cơ sở dữ liệu (cơ sở đữ liệu) theo mô hình thực thể liên kết [3] (Chèn

CHƯƠNGI GIỚI THIỆU BÀI TOÁN

1.1 Giới thiệu về bài toán

Đối với mọi doanh nghiệp, lĩnh vực phân tích dữ liệu là cần thiết, bởi vì đưa ra

các giải pháp kinh doanh thông minh có thê được chứng minh trong từng trường hợp

cụ thê hiệu quả hơn, tạo ra lợi nhuận cao hơn và đảm bảo một khách hang hai long Phân tích dữ liệu là quá trình đánh giá sử đụng các công cụ phân tích và thông kê để khám phá thông tin hữu ích sẽ giúp đưa ra các quyết định kinh doanh Có nhiều phương pháp phân tích đữ liệu khác nhau, chắng hạn như khai thác dữ liệu, phân tích

dữ liệu văn bản, thông tin kinh doanh cũng như trực quan hóa dữ liệu

og

Kiến thức về đối tượng

kha nang quyét

dinh dy doan

Hinh 1.1 Phan tích dữ liệu Phân tích đữ liệu được thu thập dẫn đến kiến thức về đối tượng và khả năng quyết

định mới và cuối cùng là kết quả kiến thức về đối tượng phân tích Nhưng nó không

kết thúc tại thời điểm này, quá trình sẽ được tiếp tục sưu tập mới đữ liệu hoặc phân tích đữ liệu mở rộng hơn

Tiếp theo là vấn để kiểm soát an ninh và phân tích đữ liệu khách hảng là một trong

những vấn đề rất được quan tâm Một trong nhiều ứng dụng cụ thể liên quan tới xử lý thông tin qua hình ảnh là nhận diện khuôn mặt khách hàng thông qua camera Việc

phát hiện và truy xuất được dữ liệu của các khách hàng một cách tự động giúp giảm

thiểu thời gian thống kê, tính toán của con người Hệ thống nhận diện khuôn mặt là

một hệ thống có khả năng phân tích hình ảnh, phát hiện khách hàng và trích xuất thông

tin lịch sử mua hàng của khách hàng một cách nhanh chóng

122 Cự của đối trong so voi camera:

Khoảng cách đối tượng so với camera sẽ xác định sé pixel ảnh quy định nên khuôn mặt

1.2.3 Cảm xúc biểu cảm trên khuôn mặt

Các nét biểu cảm cảm xúc trên khuôn mặt gay ra nhiều, việc loại nhiễu nảy vẫn chưa

có phương pháp hiệu quả

- Tư thế đứng của đối tượng (nghiêng, xoay, ): tư thế của đối tượng sẽ xác định thông tin của đối tượng đó Việc tư thế thay đổi quá lớn sẽ làm thay phan lớn thông tin về đối tượng, dẫn đến kết quả nhận dạng sai

- Trang phục của đối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu như đối tượng có các trang phục khác biệt so với mẫu như đeo kính, đội mũ,

Four-rectangle Features

Important Features for Face Detection

Hình 1.2 Nhận diện khuôn mặt con người

1.3 Bài toán đặt ra

Tự động xác nhận những khách hàng đã đến cửa hàng dựa trên sự hudn luyén dit liéu hinh ảnh đã có sẵn dựa trên thư viện OpenCV va hé thong có thê tìm kiếm thông tin, dữ liệu khách hàng Lựa vào đữ liệu đã có sẵn tiễn hành phán tích dữ liệu

và dự đoán được xu hướng mua tiếp theo của khách hàng

1.3.1 Yêu cầu của ánh đầu vào

- Video hình ảnh khách hàng vào cửa hàng được lấy từ Camera kỹ thuật số, có chứa hoặc không chứa đối tượng, được truyền về PC đề lưu trữ, xử lý và phân tích

- Yêu cầu đối với video hình ảnh:

e Nền không đôi, ánh sáng tương đối ôn định, camera được đặt cô định

e - Người cần nhận dạng đứng cách camera không quá xa (~1m), tư thế tương đối thắng và ngay ngắn

® - Người cần nhận dạng không nên để tóc phủ mắt, không đeo kính (Yêu cầu

này được đặt ra khi hệ thống sử dụng phương pháp tìm mắt để định vị

khuôn mặt)

1.3.2 Yêu cầu đầu ra

- Nếu ảnh không chứa đối tượng, hoặc là người chưa có trong cơ sở đữ liệu (cơ sở

dữ liệu) (tương ứng với hệ số phần trăm chính xác) thì kết quả sẽ trả ra là không nhận

ra được người dùng

- Nếu ảnh chứa đối tượng và người đó có trong cơ sở đữ liệu, hệ thống đưa ra màn hình hình ảnh và thông tin, đữ liệu mua sắm của người dùng

- Biểu đồ phân tích được nhu cầu của khách hàng

1.4 Vai tro va y nghĩa của bài toán

Nếu như công nghệ nhận dạng giọng nói phù hợp với các ứng dụng call-center và nhược điểm của nó là tiếng ồn, không phù hợp với nơi công cộng đông người thì công nghệ nhận dạng chữ ký cũng gây nhiều phiền phức cho người sử dụng vỉ khó duy tri được chữ ký giống nhau ngay trong cùng một thời điểm Trong khi đó, công nghệ nhận dạng vân tay hiện đã được dùng khá phỏ biến, nhưng cũng có nhược điểm là bị ảnh hưởng bởi độ âm da và đặc biệt sẽ không chính xác cao với người có tay hay tiếp xúc với hoá chất Bên cạnh đó, nhận dạng bằng vân tay còn có những hạn chế về việc giả mạo, thậm chí kẻ gian có thể sử dụng tay của người khác để xác thực Còn công

nghệ nhận dạng mống mắt là một công nghệ có nhiều ưu điểm về độ chính xác cũng

như khả năng chống gia mao Việc xác thực, nhận dạng trong công nghệ này dựa trên

sơ đồ mạch máu trong võng mạc mắt Sơ đồ này rất ít thay đối kê từ lúc mới sinh cho tới khi p1à và đặc biệt là khi chết, hệ thong sơ đồ mạch máu nảy sẽ biến mắt Vì thế, không thể dùng người chết để xác thực cho việc truy cập trái phép Tuy nhiên, công nghệ này lại bị tác động bởi nhiều yếu tố khác như độ rộng của mắt, lông mi, kính đeo

và khó triển khai phổ biến trên diện rộng do độ phức tạp của các thiết bị

Trong khi đó, mặc dù độ chính xác không là phải ưu điểm nổi bật của công nghệ

nhận dạng mặt người song không giống với những phương pháp khác, nhận dạng mặt người là công nghệ nhận dạng không cần đến sự tiếp xúc trực tiếp giữa đối tượng và thiết bị thu nhận Thay vào đó, công nghệ nảy mang tính theo dõi, giám sát và rất thuận tiện cho những ứng dụng bảo vệ mục tiêu, chống khủng bố tại những điểm công cộng đông người Đây cũng là ưu điểm nỗi trội của nhận dạng mặt người mà các công

nghệ nhận dạng khác khó có thể có được

Việc xây dựng một hệ thống nhận khuôn mặt với độ chính xác cao mang lại những

ý nghĩa sâu sắc Có thê kế đến là:

- Nhận dạng người A có phải là tội phạm truy nã hay không? Giúp cơ quan an ninh quản lý tốt con người Công việc nhận dạng có thể ở trong môi trường bình thường cũng như trong bóng tối (sử dụng camera hồng ngoại)

- Hệ thống quan sát, theo đối và bảo vệ Các hệ thống camera sẽ xác định đâu là

con người vả theo dối con người đó xem họ có vi phạm gì không, ví dụ xâm phạm

khu vực không được vào

- Lưu trữ (rút tiền ATM, để biết ai rút tiền vào thời điểm đó), hiện nay có tình

trạng những người bị người khác lấy mắt thẻ ATM hay mất mã số PIN và những người ăn cắp này đi rút tiền, hoặc những người chủ thẻ đi rút tiền nhưng lại báo cho ngân hàng là mất thẻ và mất tiền Các ngân hàng có nhu cầu khi có giao địch tiền sẽ kiểm tra hay lưu trữ khuôn mặt người rút tiền để sau đó đối chứng và xử lý

- Tạo mới và chỉnh sửa thông tin nhân viên của cửa hàng

- Tạo mới và chỉnh sửa các san pham đang được bán tại cửa hàng

- Tạo mới và xem các hóa đơn có sẵn trong cơ sở đữ liệu

Sau khi đã nhập liệu và chỉnh sửa đữ liệu xong sẽ được chuyên sang tầng cơ sở

dữ liệu, ở đây đữ liệu sẽ được tách thành hai phần Phần một là dữ liệu ảnh của khách

hàng, ảnh sẽ được xử lý qua các bước trích chọn đặc tính được nêu ở phan 2.4.3 Phan còn lại là đữ liệu quản lý nhập liệu, các dữ liệu này sẽ được lưu ở các bảng TableModel

Sau do anh va dtr ligu khach hang sẽ được chuyén lên tầng Server để xứ lý dữ

sẽ nhận

trước, Server sẽ hiến thị thông tin về khách hàng, lịch sử mua hàng, và sẽ giới thiệu

nhân viên quản lý những mặt hàng đó ra phía Client để hỗ trợ khách hàng một cách

nhanh chóng và thuận tiện nhất

Hình 2.2 Lược đồ EER Hệ thông

Lưu thông tin dữ liệu của khách hàng, gồm tên khách hàng, địa chỉ, số điện thoại,

Bang 2.1 Bang Custom

customer_id bigint Mã khách hàng

cmtnd nvarchar(50) Chứng minh thư nhân dân

customer_name nvarchar(100) Ho tén khach hang

phone datetime Số điện thoại

address nvarchar(75) Địa chỉ

record_ date nvarchar(75) Ngày đăng kí

ngaysinh bigint Ngày sinh

gioitinh nvarchar(75) Giới tính

branchID nvarchar(75) Mã chi nhánh

® Employee_1d: Khóa chính, mã định danh của nhân viên

e _ Employee code: Mã nhân viên

e _ Employee name: Tên của nhân viên

° Item_¡d: khóa ngoại: giúp người quản lý có thể gán cho nhân viên quản lý mặt hàng nào

Bang 2.2 Bang Emplyee

employee_ 1d bigint ID nhân viên

employee_code bigint Ma chi nhánh

employee _name nvarchar(100) Ho tén

record date nvarchar(20) Ngày vào làm

email nvarchar(500) gmail

address datetime Dia chi

cmnd date Chứng minh nhân dân

bíth day varchar(50) Ngày sinh

gender varchar(10) Giới tính

chucvu int Chức vụ

tong luong uniqueidentifier lương

branchID bigint Id Chi nhanh

Những kết quả chính thu được trong quá trình thực hiện đề tài:

° Tìm hiểu về cách làm giao diện với PyQt5

e Phân tích, thiết kế hệ thống xác nhận khuôn mặt người dùng

° Nắm được các vấn đề cơ bản của ảnh số và xử lý ảnh SỐ

° Nắm được các đặc điểm của một bài toán nhận đạng nói chung và nhận

dạng khuôn mặt nói riêng

2_ Về thực nghiệm

° Nghiên cứu, tìm hiểu, cài đặt các công cụ hỗ trợ phần mềm

° Nghiên cứu đữ liệu ảnh số và huấn luyện ảnh SỐ

e _ Tiến hành thử nghiệm các ảnh số vào nhận diện khuôn mặt

e Xử lý dữ liệu ảnh số và phân tích các thuật toán ứng dụng xử lý ảnh số

° Giải quyết được hai bài toán: Face detecting va Face recognition

3 Ưu điểm của hệ thống hiện tại

e Nhận diện khách hàng với độ sai lệch không quá cao

e© _ Hỗ trợ cửa hàng xử lý thông tin khách hàng và dữ liệu mua sắm

e Hỗ trợ cửa hàng phục vụ khách hàng tốt hơn và nhanh chóng hơn

4 Nhược điểm của hệ thống hiện tại

° Hệ thống chưa hỗ trợ nhập liệu dữ liệu từ các dữ liệu ảnh, video có sẵn

e _ Hệ thống chưa thực sự xử lý nhanh trong trường hợp quá nhiều khách hàng

đến cùng lúc (50 khách hàng trở lên)

e Tốc độ xư lý và huấn luyện ảnh còn chậm