Khóa luận tốt nghiệp Kỹ thuật máy tính: Thiết kế hệ thống nhận diện lòng bàn tay người

Việc nhận diện lòng bàn tay bao gồm việc sử dụng camera dé chụp lại hình anh sau đó anh sẽ được tiền xử lý tăng cường độ tương phản, trích xuất vùng quan tâm, cân bằng góc nhìn décải thi

ĐẠI HỌC QUOC GIA TP HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN

KHOA KY THUAT MAY TÍNH

NGO TRONG NHÂN - 19521936

TRAN MANH QUAN - 19522089

KHOA LUAN TOT NGHIEP

THIET KE HE THONG NHUNG NHAN DIEN LONG

BAN TAY NGUOI

AN EMBEDDED SYSTEM FOR PALMPRINT RECOGNITION

KY SƯ NGÀNH KY THUAT MAY TÍNH

GIANG VIEN HUONG DAN

TS PHAM QUOC HUNG

TP HO CHÍ MINH , 2023

LOI CAM ON

Lời đầu tiên, chúng em xin bay tỏ lòng biết ơn sâu sắc tới TS Pham Quốc

Hùng, người đã tận tình truyền đạt những kiến thức trong quá trình học tập và trực tiếp hướng dẫn đề tài này, chỉ dạy những kinh nghiệm quý báu để chúng em

điều kiện, động lực dé chúng em có thé hoàn toàn tập trung và nỗ lực.

Một lần nữa chúng em xin cảm ơn tới tất cả những người bỏ thời gian, công

sức giúp đỡ chúng em trong quá trình hoàn thành khóa luận này Do trong quá trình

thực hiện khóa luận cũng không tránh khỏi những thiếu sót, chúng em mong thay cô, các anh các chị và các bạn có thể bỏ qua và thứ lỗi.

Sinh viên thực hiện

Ngô Trọng Nhân

Trần Mạnh Quân

Khoa Kỹ thuật Máy tính

MỤC LỤC

Chương 1 MỞ ĐẦU 2 ©2222222222222222221112222112122711112271112221112 2.111 ce 3

1.1 Lý do chọn để tài 222c+c222222 2222222211111 1.11 re 3

1.2 Mục đích nghiÊn CỨU «tt StSE*EEk+kEEEErkeEEkekekrkrkrrrrrrkrerkrkrek 4

1.3 Phạm vi nghiÊn CỨU - ¿+ tt 3 EvSk vn g Hn HT gngrrtriưy 4

Chương2 TÔNG QUAN

2.1 Tình hình trong nước - - + +5 c++x‡Ex‡ te ket 6

2.2 Tình hình ngoài nước

2.3 Bài toán nhận diện lòng bàn tay 5:52 55552++ccse+eexerererxrxee 8

2.4 Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay 10

2.5 Các lĩnh vực ứng dụng công nghệ nhận diện lòng bàn tay 11

Chuong 3 CƠ SỞ LÝ THUYÉT

3.1 Phát hiện lòng bàn tay và trích xuất vùng quan tâm - -: 12 3.1.1 Cơ sở lý thuyết của phát hiện lòng bàn tay - - 12

3.1.2 Landmark dectection S2 SE £EESEEkekekerrrrkrkrkek 21

3.1.3 Điều chỉnh hướng của bàn tay cccccccsscccrrrreerrrrrrer 22 3.2 Mô hình Tetra cấu trúc vi mô 01000001217 23

3.2.1 Các bước thực hiện của mô hình - -¿- ¿+ 5s ++++++e£vse£e>exsxzx 25

3.3 Principal Components Analysis - -c+5+5c+c+cececcexsesee -e TÔ

3.3.1 Một số phương thức thực hiện của PCA - -+ ©c+- 37 3.3.2 Áp dung PCA vào thuật toán LMTYP ccccssssescssssessssssseecessseecssseee 38 3.4 Mô hình máy học dé phân loại -¿ ++22v+z++t2vvvrrecrvsrrcrr 38 3.5 Huấn luyện mô hình máy học -++£+22+vvv+++++trtrvxrrrrrrrrrrr Al

3.6 Mult-Threading 56-5 S2 St St ri 43

3.7 Phần cứng hệ thống -¿¿2++++22E+++ttEEE++rttEEEErretrrrrrrrrrrrrrrrrg 46

3.7.1 Raspberry Pi4

3.7.2 Raspberry Pi Camera 6-5 49

3.7.3 Màn hình cảm ứng 3.5-Inch 480x320 TFT

3.7.4 Servo Motor SG90 -c- St Set He 51

3.7.5 Cảm biến hồng ngoại (IR Sensor)

3.7.6 Cảm biến khoảng cách HC-SR05 -©2cc2ccvvecrrcrrscee 52

3.7.7 Quá trình mở cửa va đóng cửa

3.8 Triển khai phần cứng và phần mềm - ¿z2 57 Chương 4 KET QUA THỰC NGHIỆM 22:¿222v2z+2vcvvvrrsrrvscee 59 4.1 Kết quả đạt được -.2cc222222c2222111222211122121111221111 1111 cetrkee 59 4.1.1 _ Thời gian traning trên các thiết bị - c-: c-ccvvvccccerrrer 59 4.1.2 Thu thập mẫu -2c©++cvxeterxererrererrrerrrrrcei 60

4.1.3 Nhận diện lòng bàn (ay - 5525252Sc++scztetsrererrereever 62

4.1.4 _ Thiết kế giao diện -ccccccsccccvvvverrrrrrrrrrverererrrre 68

4.1.5 Mô hình hoàn chỉnh - 6 5c S3 *2kEk+t#vEEEvxeEekekskekrrrrrkeksek 74

4.2 Đánh giá khóa luận cece ees + BS 1E HH1 010121 rà 74

4.2.1 UƯuđiểm 2c 222 E222 Error 74 4.2.2 Nhược điểm 2222+ct22EEEtEEEEEEEEEEkrrrrrrrrerrrer 75

Chương 5 KẾT LUẬN 2 22222¿+22EE+2222E152222211E2221112222112 2E 71

5.1 Các kết quả đã thực hiỆn - + + tt gưyưườ 71

5.2 Những đóng góp, đề xuất mới ::++++22+++t+22xvrrerrrrrrrrrrrer T7

Chương 6 HƯỚNG PHAT TRIẺN :: ©22222222++2222222YS2zvrerrrrrrreer 79

6.1 Về mô hình cửa tự động -:©22+++22E+++tEEEvrrtttrrkrrerrrkrrrerrkee 79

6.2 Về mô hình nhận diện lòng bàn tay ::-©2z222vvzrvvcvvvrrerrrer 79 6.3 Về tính áp dụng của mô hình.

TÀI LIEU THAM KHẢO 222: 22222222222 222212222211122221122222211 2211 xe, 80

DANH MỤC HÌNH

Hình 1 Công nghệ nhận diện lòng bàn tay của Amazon : - + +55 8

Hình 2 Apple tích hợp công nghệ nhận diện lòng bàn tay trên Apple Watch 8

Hình 3 Các đặc điểm trên lòng ban tay -.-:¿-22222222++ct222Evvrrrrrrrrrrrrrrrrrrrre 9 Hình 4 Kết quả của quá trình nhị phân hóa hình ảnh bàn tay - 3

Hình 5 Trong tâm của hình ảnh ban tay cesses ¿c2 S* Set 4 Hình 6 Biên của hình ảnh nhị phân ¿-¿- - cscs + 5+2 +£££££EvzkzkeEexerrkrkexer 5 Hình 7 Biên của hình ảnh ban đầu Hình 8 Đồ thị khoảng cách Euclidian giữa trong tâm và điểm ảnh biên 6

Hình 9 a) Đồ thị dao hàm của hình 8 (b) Phóng to khu vực của hình a 7

Hình 10 Đồ thị cường độ của biến đổi Fourier của hàm ED - 5c s2 8 Hình I1 Hàm ED được tái cầu trúc -:: ::+ccccccccerrtrreeeerrrrrrrrrrrrrer 9 Hình 12 Phát hiện các điểm rãnh của lòng bàn tay -c+©2sccz+ccsscez 9 Hình 13 Hình anh lòng bàn tay sau khi xoay một góc Ô -.- - + +-+-+++<s+ 20 Hình 14 Vùng ROI được trích Xuất - 2 222++2E+++++EEE+Et22EEESztrtrrxeerrrrkrcee 20 Hình 15 Vùng quan tâm được trích xuất từ hình ảnh bàn tay - 21

Hình 16 Mediapipe cho bàn tay - - 5:52 22222 St2t+xxekereekerererrerree 22 Hình 17 Các bước thực hiện nhận diện lòng bàn tay dựa trên bộ mô ta LMTrP 24

Hình 18 Các bước thực hiện của bộ mô tả LMTTP 5 2s +5ss+s>s+eze+exss> 25 Hình 19 Tổng quan về quá trình trích xuất đặc trưng của lòng bàn tay 25

Hình 20 Kết quả bộ lọc Gabor với các hướng 0 = 0, 71/6, 271/6 -. - eee 27 Hinh 21 Két qua bộ lọc Gabor với các hướng 0 = 7/2, 273 và 51/6 - 27

Hình 22 Đặc tính về hướng và độ rộng thu được từ bộ loc Gabor - 28

Hình 23 Các điểm ảnh liền kề với khoảng cách R dọc theo góc j - 28

Hình 24 Dao hàm theo quy tắc LMTrP theo phương ngang - 29

Hình 25 Dao hàm theo quy tắc LMTrP theo phương đọc -.- 3Ù Hình 26 Bốn hướng tham chiếu của LTrPI -: ccccvcsccccescccvvseccez3 Í Hình 27 Kết quả sau khi mã hóa theo 4 hướng tham chiếu của LTrPI 31

Hình 28 Minh họa cho việc chuyển đổi mẫu cục bộ đối với điểm ảnh hướng “1” 32

Hình 29 Hình ảnh 12 mẫu nhị phân được tạo thành từ 4 hướng tham chiếu 33

Hình 30 Biểu diễn bit tương ứng của các mẫu góc phan tư của LMTrP trong đó k

€[1 8]

Hình 31 Kết quả của việc tính toán biểu đồ

Hình 32 Vector đặc trưng sau khi sử dụng K-PCA c c-.- 28Ỷ

Hình 33 Hyper-plane phân chia các lớp dit liệu -. -+< < .3Ø

Hình 34 Margin trong bài toán có hai lớp dữ liệu -¿©-+-++ccx# 40

Hình 35 Dữ liệu lòng bàn tay xét trong không gian hai chiễu - - 42

Hình 36 Các bước của quá trình Hyperparameter Tunning cho mô hình SVM 43

Hình 37 So đồ liên kết giữa các thread -c-:-:++2222vvvrrrirtrtrrrtrrrrrrrrrrrrrrer 46 Hình 38 Sơ đồ kết nói phần cứng của hệ thống - +¿©zz+2cssce2 47

Hình 39 Raspberry Pi 4 model B 47

Hình 40 Sơ đồ chân GPIO của Raspberry Pi 4 49

Hình 41 Màn hình am ứng 3.5-Inch 480x320 TFT 51

Hình 42 Nguyên lý hoạt động của cảm biến hồng ngoai 32

Hình 42 Cảm biến khoảng cách HC — SR05 -2:¿£©2222222ccz+rccvrvrve 53 Hình 43 Nguyên lý hoạt động của cảm biến siêu âm - -ccccccc+2 54

Hình 44 Schematic của một mạch chia áp đơn giản ¿-¿- - - + 2 +++zs2<s= 55

Hình 45 Quá trình hoạt động của hệ thống cửa tự động -c-c-c«e 56

Hình 46 Sơ đồ kết nối phần cứng và phần mềm - ¿+ ¿222222 57

Hình 47 Video phục vụ cho quá trình thu thập dataset -:-+ 60

Hình 48 Ảnh ROT bị lỗi -ccocccc222cSvEvrrrrrrrrrrrrrrrrrrrrrrrriirrrrriiil 62

Hình 49 Dữ liệu lòng ban tay được sử dụng cho việc đánh giá 63

Hình 50 Kết quả sau khi áp dung mô hình lên tập dữ liệu tự xây dựng 65 Hình 51 Đồ thị thể hiện các thông số của từng nhãn trong tập Tesi 66

Hình 52 Ma trận phân loại lỗi của mô hình 2-2 s2 s2 x+szzxzzssrxerxersevl 66

Hình 53 Giao diện ban đầu của hệ thống -2¿¿©2+++222++z++tvzvzrrrrrrscee 69

Hình 54 Giao điện lấy mẫu mới -222+++£22222vv+++rtttEEEEExvrrrrrrrrrrrrrrrree 70 Hình 55 Quá trình thực hiện việc lấy mẫu mớii 2 2£ + ©+£+x£zE++£zzExerxrrxere 70

Hình 56 Giao diện của hệ thống sau khi quá trình training hoàn tat 71Hinh 57 Qua trinh nhan dién bang DAM tay 0 72Hinh 58 Giao dién cua hé thong khi xác thực thành công - . - ««++-«« 72Hình 59 Giao diện của hệ thống khi xác thực that bại -¿sz©5+=s+ 73

Hình 60 Giao diện của hệ thống khi đổi mật khẩu 2 ¿5c + s+zs+zszs+2 73

DANH MỤC BANG

Bảng 1 Kernel funtion va các bộ phân loại mà chúng được định nghĩa 41

Bảng 2 Thời gian training trên các thiết bị . 2-22 5¿22+2x++zx+erxzrxerreeree 59Bảng 3 Kết quả quá trình trích xuất ảnh từ Vide0 c ccscccsssessessseesseesesstesseesseesseens 61Bảng 4 Thông số trung bình của quá trình Hyperparameter trên tập dữ liệu Test 63Bảng 5 Kết quả chỉ tiết của 20 đối tượng với kernel khác nhau trên tập validation64

DANH MỤC TỪ VIET TAT

GPU Graphics Processing Unit

SVM Support Vector Machine

PCA Principal Components Analysis

CPU Central Processing Unit

ROI Region Of Interest

RBF Radial Basis Function

LDA Linear Discriminant Analysis

SIFT Scale Invariant Feature Transform

OLOF Orthogonal Line Ordinal Features

LMTRP Local Micro-structure Tetra Pattern

GPIO General Purpose Input/Output

RAM Random-access memory

PC Personal Computer

IOT Internet of Thing

HDMI High-Definition Multimedia Interface

LAN Local Area Network

BLE Bluetooth Low Energy

VCC Voltage Common Collector

GND Ground

TOM TAT KHÓA LUẬN

Bảo mật thông tin là một trong những vấn đề quan trọng nhất trong thế giới kỹ thuật

số hiện nay Với sự phát triển không ngừng của công nghệ, việc bảo vệ thông tin cánhân của người dùng trở nên khó khăn hơn bao giờ hết Các vụ tan công mang, lừađảo trực tuyến và phần mềm độc hại ngày càng tinh vi và phổ biến, đe doa đến tính

bảo mật của các hệ thống thông tin và thông tin cá nhân của người dùng Việc tìm

kiếm các giải pháp bảo mật hiệu quả để bảo vệ thông tin trở thành một trong những

ưu tiên hàng đầu của các chuyên gia kỹ thuật và người dùng trên toàn thế giới Trong

đề tài này nhóm em áp dụng một mô hình nhận diện lòng bàn tay lên một hệ thống

có tích hợp khả năng phát hiện, nhận diện và hiển thị quá trình nhận diện hoàn toàn

tự động Dé tài tập trung vào việc phát trién một mô hình với chi phí thấp nhưng vẫnđảm bảo độ chính xác và tốc độ phản hồi nhanh, nhằm tối ưu hóa hiệu quả và giảmchi phí cho các sản phâm và dịch vụ kỹ thuật Với việc những hệ thống nhận diện đã

va dang phát triển mạnh mẽ trên thị trường hiện nay thì giảm chi phí giúp tăng tinhcạnh tranh đồng thời tiếp cận đa diện đối tượng người dùng hơn Do đó, việc lựa chọnphần cứng cũng như phương pháp học máy là bước quan trọng hàng đầu Raspberry

Pi 4 là một máy tính nhúng với kích thước nhỏ gọn, được tích hợp GPU nên thích

hợp cho việc huấn luyện các mô hình học máy (Machine Learning) và xử lý quá trìnhhiền thị cũng như điều khiến phần cứng khác Việc nhận diện lòng bàn tay bao gồmhai quá trình là phát hiện lòng bàn tay và nhận diện lòng bàn tay Dé phát hiện lòng

bàn tay nhóm em thực hiện các phương pháp xử lý ảnh [1] để trích xuất vùng quantam (ROD, đây là vùng chứa những đặc trưng có thé phân biệt giữa người và người

SVM và PCA là hai phương pháp được sử dụng cho nhận diện lòng bàn tay Đặt trong

trường hợp triển khai mô hình trên một hệ thong nhúng có cấu hình hạn chế, hơn nữađây còn là xử lý ảnh thì việc giảm chiều dit liệu nhưng van giữ lại được những chi

tiết chính sẽ tăng tốc độ xử lý Sau khi đã trích xuất được vùng lòng bàn tay, nhóm

em sẽ tiến hành sử dụng mô hình Tetra cau trúc vi mô cục bộ để trích xuất vector đặc

trưng của mỗi lòng bàn tay Tiếp theo, sau khi tiến hành sử dụng PCA trên vector đặc

trưng dé giam chiều dữ liệu thì việc còn lại là sử dụng một bộ phân loại đơn giản,

không áp dụng học sâu dé nhận diện lòng bàn tay, ở đây nhóm em sử dụng một

phương pháp phổ biến là Support Vector Machine bởi vì mô hình này không sử dung

tài nguyên nhiều như các bộ phân loại học sâu, đây là yếu tố then chốt dé lựa chọn

khi mà Raspberry Pi là một máy tính nhúng có cấu hình hạn chế Việc nhận diện lòng

bàn tay bao gồm việc sử dụng camera dé chụp lại hình anh sau đó anh sẽ được tiền

xử lý (tăng cường độ tương phản, trích xuất vùng quan tâm, cân bằng góc nhìn) décải thiện chất lượng ảnh cũng như phù hợp với với quá trình xử lý sau đó Tiếp theo

hệ thống sẽ xác định xem lòng bàn tay này có khớp với những lòng bàn tay mà hệ

thống đã học trước đây Dựa trên quá trình đó hệ thống sẽ quyết định xem có quyền

truy cập vào hệ thống hay không

Chuong 1 MỞ ĐẦU

1.1 Lý do chọn đề tài

Hiện này khoa học kỹ thuật đang phát triển với tốc độ chóng mặt, mang lạinhững tiến bộ đáng kinh ngạc cho con người Các nghiên cứu và ứng dụng của kỹthuật đã đem lại những lợi ích to lớn cho con người và xã hội Sự phát triển của khoahọc kỹ thuật hiện nay cũng đi đôi với các vẫn đề về bảo mật thông tin Các thiết bị kỹthuật như máy tính, điện thoại thông minh, máy tính bảng, các hệ thống mang và IoT

đã trở thành mục tiêu tấn công của các hacker và tin tặc, nhằm chiếm đoạt thông tin

cá nhân hoặc tài khoản ngân hàng của người dùng Dé đối phó với các mối đe doa

bao mật này, các chuyên gia bảo mật đã phát triển các phương pháp và công nghệ dé

bảo vệ thông tin và dữ liệu của người dung.

Nhiều phương thức bảo mật được đưa ra như sử dụng mật khẩu, thẻ tir, dé

bao vệ hồ sơ cá nhân hoặc dữ liệu cá nhân Tuy nhiên có rất nhiều các trường hợpmật khẩu, thẻ từ có thé bị mat bởi chính người dùng hoặc bị các tô chức, cá nhân đánhcắp Do đó hiện nay sinh trắc học là một phương pháp nồi lên với tính bảo mật cao,việc nhận diện bằng sinh trắc học có độ chính xác lớn và luôn đi liền với người dùng[2] Phương pháp nhận diện này ngày càng được ưa chuộng và dần thay thế cácphương pháp bảo mật truyền thống như mật khâu và hình thức xác thức dựa trên cá

nhân.

Vậy giữa rất nhiều các phương pháp sinh trắc học hiện nay, tại sao chúng ta lạilựa chọn sử dụng lòng bàn tay? Thứ nhất là sự riêng biệt của dòng máu nóng tronglòng bàn tay Sơ đồ tĩnh mạch và các đường vân là riêng biệt và duy nhất, không có

sự trùng lặp giống nhau kế cả các cặp song sinh đơn tử có cùng thông tin di truyền[3] [4] Thứ hai là đối với các phương pháp sinh trắc học phô biến nhất được sử dung

là dấu vân tay và mống mắt, việc trích xuất các đặc điểm nhỏ như điểm từ dấu van

tay mờ hay sử dụng thiết bị thu mống mắt là rất khó khăn và đắt đỏ Các đặc điểmsinh trắc học khác như khuôn mặt và giọng nói có độ chính xác thấp hơn và có thê bịgiả mạo dễ dàng Hiện nay chúng ta có thể thấy rất nhiều phần mềm hiện đại có khả

năng giả mạo khuôn mặt và giọng nói như deepfake, deepvoice So với các đặc điểm

sinh trắc học kể trên, lòng bàn tay có rất nhiều lợi thế [5] Đơn giản là khi xem một

hình ảnh về lòng bàn tay thì chẳng ai có thể kết luận ngay tức thì nói nó thuộc về ai

cả Trong cuộc sóng thường ngày, lòng bàn tay thường co lại, nên nếu không chủ

động hợp tác, rất khó đề người khác hay các camera ân có thé đánh cắp thông tin lòng bàn tay của chúng ta Chính vì vậy mà các nhà nghiên cứu đã chuyên hướng và tập

trung nghiên cứu việc nhận diện bằng công nghệ nhận diện lòng bàn tay Nhận thấy tiềm năng và tính thực tiễn của đề tài, nhóm em quyết định thực hiện xây dưng mô

hình nhận diện bằng lòng bàn tay cho đề tài nghiên cứu.

1.2 Mục đích nghiên cứu

Kết hợp và phát triển thuật toán biểu diễn, trích dẫn đặc trưng vân lòng bàn tay

với độ chính xác cao và tốc độ so khớp trong khoảng thời gian tối ưu nhất Cụ thé là:

— Tìm hiểu và ứng dụng các phương pháp trích xuất vùng quan tâm cho phát

hiện lòng bàn tay, PCA và SVM, tối ưu và tỉnh chỉnh trên mô hình máy học

dé đạt được độ chính xác cao.

— _ Tiền xử lý ảnh bằng các phương pháp như tăng cường độ tương phản, chuyền

đổi tỉ lệ ảnh, trích xuất landmarks, điều chinh hướng nghiêng lòng bàn tay.

— Khai thác khả năng Multi-Threading đề có khả năng chạy nhiều công việc.

— Điều khiển và xử lý các tín hiệu, ngoại vi trên Raspberry chính xác.

— Thiết kết giao diện phục vụ quá trình lấy mẫu và nhận diện.

— Xây dựng hệ thống cửa thông minh phục vụ cho nhà ở.

— Mô hình thực hiện mang tính ứng dụng cao và đảm bảo chỉ phí thấp.

1.3 Phạm vi nghiên cứu

Phạm vi của đề tài là giải quyết vấn đề mà bài toán nhận diện lòng bàn tay được đặt ra: thực hiện tiền xử lý ảnh, phát hiện vùng quan tâm và nhận diện lòng bàn tay.

Ngoài ra còn một số yêu cầu đặt ra như có giao diện dé điều khiển việc lấy mẫu và

nhận diện nhằm tăng khả năng tương tác giữa người dùng và hệ thống.

Việc xây dựng một mô hình nhận diện lòng bàn tay bao gồm ba van đề chính

cần quan tâm đề đánh giá là công suất, độ chính xác và tốc độ xử lý Tuy nhiên trong

dé tài này nhóm em sẽ tập trung vào độ chính xác, tốc độ xử lý và đặc biệt là vấn đề bảo mật của hệ thống, bỏ qua các vấn đề về công suất.

Chuong 2 TONG QUAN

2.1 Tinh hình trong nước

Việc sử dụng công nghệ nhận diện bằng lòng bàn tay đang là một công nghệ

mới và chưa được sử dụng rộng rãi ở Việt Nam Trong các tính năng của bàn tay,

phương pháp nhận diện bang vân tay là phố biến nhất và đã được áp dụng trong nhiềulĩnh vực như mở khóa điện thoại, tài khoản ngân hàng, cham công, quản lý thẻ nhân

viên, v.v.

Tuy nhiên, việc sử dụng lòng bàn tay như là một công cụ sinh trắc học đang dầnđược phát triển và áp dụng trong một số dự án và sản phẩm đặc biệt Có thé kê đến,FPT Telecom đã triển khai hệ thống nhận diện bằng lòng ban tay dé quản lý truy cập

vào trung tâm dtr liệu của mình, giúp đảm bảo tính bảo mật và tiện lợi cho người

dùng Trong khi đó, Viettel đã ứng dụng công nghệ này dé quản lý truy cập vào các

khu vực bảo mật trong tòa nhà Tuy nhiên mặt hạn chế là các sản phẩm này chưa

được thương mại hóa dé tới tay khách hang

Mặc dù việc sử dụng công nghệ nhận diện bằng lòng bàn tay chưa phô biến ở

Việt Nam, nhưng với tính độc đáo và khả năng bảo mật cao của nó, nó có tiềm năngđược áp dụng rộng rãi trong tương lai và trở thành một công nghệ phô biến trong lĩnh

vực bảo mật và xác thực danh tính.

Xét riêng tại trường Đại học Công nghệ thông tin - Đại học Quốc gia Thànhphố Hồ Chí Minh, ké từ năm 2011 tới nay chỉ mới có một dé tài nghiên cứu về van

đề này Đó là năm 2022, sinh viên Lương Văn Trí đã phát triển hệ thống nhận diện

lòng bàn tay nhúng trên Raspberry PI với phương pháp máy học được sử dụng là

SVM Điều này cho thấy khả năng nghiên cứu, phát triển đề tài này là rất lớn và tiềm

năng.

2.2 Tình hình ngoài nước

Công nghệ nhận diện bằng lòng bàn tay không còn mới tuy nhiên so với các

công nghệ bang sinh trắc học khác nó chưa thực sự được phổ biến Mãi tới năm 1994

một hệ thong xay dung dé hỗ trợ cho việc nhận diện ban tay đã được xây dựng bởi

một công ty Hungary mới được phát triển Vào cuối năm đó, các chuyên gia đến từ

Mỹ đã trình bày về hệ thống này tại Hội nghị của Hiệp hội Nhận diện Thế giới, nhắn

mạnh sự tiễn bộ và ứng dụng của công nghệ nhận diện lòng bàn tay Tuy nhiên trong

khoảng thời gian vài năm trở lại đây nó mới thực sự được chú ý bởi tính bảo mật và

an toàn cao Do đó các công ty đang bắt tay vào công cuộc chay đua phát triển

Trong năm 2016 ZKTeco lần đầu tiên giới thiệu công nghệ nhận diện lòng bàntay Đó là phát súng mở đầu cho công cuộc chạy đua sinh trắc học mang tên "Xácminh lòng bàn tay" Đến năm 2017, tới lượt Samsung cũng cho ra đời công nghệ nhậndiện lòng bàn tay của mình Giữa sự phát triển như vũ bão của ngành sinh trắc học,đến năm 2019 ZKTeco ra đời phiên bản mới của công nghệ "Xác minh lòng bàn tay"

- Palm Recognition Công nghệ với khả năng xác minh từ khoảng cách lên tới 50 cm

và góc nghiêng rộng tới +60° một cách cực kỳ chính xác Vào thang 9 năm 2019,

Amazon đã thử nghiệm một công nghệ cho phép khách hàng của chuỗi cửa hàng thực

phẩm Whole Food thanh toán tại quay bằng dấu lòng bàn tay Tuy nhiên nổi bật nhấtphải nói tới công ty công nghệ nổi tiếng Apple Trong năm 2019 vừa qua, Apple đãđược văn phòng Bang sáng chế và Thương hiệu Mỹ (USPTO) cấp bằng sáng chếcông nghệ mới liên quan đến nghệ bảo mật thiết bị Chiếc bằng này cho phép cácthiết bi di động trong tương lai của hãng này có thé phát hiện chính xác tĩnh mạchtrong lòng bàn tay người Theo tài liệu chỉ tiết, các thiết bị của Apple sẽ được tíchhợp một hệ thống camera hong ngoại đặc biệt dưới man hình thiết bị cùng với hệ

thống camera Hệ thống camera này sau đó sẽ kết hop cùng với ánh sáng từ màn hình

thiết bị để quét thông số tĩnh mạch của người dùng và so sánh với dữ liệu gốc đã đượcđăng ký dé nhận diện và quyết định mở khóa hay không

Hình 2 Apple tích hợp công nghệ nhận diện lòng bàn tay trên Apple Watch

Góp mặt trong số những xu hướng công nghệ hang đầu được chuyên gia tổng

kết đầu năm 2020, nhận diện lòng bàn tay đã trở thành một tính năng hàng đầu mà

các ông lớn công nghệ rât mong muôn được dùng trên các sáng chê mới của mình.

2.3 Bài toán nhận diện lòng bàn tay

Long ban tay là khu vực từ cô tay tới các ngón tay Nó chứa đựng một số lượng

lớn các đặc điểm như các đường chính, đặc trưng hình học, điểm delta, nếp nhăn và

những đường vân hiển thị trong hình 3 Trong đó đường chính (Principal lines), nếp

nhăn (Wrinkles) và đường vân (Minutiae Features) là ba đường giúp đảm bảo độ

chính xác của việc nhận diện [6] Đường chính là đường được sử dụng nhiều nhấttrong bài toán nhận diện lòng bàn tay vì nó là đường dài nhất, đậm nhất và rộng nhất

trên lòng ban tay Nó đặc trưng cho các tinh năng dé phân biệt nhất trên lòng ban tay

Nếp nhăn được coi là các mẫu đường mỏng hơn và được phần bố không đều

Các nếp nhăn này, đặc biệt là các nếp nhăn rõ rệt xung quanh các đường chính, cũng

có thé đóng góp cho việc phân biệt của dấu bàn tay, tuy nhiên các nếp nhăn có thé bịthay đối theo thời gian Các đường vân là những kết cầu đường mảnh phân bố khắp

bề mặt lòng bàn tay

Khi chụp hình ảnh bàn tay, vùng quan tâm (ROI) của lòng ban tay được trích

xuất ROI chứa thông tin quan trọng của bàn tay được sử dụng dé nhận diện ROI

chứa những thông tin quan trọng được sử dụng để nhận diện Trước khi trích xuấttính năng, ROI được xử lý trước dé làm rõ kết cau lòng bàn tay và phân biệt với nên.Sau đó, các tính năng phân biệt trong ROI được trích xuất bằng cách sử dụng các kỹ

thuật và thuật toán đa diện, từ đó xác định và nhận diện chủ sở hữu của bàn tay hoặc nhóm người quan tâm tùy thuộc vào yêu câu cụ thê của từng bài toán.

2.4 Những khó khăn và thách thức trong bài toán nhận diện lòng bàn tay

Bài toán nhận diện lòng bàn tay người không phải là mới, nhưng vẫn là một bài

toán khó và nhiều thách thức Các nghiên cứu hiện tại đã tiếp tục nỗ lực đề giải quyết

bài toán này, nhưng vẫn chưa đạt được kết quả mong muốn Điều này cho thấy tính

phức tap và đa diện của dấu vân và nếp nhăn trên lòng bàn tay Có thé kế đến những

khó khăn của bài toán nhận diện lòng ban tay người như sau:

— Góc chụp: góc chụp ảnh lòng bàn tay ảnh hưởng lớn đến hình ảnh vân tay thu

được Tùy thuộc góc máy anh và bàn tay mà hình ảnh có thé thay đôi đáng kể

Ví dụ như chụp thăng từ trên xuống, nghiêng trái/phải với nhiều góc khác

nhau.

— Điều kiện của ảnh: thiếu sáng hoặc dư sáng đều khiến ảnh mờ, khó phân biệt

rõ các đường vân Các loại máy ảnh kỹ thuật số, hồng ngoại cho hình ảnh có

độ tương phản, độ sắc nét khác nhau Cần chọn điều kiện và thiết bị phù hợp

dé có ảnh lòng bàn tay chất lượng cao

— Môi trường: bụi, ban, hoặc các chất cản trở khác có thé làm mờ hoặc che giấu

các đặc điểm trên ban tay Điều này có thé làm giảm độ chính xác và kết quả

của quá trình nhận diện.

— Ảnh hưởng về tuổi tác: quá trình lão hóa tự nhiên theo thời gian có thê làm

thay đổi cau trúc da và hình dạng các đặc điểm vân tay Điều này có thé làmthay đôi tính nhất quán và độ chính xác của quá trình nhận diện

10

2.5 Cac lĩnh vực ứng dụng công nghệ nhận diện lòng bàn tay

Công nghệ nhận diện lòng bản tay đã được áp dụng rộng rãi và hiệu quả trong

nhiêu lĩnh vực Một sô ứng dụng tiêu biêu có thê kê đên:

— Ngân hàng: các máy ATM sử dụng công nghệ nhận diện lòng bàn tay dé xác

thực giao dịch thay vì ding thẻ và mật khẩu

— An ninh - Pháp luật: lĩnh vực pháp y và cơ quan công an áp dụng công nghệ

này trong công tác điều tra hình sự dựa trên lòng bàn tay tại các hiện trường

vụ án.

— Bảo mật cá nhân: các thiết bị điện tử như điện thoại, laptop có thể dùng nhận

diện lòng bàn tay thay vì mật khâu dé mở khóa và bảo vệ thông tin cá nhân

— Kiểm soát ra vào: hệ thống nhận diện lòng bàn tay được ứng dụng dé kiểm

soát việc ra vào tại các tòa nhà, công ty, hoặc kết hợp với nhận dạng khuôn

mặt đê điêm danh nhân viên.

11

Chương3 CƠ SỞ LÝ THUYET

Phần này sẽ đi sâu hơn vào các thuật toán đã được nêu ở trên, làm rõ hơn về cơ sở lý thuyết của phần cứng cũng như phần mềm, dé từ đó có một cái nhìn tổng thể hơn về

lý do tại sao lựa chọn những linh kiện, mô hình, thuật toán đó.

3.1 Phát hiện lòng bàn tay và trích xuất vùng quan tâm

3.1.1 Cơ sở lý thuyết của phát hiện lòng bàn tay

Tiền xử lý là bước đầu tiên và quan trọng trong quá trình xử lý ảnh, đặc biệt

trong việc nhận diện lòng bàn tay Bước này nhằm chuẩn bị dữ liệu ảnh trước khi áp dụng các kỹ thuật xử lý khác như phân đoạn, nhận diện đối tượng hay trích xuất đặc

trưng, là một trong những phan quan trọng nhất của việc nhận diện lòng ban tay Trích xuất vùng quan tâm từ một hình ảnh lòng bàn tay giúp tăng đáng ké khả năng nhận

diện của hệ thống Vì vùng quan tâm được trích xuất yêu cầu ít sự xử lý và lưu trữ

hơn Hình ảnh lòng bàn tay sẽ được loại bỏ nhiễu và giảm kích thước, từ đó giảm sự

tính toán yêu cầu trong bài toán nhận diện vì kích thước của cơ sở dữ liệu trong bài

toán đã được giảm đáng kể Độ chính xác của thuật toán tiền xử lý rất quan trọng, vì bat kỳ lỗi nào xảy ra trong bước này đều có thé ảnh hưởng đến các bước xử lý tiếp

theo và dẫn đến sai sót trong quá trình nhận diện.

Việc trích xuất vùng quan tâm được tiền hành như sau: đầu tiên hình ảnh bàn

tay sẽ được áp dụng bộ lọc Gausian dé loại bỏ nhiễu và làm mịn ảnh ban đầu Sau đó chúng ta nhị phân hóa hình ảnh bàn tay bằng phương pháp phân ngưỡng ảnh [8], đây

là một phương pháp hữu ích trong việc giảm tối đa ảnh hưởng của nhiễu và những thay đổi lớn trong độ sáng Việc phân ngưỡng ảnh dựa vào việc trong hệ màu RGB

màu đen có giá trị là (0, 0, 0) và màu trắng sẽ có giá trị là (255, 255, 255) Ngưỡng là

một giá trị nằm trong khoảng từ 0 đến 255, được sử dụng trong xử lý ảnh đề chia tách các giá trị độ xám của ảnh thành hai miền riêng biệt Giá trị độ xám của mỗi điểm ảnh trong ảnh ban đầu được so sánh với giá trị ngưỡng đã chọn Nếu giá trị độ xám

nhỏ hơn giá trị ngưỡng, điểm anh sẽ thuộc vào mién thứ nhất Các điểm ảnh này sẽ

12

được chuyển thành giá trị của điểm ảnh đen (0, 0, 0) trong ảnh mới Ngược lại, nếu

giá trị độ xám lớn hơn hoặc bằng giá trị ngưỡng, điểm ảnh sẽ thuộc vào miễn thứ hai.

Các điểm ảnh này sẽ được chuyền thành giá trị của điểm ảnh trắng (255, 255, 255) trong ảnh mới Kết quả quá trình loại bỏ nhiễu bộ lọc Gausian và nhị phân hóa từ

hình ảnh ban đầu được thể hiện ở hình 4

Hình 4 Kết quả của quá trình nhị phân hóa hình ảnh bàn tay

Tính toán trọng tâm của ảnh: đầu tiên chúng ta tính moment của ảnh, đây là

một giá trị số học biéu điễn mức độ phân bó của điểm ảnh trên bức ảnh, moment ảnh mụa bậc (i,j) của ảnh xám với cường độ điểm ảnh f(,j) được tính toán như sau:

Mpq = Liz =øj==ø | j* * ƒ(,7) œ@)

Đối với một bức ảnh nhị phân: mạo tương ứng với tổng tat cả các điểm ảnh

khác 0 theo tọa độ x, mại tương ứng với tông tất cả các điểm khác 0 theo tọa độ y và m¡¡ tương ứng với tong tat cả các điểm ảnh bat kề giá trị của chúng theo tọa độ x và

Hình 5 Trong tâm của hình ảnh bàn tay

Tiếp theo chúng ta sẽ trích biên của ảnh nhị phân nói trên bằng phương pháp

xử lý hình thái học (morphological processing) Các bước tiễn hành thực hiện:

— Phép ăn mòn (Erosion): chúng ta thực hiện phép ăn mòn trên ảnh nhị phân

sử dụng phần tử cấu trúc S

— Khử nền (Background Subtraction): chúng ta thực hiện khử nền của ảnh

gốc A băng cách lấy ảnh gốc A trừ đi ảnh đã thực hiện phép ăn mòn ở bướctrên Công thức biéu dién biên của hình ảnh nhị phân ban đầu B(A) sau các

bước trên được xác định ở công thức 4:

được cho bởi:

Hình 6 là hình ảnh biên thu được từ ảnh nhị phân ban đầu

14

Hình 6 Biên của hình ảnh nhị phân

Xác định biên của ảnh ban đầu từ biên của ảnh nhị phân đã có: nói cách khác

chúng ta đang cô gắng xác định coutour - các đường cong liên tục trong ảnh gốc, đại

diện cho các cạnh biên của các đối tượng trong ảnh sốc Chúng được xác định dựa

trên tính liên tục và không có khoảng trống, cũng như có cùng hoặc gần bằng nhau

về mức xám hay mật độ điểm ảnh Đối với bức ảnh nhị phân nói trên sẽ có hai coutour

là trọng tâm của hình và đường biên Biên của ảnh ban đầu sau khi xác định countourđược thể hiện bởi hình 7

15

Tọa độ của các điểm ảnh biên thu được bang cách trích xuất ranh giới của hìnhảnh Hình ảnh nhị phân thu được chứa một số điểm không cần thiết, một số đã đượcloại bỏ bằng phương pháp xử lý hình thái học đã được nêu ở trên Các điểm ảnh không

cần thiết còn lại được loại bỏ bằng cách chọn ra đối tượng chứa hình ảnh thật sự của

đường biên trong lòng bàn tay Các điểm biên của đối tượng lớn nhất được trích xuất

từ các điểm anh từ điểm ngoài cùng bên trái (left-most pixel)

Khoảng cách ED (Euclidean Distances) giữa trọng tâm (Xcentroia> Ycentroid)

và các diém ảnh đường biên được tinh băng công thức:

ED(x, y) — (x ~ Xcentroia)* ~ (y ~ Yoentroia)” (6)

Đồ thi của khoảng cách Euclidean giữa trong tâm va các điểm ảnh biên bat

đầu từ tọa độ gốc được thé hiện ở hình 8

Distance from origin

Hình 8 Đồ thị khoảng cách Euclidian giữa trong tâm và điểm ảnh biên

16

Các đỉnh (cực đại) và các đáy (cực tiêu) trong hình 8 thé hiện cho các đầu ngón

tay và các điểm rãnh tương ứng trong hình ảnh lòng bàn tay Các điểm rãnh gần với

trọng tâm hơn và đo đó khoảng cách Euclidian của chúng sẽ nhỏ nhất Các giá trị củađiểm rãnh trong hình § là các vị trí cực tiểu trong hàm tính toán khoảng cách

Euclidian.

Dé trích xuất các điểm này đầu tiên chúng ta lay đạo hàm của hàm khoảng

cách Euclidian và xem xét các điểm “zero-crossing” hay các điểm giao với trục hoành

mà ở đó hàm số đổi dau Đồ thị đạo ham của một hàm số sẽ dat giá trị bang 0 tại cả

điểm cực đại và cực tiêu của hàm số đó Dé chỉ ra điểm khác biệt giữa hai điểm này,

chúng ta chọn ra những điểm “zero-crossing” nơi mà đồ thị đi từ giá trị âm sang

dương tại điểm uốn cong của đồ thị Hình 9 thê hiện đồ thị đạo hàm của hàm ED và

Hình 9 a) Đồ thi đạo ham của hình 8 (b) Phóng to khu vực của hình a

Tại đây chúng ta có thé thay rất nhiều các điểm “zero-crossing” và uốn cong

mà tại đó đồ thị thay đổi giá trị từ âm sang dương Vấn đề này nảy sinh bởi các thànhphan có tần số cao trong ham ED Các thành phần có tần số cao này được tạo ra bởi

đường viền không đồng đều của lòng ban tay Dé loại bỏ các thành phan này chúng

ta cần phân tích hàm ED trở thành các tần số thành phần của nó bằng cách sử dụng

biên đôi Fourier và loại bỏ các thành phan tân sô cao đông thời tông hợp lại hàm với

17

các thành phân có tân sô thâp Biên đôi Fourier rời rac của hàm Euclide với N điêm

được cho bởi công thức:

F(k) = X4 f(x) * (e"?100) (7)

Trong đó f (x) là ham ED tương ứng với khoảng cách từ x so với điểm bắtdau và F (k) là biến đôi Fourier của nó biểu diễn các tần số thành phan của f (x) Khi

k thay đổi từ 0 đến N - 1, F() cho biết cường độ của các tần số khác nhau trong

f (x) Kêt quả của việc biên đôi Fourier rời rac được thê hiện ở hình 10

Hình 10 Đồ thị cường độ của biến đổi Fourier của ham ED

Đồ thị cho thấy rõ ràng rằng các giá trị của hàm ED tập trung ở dải tần số thấphơn Do đó nếu hàm ED được tái xây dựng với việc chỉ xem xét các điểm có tần số

thấp, nó sẽ giữ lại các điểm cơ bản và vị trí của các điểm rãnh sẽ không thay đồi Tất

cả các thành phần có tần số cao sẽ được loại bỏ với một ngưỡng giá tri nhất định (ởđây lay 98%) Hàm ED được tái cau trúc với độ đốc và dau của đạo hàm cấp hai của

nó được thể hiện ở hình 11

18

Hình 11 Hàm ED được tái cấu trúc

Có thé dễ dàng nhận thay ở hình 11 tại các điểm cực tiểu (điểm rãnh) của hàm

ED có một điểm “zero-crossing” của đạo hàm đầu tiên và dau của đạo ham bậc hai làdương Do đó các điểm cực tiểu thứ hai, thứ ba và thứ tư thu được là các điểm rãnh

V1, V2, V3 tương ứng như trong hình 12

Hình 12 Phát hiện các điểm rãnh của lòng bàn tay

19

Các điểm rãnh V1, V3 được coi là các điểm tham chiếu dé trích xuất ROI.Đường nối giữa hai điểm hợp với phương ngang một góc 0 Đề trích xuất vùng ROI,lòng ban tay được xoay một góc 9 đề đường thăng VI V3 nằm ngang như hình 13

Hình 13 Hình ảnh lòng bàn tay sau khi xoay một góc 0

Từ đó hình ảnh lòng bàn tay sẽ được trích xuất tương ứng như hình 14

20

Hình 15 Vùng quan tâm được trích xuất từ hình ảnh bàn tay

3.1.2 Landmark dectection

Bởi vì phương pháp phat hiện lòng ban tay sử dung các phương pháp xử lý

ảnh như lấy ngưỡng nhị phân, xác định trọng tâm, đường biên và cuối cũng là sửdụng khoảng cách Euclidean được nêu ở trên có khá nhiều nhược điểm về quá trình

xác định ban tay từ anh thu thập được như độ xoay, background, màu da cũng như

ánh sáng chiếu vào làm giảm đi độ chính xác của mô hình Và vấn đề này liên quan

đến thuật toán, hơn nữa dataset là một tập hợp rất nhiều ảnh cho nên việc kiểm soátthủ công van dé này hau như là không thê Chính vì vậy, việc chuẩn hóa đữ liệu trướckhi training model hoặc trước khi dự đoán sẽ trở nên rất quan trọng trong trường hợp

này, trong số đó sẽ có landmark detection hay có thể gọi là phương pháp phát hiện

các điêm đặc trưng.

21

6 INDEX FINGER PIP 17 PINKY_MCP

7 INDEX FINGER DIP 18 PINKY_PIP

8 INDEX_FINGER_TIP 18, PINKY_DIP

9, MIDDLE_FINGER_MCP 20 PINKY_TIP

10 MIDDLE_FINGER_PIP

Hinh 16 Mediapipe cho ban tay

Đây là một phương pháp trích xuất những đặc trưng của bàn tay làm cho quá

trình phát hiện bàn tay trở nên chính xác và hơn nữa thư viện mediapipe có giúp đánh

dấu các điểm trên bàn tay, nếu áp dung các điềm tìm được vào thuật toán sẽ giúp pháthiện lòng bàn tay chính xác hơn phương pháp truyền thống Ở đây nhóm em sẽ dùnglandmark detection cho việc phát hiện các điểm trên bàn tay là 5, 9, 13 và 17, sau đó

áp dụng cơ sở lý thuyết ở trên dé thực hiện trích xuất vùng quan tâm, cách làm trên

sẽ trở nên dé dang hơn cho việc phát hiện lòng bàn tay và độ chính xác cao hơn các

phương pháp trích vùng quan tâm chỉ sử dụng việc xử lý ảnh.

3.1.3 Điều chỉnh hướng của bàn tay

Đa phần thuật toán trong các bài báo liên quan đến xác định ROI lòng bàn tay

[9], [10] chỉ áp dụng được trong bài toán với hình ảnh bàn tay được căn chỉnh sẵn va

không có độ xoay nhất định, điều đó làm cho khả năng tối ưu khi áp dụng vào thực

tế bị giảm sút Điều đó là một nhược điểm khá lớn vì tiền đề của nhận diện lòng bànchính là trích xuất vùng lòng bàn tay Chính vì lý do này làm cho quá trình phát hiện

lòng bàn tay trong thực tế có thể bị xoay dịch do người dùng cố tính hoặc vô ý đặt

bàn tay xoay một góc khá lớn khi tiến hành chụp ảnh, nó gây khó khăn rất lớn trongquá trình training và đặc biệt là ảnh hưởng rất nhiều đến độ chính xác của mô hình

Vì thé quá trình điều chỉnh lòng bàn tay trước khi chụp ảnh cung cấp cho mô hình rat

là quan trọng Trong phạm vi khóa luận lần này, đề tài tiến hành cải tiến thuật toán

22

ROI dé có thé phát hiện những bàn tay có góc nghiêng từ 0 — 30° Dé thực hiện điều

đó, trước tiên phải dựa vào model hand landmark để xác định các điểm trên bàn taynêu ở trên, dựa vào các điểm đó dé tính góc nghiêng giữa cổ tay và phan trên cô tay,

từ đó xoay một góc đề căn chỉnh bàn tay theo yêu cầu của thuật toán đó là có thể xoay

dịch theo một ngưỡng nhất định từ 0 — 30° và xác định được vị trí lòng bàn tay một

cách nhât quán.

3.2 Mô hình Tetra câu trúc vỉ mô cục bộ

Đã có rất nhiều nghiên cứu về nhận diện lòng bàn tay đã được đề cập rộng rãi

trong các văn bản sinh trắc học Các phương pháp hiện có được chia thành hai hướng

chính: tổng thê và cấu trúc Cách tiếp cận theo hướng tổng thể sử dụng toàn bộ hìnhảnh vân lòng bàn tay như một đặc trưng kết hợp với một số kỹ thuật thống kê phổbiến như Principal Component Analysis (PCA) [11], Linear Discriminant Analysis(LDA) [12], két hợp với việc su dung phân tích không gian con trên ma trận 2D baogồm 2D PCA, 2D LDA [13] và sử dụng các biến đổi Fourier [14], biến đổi Cosin rời

rac và biến đổi Gabor cũng được sử dụng dé nâng cao độ chính xác Tuy nhiên các

phương pháp này yêu cầu hình ảnh vân lòng bàn tay cần được căn chỉnh tốt và rất

nhạy cảm với ánh sáng, sự biên dang, sự dịch chuyên và phương sai xoay.

Ngược lại các phương pháp tiếp cận theo hướng cấu trúc sử dụng các đặc trưngcủa vân lòng ban tay như chỉ tay và kết cau Có thê ké đến là sử dụng Biến đổi Radonhữu hạn [15] để biến các đường chỉ tay thành một đường duy nhất Tuy nhiên cácphương pháp này rất tốn kém về mặt tính toán cho việc trích xuất và so sánh với đặctính của vân lòng bàn tay Hơn nữa, rất khó dé trích xuất các đường chỉ tay một cách

én định

Có thê thấy cả hai phương pháp đều có ưu điểm và nhược điểm của chúng Do

đó nhóm em đã nghiên cứu về các phương pháp sử dung cả hướng tông thé và hướngcấu trúc trong việc nhận diện lòng bàn tay Các phương pháp đã được sử dụng có thê

kể đến là: kết hợp chuyên đôi đặc trưng bat biến với tỷ lệ (SIFT) và thứ tự đặc trưng

23

của đường (OLOF) [16] Tuy nhiên các phương pháp này đòi hỏi rất nhiều thời gian

tính toán.

Với mục dich tìm kiếm một phương pháp có thé giải quyết van đề bị lệch trục

mà không cần phải canh chỉnh lại hình ảnh lòng bàn tay, gần đây là phương pháp sử

dụng biểu đồ của các đường có hướng (HOL) kết hợp với các bộ lọc dạng đườngthang và kỹ thuật giảm chiều dữ liệu [17] Phương pháp này ổn định trong việc xử lý

các thay đồi nhỏ về ánh sáng, dịch chuyền và góc quay Tuy nhiên, HOL gặp một han

chê trong việc tạo ra hiệu suât cao.

Nhằm khắc phục những hạn chế của các phương pháp hiện có trong việc nhậndiện lòng bàn tay, nhóm em đề xuất sử dụng Mô hình Tetra cau trúc vi mô cục bộ(LMTrP) [18] Phương pháp đề xuất này cho hình ảnh vân lòng bàn tay ít bị anhhưởng nhất với những sai lệch nhỏ trong hầu hết các trường hợp như các biến thể của

xoay, dich và mờ LMTTP giúp mô tả hướng và độ dày của các đường vân chính Ảnhđầu vào được loc Gabor dé loại nhiễu Sau đó trích xuất cấu trúc vi mô và biểu diễn

dưới đạng vector đặc trưng cho hình ảnh đã cho Cuối cùng áp dụng phân tích kernelPCA trên vector đặc trưng đề giảm chiều dữ liệu nhưng vẫn giữ được các thông tinđặc trưng dé nhận diện

Bộ mô tả tận dụng lợi thế của mô tả cục bộ về hướng cũng như độ dày của cácđường chính trên lòng bàn tay Hình anh lòng bàn tay được loc bằng bộ loc Gabor déloại bỏ các đặc tính không cần thiết Sau đó, biểu đồ cấu trúc vi mô mục bộ LMTrP

được trích xuất và ghép vào một vecto đặc trưng dé thé hiện hình ảnh đã cho Cuối

cùng, phân tích kernel PCA được áp dụng trên vectơ đặc trưng để giảm kích thước.

Hình 17 thé hiện quy trình xử lý và nhận diện lòng bàn tay sử dụng mô hình LMTrP

Hình 17 Cac bước thực hiện nhận diện long bàn tay dựa trên bộ mô ta LMTrP

24

3.2.1 Các bước thực hiện của mô hình

BỘ MÔ TẢ LMTrP

+ 4 5.

TRICH XUAT BAC AP DUNG DAO TIẾN HANH XÁC ĐỊNH THÀNH LÁP RÁP TẤT CẢ CÁC

TÍNH VỀ ĐỘ RỘNG HÀM THEO QUY THỰC HIỆN PHẦN P CHO MỖI THÀNH PHẦN P BẰNG BỘ LỌC GABOR TẮC LMTRP LMTRP1 PIXEL GC (LMTRP2) (LMTRP2)

ba GHÉP TẤT CẢ BIỂU 7 es

HN Pet - ĐỒ KHỐI TƯƠNG NỐI Tihs TÍNH TOÁN BIỂU ĐỒ ke Bàng

ỨNG THÀNH PHẦN P HÀNG BIỂU ĐỒ PIXEL CHO MỖI KHỐI i

THÀNH 8 KHOI NHỎ

GIAM số LƯỢNG THÀNH mờ MA

THÀNH PHẦN

Hình 18 Các bước thực hiện của bộ mô tả LMTrP

Direction 0 Direction 1 Direction 2 Direction 3

Hoziontal | Vertical = a : us 5

* 8x8 Blocks

-Palmprint Magnitude Deviratives for H , : : Computers histogram

Image of Gabor horizontal and vertical n 7 hụ hơi of blocks

12 Binary patterns of 4 tetra pattners JI

LTrP2

— v ooo ^ y

Dimension Reducion (KPCA)

Concatenated Histograms feature

Hình 19 Tống quan về quá trình trích xuất đặc trưng của long bàn tayCác bước thực hiện của mô hình Tetra cấu trúc vi mô cục bộ (LMTrP):

Bước 1: Sử dụng bộ lọc Gabor dé trích xuất các đặc trưng của lòng ban tay

Áp dụng bộ lọc Gabor lên hình ảnh lòng bàn tay để trích xuất các đặc tính

đường (line features) Có một sé bộ lọc phù hợp trong việc trích xuất các hướng từ

25

các đường chỉ tay, bộ lọc Gabor là một trong số đó Ở đây nhóm em sử dụng bộ lọc

Gabor được định nghĩa như sau:

w? r r ư k2.

y(x,y, w, 8) = =i esk2z4# 2+y'2) (cies _ x : ) (8)

Với:

— x' = (x —Xx9)cos6 + (y — yạ)sin8

— y' = (x — xq)sin + (y — ¥o)cosO (Xo, Yo)

— (%o, Yo) là tọa độ của tâm trong ham Gabor

— 8 biểu thị hướng của bộ lọc Gabor tính bang don vi radian

k sa +n K ^ ^ 3 ^ , * :

— w= ~ là biêu thi tân sô xuyên tâm cua bộ loc Gabor, được tính bang radian

le

trên mỗi đơn vị chiều dài

— Giá trị k được định nghĩa bởi:

k = V2In2 (227? (9)

20-4

Trong đó o là tham số biéu thị băng thông nửa biên độ của phản hồi tan số

trong bộ lọc Gabor Các thông số của bộ lọc Gabor được sử dụng trong bài toán nàybao gồm:

— Mẫu bộ lọc Gabor được sử dụng có kích thước 35x35 điểm ảnh với tâm nằm

ở điểm ảnh có tọa độ là (17, 17)

— Độ mịn œ=ø= l.5.

— Các hướng 0 được chon là: 0, / 6, 2m / 6, a/ 2, 20/3 và 51m / 6.

Hình 20 va 21 minh họa kết qua áp dụng bộ lọc Gabor lên anh lòng bàn tay

với các hướng 0

26

Hình 21 Kết quả bộ lọc Gabor với các hướng 0 = 2/2, 2/3 và 51/6

Phần thực của bộ lọc Gabor ở góc Ø„„ được định nghĩa là Gp(%, ¥, 9m) với

Mag(x,y)¢ = Minn (Tror(%, y) ® Ga(X y, Om)) (10)

Orient (x, y)g = argminm (Iroi(x,¥) @ Gạ(%, y, Om)) (11)

Hình 22 minh hoa đặc tính về độ rộng và hướng thu được từ hình ảnh lòng bàn

tay ban đầu

27

Hình 22 Đặc tính về hướng và độ rộng thu được từ bộ lọc Gabor

Bước 2: Áp dung đạo hàm theo quy tac LMTrP (sử dung ml và m2 cho 'độ rộng

đường)

Trong bộ mô tả LMTrP, chúng ta coi g, là điểm anh lân cận (được đánh dau

bang màu xanh) của vị trí được tham chiếu (được đánh dau bằng màu đỏ) va pr là

các điểm ảnh liền kề (được đánh dấu bằng màu vàng) của g, theo hướng B và cách

J, một khoảng R trong một vùng cục bộ nhất định xung quanh g, Hình 23 minh hoa

gc và các diém ảnh liên kê của nó theo các góc và khoảng cách tương ứng

Đầu tiên cặp đạo hàm bậc (n-1) của bộ mô tả LMTrP dọc theo hướng ngang

và đọc là I?-1(gc) và I~1(gc) được thể hiện ở công thức 12 và 13:

28

pe“ — XRSUñ (g8) +1 ˆ(0e URE TH * Gon)

h Gc) Nị+1 N; 2)

pe-D — — LR PG pe) +1 8G) _ LR? Gon) (13)

v (Gc) N¡+1 No

Trong đó m, là độ day của các điểm ảnh lân cận của g, doc theo phương j và

m, là độ dày của điểm ảnh lân cận của g„ doc theo phương 0 Với B là 0°, 90°, 180°

và 270° Hướng 9 có giá trị là 0° hoặc 180° theo chiều ngang và 90° hoặc 270° theochiều dọc N, là tổng số điểm ảnh liền kề của g, theo hướng B va N; là tổng số điểm

ảnh liền kề của g, theo hướng 9 Hình 23 và 24 minh họa kết quả của đạo hàm theo

phương ngang và phương dọc của đặc tính về độ rộng thu được từ bộ lọc Gabor

Đạo hàm theo phương ngang 8 = 0, n

0

20

40

60 80 100

120

Hình 24 Đạo ham theo quy tắc LMTrP theo phương ngang

29

Đạo ham theo phương dọc 6 = n/2, 3n/2

60

80

100

120

Hình 25 Đạo hàm theo quy tắc LMTrP theo phương dọc

Bước 3 : Ap dụng quy tac LMTrP1 (mã hóa bốn hướng phan tư)

Mục đích của chúng ta là lấy đạo hàm theo phương ngang I mm (ø.) và dọc

j9 (g-) của điểm ảnh tham chiếu g, làm đầu vào và trả lại là giá trị đã được mã

hóa cho LMTrPI = {1, 2, 3, 4}, các điểm ảnh có đạo hàm theo phương ngang và doc

lớn hơn 0 sẽ được mã hóa là 1, tương tự là các trường hợp khác được thé hiện ở công

thức số 14 Từ đó hướng thứ (n-1) của điểm ảnh tham chiếu I7#~1(g„) được biểu diễn

thành 4 giá trị góc phan tư tương ứng Với Dir là hướng được tham chiếu thuộc một

trong bốn hướng được miêu tả ở hình 26

1,171 (g.) = 0 and I?-1(g,) = 0

2,1 *(gc) < 0 and I?-1(g,) = 0

3, 1R- (gc) < 0 and I?-1(g,) < 0 4,17 *(g-) = 0 and I?T1(g„) < 0

ly (Ge) = (14)

30