Nhận dạng cử chỉ động của bàn tay người sử dụng kết hợp thông tin hình ảnh và độ sâu ứng dụng trong tương tác người thiết bị

Vói xu hưóng phát trien công ngh¾phu tro bao gom các giái pháp sú dung găng tay chuyên dung, mieng dán đánh dauvùng bàn tay, ho¾c gan trnc tiep cám bien trên tay ho¾c cánh tay khien cho

B® GIÁO DUC VÀ ĐÀO TAO

TRƯèNG ĐAI HOC BÁCH KHOA HÀ N®I

ĐOÀN TH± HƯƠNG GIANG

NH¾N DANG CÚ CHÍ Đ®NG CÚA BÀN TAY NGƯèI SÚ DUNG KET HeP THÔNG TIN HÌNH ÁNH VÀ Đ® SÂU ÚNG DUNG TRONG TƯƠNG

Công trình đưoc hoàn thành tai:

Trưòng Đai hoc Bách khoa Hà N®i

Ngưòi hưóng dan khoa hoc:

1 TS Vũ Hái

2 TS Tran Th% Thanh Hái

Phán bi¾n 1: PGS.TS Ngô Quoc Tao

Phán bi¾n 2: PGS.TS Nguyen Quang Hoan

Phán bi¾n 3: PGS.TS Tran Đúc Tân

Lu¾n án se đưoc báo v¾ trưóc H®i đong cham lu¾n án tien sĩ cap Trưòng hop tai Trưòng Đai hoc Bách khoa Hà N®i:

Vào hoi giò, ngày tháng năm

Có the tìm hieu lu¾n án tai thư vi¾n:

1 Thư vi¾n Ta Quang Búu - Trưòng ĐHBK Hà N®i

2 Thư vi¾n Quoc gia Vi¾t Nam

Mé ĐAU

Tính cap thiet cúa lu¾n án

Ngày nay, công ngh¾ hi¾n đai ngày càng phát trien đã tro giúp cho con ngưòitrong nhieu lĩnh vnc khác nhau Trong đó, tn đ®ng hóa tòa nhà hay không gian songthông minh là m®t trong nhung xu hưóng nghiên cúu xuat phát tù nhu cau thnc te cnacu®c song Các h¾ thong tn đ®ng hóa có m¾t ó nhieu lĩnh vnc khác nhau trongcu®c song hàng ngày, tù nhung úng dung tro giúp đơn gián như chuông cúa, đieukhien cúa ra vào nhà, đen vi¾c tn đ®ng hóa các thiet b% đi¾n tú gia dung phúc taphơn như h¾ thong đèn chieu sáng, đieu hòa, h¾ thong loa đài, ti vi, M¾c dù các úngdung tn đ®ng hóa tòa nhà đã đưoc đe xuat nhieu Các sán pham hi¾n có mói chí chnyeu t¾p trung vào các công ngh¾ tiet ki¾m năng lưong, ho¾c đieu khien các thiet b%đi¾n tú trong gia đình sú dung các thiet b% phu tro ho¾c yêu cau m®t giao di¾n đetương tác giua ngưòi dùng và thiet b% Nhu cau tn đ®ng hóa tòa nhà vói sn tương tácgiua ngưòi và thiet b% đi¾n tú gia dung m®t cách tn nhiên là can thiet song bài toánnày còn g¾p phái nhieu thách thúc như: Không đòi hói thiet b% phu tro hay tiep xúctrnc tiep trong quá trình đieu khien; ho¾c không đòi hói giao di¾n tương tác ngưòi-thiet b% Muc tiêu hưóng đen cna đe tài là nghiên cúu và phát trien h¾ thong đieukhien thiet b% m®t cách tn nhiên và hi¾u quá Tuy nhiên, trong tương tác ngưòidùng - thiet b%; hi¾u quá the hi¾n thông qua tính ben vung cna h¾ thong đoi vói snthay đoi cna các yeu to bên ngoài và khá năng đáp úng thòi gian thnc

Đe giái quyet các van đe này, hai xu hưóng nghiên cúu đã đưoc đe xuat là: Pháttrien công ngh¾ phu tro và phát trien thu¾t toán Vói xu hưóng phát trien công ngh¾phu tro bao gom các giái pháp sú dung găng tay chuyên dung, mieng dán đánh dauvùng bàn tay, ho¾c gan trnc tiep cám bien trên tay ho¾c cánh tay khien cho ngưòidùng phu thu®c thiet b%, chi phí mua thiet b% đat đó, và đieu khien không tn nhiên.Cách tiep c¾n thú hai là phát trien thu¾t toán, nh¾n dang cú chí tay đã đưoc trienkhai trong nhieu lĩnh vnc khác nhau như: th% giác máy tính và rô bot, đieu khien và

tn đ®ng hóa, Tuy v¾y, yêu cau ve tính ben vung và xú lý thòi gian thnc van còn

là m®t thách thúc khi nghiên cúu h¾ thong nh¾n dang cú chí tay Lu¾n án này là m®t

sn dung hòa cna hai hưóng tiep c¾n trên Trong đó, m®t t¾p cú chí tay có tính ngunghĩa, goi nhó đã đưoc đe xuat nham thay the các thiet b% phu tro, cung cap cácđ¾c trưng huu ích cho h¾ thong, nên ngưòi dùng có the đieu khien m®t cách tnnhiên Bên canh đó, các giái thu¾t bieu dien nh¾n dang hoat đ®ng cú chí đã đưocnghiên cúu cà thiet ke vói muc tiêu hi¾u quá Các ket quá đánh giá thú nghi¾m chí

ra rang, phương pháp tương tác này tn nhiên hơn và không yêu cau bat cú liên ket trnctiep vói thiet b% cũng

3

như không yêu cau phái có giao di¾n ngưòi dùng H¾ thong đe xuat toi đa khá năng súdung thông qua công cu nh¾n dang cú chí tay và cung cap h¾ thong đieu khien nhieuthiet b% đi¾n gia dung vói đáp úng thòi gian thnc.

Mnc tiêu cúa lu¾n án

❼ Thiet ke t¾p cơ só du li¾u (CSDL) cú chí bàn tay tương úng vói m®t so các l¾nhđieu khien căn bán cho các thiet b% đi¾n tú gia dung Ngoài ra, CSDL này có cácđ¾c trưng ho tro h¾ thong nh¾n dang đat đưoc hi¾u quá nh¾n dang cao

❼ Nghiên cúu và trien khai giái thu¾t phân đoan cú chí bàn tay đáp úng thòi gianthnc, ben vung vói sn thay đoi cna các yeu to bên ngoài (ánh sáng, ): Nghiêncúu và đe xuat phương pháp phát hi¾n và trích chon vùng bàn tay tù ánh màu

và ánh đ® sâu, phân đoan các cú chí tay tù chuoi liên tiep

❼ Nghiên cúu và đe xuat phương pháp bieu dien chuoi cú chí đ®ng cna bàn tay vàđong b® pha giua các cú chí đ®ng Giái pháp hưóng tói bieu dien các cú chí taytheo cá không gian và thòi gian, đáp úng vói nhieu ngưòi, tai nhieu v% trí, nhieuhưóng khác nhau cna ngưòi đen cám bien Kinect

❼ Trien khai h¾ thong đieu khien thiet b% đi¾n tú gia dung sú dung cú chí bàn tay

Các đóng góp cúa lu¾n án

❼ Đóng góp thN 1: Thiet ke t¾p CSDL cú chí tay tương úng vói các l¾nh đieu

khien cơ bán cna các thiet b% đi¾n tú gia dung Thu th¾p CSDL, đánh giá tínhkhá thi cna t¾p l¾nh, thú nghi¾m giái thu¾t đe xuat và chia sé cho c®ng đongnghiên cúu

❼ Đóng góp thN 2: Đe xuat giái pháp phân đoan chuoi cú chí tay đáp úng thòi

gian thnc gom: Giái pháp hi¾u quá đe phát hi¾n và trích chon vùng bàn tay tùánh màu và ánh đ® sâu; Giái pháp phân đoan cú chí tù chuoi bàn tay liên tiep

❼ Đóng góp thN 3: Đe xuat m®t phương pháp bieu dien mói cú chí dna trên đ¾c

trưng không gian dna trên bieu dien đa tap (ISOMAP), ket hop vói các đ¾c trưngthòi gian (KLT), có tính đen đong b® pha giua các cú chí trên không gian bieudien mói đưoc đe xuat

❼ Đóng góp thN 4: Trien khai giái pháp toàn di¾n đe đieu khien m®t so thiet b%

đi¾n tú gia dung dùng cú chí đ®ng cna bàn tay H¾ thong hoàn chính đưoc càiđ¾t trong ngu cánh trong nhà tai phòng thông minh cna Vi¾n MICA

Cau trúc cúa lu¾n án

❼ Mó đau: Giói thi¾u chung tính cap thiet, muc tiêu cna lu¾n án; ngu cánh, cácràng bu®c và thách thúc khi giái quyet các bài toán; Các đóng góp cna lu¾n án

❼ Chương 1: Tong quan ve đieu khien sú dung cú chí bàn tay và các nghiên cúuliên quan đen các van đe đ¾t ra trong lu¾n án.

❼ Chương 2: Thiet ke và xây dnng cú chí bàn tay có tính chat chu kỳ

❼ Chương 3: Đe xuat phương pháp phát hi¾n, phân đoan cú chí bàn tay đáp úngyêu cau thòi gian thnc và đ® chính xác Phân đoan chuoi cú chí tay đ®ng tùchuoi liên tiep các hình trang bàn tay

❼ Chương 4: Đe xuat giái pháp bieu dien các cú chí đ®ng cna bàn tay ket hop cácđ¾c trưng không gian và thòi gian, giái pháp đong b® pha trong không gian mói

❼ Chương 5: Trien khai, đánh giá h¾ thong đieu khien sú dung cú chí tay Thnchi¾n các đánh giá thú nghi¾m trên h¾ thong hoàn thi¾n

❼ Ket lu¾n và đ%nh hưóng nghiên cúu tiep theo cna lu¾n án

CHƯƠNG 1

CÁC NGHIÊN CÚU LIÊN QUAN

Chương này trình bày ve các nghiên cúu liên quan đen h¾ thong đieu khien thietb% đi¾n tú gia dung dùng cú chí đ®ng cna bàn tay và các phương pháp nh¾n dang cúchí đ®ng cna bàn tay vói các pha chính gom: Phát hi¾n và trích chon vùng bàn taytrong ánh, phân đoan và nh¾n dang các cú chí đ®ng cna bàn tay tù chuoi ánh liên tiep

1.1 H¾ thong đieu khien thiet b% sN dnng cN chí đ®ng bàn tay

Đã có nhieu h¾ thong đieu khien thiet b% đi¾n gia dung sú dung cú chí tay đã đưoc

đe xuat như ti vi thông minh cna hãng Sansung, Omron, Các h¾ thong này đưoc chiathành hai nhóm chính: Đ®c l¾p và phu thu®c giao di¾n ngưòi dùng Vói h¾ thong yêucau m®t giao di¾n ngưòi dùng đe thnc hi¾n các l¾nh đieu khien se không phù hop vóihau het các thiet b% đi¾n tú gia dung không có màn hình như đèn, quat,

Phát hi¾n vùng bàn tay là xác đ%nh sn có m¾t và v% trí cna vùng bàn tay trongánh Đây là m®t pha can thiet đưoc áp dung nham loai bó các yeu to phông nen khôngtham gia vào vi¾c mô hình hóa cú chí bàn tay Đã có nhieu nghiên cúu phát hi¾n vàtrích chon vùng bàn tay dna trên các đ¾c trưng như màu sac, hình dáng, chuyen đ®ng

và đ® sâu Trong khi, bàn tay ngưòi có nhieu b¾c tn do, hình trang bàn tay luôn thayđoi và phu thu®c vào nhieu yeu to như góc nhìn cna máy ánh, sn khác nhau ve đ® tonhó, đ® phân giái, cưòng đ® chieu sáng, Bói v¾y, đ® chính xác và thòi gian đáp úng

cna bưóc phát hi¾n và trích chon vùng bàn tay van là nhung yêu cau can phái giáiquyet đoi vói các h¾ thong thnc te.

Đoi vói các h¾ thong nh¾n dang cú chí đ®ng cna bàn tay, vi¾c xác đ%nh điem batđau và ket thúc chuoi cú chí tương úng vói m®t úng viên cna m®t cú chí nào đó, làvi¾c làm can thiet trưóc khi đưa vào bieu dien và nh¾n dang cú chí Các phương phápphân đoan hi¾n tai thưòng chia thành hai loai: Sú dung các mô hình và sú dung cáctín hi¾u đ¾c trưng Hưóng tiep c¾n sú dung các mô hình thưòng g¾p phái m®t so gióihan che sau: Các h¾ thong yêu cau m®t ngưõng các tham so mô hình trong quá trìnhhuan luy¾n và khó thay đoi h¾ thong khi thêm ho¾c bót cú chí Hơn nua, can thietphái đ%nh nghĩa các cú chí có nghĩa và t¾p cú chí thông thưòng, trong khi có rat nhieucác cú chí thông thưòng Ngoài ra, khi sú dung mô hình thưòng có thòi gian tre lón vàđieu đó thnc sn thách thúc khi trien khai các h¾ thong thnc

Hưóng tiep c¾n dna trên các dang tín hi¾u đ¾c trưng cna các cú chí tay thưòng là:

Sn chuyen đ®ng, v¾n toc, gia toc cna bàn tay, Hưóng tiep c¾n này thưòng đat đưoctoc đ® đáp úng nhanh vói giái thu¾t đơn gián Tuy nhiên, các cú chí tay phái thiet kesao cho đám báo đưoc đ¾c trưng khác bi¾t và/ho¾c sú dung thêm các thiet b% phu tro

đe đo chính xác sn thay đoi cna cú chí tay

Các phương pháp nh¾n dang cú chí đ®ng hi¾n nay đang g¾p m®t so giói han như:Các mô hình can phái cài đ¾t, thiet l¾p lai tham so khi can thêm ho¾c bót cú chí Giáipháp đat đưoc đ® chính xác thì yêu cau đ® phúc tap tính toán và thòi gian đáp úngcao Các mô hình nh¾n dang như HMM hay CRF, CNN thưòng yêu cau so lưong duli¾u huan luy¾n lón Đ¾c bi¾t, phương pháp sú dung mang nơ ron yêu cau cau hìnhmáy tính cao ho¾c máy tính phái có GPU

Dna trên vi¾c phân tích các ưu nhưoc điem cna các ky thu¾t hi¾n có, lu¾n ánhưóng tói giái quyet các n®i dung sau:

Đ%nh nghĩa cú chs đ®ng cúa bàn tay: Đe đieu khien thiet b% can có m®t b®

CSDL có tính đong b®, phù hop vói phan lón các thiet b% đi¾n tú gia dung, không phuthu®c giao di¾n ngưòi dùng T¾p l¾nh có tính đ¾c thù và phù hop vói các thiet b%,cung cap các đ¾c trưng hi¾u quá cho h¾ thong, đáp úng tính tn nhiên và thu¾n ti¾nkhi ngưòi dùng tương tác

Phát hi¾n tay, phân khúc chuoi cú chs đ®ng cúa bàn tay: Nghiên cúu, phát trien

m®t phương pháp phát hi¾n và trích chon bàn tay dna trên ánh màu và ánh đ® sâu đat

đưoc hi¾u quá h¾ thong cao và đáp úng thòi gian thnc Sau đó, chuoi cú chí tay đưocphân khúc sú dung ket hop các đ¾c trưng tín hi¾u m®t chieu cna chuoi cú chí đ®ng.

Nh¾n dang cú chs đ®ng cúa bàn tay: Phát trien m®t phương pháp bieu dien cú

chí đ®ng cna bàn tay ket hop các đ¾c trưng không gian và thòi gian Giái quyet bàitoán đong b® pha trong không gian mói và phân lóp cú chí đ®ng

Các b® CSDL cú chí đ®ng cna bàn tay đã đưoc đe xuat ton tai m®t so giói hannhat đ%nh như: Phuc vu cho m®t úng dung chuyên bi¾t, pha tr®n lan giua các cú chítĩnh và đ®ng, so lưong các cú chí han che chí ó l¾nh b¾t/tat thiet b%, ho¾c các CSDLkhông đưoc công bo cho c®ng đong nghiên cúu

2.2.1 Các l¾nh đieu khien các thiet b% đi¾n tN gia dnng cơ bán

Báng 2.1 Các l¾nh chính cúa các thiet b% đi¾n tú gia dnng

L¾nh

Moi h® gia đình thưòng có nhieu thiet b% đi¾n tú gia dung khác nhau như: Đèn,quat, tivi, đieu hòa, cúa, loa đài, tivi, Đe có m®t h¾ thong đieu khien sú dung cú chítay m®t cách đong b®, rat can thiet phái có m®t b® CSDL cú chí tay có khá năng dùngchung cho các thiet b% này Đe đ%nh nghĩa m®t b® CSDL cú chí tay phuc vu cho đieukhien, phái xác đ%nh các l¾nh goc cna thiet b% can đieu khien, ý nghĩa l¾nh và cách

7

Start Middle Middle

Stop Start Start Stop

Turn on_of Increase

trang mà còn d%ch chuyen theo ba trang thái gom: khói đ®ng, trung gian/chuyen đ®ng

và ket thúc Sn thay đoi hình trang cna bàn tay có tính chu kỳ tù lúc đóng tay sau đó

mó tay và đóng tay lai như mô tá trong Hình 2 1

Hình 2.1 Sn thay đoi hình trang tay và quy đao cúa các cú chs tay đ%nh nghĩa

a Closed-form gestures c Ideal periodic signal in phase domain

Hình 2.2 Phân tích đ¾c điem cúa tín hi¾u có tính chu kỳ.

Moi cú chí đã đ%nh nghĩa khác bi¾t ó sn thay đoi hình trang bàn tay cũng nhưhưóng d%ch chuyen cna tay Trong đó, hình trang tay bao gom các chuoi liên tiep các

cú chí tay có tính chu kỳ và sn chuyen đ®ng cna bàn tay bieu dien ý nghĩa cna cácl¾nh B® CSDL có m®t so đ¾c điem chính như sau:

- Moi cú chí có trang thái bat đau và ket thúc giong nhau Tính chat này đưoc súdung đe phân đoan chuoi cú chí đ®ng cna bàn tay

- Moi cú chí tay đưoc xem như m®t tín hi¾u có tính chu kỳ đóng và đưoc bieu dien như trong Hình 2.2

- Thòi gian thnc thi moi cú chí trong moi lóp cũng như giua các lóp cú chí khácnhau là không giong nhau do toc đ® thnc hi¾n cna moi ngưòi, và/ho¾c hưóngchuyen đ®ng cna bàn tay trong moi l¾nh không giong nhau.

- Các cú chí trong cùng m®t lóp có the không đong b® ve pha vói nhau Trongmoi lóp, các trang thái cna m®t loai cú chí có the không đong b®

Tù năm cú chí đã đ%nh nghĩa, bon b® CSDL đã đưoc thu th¾p tai các môi trưòng,ngu cánh khác nhau phông nen gom MICA1, MICA2, MICA3, MICA4 Đ¾c điem cnacác b® CSDL the hi¾n chi tiet trong Báng 2.2 sau đây:

Báng 2.2 Đ¾c điem cúa các CSDL

CSDL

Môi trưòng Phòng thí nghi¾m (PTN) H®i cho H®i cho PTN

Sau khi kháo sát các t¾p CSDL đã đưoc công bo cũng như xuat phát tù yêu caucna bài toán đieu khien thiet b% đi¾n gia dung, m®t CSDL mói đã đưoc đ%nh nghĩa.CSDL bao gom năm l¾nh, tương úng vói các l¾nh cơ bán nhat đe đieu khien hau hetcác thiet b% đi¾n gia dung T¾p CSDL đe xuat bao gom các chuoi cú chí tay có tínhchat chu kỳ đóng, de nhó, và de thnc hi¾n Bon b® CSDL đã đưoc thu th¾p tai các môitrưòng khác nhau, vói các đieu ki¾n phông nen khác nhau, đa dang đ® tuoi và giói tínhcna ngưòi tham gia thu th¾p Các b® CSDL đưoc chia sé cho c®ng đong nghiên cúu

CHƯƠNG 3

TRÍCH CHON BÀN TAY VÀ PHÂN ĐOAN CÚ

CHÍ Đ®NG VéI GIÁN ĐO HOC NGƯèI DÙNG

Tương tác ngưòi máy thông qua cú chí bàn tay đưoc xem như m®t trong nhungcách thúc tương tác tn nhiên và thân thi¾n Tuy nhiên, cách thúc đieu khien này phái

(a) The proposed vision-based hand detection and segmentation

RGB

Hand detected and Segmented Preprocessing data Detecting body area Detecting hand candidates

Kinect

Learning parameters (µ,δ) ,η of background model Learning parameters (d±∆) of a distance to hand Learning parameters (µ,δ) of skin model

(b) The proposed user-guide scheme

đoi m¾t vói khá nhieu thách thúc như sn phúc tap và luôn bien đoi cna cau trúc bàntay, đieu ki¾n chieu sáng khác nhau, đieu ki¾n phông nen phúc tap Vì v¾y, các thu¾ttoán đã đe xuat yêu cau xú lý phúc tap và/ho¾c tính toán thòi gian cao Trong khi đóvi¾c phát hi¾n và trích chon vùng bàn tay là m®t trong nhung bưóc tien xú lý trongbài toán nh¾n dang cú chí đ®ng cna bàn tay Vì v¾y, n®i dung chương này đe xuat giáipháp hoc các tham so mô hình đe đat đưoc đ® chính xác cao, đáp úng thòi gian thnctrong phát hi¾n và trích chon vùng bàn tay Sau đó, dna vào vi¾c ket hop các dang tínhi¾u bien đoi theo quy lu¾t cna các cú chí đ®ng đã đ%nh nghĩa, đe xuat m®t giái pháp

đe phân đoan chuoi cú chí đ®ng cna bàn tay đáp úng thòi gian thnc

3.2.1 M®t so giá thiet và ràng bu®c

3.2.2 Sơ đo đe xuat

Hình 3.1 Minh hoa h¾ thong đe xuat phát hi¾n và trích chon bàn tay.

- Tien xú lý: Do ánh I và D thu th¾p tù cám bien Kinect không có cùng toa đ®.

Do đó, bưóc tien xú lý nham hi¾u chính đe đưa các điem ánh màu và ánh đ® sâu

ve cùng toa đ® Phương pháp đưoc đe xuat trong [1] đưoc sú dung

- Phát hi¾n ngưòi B d:

- Phát hi¾n tay H d: H d = B d | B d <T hresh hand (3.2)

- Làm m%n vùng bàn tay: Ket hop màu da trên vùng các úng viên ánh đ® sâu H d:

3.2.3 Hoc các tham so

Đe phát hi¾n vùng bàn tay, h¾ thong đe xuat can phái sú dung m®t so tham so.Các tham so này có the đưoc hoc tù trưóc và sú dung sau đó

3.2.3.1 Hoc tham so cúa mô hình nen

Sú dung mô hình GMM [6] đe quan sát sn on đ%nh cna moi điem ánh p trên m®t chuoi n ánh đ® sâu: s p = [D 1,p , D 2,p , ., D n,p] Tham so quan sát là đ® l¾ch

chuan σ p = std(s p ) cna điem ánh Trong đó, điem ánh p cna mô hình nen đưoc bieu dien bói BG p = (µ p , η p , σ p), đưoc tính toán như sau:

(a) RGB image (b) Depth image (c) Body extraction (d) Candidates of hand

Hình 3.2 Các ket quá cúa giai đoan phát hi¾n bàn tay

Hình 3.2(a-c) minh hoa các ket quá trù nen Hình 3.2(c) bieu dien ket quá vùng phát hi¾n ngưòi, sau đó là phát hi¾n các vùng là úng viên cna vùng bàn tay

3.2.3.2 Hoc tham so khoáng cách tù tay tói cám bien Kinect

Các phan d%ch chuyen đưoc tính toán dna trên sn khác bi¾t giua các khung hình

liên tiep trên ánh đ® sâu D t−2 , D t−1 , D t như sau:

3.2.3.3 Hoc tham so màu da vùng bàn tay

Sn on đ%nh cna phân bo màu da xác đ%nh dna trên tương quan chéo cna hai bieu

đo màu da bàn tay cna các khung hình liên tiep nhau s t, vói ∆t = |s t − s t−1 | Hình

3.4(d) cho thay tích lũy sai so 1

N t=1

tương úng vói sn sai khác khi vùng màu da còn bien đ®ng do tay chưa đ¾t đúng v% trí.Cho đen m®t khi sai so dao đ®ng quanh m®t giá tr% nhat đ%nh tương úng cna màu dacna ngưòi thì vi¾c hoc có the dùng lai

12

10 20 30 40 (a) frame # 0 (b) frame # i (c) frame # n

(d) Accumulation of ∆ along frames

Hình 3.4 Huan luy¾n mô hình màu da

3.2.4 Phát hi¾n và tinh chính ket quá vùng bàn tay dNa trên gián đo hoc

H i

ROI i

H *

(a) A candidate

of hand

d dete ctio n

Hình 3.5 Ket quá cúa trích chon vùng bàn tay (a) Úng viên vùng bàn tay; (b)

Khoáng cách Mahalanobis; (c) Ket quá tinh chsnh.

Tù vùng úng viên cna bàn tay H i đưoc mó r®ng vói H ∗ = H i × δ (Hình chu

nh¾t màu xanh ó Hình 3.5(a)). Sau đó, khoáng cách Mahalanobis giua H ∗ và môhình màu da đưoc tính toán đe trích chon vùng bàn tay như hình 3.5(b) Vùng bàntay đưoc làm đay vói phan màu da b% thieu và vói vùng úng viên cna bàn taykhông trùng vói màu da se đưoc loai bó Sau khi làm mưot thì ket quá thu đưoc là

H ∗∗) như minh hoa trong hình 3.5(c)

Phân đoan cú chí là thnc hi¾n xác đ%nh điem đau và điem ket thúc cna m®t cú chítrong chuoi khung hình liên tiep Dna trên đ¾c trưng cna cú chí đ%nh nghĩa là có tínhchu kỳ đóng, hình trang ban đau và ket thúc cna moi cú chí là giong nhau Giái thu¾tphân đoan cú chí đưoc đe xuat dna trên sn bien đoi cna hàm tín hi¾u di¾n tích vùng

bàn tay, và v¾n toc chuyen đ®ng cna nó, cu the như sau: Hàm f S (t) đưoc đ%nh nghĩa

0.4 0.2

(a) Hand movements in time

0

10 20 30 40

50 60

(b) The combination of area and velocity signal

Hình 3.6 Ket hop tín hi¾u di¾n tích và v¾n toc cúa bàn tay.

0.8

fC(t )

Smoothed signal Applied opening operator Gesture starting Gesture ending

Hình 3.7 Hàng trên: Tín hi¾u f C (t) Hàng giua: phóng to m®t phan tín hi¾u f C

(t) Hàng dưói cùng: minh hoa sn thay đoi cúa hình dáng bàn tay khi thnc hi¾n

Hàm f C (t) ket hop hai tín hi¾u f C (t) = (f S (t), f V (t)) như sau:

f C (t) = Max(||f S (t)||, ||f V (t)||) (3.9)

Sau đó, hàm f C (t) đưoc sú dung đe phát hi¾n điem bat đau và ket thúc cna cú

chí đ®ng cna bàn tay như minh hoa trong hình 3.7

Mưòi ngưòi đưoc mòi tham gia đánh giá thú nghi¾m h¾ thong phát hi¾n và tríchchon vùng bàn tay Moi ngưòi đeu đưoc thnc hi¾n vói k%ch bán có san như nhau gom:hoc các tham so, thnc hi¾n thú nghi¾m Các ket quá ve thòi gian hoc, thòi gian đápúng, đ® chính xác cna h¾ thong đưoc ghi lai đe phân tích và đánh giá

3.4.1 Yêu cau thài gian hoc đoi vái ngưài dùng

3.4.2 Thài gian đáp Nng đe trích chon và nh¾n dang vùng bàn tay

Giái pháp đe xuat yêu cau m®t thòi gian đe ngưòi dùng huan luy¾n các mô hìnhtham so cna h¾ thong Tuy nhiên, thòi gian đáp úng cna h¾ thong lai khá nhanh, trungbình là 8 fps Giái pháp đe xuat xem như đat đưoc thòi gian thnc và nhanh hơn ratnhieu so vói m®t so giái pháp đã đe xuat ([4],[5] lên tói 2 fps)

3.4.3 Hi¾u quá cúa mô hình hoc đoi vái phát hi¾n và trích chon bàn tay

Báng 3.1 Ket quá JI vói vi¾c sú dnng/không sú dnng gián đo hoc

Area Combination

1 True positive rate (a) Spotting results of MICA1 dataset

Spotted dynamic hand gesture

KLT

3D-CNN DTW

Chương này đã trình bày các phương pháp cho phép phát hi¾n vùng bàn tay vàphân đoan cú chí đ®ng tù ánh RGB-D Phương pháp phân vùng du trên vi¾c hoc trưócm®t so tham so cna môi trưòng Làm cho h¾ thong khi hoat đ®ng se đáp úng nhanhhơn và ben vung đe phát hi¾n, trích chon vùng bàn tay Phương pháp phân đoan dnatrên vi¾c phân tích sn thay đoi cna hàm tín hi¾u v¾n toc và di¾n tích cna hình trangtay Các đánh giá thnc nghi¾m cho thay các phương pháp đe xuat là khá thi khi trienkhai trong các úng dung thnc te cá ve thòi gian đáp úng và đ® chính xác

Do đó, các cú chí đ®ng sai khác nhau ve đ® dài nên giái pháp đong b® pha cna chuoi

cú chí đ®ng đã đưoc đe xuat

Hình 4.1 So sánh giái pháp đe xuat vói các phương pháp nh¾n dang cú chs đ®ng

khác

4.2.1 Bieu dien bàn tay tN các đ¾c trưng không gian và thài gian

4.2.1.1 Trích chon đ¾c trưng thòi gian

Các điem đ¾c trưng đưoc trích chon trên tùng bàn tay tù khung hình đau tiên chođen khung hình cuoi cùng trong chuoi cú chí đ®ng Sau đó, sn ket noi cna các điemđ¾c trưng này vói nhau bieu dien quy đao chuyen đ®ng cna bàn tay Moi quy đao

cna bàn tay X i gom K điem đ¾c trưng {p1, p2, , p K } (vòng tròn màu đó trong hình

.4.2(a)). Quy đao cna X i đưoc bieu dien bói công thúc 4.2 sau đây:

fp = {(x1, y1), (x2, y2), , (x N , y N )} (4.1)

Sú dung giá tr% trung bình cna tat cá N=20 điem đ¾c trưng đe tính quy đao cna cú chí

fp như 4.2 (vòng tròn màu xanh trong Hình 4.2(b)):

p j = (x j , y j ) =(

Quy đao trung bình bieu dien hưóng d%ch chuyen cna cú chí tay Đây chính là

đ¾c trưng thòi gian Tr G

(4.4)

i, j

N

i, j