Nghiên cứu kỹ thuật nhận dạng bàn tay người

Tuy nhiên, con người giao tiếp chủ yếu bởi “nghe” và “nhìn”, do đó một giao diện người – máy sẽ trực quan hơn nếu con người có thể điều khiển máy tính bằng giọng nói hay cử chỉ giống như

LÊ VIỆT DŨNG

NGHIÊN CỨU KỸ THUẬT NHẬN DẠNG BÀN TAY NGƯỜI

Chuyên ngành: Khoa học máy tính

Mã số: 60.48.01.01

TÓM TẮT LUẬN VĂN THẠC SĨ

HÀ NỘI - 2013

Luận văn được hoàn thành tại:

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG

Người hướng dẫn khoa học:

PGS TS Ngô Quốc Tạo

Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn

thạc sĩ tại Học viện Công nghệ Bưu chính Viễn thông

Vào lúc:

giờ ngày tháng năm

Có thể tìm hiểu luận văn tại:

- Thư viện của Học viện Công nghệ Bưu chính Viễn thông

MỞ ĐẦU

Ngày nay dưới sự phát triển rộng rãi của các ứng dụng công nghệ thông tin vào trong cuộc sống, việc tương tác giữa con người và thiết bị ngày càng trở nên quan trọng Trước đây, bàn phím và chuột là các giao diện chính để giao tiếp giữa người và máy tính Trong các lĩnh vực khác cần tới các thông tin 3D, chẳng hạn như trò chơi máy tính, robot và lĩnh vực thiết kế… các thiết bị cơ khí khác như bóng lăn, cần điều khiển hay các găng tay dữ liệu đã được sử dụng Tuy nhiên, con người giao tiếp chủ yếu bởi “nghe” và “nhìn”, do đó một giao diện người – máy sẽ trực quan hơn nếu con người có thể điều khiển máy tính bằng giọng nói hay cử chỉ giống như khi tương tác giữa người với người trong thế giới thực mà không cần thông qua các thiết bị điều khiển khác như chuột hay bàn phím Một

ưu điểm khác là người dùng có thể giao tiếp từ xa mà không cần phải có tiếp xúc vật lý với máy tính So với các hệ thống điều khiển bằng lệnh âm thanh, một hệ thống thị giác sẽ thích hợp hơn trong môi trường ồn ào hoặc trong trường hợp âm thanh bị nhiễu

Nhận dạng các cử động của tay người là cách tự nhiên khi tương tác người – máy và ngày nay nhiều nhà nghiên cứu trong các học viện và ngành công ghiệp đang quan tâm đến

hướng này Nó cho phép con người tương tác với máy rất dễ dàng và thuận tiện mà không cần phải mang thêm bất kỳ thiết

bị ngoại vi nào Với mục đích nghiên cứu kỹ thuật nhận dạng

cử chỉ bàn tay người, luận văn sẽ tập trung trình bày một số nội dung chính như sau

Chương 1: Tìm hiểu tổng quan về bài toán nhận dạng hình ảnh cử chỉ bàn tay người và các ứng dụng trong thực tế

Chương 2: Trình bày về một số kỹ thuật tiền xử lý ảnh bao gồm phân đoạn ảnh và kỹ thuật lọc hình thái để phục vụ cho trích chọn đặc trưng Kỹ thuật phân đoạn sẽ chuyển đổi ảnh về ảnh nhị phân chỉ chứa bàn tay hoặc nền Kỹ thuật lọc được sử dụng để loại bỏ nhiễu từ ảnh

để có thể thu được đường bao mịn màng

Chương 3: Trình bày về một số kỹ thuật trích chọn đặc trưng để phục vụ cho bài toán nhận dạng hình ảnh cử chỉ bàn tay người Các phương pháp tìm biên sẽ được sử dụng để phát hiện đường biên, sau đó đặc trưng bàn tay

sẽ được trích chọn phục vụ cho bộ phân lớp

Chương 4: Mô tả bộ dữ liệu huấn luyện và trình bày các kết quả thực nghiệm trong việc nhận dạng và phân loại hình ảnh cử chỉ của tay người

CHƯƠNG 1: TỔNG QUAN VỀ NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN TAY

1.1 Hệ thống tương tác người máy

Những thiết bị input và output đặc biệt đã được thiết kế trong những năm qua với mục đích làm cho giao tiếp giữa máy tính và con người được thực hiện một cách dễ dàng Hai thiết

bị phổ biến nhất là bàn phím và chuột

Ý tưởng để làm cho máy tính hiểu ngôn ngữ con người

và phát triển giao diện người - máy thân thiện đang nhận được

sự quan tâm của cộng đồng các nhà nghiên cứu Làm cho một máy tính hiểu được lời nói, nét mặt, cử chỉ của con nghười là một trong số những quan tâm đó Trong tương tác người – máy, các hình trạng khác nhau của bàn tay có thể giả định để thao tác với các đối tượng hoặc truyền tải rất nhiều thông tin

Do đó, bàn tay của con người có thể sử dụng làm “thiết bị đầu vào” rất có giá trị

Trong thế giới thực, chúng ta có thể cầm, thả, di chuyển… các đối tượng bằng các cử chỉ của bàn tay Tương tự như vậy, khi tương tác với các thiết bị như máy tính, tivi, ô tô… chỉ với vài cử chỉ của bàn tay là ta có thể điều khiển được

hoạt động của nó Ví dụ như ta chỉ cần phẩy tay là có thể chuyển kênh tivi, hay bật / tắt radio trên ô tô v.v… thay vì phải

tự tay nhấn nút trên bộ điều khiển Để làm được điều này, bộ điều khiển của các thiết bị phải được gắn một thiết bị cảm nhận (camera/webcam), thiết bị cảm nhận này sẽ thu nhận hình ảnh của bàn tay, nhận dạng cử chỉ để phát lệnh điều khiển tương ứng Ngoài ra, nhận dạng cử chỉ còn có rất nhiều ứng dụng khác: cử chỉ bàn tay được sử dụng để giả lập các thao tác tương tác với đối tượng trong thế giới ảo; trong tương tác giữa người

và robot, cử chỉ bàn tay chính là ngôn ngữ để con người và robot có thể giao tiếp với nhau

Để nhận dạng cử chỉ, bước đầu tiên trong các hệ thống nhận dạng là phát hiện ra vị trí bàn bay bằng một thiết bị cảm nhận để thu thập các quan sát cần cho việc phân loại hay miêu tả; sau đó tiến hành xử lý hình ảnh, trích chọn đặc trưng

(feature extraction) để tính toán các thông tin dưới dạng số hay dạng biểu tượng (symbolic) từ các dữ liệu quan sát và thực hiện

công việc phân loại dựa vào các đặc tính đã được trích chọn để nhận dạng cử chỉ Đó chính là nhiệm vụ của bài toán nhận dạng

cử động của bàn tay Các cử động của bàn tay được phát hiện dựa trên tập dữ liệu về bàn tay được thu thập từ trước Hai

hướng tiếp cận chính để thu nhận thông tin về bàn tay người có thể sử dụng là:

 Dùng găng tay chuyên dụng với bộ cảm biến gắn liền đo vị trí của các khớp ngón tay

 Phương pháp quang học

1.2 Cử chỉ bàn tay

Thật khó có thể giải quyết với một định nghĩa cụ thể nào của cử chỉ do có nhiều ứng dụng đề xuất và mỗi ứng dụng chỉ có thể chỉ xác định trên một miền cụ thể của cử chỉ

Bobick và Wilson đã định nghĩa cử chỉ như những chuyển động của thân thể khi giao tiếp với những cá thể khác

Để giao tiếp thành công, người truyền và người nhận phải có cùng một tập hợp thông tin cho những cử chỉ đặc biệt

Trong luận văn, cử chỉ được định nghĩa như một sự chuyển động của những ngón tay như một tín hiệu đặc biệt,

để liên lạc chính xác giữa người gửi và thiết bị nhận

1.3 Những ứng dụng dựa trên cử chỉ bàn tay

Các cử chỉ cơ bản được phân loại thành 2 nhóm dựa trên cơ sở mục đích ứng dụng của chúng: đa điều khiển, ngôn ngữ tượng trưng

Thiết kế 3D: Việc thao tác đầu vào 3 chiều với con

chuột máy tính là một công việc rất phức tạp và tốn nhiều thời gian Viện công nghệ Massachuchetttes đã đưa ra các công nghệ 3DRAW sử dụng một cây bút nhúng trong thiết bị polhemus để theo dõi vị trí bút và định hướng trong 3D

Điểu khiển từ xa: Làm tăng khả năng điều khiển bằng

tay trong một số trường hợp lỗi hệ thống, điều kiện khẩn cấp hoặc vùng sâu vùng xa khó tiếp cận Thường thì những điều khiển này con người không thể tiếp cận gần máy móc Điều khiển từ xa là một lĩnh vực trí tuệ nhân tạo nhằm mục đích hỗ trợ việc điều khiển cánh tay robot thông qua các cử chỉ cơ thể

để thực hiện các nhiệm vụ cần thiết

Virtual reality: Thực tế ảo được áp dụng Nâng cao, hệ

thống xúc giác tiên tiến hiện nay bao gồm thông tin xúc giác, thường được gọi là lực lượng phản hồi, trong các ứng dụng y

tế và chơi game

Ngôn ngữ ký hiệu: Ngôn ngữ kí hiệu là hình thức thô

nhất và tự nhiên của ngôn ngữ đánh dấu, ngày trở lại sớm nhất là sự ra đời của nền văn minh của con người, khi các lý thuyết đầu tiên của ngôn ngữ ký hiệu xuất hiện trong lịch sử

Nó đã bắt đầu trước khi có sự xuất hiện của ngôn ngữ nói

1.4 Những thách thức trong nhận dạng cử chỉ bàn tay 1.4.1 Tốc độ nhận dạng

Để nhận dạng cử chỉ bàn tay có thể tương tác được với người dùng trong thực tế thì hệ thống này phải có thời gian nhận dạng thời gian thực, tức là tốc độ xử lý phải nhanh

CHƯƠNG 2: MỘT SỐ KỸ THUẬT TIỀN XỬ LÝ

2.1 Giới thiệu

Tiền xử lý là nhiệm vụ quan trọng trong hệ thống nhận dạng cử chỉ bàn tay tay Tiền xử lý được áp dụng cho hình ảnh trước khi chúng ta có thể trích chọn đặc trưng từ hình ảnh bàn tay Tiền xử lý bao gồm hai bước

 Phân đoạn

 Lọc hình thái

2.2 Phân đoạn ảnh dựa vào màu da

Phân đoạn ảnh là một thao tác ở mức thấp trong toàn bộ quá trình xử lý ảnh Quá trình này thực hiện việc phân vùng ảnh thành các vùng rời rạc và đồng nhất với nhau hay nói cách khác là xác định các biên của các vùng ảnh đó Các vùng ảnh đồng nhất này thông thường sẽ tương ứng với toàn bộ hay từng phần của các đối tượng thật sự bên trong ảnh Như vậy, mục tiêu của phân đoạn ảnh là làm nổi bật hoặc tách hẳn đối tượng cần quan tâm ra từ ảnh ban đầu, làm đơn giản hóa và thay đổi cách biểu diễn để dễ dàng phân tích hơn Vì thế, trong hầu hết các ứng dụng của lĩnh vực xử lý và nhận dạng ảnh, phân đoạn ảnh luôn đóng một vai trò quan trọng và cần thiết,

nó thường là bước tiền xử lý đầu tiên trong toàn bộ quá trình trước khi thực hiện các thao tác khác ở mức cao hơn như nhận dạng đối tượng, biểu diễn đối tượng hay truy vấn ảnh dựa vào nội dung…

Da con người có màu rất đặc trưng, có thể dễ dàng nhận dạng và nó cũng không bị ảnh hưởng bởi các phép biến đổi hình học của đối tượng Vì vậy, phát hiện bàn tay người

dựa trên việc phát hiện da là một phương pháp khá đơn giản và

có thể thực hiện được

Phát hiện da là một bước xử lý tìm kiếm trong ảnh các vùng và điểm ảnh có màu da rồi đưa ra kết quả vùng bàn tay trên ảnh là vùng các điểm ảnh có màu da, phát hiện các điểm ảnh màu da có vẻ như khá dễ dàng, tuy nhiên, do phương pháp này chỉ dựa vào thông tin về màu sắc nên các vùng ảnh không phải là bàn tay như khuôn mặt hay các vùng da khác trên cơ thể con người, thậm chí là các đối tượng khác có màu giống với màu da cũng bị nhận diện như là bàn tay

Do đó, việc phát hiện bàn tay dựa trên màu da chỉ có hiệu quả khi trong ảnh ngoài vùng bàn tay thì không chứa thêm các đối tượng khác có màu da và vùng bàn tay phải có sự tách biệt với nền

Quy trình phát hiện da gồm 2 giai đoạn: Huấn luyện và phát hiện Huấn luyện để nhận dạng được màu da dựa trên 3 bước cơ bản sau:

 Thu thập dữ liệu về da từ nhiều ảnh khác nhau của nhiều người khác nhau và ảnh chụp trong các điều kiện khác nhau

 Lựa chọn một không gian màu thích hợp

 Học các thông số về phân loại da

Khi có bộ huấn luyện phát hiện da, tiến hành nhận dạng các điểm ảnh có màu da từ ảnh:

 Chuyển đổi ảnh sang không gian màu được sử dụng trong giai đoạn huấn luyện

 Phân loại các điểm ảnh màu da hay không phải màu

da

 Hoàn tất xử lý các đặc trưng cần sử dụng hình thái học để áp đặt không gian thuần nhất trên các vùng được phát hiện

2.2.1 Phân tách vùng màu da

Thuật toán này dựa trên việc xây dựng mô hình phân

bố màu da có tham số Ví dụ từ ảnh gốc (RGB) được chuyển đổi sang không gian màu YCrCb Một tập hợp các mẫu màu da được lấy ra từ các ảnh màu nhằm xác định phân bố màu da trong không gian màu YCrCb và được giả định là có thể mô hình hóa bởi phân bố Gaussian [18] Các mẫu màu da được lọc thông thấp để giảm nhiễu Từ tập hợp các mẫu màu da đầu vào, các tham số của mô hình được xây dựng trên cơ sở tính các tham số thống kê sau:

∑ ∑

∑

Trong đó: : là các vectơ mẫu màu da trích chọn

n : tổng số các mẫu màu da

: vectơ trung bình của phân bố

∑ ma trận hiệp biến của phân bố

Từ đó, để xác định một điểm ảnh có là màu da hay không, ta tính toán hàm mật độ xác suất của điểm ảnh đó trong phân bố Gaussian

2.2.2 Phân loại dựa vào ngưỡng trên mỗi kênh màu

Với ảnh được chụp dưới điều kiện ánh sáng được kiểm soát, màu da con người phân bố thành một vùng nhỏ trong không gian màu Để phát hiện điểm ảnh có màu da, ta cần định nghĩa ngưỡng cho các thành phần của không gian màu Mỗi thành phần có thể có một hay nhiều giá trị ngưỡng, các điểm ảnh có giá trị thuộc phạm vi xác định trước của tất cả các thành phần được coi là các điểm ảnh có màu da

Karin Sobottka và Loannis Pitas [15] sử dụng các ngưỡng cố định trong không gian màu HS Các điểm ảnh có giá trị H nằm trong khoảng [0, 50], giá trị S nằm trong khoảng [0.23, 0.68] được xác định là điểm ảnh có màu da Các giá trị ngưỡng này phù hợp để phân loại các điểm ảnh có màu da đối với ảnh chụp người da trắng và da vàng

Douglas Chai và King N Ngan [16] đề xuất một thuật toán xác định các điểm ảnh có màu da có giá trị Cb nằm trong khoảng [77, 127] và giá trị Cr nằm trong khoảng [133, 173]

Yanjiang Wang và Baozong Yuan [17] sử dụng các giá trị ngưỡng trong không gian màu rgb (r + g + b = 1) và HSV Trong đó, giá trị thành phần r của các điểm ảnh nằm trong khoảng [0.36, 0.465], giá trị thành phần g nằm trong khoảng [0.28, 0.363], giá trị H nằm trong khoảng [0, 50], giá trị S nằm

trong khoảng [0.20, 0.68], giá trị V nằm trong khoảng [0.35, 1] được xác định là điểm ảnh có màu da

2.3 Kỹ thuật lọc hình thái

Khi nhìn cận cảnh với những hình ảnh phân đoạn và áp dụng thuật toán Otsu vào hình ảnh xám ban đầu chúng ta thấy rằng các phân khúc là không hoàn chỉnh Nền có những số 1 được biết đến như nhiễu xung quanh và cử chỉ tay có một vài

số 0 được biết đến như nhiễu cử chỉ Những nhiễu này có thể dẫn đến một vấn đề trong việc phát hiện đường viền của cử chỉ tay vì vậy chúng tôi cần phải loại bỏ các nhiễu này Một phương pháp bộ lọc hình thái học đã được áp dụng sử dụng chuỗi các sự giãn nở và xói mòn để có được một đường viền mịn, khép kín, và hoàn chỉnh của một cử chỉ

CHƯƠNG 3: NHẬN DẠNG HÌNH ẢNH CỬ CHỈ BÀN

TAY

3.1 Kỹ thuật trích chọn đặc trưng

3.1.1 Kỹ thuật phát hiện biên

Biên là một trong những đặc trưng quan trọng của ảnh,

nó được dùng để mô tả hình dạng của đối tượng khá hiệu quả

Để biểu diễn hình dạng đối tượng dựa trên đường biên, trước hết cần xác định biên của đối tượng và biểu diễn nó theo một phương pháp nào đó

3.1.1.1 Kỹ thuật phát hiện biên Gradient

Đây là phương pháp dò biên cục bộ dựa vào cực đại của đạo hàm Theo định nghĩa, Gradient là một vectơ

có các thành phần biểu thị tốc độ thay đổi mức xám của điểm ảnh theo hai hướng và (ảnh hai chiều

3.1.1.2 Kỹ thuật phát hiện biên Laplace

Để khắc phục hạn chế và nhược điểm của phương pháp Gradient Khi mức xám thay đổi chậm, miền chuyển tiếp trải rộng, phương pháp cho hiệu quả hơn đó là phương pháp sử dụng đạo hàm bậc hai Laplace

Phương pháp Laplace tạo đường biên mảnh (độ rộng 1 pixel) Tuy nhiên, nhược điểm của kỹ thuật này là rất nhạy với nhiễu nên đường biên thu được thường kém ổn định

3.1.1.3 Kỹ thuật phát hiện biên Canny

Trong xử lý hình ảnh tìm thấy cạnh biên là vấn đề cơ bản vì cạnh biên xác định ranh giới của các đối tượng khác

nhau Thuật toán dò tìm cạnh biên Canny được biết như dò tìm cạnh biên tối ưu Canny, cải thiện dò tìm cạnh biên bằng cách theo danh sách tiêu chí

 Đầu tiên là tỷ lệ lỗi thấp

 Tiêu chí thứ hai là các điểm cạnh biên khoanh vùng

 Tiêu chí thứ ba là để có một đáp ứng tới cạnh biên

Dựa vào các tiêu chí này, dò tìm cạnh biên Canny đầu tiên làm mịn hình ảnh để loại bỏ và nhiễu Sau đó, nó tìm thấy

độ nghiêng hình ảnh để làm nổi bật vùng với phát sinh không gian cao Thuật toán sau đó theo dõi dọc theo các vùng này và ngăn chặn bất kì điểm ảnh nào không phải là tối

3.1.1.4 Mô tả đường biên

Đường biên trước tiên phải được nhị phân hóa Đây là giai đoạn then chốt trong quá trình trích chọn vì nó xác định đường bao nào thực sự cần và đường bao nào có thể loại bỏ

Việc mã hóa đường bao có thể thực hiện theo nhiều cách khác nhau Có thể dùng biểu diễn chính xác đường biên hay xấp xỉ nhờ nội suy Thông thường các cấu trúc cơ sở mã hóa đường biên gồm 4 loại: điểm, đoạn thẳng, cung và đường cong