Nhận dạng cử chỉ trong việc hỗ trợ người khuyết tật giao tiếp gesture recognition for disabled people communication

Đ Ạ I H Ọ C Q U Ố C G IA H À NỘ I N H Ậ N D Ạ N G c ủ C H Ỉ T R O N G V IỆ C H Ỏ T R Ợ N G Ư Ờ I K H U Y Ế T T Ậ T G IA Ò t i ế p M ã số: Q C 07.20 Chủ nhiệm đề tài: T hS N gu yễn Thị Nhật T hanh H O C Q U Ố C GIA HÀ NỘI TRUNG t a m ỈH Ò N g TIN THƯ VIỆN ĐAI - & L/ H N ội - 0 M ỤC LỤC MỤC L Ụ C DANH SÁCH N H Ữ N G N G Ư Ờ I T H ự C HIỆN ĐỀ T À I DANH M Ụ C HÌNH V Ẽ VÀ B Ả NG B IÉ U Đặt vấn đ ề Tổng quan phân đoạn ngôn ngữ dấu h i ệ u Phương pháp phân đoạn đề xuất thực n g h iệ m 3.1 Phương pháp phân đ o n • Phân đoạn ký tự dựa vận tốc chuyển động t a y • Bộ lọc ký tự dựa tốc độ kí h i ệ u • Nhận dạng ký tự tách t 3.2 Thực nghiệm thảo luận • Thu nhận dừ liệu tiền xử l ý • Phân đoạn với lọc vận tốc tốc độ ký h i ệ u 10 • Kết q u ả 12 Kết nghiên c ứ u 13 Kết l u ậ n 14 Tài liệu tham k h ả o 15 PHỤ L Ụ C 17 ~) D A N H S Á C H N H Ữ N G N G Ư Ờ I T H ự C H IỆ N Đ È TÀ I Chủ nhiệm đề tài ThS N guyễn Thị Nhật Thanh, Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội Những người tham gia STT Họ tên Học hàm, Học vị Bùi Thê Duy Lê Thị Hợi NCS Ngô Thị Duyên NCS TS Co' quan công tác Trường Đại học Công nghệ, ĐHQGHN Trường Đại học Công nghệ, ĐHQGHN Trường Đại học Công nghệ, ĐHQGHN D A N H M Ụ C H ÌN H V Ẽ V À B Ả N G B IỂ U Hình C biểu diễn chữ có khoảng thời gian thể nằm ngưỡng thấp ngưỡng cao lọc dựa tốc độ ký h i ệ u Hỉnh D ữ liệu th ô Hình D ữ liệu làm trơn với lọc Gaussian Hình Các đoạn liệu từ “C H U A ” 10 Hình N ăm đoạn liệu đưa dựa vận tốc chuyển độc tay, hai đoạn khơng họp lệ loại bỏ bời lọc dựa tốc độ ký hiệu 11 Hỉnh Đoạn liệu khơng hợp lệ q dài, loại bỏ lọc dựa tốc độ ký hiệu 11 Hình Vẩn đề hai cử liên tiếp thể chữ (từ “C O O I” ví dụ này) giải lọc dựa tốc độ ký h iệu 11 Hình Độ xác hai kỹ thuật phân đo ạn 13 Hình Độ gợi nhớ hai kỹ thuật phân đoạn 13 Bảng Phân doạn theo vận tốc tay với ngưỡng vận tốc khác nh a u 12 Bảng Phân đoạn theo vận tốc tay lọc dựa tốc độ ký hiệu với ngưỡng vận tốc khác n h a u 12 Đe tài : N hận dạng cử việc hồ trợ người khuyết tật giao tiếp Mã số: QC.07.20 C h ủ n h iệ m đề t i : ThS Nguyễn Thị Nhật Thanh • Mục tiêu Nghiên cứu phương pháp kỹ thuật hỗ trợ phân đoạn nhận dạng cử người ứng dụng vào lĩnh vực nhận dạng ngôn ngữ dấu hiệu Tiếng Việt • Phương pháp nội dung nghiên cứu Trong đề tài này, tiến hành nghiên cứu phân đoạn liệu tự động cho ngôn ngữ dấu hiệu Phân đoạn liệu nhàm xác định đoạn liệu có nghĩa dịng liệu thu theo thời gian Chất lượng trinh phân đoạn định chất lượng trình nhận dạng dịch tự động sau Dựa nghiên cứu có, chúng tơi đề xuất phương pháp cho phân đoạn chữ ngôn ngữ dâu hiệu tiêng Việt Theo phương pháp này, nhiêu kỹ thuật áp dụng tuân tự đê xác định đoạn dừ liệu có nghĩa dịng dừ liệu thu theo thời gian Đầu tiên, vận tốc tay tính tốn Các đoạn dừ liệu tương ứng với vị trí tay thể chữ lựa chọn Một lọc dựa tốc độ ký tự áp dụng để loại bỏ đoạn liệu khơng xác Cuối cùng, chừ nhận dạng nhóm lại thành từ dựa từ điên tiếng Việt Phương pháp thử nghiệm với ngôn ngữ dấu hiệu tiếng Việt thu dộ xác (Precision Rate) độ gợi nhớ (Recall Rate) cao việc phân đoạn : 94.95% 95.27% So với kỹ thuật có, phương pháp trả lại kết có độ xác cao N hững vấn đề đặc biệt hai chữ liền kề giống giải Ngoài ra, việc phân tách từ tự động xét đến Phương pháp đề xuất cung cấp m ột giải pháp hoàn chỉnh cho việc tách từ biểu diễn bàng ngôn ngữ cử tiếng Việt theo cách đánh vần không dấu • Kết Sản plìâm khoa hoc o 01 báo (N guyen Thi Nhat Thanh and Bui The Duy, “A new framework for automated gesture segmentation in Vietnam ese Sign Language” , In: VNU Journal o f Science, Natural Sciences and Technology 24, No 3S (2008), pp 8289) o 01 báo cáo tổng hợp kết nghiên cứu đề tài Kêt quà ínig dunẹ: 01 chương trình thử nghiệm phân đoạn nhận dạng chừ tiếng Việt dòng dừ liệu theo thời gian Kết đào tao: 01 khoá luận cử nhân chuyên ngành C N TT (Trần Xuân Dũng, “Các phương pháp m ô tả ngôn ngữ dấu hiệu ứng dụng xây dựng từ điển nhập liệu cho ngôn ngữ dấu hiệu Tiếng Việt” , 2007) 19 Đ ặt vấn đề Ngôn ngữ dấu hiệu sử dụng để truyền đạt thơng tin cộng đồng nhừng naười khiêm thính Khác với ngơn ngữ nói, ngơn ngừ dâu hiệu sử đụna cách đánh vân băng tay hành động đê truyên tải thông tin N hững nghiên cứu lĩnh vực nhận dạng tự động tập trung vào việc hiểu ngôn ngữ dịch chúng sang dạng chừ lời nói nham xố bỏ rào cản giao tiếp người khiếm thính cộ n s đồng Nhận dạng tự động thường theo hai hướng tiếp cận: sử dụng m áy quay (vision based approach) sử dụng găng tay dừ liệu (device based approach) để thu nhận liệu cử Nhận dạng thực tĩnh (trên liệu phân tách sẵn cho chữ từ tương ứng ngôn ngữ dấu hiệu) thực động (trên dòng liệu thu theo thời gian) Nhận dạng động áp dụng cho ứng dụng thời gian thực, cần có xử lý thơng tin trước tiến hành nhận dạng Trong nhận dạng động, dừ liệu thu dòng liên tục theo thời gian, tương ứng với chuyển động người thực cử Tuy nhiên, số cử mang thông tin sổ khác dư thừa Do vậy, vấn đề thu hút nhiều quan tâm nhà nghiên cứu để xác định doạn dừ liệu có nghĩa dịng liệu thu Các kỹ thuật phân đoạn tập trung vào giải vấn đề Chất lượng trình phân đoạn định chất lượng trinh nhận dạng dịch tự động sau Trong đề tài này, đề xuất phươne pháp để phân tách tự động ngôn ngữ dấu hiệu tiếng Việt Chúng tập trung vào cách biểu diễn ngôn ngữ dấu hiệu đánh vần người sử dụng biểu diễn chữ theo cú pháp qui định để biểu diễn từ Do vậy, phương pháp tập trung vào tách chữ dòng liệu liên tục theo thời gian Theo phương này, số kỹ thuật áp dụng để xác định đoạn liệu có nghĩa (thể chữ cái) dãy dòng liệu ghi lại Đầu tiên, vận tốc chuyển động tay tính tốn nhằm xác định đoạn tay đứng yên Tiếp đó, lọc dựa tốc độ ký hiệu sử dụng để loại bỏ đoạn dư thừa Tại đoạn liệu có nghĩa xác định, chữ nhận dạng Sau đó, từ tiếng Việt tách tự động theo phương pháp khớp từ dài dựa từ điển Với phương pháp này, câu tiếng Việt biểu diễn bàng ngơn ngữ cử chi đirợc phân tách nhanh xác Bằng cách kết hợp nhiều kỹ thuật, phương pháp hoạt động hiệu phương pháp có v ấ n đề hai chữ liền kề giống nêu [12] giải Ngoài ra, việc phân tách từ tự động xem xét giải trorm phuơnR pháp P hư n s pháp đề xuất cung cấp giải pháp hoàn chỉnh cho việc tách từ dược bièu diễn bãng ngôn ngữ cử tiếng Việt theo cách đánh vần Chúng cũne thử nghiệm phương pháp đề xuất thu kết tốt T ổn g quan phân đoạn ngôn n g ữ dấu hiệu Phân đoạn ngôn ngữ dấu hiệu tập trung vào nghiên cứu áp dụng kỹ thuật khác để tách liệu có nghĩa từ dịng liệu thu Sự khác biệt cử có nghĩa cử dư thừa phụ thuộc cách biểu diễn ngơn ngữ dấu hiệu Có hai cách biêu diên ngôn ngữ dâu hiệu thông dụng: sử dụng hành động đại diện (gesture) đánh vần với ký tự bảng chữ (finger spelling) Theo cách dùng hành động (gesture), từ cụm từ thể hình dạng, vị trí, hướng, quĩ đạo chuyển động hai tay Do vậy, đoạn liệu có nghĩa đoạn mà tay diễn tả thơng tin thơng qua hình dáng, vị trí hướng chuyển động Đoạn liệu dư thừa tay chuyển từ vị trí kết thúc từ tới vị trí bắt đầu để biểu diễn từ khác Nhiều nghiên cứu sử dụng vận tốc chuyển động tay để thực việc phân doạn Tanibata [3] phân tách cử chuyển động dựa giả thiết ràng cử có vận tốc nhỏ chuyển động có giá trị vận tốc lớn Thêm nữa, thay đổi lớn vể chuyển động tay xem đầu mối để phân tách từ Sagawa Takeuchi [2] sử dụng cách tiếp cận tương tự Tuy nhiên, họ xem xét thêm việc loại bỏ nhiễu gây rung tay bàng cách so sánh tổng vận tốc lớn hai đoạn kề với ngưỡng định nghĩa trước Những chuyển động có nghĩa chuyển động dư thừa tách dựa gia tốc chuyển động có nghĩa thường có gia tốc nhỏ Phương pháp áp dụng cho 100 từ ngôn ngữ đấu hiệu tiếng Nhật đạt độ xác 80% Một cách tiếp cận khác sử dụng [4] sử dụng tham sổ thay đổi thời gian (time-varying parameter - TVP) để xác định cử có nghĩa Những cử hày có số TVP thấp nguỡng Gaolin Fang [5] đề xuất phương pháp hiệu Mạng hôi quy dơn giản (Simple Recurrent N etw ork - SRN) sử dụng dê phân lớp hành động thành b a loại: biên trái, biên phải, đoạn Sử dụng SRN, độ xác phân đoạn 87% Do SOFM (S elf Organizing Feature Maps) thêm vào, xử lý đặc trưng trước đưa vào mạng SRN Phương pháp đạt tỷ lệ gợi nhớ (Recall Rate) lên tới 98.8% Theo cách đánh vần, cử (posture) tương ứng với chữ the lân lượt, tuân theo luật đánh vần để tạo m ột từ Phân đoạn cho đánh vần xác định điểm mà cử xảy M ột vài nghiên cứu giải vấn đê băng cách chèn vào ký hiệu đánh dấu [16] giữ yên tay khoảng phút để nhận dạng [17] Hanrling [6] tính toán sức căng tay (hand tension) sử dụng để phân đoạn Tay trạng thái thoải mái có sức căng tay thể cử biểu diễn chữ Việc chuyển từ m ột cử sang cử khác qua trạng thái tay thoải mái Quan sát sử dụng để phát biên chữ Tuy nhiên, phương pháp chì thử nghiệm tập dừ liệu nhỏ dường phù hợp với hệ thống sử dụng găng tay liệu để thu nhận thông tin Wu [10] dựa khác frame ảnh frame trung bình đê tách đoạn chuyển động đứng yên tay H Birk [12] sử dụng hai kỹ thuật dựa chuyển đông để phân đoạn liệu theo thời gian Ngoài ra, vấn đề tách hai kỷ tự liền giống xem xét (VD: chữ T từ "hello” ) Đe giải vấn đề này, H Birk sử dụng kỹ thuật thử ba dựa quan sát ràng có m ột chuyển động nhỏ chúng Ba kỹ thuật kêt họp với bàng phép toán AN D để xác định kêt cuối R Erenshteyn [11] nhận dạng chữ theo thời gian thực sử dụng hai lọc cho phân tách đoạn Kỹ thuật sử dụng khác frame ảnh Kỷ thuật thữ hai dựa phân tích độ biến đổi Trong kỹ thuật này, điểm kết thúc m ột chữ nơi có biến đổi lớn kết nhận dạng cách khoảng định Việc nhận dạng thực điểm đoạn liệu phát Độ xác hai lọc 87.8% 92.3% Tuy nhiên, lọc thứ cho nhiều đoạn dư thừa lọc thứ hai xoá số đoạn Những kỹ thuật thường áp dụng m ột cách riêng lẻ Do vậy, độ xác phân đoạn khơng cao Hiện tại, khơng có giải pháp toàn diện từ việc tách chữ đến tách từ tự động phục vụ cho việc nhận dạng ngôn ngữ dấu hiệu nói chung ngơn ngữ dấu hiệu tiếng Việt nói riêng theo cách đánh vần Bởi vậy, trone đề tài này, đề xuất phương pháp cho việc phân đoạn Theo phương pháp này, số kỹ thuật áp dụng để xác định đoạn liệu có nghĩa dịng liệu theo thời gian Đầu tiên, vận tốc chuyển động cùa tay tính lốn để tìm đoạn liệu ứng cử viên Tiếp đó, lọc dựa tốc độ ký hiệu sử dựng để loại bỏ đoạn dư thừa Các chữ nhận dạng doạn liệu phát Cuối cùng, từ dược tự động phân tách từ dãy ký tự phương pháp khớp từ với từ dã định nghĩa từ điển tiếng Việt Phương pháp thử nghiệm thu kết khả quan P h ơng p h áp phân đoạn đề xuất thực nghiệm 3.1 Phương pháp phân đoạn Phương pháp phân đoạn tập trung vào việc tách ký tự từ từ dòng liệu theo thời gian Bước đầu tiên, vận tốc tay tính tốn để tìm điểm tay đứng yên để biểu diễn cử Tuy nhiên, kỹ thuật nhạy với nhiễu nên thường tìm nhiều đoạn liệu dư thừa Do vậy, lọc thứ hai dựa tốc độ ký hiệu sử dụng giải vấn đề Tại đoạn liệu hợp lệ thu được, giá trị chữ tính trung binh tổng có trọng số giá trị xuất đoạn Giá trị sử dụng cho nhận dạng Việc phân tách từ từ dãy chừ thu dược dựa phương pháp khớp từ cực đại với từ có từ điển tiếng Việt Các tiếp cận sử dụng để chuẩn hoá ký tự bị nhận dạng sai • Phân đoạn ký tự dựa vận tốc chuyển động tay Kỹ thuật dựa chất của việc đánh vần ngôn ngừ cử Theo cách này, ký tự thể tuần tự, tuân theo cú pháp đánh vần Mỗi ký từ biểu diễn bàng cử tay (posture), đặc trưng bời hình dáng tay hướng lịng bàn tay Các cử giữ yên khoảng thời gian đú dê nhận biết Do vậy, cử tương ứng với đoạn liệu có vận tốc tay nhỏ, động tác chuyển có vận tốc lớn [2][3][12] Dựa thơng số tav, vận tốc tính tốn so sánh với m ột ngưỡng xác định trước để tìm đoạn liệu có nghĩa sử dụng cho bước • Bơ loc ký tư dưa tốc kí hiêu • • J ■ * • • Với kỹ thuật nêu trên, hầu hết đoạn dử liệu có nghĩa xác định Tuy nhiên, thay đổi nhỏ tay thể ký tự nhiểu ảnh hường tới kỹ thuật tạo nhiều đoạn dư thừa M ay mắn thay, người “nói” ngơn ngữ dấu hiệu phải giữ tay khoảng đủ lâu để người “nghe” nhận biết Bời vậy, để loại bỏ đoạn dừ liệu bị phân tách sai, sử dụng lọc dựa tốc độ ký tự Đặc trưng sử dụng khoảng thời gian thể cử Tại đoạn liệu thu từ kỹ thuật trên, đặc trưng tính tốn so sánh với hai ngưỡng: ngưỡng thấp ngưỡng cao Một đoạn liệu chọn thời gian ký hiệu nam hai ngưỡng (Hình! 1) 1 1 o r * - * - * * ■— * * * A từ tự động biêu diên băng ngôn ngữ cử chí tiếng Việt theo cách đánh vần khơng dấu Vân đê phân đoạn cho chữ tiếng Việt có dấu chưa xem xét đề tài nà Ngồi 23 chữ thơng thường, tiếng Việt cịn có chữ có dấu (Ầ, Ả, ỏ, 0, Ẻ, l[ sáu (bằng, sắc, huyền, hỏi, ngã, nặng) Phương pháp đề xuất hoàn toàn c áp dụng để tách chữ có dấu Tuy nhiên, trường hợp (sắc, huyè hỏi, ngã, nặng), phương pháp cần phải mở rộng có thề giải diạ vân đề đặt Chức vụ Chủ nhiệm đề tài Họ v tên N guyễn Thị N hât Thanh Thạc sỹ Hoc vi Ký t ê n Ti Chủ tịch hội đồng đánh giá nghiệm thu thức L HIẺl'TRƯƠNG Thủ trướng quan quản lý đề tài