Đang tải... (xem toàn văn)
Nghiên cứu này hướng đến chế tạo ra sản phẩm hỗ trợ người câm điếc chuyển tải những thông điệp bằng chính ngôn ngữ của họ tới mọi người. Hệ thống được đề xuất trong nghiên cứu này gồm hai găng tay gắn các cảm biến gia tốc góc MMA7361, một MCU và RF Module truyền về điểm thu thập dữ liệu gắn trên máy tính thông qua một mạng lưới cảm biến không dây gồm 2 Node tương ứng với 2 găng tay.
Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thông tin (ECIT2014) Găng tay phiên dịch ngôn ngữ ký hiệu cho người câm điếc Nguyễn Xuân Tâm Đỗ Nguyên Nghĩa, Bùi Văn, Phạm Văn Tuấn Khoa Điện tử Viễn thông - Trường Đại Học Bách Khoa - Đại Học Đà Nẵng Đà Nẵng, Việt Nam Email: xuantambk@gmail.com Trung tâm Xuất sắc - Trường Đại Học Bách Khoa Đại Học Đà Nẵng Đà Nẵng, Việt Nam Email: nguyennghia4192@gmail.com, buivanbmt@gmail.com, pvtuan@dut.udn.vn tiếng nói cho người bình thường đọc nghe Ưu điểm hướng nghiên cứu tạo nên không gian giao tiếp thoải mái cho người dùng Người khiếm thính cần nói bình thường trước camera cách tự nhiên cử Tuy nhiên, hạn chế phương pháp phải đảm bảo nhiều điều kiện như: độ sáng môi trường, màu trang phục người nói, vị trí góc người nói so với camera Những yếu tố cộng với việc phát triển phần mềm nhận dạng đẩy giá thành hệ thống lên cao tương lai thực đưa ứng dụng sống Gần đây, với đời phát triển camera có độ phân giải lớn, nghiên cứu theo hướng Xử lý ảnh có thành cơng định Năm 2013, dự án Kinect Translator (Sử dụng Kinect Camera Microsoft) Đại Học Bắc Kinh Trung Quốc nghiên cứu xây dựng hệ thống thông dịch hai chiều người bình thường người câm điếc thơng qua mơ hình 3D máy tính Kết cịn hạn chế số câu nói, câu hỏi đơn giản phát triển riêng cho tiếng Trung số câu tiếng Anh thông dụng [1] Trong thời gian này, nhà khoa học Đại học Aberdeen thực nghiên cứu - sử dụng camera ghi hình bàn tay người ký hiệu dùng chương trình phần mềm chuyển thành chữ hiển thị lên hình [2] Tóm tắt— Găng tay phiên dịch ngôn ngữ ký hiệu cho người câm điếc nghiên cứu nhận dạng phiên dịch ngôn ngữ ký hiệu người câm điếc thành văn tiếng nói Nghiên cứu hướng đến chế tạo sản phẩm hỗ trợ người câm điếc chuyển tải thơng điệp ngơn ngữ họ tới người Hệ thống đề xuất nghiên cứu gồm hai găng tay gắn cảm biến gia tốc góc MMA7361, MCU RF Module truyền điểm thu thập liệu gắn máy tính thông qua mạng lưới cảm biến không dây gồm Node tương ứng với găng tay Các thông điệp hiển thị dạng văn phần mềm nhận dạng chạy máy tính phát tiếng nói, đồng thời thực thao tác “thêm” “xóa” cử cho hệ thống Vì hệ thống có vốn từ vựng ký hiệu mở, tùy biến theo người sử dụng Kết đánh giá thu thập từ thành viên khác cộng đồng người sử dụng ngôn ngữ ký hiệu phân vùng Đà Nẵng cho thấy hiệu suất nhận dạng cử tĩnh trung bình 85% cử động 80%, nhìn chung khả quan Từ khóa— cảm biến; câm điếc; ký hiệu; ngơn ngữ; nhận dạng; nhận dạng ngôn ngữ ký hiệu I GIỚI THIỆU Theo tổng điều tra dân số Việt Nam năm 2012 nước ta có khoảng triệu người câm điếc suy giảm khả nghe nói Vì vậy, lĩnh vực nghiên cứu Nhận dạng phiên dịch ngôn ngữ ký hiệu (Sign Language Recognition) đời phát triển nhằm giúp người khiếm thính vượt qua rào cản giao tiếp Có thể phân hai hướng nghiên cứu chính, là: Xử lý ảnh Găng tay cảm biến Xử lý ảnh: Hướng nghiên cứu chủ yếu tập trung phân tích tín hiệu video nhận từ camera Camera giám sát tất hành động cử từ bàn tay, nét mặt cử động khác người nói, sau gửi tín hiệu đến máy tính, sau máy tính xử lý xuất lại kết dạng văn ISBN: 978-604-67-0349-5 329 Găng tay cảm biến: Hướng nghiên cứu sử dụng găng tay thu thập liệu gửi máy tính để xử lý Người dùng bắt buộc phải mang găng tay giao tiếp Thông qua cảm biến gắn găng tay phát tất chuyển động bàn tay ngón tay gửi liệu Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thơng tin (ECIT2014) máy tính Ưu điểm phương pháp loại bỏ ảnh hưởng mơi trường bên ngồi Tuy nhiên nhược điểm lớn phương pháp lại phản ảnh hạn chế liệu thu Ngôn ngữ ký hiệu sử dụng nhiều cử nét mặt, đầu thân thể để biểu thị Trong trường hợp đó, găng tay cảm biến tỏ khơng hiệu Vào năm 1994 hai tác giả David J.Sturman David Zeltzer Medialab, học viện công nghệ MIT đưa phương pháp thu thập liệu đầu vào sử dụng găng tay cơng trình “A Survey of Glove Data Input” [3] để ứng dụng Nhận dạng ngôn ngữ ký hiệu Cùng hướng nghiên cứu này, bật dự án Enable Talk [4] nhóm QuadSquad đến từ Ukraine năm 2012 Găng tay nhận dạng chữ đơn lẻ họ dùng chúng để viết thành chữ tạo nên câu Sau sản phẩm phát triển cao để nhận dạng số câu đơn giản chuyển thành tiếng nói La-Tin làm chữ viết Hầu hết ký hiệu biểu chữ ký hiệu “tĩnh” ngoại trừ ký hiệu “J” “Z” Hình [6] Bài báo trình bày kết nghiên cứu nhận dạng ngôn ngữ ký hiệu Tiếng Việt theo hướng Găng tay cảm biến Mục tiêu nghiên cứu tạo hệ thống nhận dạng phiên dịch ngơn ngữ ký hiệu khu vực Đà Nẵng thành tiếng nói mở rộng sở liệu toàn quốc Cơ sở việc mở rộng hệ thống cho phép tùy biến vốn từ vựng tùy theo người dùng thao tác huấn luyện sản phẩm ghi nhớ hành động Ngồi ra, hệ thống xóa hành động khác sở liệu cảm thấy không cần thiết gây nhầm lẫn so với cử khác Ứng dụng thiết thực hệ thống việc giúp người câm điếc thuyết trình trước người Hệ thống hỗ trợ gói giọng nói: Tiếng Việt giọng nam, Tiếng Việt giọng nữ Tiếng Anh giọng nữ Hình 1: Bảng chữ ngơn ngữ ký hiệu B Các đặc tính ký hiệu 1) Tính giản lược có điểm nhấn Ngơn ngữ ký hiệu tập trung vào việc truyền tải ý nghĩa hành động không trọng ngữ pháp, miễn truyền tải nội dung thông điệp Đặt ngữ cảnh giao tiếp định ngơn ngữ ký hiệu truyền đạt nội dung câu nói Tuy nhiên tách biệt khỏi mơi trường giao tiếp khó khăn cho việc nhận dạng trường hợp tương tự, người nghe khơng biết chủ thể nói đến [7] 2) Khác biệt vùng miền Cũng ngôn ngữ nói, ngơn ngữ ký hiệu quốc gia, chí khu vực quốc gia khác Điều quốc gia, khu vực có lịch sử, văn hóa, tập quán khác nên ký hiệu để biểu thị vật, tượng khác Do dẫn tới khác biệt hệ thống từ vựng ngữ pháp ngôn ngữ ký hiệu nước Bài báo trình bày tổng quan ngôn ngữ ký hiệu phần II Phần gồm có đặc tính ngơn ngữ ký hiệu nói chung ngơn ngữ ký hiệu Việt Nam nói riêng Tiếp theo báo trình bày sơ đồ khối hệ thống, thiết kế phần cứng thiết kế phần mềm, bao gồm xây dựng sở liệu với giải thuật nhận dạng, trình bày phần III Cuối cùng, kết thử nghiệm đánh gíá phân tích phần IV kết luận hướng phát triển trình bày phần V II 3) Phân loại ký hiệu Trên sở nghiên cứu cử ký hiệu sử dụng cộng đồng người câm điếc Ngôn ngữ cử sử dụng nghiên cứu chia làm loại “ký hiệu tĩnh” “ký hiệu động” TỔNG QUAN VỀ NGÔN NGỮ KÝ HIỆU A Khái niệm ngôn ngữ Ngôn ngữ ký hiệu (thủ ngữ) cộng đồng người câm điếc sử dụng nhằm truyển tải thông tin qua cử chỉ, điệu thể nét mặt thay cho lời nói [5] a) Ký hiệu tĩnh Là ký hiệu cần sử dụng trạng thái tay cố định mà không di chuyển Trong phần lớn trường hợp ngôn ngữ ký hiệu, cử tĩnh thường dùng để diễn tả bảng chữ (trừ chữ “J”, “Z” chữ có dấu) ký hiệu đơn giản Dưới bảng chữ ký hiệu chung cho Việt Nam hầu hết quốc gia sử dụng bảng chữ ISBN: 978-604-67-0349-5 330 Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thông tin (ECIT2014) b) Ký hiệu động Là chuỗi ký hiệu nối tiếp nhằm biểu diễn câu ý Cũng hiểu chuỗi ký hiệu tĩnh thay đổi liên tục Hầu hết câu đàm thoại ngôn ngữ ký hiệu ký hiệu động Mục tiêu đề tài nhận dạng ký hiệu động với mẫu ký hiệu lấy từ ngôn ngữ ký hiệu khu vực Đà Nẵng THIẾT KẾ HỆ THỐNG III A Sơ đồ khối hệ thống Găng tay Găng tay Cảm biến gia tốc Cảm biến gia tốc Hình Thiết kế găng tay Module MCU RF Module MCU RF 2) Sơ đồ khối chức Điểm thu thập liệu Tín hiệu cảm biến PC Hình Tổng quan hệ thống Sơ đồ khối hệ thống trình bày Hình 2, bao gồm: Chuẩn hóa tín hiệu đầu vào Điểm thu thập liệu Găng tay Hai găng tay gắn cảm biến gia tốc góc, MCU RF module để thu thập liệu bàn tay thông qua chuyển đổi ADC Các liệu chuẩn hóa gửi điểm thu thập liệu Hình Sơ đồ khối chức Tín hiệu cảm biến gia tốc MCU thực trình ADC với kênh chuyển đổi, tương ứng với cảm biến gắn đầu ngón tay Sau tín hiệu chuẩn hóa đầu vào, nhằm loại bỏ xung vượt ngưỡng cho phép đồng thời giảm sổ lượng mẫu giống nhiều (Hình 4) Tại điểm thu thập liệu, máy tính tiến hành thu thập liệu phát trạng thái ngưng chuyển động Khi cử ngưng lại kích hoạt q trình nhận dạng, kết thành cơng xuất kết đầu dạng Text Sau mã Text tiếp tục đưa vào chuyển đổi Text-to-Speech phát tiếng nói tương ứng 3) Cảm biến vi gia tốc góc a) Tổng quan cảm biến gia tốc Cảm biến gia tốc thiết bị dùng để đo gia tốc Cảm biến vi loại cảm biến chế tạo theo công nghệ vi Nó sản phẩm phong phú đa dạng công nghệ MEMS (Microelectromechanical Systems) [8] [9] B Thiết kế phần cứng: 1) Găng tay cảm biến Hình mơ tả thiết kế tổng quan găng tay sử dụng cảm biến gia tốc gắn đầu ngón tay Bộ xử lý trung tâm MCU đặt sống bàn tay với Module RF Ngoài thiết kế găng tay đảm bảo tính uyển chuyển, khơng gây cản trở chuyển động loại bỏ xung tĩnh điện nhờ vải chống tĩnh điện ISBN: 978-604-67-0349-5 ADC (5x2 channel) Cảm biến vi ngày nhanh hơn, nhạy hơn, nhẹ hơn, rẻ có độ tin cậy cao so với cảm biến chế tạo theo công nghệ điện tử trước Cảm biến gia tốc chế tạo theo cơng nghệ vi điện tử có hai loại cảm biến kiểu tụ cảm biến kiểu áp trở Cảm biến kiểu áp 331 Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thơng tin (ECIT2014) trở có ưu điểm cơng nghệ cấu tạo đơn giản Tuy nhiên nhược điểm hoạt động phụ thuộc nhiều vào thay đổi nhiệt độ có độ nhạy cảm biến kiểu tụ Các cảm biến kiểu tụ có độ nhạy cao hơn, bị phụ thuộc vào nhiệt độ, bị nhiễu mát lượng Tuy nhiên chúng có nhược điểm mạch điện tử phức tạp Hiện cảm biến gia tốc kiểu tụ ứng dụng rộng rãi Nghiên cứu sử dụng cảm biến vi gia tốc góc kiểu tụ MMA7361 b) Cảm biến gia tốc góc MMA7361 MMA7361 gia tốc cho phép phát chuyển động theo phương X-Y-Z Trong đề tài cảm biến gia tốc MMA7361 lựa chọn độ nhạy cao (1.5g 6g) đặc tính tiết kiệm lượng (hoạt động với dòng nhỏ, chế độ Active tiêu thụ dịng 500µA Sleep Mode 40µÁ Điện áp cung cấp từ 2.2 đến 3.3V Hình Giá trị điện áp theo góc quay hành động cong ngón tay Hình biểu diễn giá trị điện áp cong ngón tay Giá trị gia tốc góc đo ngõ trục Y thay đổi gần tuyến tính Đây sở để chọn ngõ tương ứng cho cảm biến ngón tay Vì hành động cong ngón tay phản ánh liệu trục Y cảm biến tốt [11] c) Khảo sát chuyển động ngón tay với MMA7361 Xét mặt chuyển động không gian ngón tay hành động cong ngón tay cử động xoay cử động ngơn ngữ ký hiệu Bởi thực cử cần co, nghiêng, xoay ngón tay bàn tay Tất nhiên cử động bàn tay kéo theo chuyển động ngón tay Sau kết kiểm tra thay đổi góc quay theo trục với hành động tương ứng [10] Khảo sát hành động xoay ngón tay Q trình thử nghiệm thực gắn cảm biến lên trục quay 1800 cho kết sau: Khảo sát hành động cong ngón tay Hình Khảo sát hành động xoay ngón tay Hình Giá trị điện áp theo góc quay hành động xoay ngón tay Hình Khảo sát hành động cong ngón tay ISBN: 978-604-67-0349-5 332 Hội thảo quốc gia 2014 Điện tử, Truyền thơng Cơng nghệ thơng tin (ECIT2014) Hình kết khảo sát hành động xoay ngón Gia tốc góc trục X thay đổi nhiều nhất, giảm liên tục với góc quay từ 0- 1800 chuyển động Lúc liệu ghi lại vào đệm để chuẩn bị nhận dạng d) Chọn ngõ cảm biến Trên sở khảo sát chuyển động ngón tay bàn tay đó, ngõ cảm biến đầu vào cho kênh ADC MCU lựa chọn Bảng Kết thúc trình nhận dạng dù có thành cơng hay khơng trình xử lý quay trở trạng thái khởi động để chờ ký hiệu BẢNG NGÕ RA CỦA CẢM BIẾN TRÊN CÁC NGÓN TAY Ngõ Ngón tay Yout Ngón Yout Ngón trỏ Xout Ngón Zout Ngón áp út Yout Ngón út 2) Xây dựng sở liệu Với dòng liệu nhận từ 10 cảm biến gia tốc góc ta có vector 10 chiều d {u1 , u2 , u3 , u4 , u5 , u6 , u7 , u8 , u9 , u10 } Ta có: d {ui ,1 i 10} với ui (1 i 5) cho tay phải ui (6 i 10) cho tay trái Như ký hiệu C Thiết kế phần mềm biểu diễn Gm tập vector d với Imax số dòng liệu tối đa cho ký tự: 1) Các trạng thái ký hiệu Một ký hiệu xem xét dựa trạng thái là: “Bắt đầu”, “Chuyển động” “Tạm dừng” (Hình 8) Gm {d i | i I max , i N } Bắt đầu Bắt đầu chuyển động Chuyển động Nhận dạng hoàn tất Kết thúc chuyển động TimeScale 0.01(s) Thời gian tối đa cho ký hiệu: MAX(arverage _ time) 5(s) (2) (3) MAX(arverage _ time) 500 TimeScale (4) Ta có Database xây dựng tập ký hiệu: D G k | k 0,1, 2, N 500 Trạng thái bắt đầu: Đây trạng thái bắt đầu chuyển động Quy định trạng thái bắt đầu nhất, nghĩa bắt đầu ký hiệu nào, phải đưa tay trạng thái bắt đầu để hệ thống biết bắt đầu câu Hiện hệ thống cài đặt trạng thái bắt đầu câu người dùng đặt tay úp vào tay trái ngửa, tay phải úp để ngang bụng Trạng thái tùy biến theo cài đặt sau (5) Bây nhiệm vụ là: Cho tập: R {vi , i N} liệu đầu vào đại diện cho ký hiệu Tìm Gk D cho ( R, Gk ) “phù hợp nhất” Chúng ta nói rõ “phù hợp nhất” phần D 3) Giải thuật nhận dạng Với cặp vector vi R di Gk Trạng thái chuyển động: Khi có chuyển động ngón tay bàn tay khoảng thời gian tối thiểu 1s, kích hoạt trạng thái ISBN: 978-604-67-0349-5 Qua khảo sát cho thấy thời gian thực để thực cử trung bình kéo dài khoảng từ 2-5s Để đảm bảo việc cập nhật liệu đủ nhanh để lưu lại tất trạng thái chuyển động, phải đảm bảo đáp ứng hệ thống Với tốc độ chuyển động bàn tay bình thường khơng nhanh, thời gian lấy mẫu Timescale cho ADC chọn sau: I max Hình Các trạng thái ký hiệu (1) Có thể suy số dòng liệu tối đa cho ký tự: Tạm dừng (nhận dạng) Trạng thái tạm dừng: Trạng thái xác lập không xảy chuyển động 2.5s Đây lúc hệ thống bắt đầu nhận dạng ký hiệu vừa tạo 333 Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thông tin (ECIT2014) vi {vk ,1 k 10, k N ) di {d k ,1 k 10, k N ) Trong tất trường hợp số điểm Markk ( R, Gk ) trường hợp xem “Khơng nhận dạng được” Nghĩa q trình chuyển động cử khơng tạo thành phần vi Ta có khoảng cách Eclid tính vector sau: Di 10 (v k 1 k dk )2 Kết trình nhận dạng trả giá trị k số mã TEXT tương ứng lưu sở liệu -1 không xác định Q trình nhận dạng mơ tả chi tiết Hình (6) Áp dụng phương pháp tính điểm sau: Vì độ dài đầu vào ký hiệu khác độ dài mẫu ký hiệu huấn luyện sở liệu khác độ dài R Gk khác Mặt khác, xét độ quan trọng cử cử cuối ln quan trọng hành động nên việc tính điểm tiến hành từ điểm cuối hành động sau: Điểm số M i Di với 0.85 ngược lại M i Có thể chọn α nhỏ bù lại siết chặt trình nhận dạng làm giảm hiệu suất nhận dạng với cử gần giống với cử lưu database Hình Mơ tả trình nhận dạng cử Việc so sánh tính điểm điểm cuối cặp ( R, Gk ) bám sát theo trình tự thời gian mà dịng liệu tạo Theo trục thời gian có trạng thái tương ứng “Bắt đầu” , “Chuyển động” “Tạm dừng” Như trình bày độ dài R Gk khác nên việc tính Ta có thơng số tính điểm đại diện cho tương đồng ( R, Gk ) Markk ( R, Gk ) Max[ nR ; nGk ] i | nR nGk | Mi (7) điểm tính đến số | nR nGk | , ta có Trong nR số vector chứa R nGk số vector chứa Gk hay nói cách khác độ dài tính theo số dịng liệu thu chiều dài R nR chiều dài Gk n với n nR Nếu q trình nhận dạng thành cơng trả giá trị số k tương ứng với mã Textk Bây xét tỉ số điểm có tương ứng với cử đầu vào độ dài ký tự Sở dĩ phải xét đến độ dài (số vector chứa ký hiệu đầu vào) cử giống số đoạn chuyển động dù độ dài khác IV Hiệu suất nhận dạng đánh giá hai loại: nhận dạng cử tĩnh nhận dạng cử động Dữ liệu đánh giá thu thập với thành viên khác cộng đồng nói ngơn ngữ ký hiệu Đà Nẵng Với cử người thực lần Training 10 lần Test Xét tổng thể cử có độ dài lớn xác suất chứa thành phần cử khác lớn Ta có cử đầu vào R có độ dài nR Và giá trị điểm số mà thu qt tồn sở liệu là: k Markk ( R, Gk ) nR 1) Hiệu suất nhận dạng cử tĩnh Việc đánh giá hiệu suất nhận dạng cử tĩnh thông qua nhận dạng phần lớn chữ bảng chữ tiếng Việt Hình 10 biểu đồ đánh giá kết nhận dạng (8) ( R, Gk ) xem cặp “phù hợp nhất” k tương ứng lớn xét quét toàn sở liệu ISBN: 978-604-67-0349-5 KẾT QUẢ VÀ ĐÁNH GIÁ 334 Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thông tin (ECIT2014) 2) Hiệu suất nhận dạng cử động Hệ thống đánh giá dựa việc nhận dạng 10 cử ngôn ngữ ký hiệu.Các cử tập trung vào cử bàn tay khơng có can thiệp ánh măt thành phần ngôn ngữ thể khác (Bảng 2) BẢNG HIỆU SUẤT NHẬN DẠNG MỘT SỐ CỬ CHỈ ĐỘNG Hình 10 Hiệu suất nhận dạng cử tĩnh Kết cho thấy xác suất nhận dạng tương đối cao hầu hết chữ mà có trạng thái tay khác nhiều vị trí ngón tay Hiệu suất nhận dạng bé cử chữ K (70%) cử gần giống với cử R (75%) Hai chữ dễ nhầm lẫn với vị trí góc nghiêng ngón tay tương đối giống nhau, thơng số cảm biến trả giống nên làm giảm hiệu suất nhận dạng (hình 11) Trường hợp chữ C (73%) chữ E (80%) tương tự Góc độ nghiêng ngón tay chữ C chữ E tương đối giống góc mở tư ngón tay khác Vì cảm biến gắn đầu ngón tay nên trường hợp dễ bị nhầm lẫn (hình 11) Trong trường hợp chữ U V góc nghiêng ngón tay hồn tồn giống khác góc độ ngón trỏ ngón Tuy nhiên khảo sát trên, liệu theo phương X (ngón giữa) thay đổi trường hợp Hơn thói quen thuộc tính người dùng đơi khó khăn để tạo góc lớn ngón tay nên việc nhầm lẫn thường xun xảy (Hình 11) Đún g Khơng Xác định Nhầ m Tổn g Phần trăm “Chào Bạn” 90 100 90% “Tên Lệ” 85 100 85% “Tôi sống Đà Nẵng” 82 12 100 82% “ Tôi 23 tuổi ” 93 100 93% “ Tôi sinh viên năm 4” 74 19 100 74% “Tôi học ngành tâm lý học trường Đại học sư phạm Đà Nẵng” 83 10 100 83% “Gia đình tơi có người” 78 15 100 78% “ Nhà bạn đâu?” 89 100 89% “Rất vui gặp bạn” 80 19 100 80% “Cảm ơn bạn lắng nghe” 80 14 100 80% Trong 10 câu kiểm thử với người sử dụng thành viên Câu Lạc Bộ Khiếm Thính STC Đà Nẵng xác suất nhận dạng câu “Tôi sinh viên năm 4” “Gia đình tơi có người” có xác suất nhận dạng bé nhất, dễ nhầm lẫn với Bởi hành động cuối ký hiệu giống nhau, đặc biệt thành phần diễn tả số (đưa ngón tay lên trước) xuất câu (Hình 12) Hình 11 Sự giống số cử tĩnh ISBN: 978-604-67-0349-5 Câu 335 Hội thảo quốc gia 2014 Điện tử, Truyền thông Công nghệ thông tin (ECIT2014) LỜI CẢM ƠN Lời cho xin gửi lời tri ân đến thầy cô khoa Điện tử Viễn thông Trung tâm Xuất sắc – Đại học Bách khoa – Đại học Đà Nẵng tận tình giúp đỡ chúng tơi q trình thực đề tài Tiếp đến, xin chân thành cảm ơn bạn nhóm nghiên cứu chúng tơi, bạn sát cánh bên lúc khó khăn q trình nghiên cứu phát triển đề tài Tuy có thời gian hợp tác ngắn ngủi không gửi lời cảm ơn đến Tuấn Líc Sẽ thật thiếu sót chúng tơi khơng gửi lời cảm ơn sâu sắc đến cô Lệ bạn câu lạc khiếm thính Đà Nẵng The Silent World Club Đà Nẵng (STC Club) Các bạn thực người thầy ngôn ngữ ký hiệu Các bạn giúp đỡ xây dựng nên sở liệu khảo sát đề tài đưa lời khuyên quý giá hiệu suất số cải tiến sản phẩm TÀI LIỆU THAM KHẢO Nhóm nghiên cứu gồm giảng viên sinh viên Đại học Bắc Kinh, “Kinect Sign Language Translator Expands Communication Possibilities”, Microsoft Reseach Connections, 2012 [2] Nhóm nghiên cứu nhà khoa học Đại học Aberdeen, “Technology that Translates Sign Language into Text Aims to Empower Sign Language Users”, 2012 [3] David J.Sturman, David Zeltzer “A Survey of Glove-based Input” IEEE Computer Graphics & Applications, 1994 [4] QuadSquad team, “Sign language-to-speech translating”, Microsoft Imagine Cup 2012 [5] W C Stokoe, "Sign Language Structure: An outline of the visual communication systems of the American deaf", Studies in Linguistics: Occasional papers 8, 1960 [6] Nhóm nghiên cứu CED, “Tài Liệu giảng dạy Ngơn Ngữ Ký Hiệu TP Hồ Chí Minh” Thuộc dự án Mở Bậc Giáo Dục Đại Học Cho Người Điếc Tại Việt Nam, NXB Thông Tin, 2009 [7] S.C.W Ong, S Ranganath, “Automatic sign language analysis: A survey and the future beyond lexical meaning”, IEEE Transactions on PAMI, June 2005, vol.27, no.6, pp.873-891 [8] The Duy Bui, Long Thang Nguyen, “Recognition of Vietnamese sign language using MEMS accelerometers”, 1st International Conference on Sensing Technology, November 21-23, 2005 Palmerston North, New Zealand [9] Mohamed Gad-el-Hak, “The MEMS handbook”, CPR Press, New York, 2002 [10] Y Wu and T.S Huang, “Hand modeling, analysis, and recognition for vision based human computer interaction”, IEEE Signal Processing Magazine, 2001, v.21, p.51–60 [11] F.K.H Quek, “Toward a vision-based hand gesture interface”, Singh G, S K Feiner and D Thalmann (editors), Virtual Reality Software and Technology: Proc Of the VRST’94 Conference, pp 17–31, World Scientific, London, 1994 [1] Hình 12 Hiệu suất nhận dạng cử động V KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết đề tài thiết kế thi công thành công đôi găng tay thu thập xử lý liệu cảm biến gia tốc Sản phẩm phiên dịch ngôn ngữ ký hiệu người câm điếc thành tiếng nói theo hướng Găng tay cảm biến Hệ thống hoạt động ổn định bước đầu nhận dạng chữ số câu ngơn ngữ ký hiệu Đã tích hợp thành công Module Text-To-Speech NHMTTS SAPI 4.0 phát tiếng nói song song với hiển thị TEXT Đề tài để mở nhiều hướng phát triển tương lai Việc áp dụng phương pháp khai phá liệu ứng dụng kỹ thuật học máy vào nhận dạng, thay đánh phương pháp Điều tăng hiệu suất nhận dạng mở rộng vốn từ vựng sản phẩm Đồng thời thiết kế lại mạch phần cứng nhỏ gọn nhằm tạo thoải mái cho người sử dụng ISBN: 978-604-67-0349-5 336 ... loại ký hiệu Trên sở nghiên cứu cử ký hiệu sử dụng cộng đồng người câm điếc Ngôn ngữ cử sử dụng nghiên cứu chia làm loại ? ?ký hiệu tĩnh” ? ?ký hiệu động” TỔNG QUAN VỀ NGÔN NGỮ KÝ HIỆU A Khái niệm ngôn. .. ngữ Ngôn ngữ ký hiệu (thủ ngữ) cộng đồng người câm điếc sử dụng nhằm truyển tải thông tin qua cử chỉ, điệu thể nét mặt thay cho lời nói [5] a) Ký hiệu tĩnh Là ký hiệu cần sử dụng trạng thái tay. .. b) Ký hiệu động Là chuỗi ký hiệu nối tiếp nhằm biểu diễn câu ý Cũng hiểu chuỗi ký hiệu tĩnh thay đổi liên tục Hầu hết câu đàm thoại ngôn ngữ ký hiệu ký hiệu động Mục tiêu đề tài nhận dạng ký hiệu