Hình 5.1: Biểu đồ tỷ lệ nhận dạng chính xác của các từ.
Dựa vào biều đồ, nhận thấy chương trình với giải thuật nhận dạng cho kết quả tương đối ổn định. Sự sai lệch giữa tỷ lệ chính xác cao nhất và tỷ lệ chính xác thấp nhất 15%.
Việc nhận dạng NNKH cho kết quả tương đối ổn định trong điều kiện nhận dạng với ánh sáng đủ. Mặc khác, với thiết bị Kinect phiên bản 2, việc nhận dạng có thể đươc thực hiện cả trong điều kiện ảnh sáng thiếu nhờ vào camera hồng ngoại.
Tuy nhiên, quá trình nhận dạng xảy ra sai số là do các nguyên nhân: trùng lắp cử chỉ; việc nhận dang khớp bàn tay bị nhiễu nếu vùng nhận dạng toạ độ với vùng tìm kiếm.
KẾT LUẬN
Kết quả chính của luận văn là xây dựng thành cơng giải thuật nhận dạng vị trí và cử chỉ của bàn tay, đồng thời xây dựng chương trình nhận dạng giọng nói và chuyển dịch sang dạng văn bản. Các cơng việc chính được thực hiện trong luận văn: nghiên cứu đặc điểm về cấu trúc cũng như ngữ pháp của ngôn ngữ ký hiệu dùng làm cơ sở cho việc nhận dạng; xây dựng giải thuật nhận dạng, truy bắt vị trí và cử chỉ của bàn tay; nhận dạng ngơn ngữ ký hiệu được thể hiện qua hai bàn tay, truy xuất đến dữ liệu cơ sở để chuyển dịch sang ngơn ngữ nói; nghiên cứu hệ thống và cơ chế phát âm của con người; nghiên cứu lý thuyết về nhận dạng và xử lý tiếng nói; xây dựng chương trình nhận dạng giọng nói dựa trên cơng cục Cloud Speech API. Bước đầu đã tiến hành thực nghiệm với một số từ trong ngôn ngữ ký hiệu và chuyển dịch sang ngơn ngữ nói, đồng thời nhận dạng tiếng nói chuyển dịch sang văn bản.
Do thời gian thực hiện luận văn hạn hẹp, nên chương trình nhận dạng ngơn ngữ ký hiệu chưa được hoàn chỉnh. Bên cạnh đó việc nhận dạng vẫn cịn tồn tại nhiều vấn đề cần được giải quyết tiếp theo: bị trùng cử chỉ; chưa xây được được thư viện dữ liệu cơ sở; việc sử dụng công cụ Cloud Speech API để nhận dạng tiếng nói địi buộc hệ thống phải có kết nối internet. Trong thời gian sắp tới hướng nghiên cứu tiếp theo của đề tài sẽ thực thực hiện: tối ưu hố giải thuật nhận dạng ngơn ngữ ký hiệu; xây dựng thư viện dữ liệu cơ sở ngôn ngữ ký hiệu; tiến hành nghiên cứu và xây dựng giải thuật nhận dạng và chuyển hố ngơn ngữ nói sang ngơn ngữ ký hiệu bằng video.
TÀI LIỆU THAM KHẢO
[1] Lệ Thị Hằng. Đại cương về khiếm thính. Đại học sư phạm Đà Nẵng năm 2008, tr 3-6, 43 – 48.
[2] Dự án Giáo dục Đại học cho người điếc Việt Nam, Ngôn ngữ kí hiệu thành
phố Hồ Chí Minh, Nxb Văn hóa thơng tin, 2008, tr 5-8.
[3] Yasir Niaz Khan, Syed Atif Mehdi. Hand Glove To Translate Sign Language. IJSTE - International Journal of Science Technology & Engineering .Volume 2, Issue 9, March 2016, tr 359-362.
[4] Dự án Giáo dục Đại học cho người điếc Việt Nam, Ngơn ngữ kí hiệu thành
phố Hồ Chí Minh, Nxb Văn hóa thơng tin, 2008
[5] Cao Thị Mỹ Xn. Q trình hình thành và phát triển ngơn ngữ ký hiệu.
Tạp chí khoa học ĐHSP TPHCM, số 43 năm 2013, tr.
[6] A. Lekova, D. Ryan. Fingers And Gesture Recognition With Kinect V2 Sensor. International Conference AUTOMATICS AND INFORMATICS’2016. 4-5 October 2016, Sofia, Bulgaria. P. 107-109.
[7] Yi Li. Hand Gesture Recognition Using Kinect. Electronic Teses and Dissertations. P. 823
[8] Andrew Weinfield. Gesture Recognition Using Microsoft’s Kinect v2. [9] Yoann Dieudonn´e, Shlomi Dolev, Franck Petit, Michael Segal. Deaf, Dumb, and Chatting Robots, Enabling Distributed Computation and Fault-Tolerance Among Stigmergic Robot. University of Lyon, France, 2009.
[10] Rudra PK Poudel. Real-time hand gesture recognition for small devices.
[11] H. Duan and Y. Luo, “A Gestures Trajectory Recognition Method Based on DTW”, Advances in Intelligent Systems Research, ISSN 1951-6851, Proc. 2nd Int. Conf. on Comp. Science&Elec.Eng. 2013.
[12] Mostafa Karbasi1, Zeeshan Bhatti1, Parham Nooralishahi, Asadullah Shah, Seyed Mohammad Reza Mazloomnezhad. Real-Time Hands Detection in Depth Image by Using Distance with Kinect Camera. International Journal of Internet of Things 2015. P.1-6.
[13] Quách Tuấn Ngọc, “Xử lý tín hiệu số”, Nxb Giáo dục, 1995.
[14] D.-K. Mac, V. Aubergé, A. Rilliard, and E. Castelli, “Cross-cultural perception of Vietnamese Audio-Visual prosodic attitudes,” Speech Prosody 2010, 2010.
[15] Claudio Becchetti and Lucio Prina Ricotti, “Speech. Theory & C++ Implementation”, Fondazione Ugo Bordoni, Rome, Italy. John Wiley and Sons, LTD
[16] Google Cloud Speech API Documentation. Internet: https://cloud.google.com/speech/docs/, 15/06/2017.
[17] Cloud Speech API is now generally available, Internet:
https://cloudplatform.googleblog.com/2017/04/Cloud-Speech-API-is-now generally-available.html, 15/06/2017.
[18] Discover the Strengths and Weaknesses of Google Cloud Speech API in this Special Report by Cloud Academy’s Roberto Turrin, Internet:
https://cloudacademy.com/blog/first-steps-with-google-cloud-speech-api/, 15/06/2017.