Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu việt nam

ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN CÔNG THÀNH NGHIÊN CỨU HỆ THỐNG NHẬN DẠNG NGÔN NGỮ KÝ HIỆU VIỆT NAM LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2017 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN CÔNG THÀNH NGHIÊN CỨU HỆ THỐNG NHẬN DẠNG NGÔN NGỮ KÝ HIỆU VIỆT NAM Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 THÁI NGUYÊN - 2017 MỤC LỤC CHƯƠNG TỔNG QUAN VỀ NGƠN NGỮ KÍ HIỆU VIỆT NAM 1.1 Khái niệm vai trị ngơn ngữ ký hiệu 1.2 Đặc điểm ngôn ngữ học ngôn ngữ ký hiệu 1.3 Ngôn ngữ ký hiệu Việt Nam 1.4 Các phương pháp nhận biết ngơn ngữ kí hiệu 1.4.1 Nhận biết phân tích hình ảnh 1.4.2 Nhận biết cảm biến 10 CHƯƠNG GĂNG TAY CẢM BIẾN 12 2.1 Cảm biến cong 12 2.2 Cảm biến gia tốc 18 2.4 Mơ hình găng tay cảm biến 32 CHƯƠNG PHƯƠNG PHÁP NHẬN DẠNG NGƠN NGỮ KÍ HIỆU VIỆT NAM DÙNG GĂNG TAY CẢM BIẾN VÀ ỨNG DỤNG 35 3.1 Tập liệu nhận dạng 35 3.2 Thuật toán phân lớp nhận dạng 37 3.2.1 Chương trình thu thập liệu 37 3.2.2 Xử lý liệu 40 3.2.3 Giới thiệu WPF 52 3.2.4 Áp dụng WPF mô bàn tay 53 3.3 Kết nhận dạng đánh giá 54 KẾT LUẬN 57 TÀI LIỆU THAM KHẢO 59 DANH MỤC HÌNH VẼ VÀ BẢNG BIỂU Hình 1.1: Ngơn ngữ kí hiệu hệ thống Arthrological Hình 1.2 Mơ hình hệ thống nhận dạng bàn tay 10 Hình 2.1.Cảm biến độ cong 12 Hình 2.2.Các vị trí cảm biến độ cong 13 Hình 2.3 Mơ hình cảm biến gắn găng tay 13 Hình 2.4 Mạch ghép nối cảm biến cong 14 Hình 2.5 Mạch flash ADC với so sánh 16 Hình 2.6 Analog digital hàm sin 17 Hình 2.7 Cảm biến gia tốc ADXL345 18 Hình 2.8 Gia tốc tĩnh theo trục z 19 Hình 2.9 Hệ trục tọa độ cảm biến bàn tay 20 Hình 2.10 Cách xác định các góc Proper Euler 22 Hình 2.11 Hình chiếu trục Z lên hệ trục chuẩn 22 Hình 2.12 Hình chiếu trục Y lên hệ trục chuẩn 23 Hình 2.13 Góc Tait-Bryan (đường sở y’ kí hiệu màu vàng) 24 Hình 2.14 Ứng dụng Góc Tait- Bryan hàng khơng 25 Hình 2.15 Hiện tượng Gimbal Pitch = 90 độ 25 Hình 2.16 Các góc Yaw, Pitch và Roll 26 Hình 2.17 Sự thay đổ i tra ̣ng thái ứng với các góc 27 Hình 2.18.Tính tốn góc nghiêng từ accelerometer 28 Hình 2.19 Sơ đồ chân Atmega32 29 Hình 2.20 Mơ hình hệ thống thu thập liệu 33 Hình 3.1 Bảng kí hiệu bàn tay tiếng việt 36 Hình 3.2 Các dấu ngơn ngữ kí hiệu Việt Nam 37 Hình 1.Tư tưởng thuật toán DTW 41 Hình 3.2 Các đường wraping 42 Hình 3.3 Các yêu cầu với đường wraping 46 Hình 3.4 Các đường wraping 47 Hình 3.5 : Thuật tốn nhận dạng ngơn ngữ kí hiệu Việt Nam 49 Hình 3.5 Phân nhóm liệu đầu vào dựa Ax 50 Hình 3.6 .NET Framework 3.0 52 Hình 3.7 Mơ hình ba chiều bàn tay 53 Bảng 1: Kết nhận dạng ngơn ngữ kí hiệu Việt Nam 56 LỜI CAM ĐOAN Tôi là: Nguyễn Cơng Thành Lớp: CK13 Khố học: 2014 - 2016 Chuyên ngành: Khoa học máy tính Mã số chuyên ngành: 60 48 01 Cơ sở đào tạo: Trường Đại học Công nghệ thông tin Truyền thông Thái Nguyên Giáo viên hướng dẫn: TS Phùng Trung Nghĩa Tôi xin cam đoan luận văn “Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam” cơng trình nghiên cứu riêng hướng dẫn TS Phùng Trung Nghĩa giúp đỡ NCS Nguyễn Thị Bích Điệp Các số liệu sử dụng luận văn trung thực Các kết nghiên cứu trình bày luận văn chưa cơng bố cơng trình khác Thái Ngun, ngày tháng năm 2017 HỌC VIÊN Nguyễn Công Thành LỜI CẢM ƠN Học viên xin gửi lời cảm ơn chân thành tới TS Phùng Trung Nghĩa, Trường Đại học Công nghệ Thông tin Truyền thông – Đại học Thái Nguyên, người tận tình hướng dẫn giúp học viên hồn thành luận văn tốt nghiệp Học viên xin gửi lời cảm ơn sâu sắc đến thầy cô giáo Trường Đại học Công nghệ Thông tin Truyền thông - Đại học Thái Nguyên, thầy cô giáo Viện Công nghệ thông tin - Viện khoa học Việt Nam nhiệt tình giảng dạy, truyền đạt kiến thức cho học viên suốt năm học để học viên hồn thành luận văn Nguyễn Cơng Thành MỞ ĐẦU Theo số liệu thống kê WHO năm 2000, giới có khoảng 250 triệu người khiếm thính, chiếm 4,2 % dân số Do khả nghe bị suy giảm nên khả giao tiếp lời cộng đồng người khiếm thính bị hạn chế nhiều Để thay cho khả giao tiếp tiếng nói, ngơn ngữ ký hiệu, ngôn ngữ sử dụng biểu diễn bàn tay thể đời Trên giới, có nhiều nghiên cứu phát triển dịch vụ thông dịch ngôn ngữ ký hiệu sản phẩm cơng nghệ nhằm hỗ trợ người khiếm thính giao tiếp xã hội Một số sản phẩm bật găng tay chuyển đổi ngôn ngữ ký hiệu thành giọng nói [1], phần mềm dịch từ văn bản/giọng nói sang ngơn ngữ ký hiệu hay từ điển tra cứu ngôn ngữ ký hiệu online [2] Hiện theo thống kê, Việt Nam có khoảng 2.5 triệu người khiếm thính [3] Với quan tâm đặc biệt Đảng Nhà nước, có nhiều trường học, trung tâm hỗ trợ dạy học việc làm riêng cho người khiếm thính Việc phát triển sản phẩm ứng dụng công nghệ để phát huy ngôn ngữ ký hiệu nhằm nâng cao trình độ, tiếp nhận thơng tin, khả giao tiếp cho người khiếm thính Việt Nam hiệu [6] Vì việc đề xuất giải pháp để xây dựng hệ thống nhận dạng ngơn ngữ kí hiệu Việt Nam cần thiết Trong nghiên cứu này, học viên nghiên cứu ngôn ngữ ký hiệu Việt Nam, phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam sử dụng găng tay cảm biến, sở xây dựng phần mềm nhúng tự động nhận dạng ngôn ngữ ký hiệu Việt Nam tích hợp với găng tay cảm biến Nội dung luận văn bao gồm chương: Chương Tổng quan ngôn ngữ ký hiệu Việt Nam Chương Găng tay cảm biến Chương Phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam dùng găng tay cảm biến ứng dụng Khi viết báo cáo học viên cố gắng để đạt mục tiêu định hướng nghiên cứu đề ban đầu, song điều kiện thời gian lực cịn hạn chế nên khơng tránh khỏi thiếu sót Học viên mong nhận góp ý thầy giáo hướng dẫn, thầy giáo để học viên có kinh nghiệm thực tế bổ ích để sau xây dựng chương trình hồn thiện CHƯƠNG TỔNG QUAN VỀ NGÔN NGỮ KÍ HIỆU VIỆT NAM 1.1 Khái niệm vai trị ngơn ngữ ký hiệu Ngơn ngữ ký hiệu (hay ngơn ngữ kí hiệu, thủ ngữ) ngơn ngữ dùng biểu bàn tay thay cho âm tiếng nói Ngơn ngữ ký hiệu người điếc tạo nhằm giúp họ giao tiếp với cộng đồng tiếp thu tri thức xã hội Việc thay âm tiếng nói liên quan đến đồng thời kết hợp hình dạng tay, hướng chuyển động bàn tay, cánh tay thể, nét mặt để thể trôi chảy suy nghĩ người nói Ngơn ngữ kí hiệu có nhiều điểm tương đồng với ngơn ngữ nói (đơi gọi "ngôn ngữ miệng" - mà phụ thuộc chủ yếu vào âm thanh), lý ngôn ngữ học xem xét hai dạng ngôn ngữ ngơn ngữ tự nhiên Tuy nhiên có số khác biệt đáng kể ngôn ngữ ký hiệu ngơn ngữ nói Đặc biệt khơng nên nhầm lẫn ngơn ngữ kí hiệu với ngơn ngữ thể, loại giao tiếp phi ngôn ngữ Bất đâu cộng đồng người khiếm thính giới, ngôn ngữ ký hiệu phát triển Ngôn ngữ kí hiệu khơng sử dụng người điếc mà sử dụng người nghe thấy, thể chất bị hạn chế để nói chuyện bình thường Ngơn ngữ kí hiệu có thuộc tính ngơn ngữ riêng biệt Hiện nay, hàng trăm ngôn ngữ ký hiệu sử dụng giới phát triển cộng đồng người khiếm thính tất quốc gia Một số ngơn ngữ ký hiệu có cơng nhận pháp lý, số khác mang tính cục bộ, địa phương Một quan niệm sai lầm phổ biến tất ngơn ngữ ký hiệu tồn giới hồn tồn giống ngơn ngữ ký hiệu ngôn ngữ quốc tế Thực tế khơng phải vậy, quốc gia có ngơn ngữ ký hiệu 46 Hình 3.3 Các yêu cầu với đường wraping  Điều kiện ban đầu: g (1,1) = d (1,1)  DP-phương trình: g (i, j − 1) + d (i, j) g (i, j) = { g (i − 1, j − 1) + d (i, j) g (i − 1, j) + d (i, j)  Cửa sổ wraping: j - r ≤ i ≤ j + r  Thời gian bình thường khoảng cách: D (A, B) = g (n, m) / C C = n + m 47 Hình 3.4 Các đường wraping Bắt đầu với việc tính tốn g (1,1) = d(1,1) Tính tốn hàng g (i, 1) = g (i-1, 1) + d (i, 1) Tính tốn cột g (1, j) = g (1, j) + d (1, j) Di chuyển đến hàng thứ hai g (i, 2) = (g (i, 1), g (i-1, 1), g (i - 1, 2)) + d (i, 2) Ghi lại với cell số cell lân cận, điểm tối thiểu (mũi tên đỏ) Dịch chuyển từ trái sang phải từ lên với phần lại lưới: g (i, j) = (g (i, j-1), g (i-1, j-1), g (i - 1, j)) + d (i, j) 48 Tìm lại đường tốt qua lưới g (n, m) di chuyển hướng tới g (1,1) cách lần theo mũi tên màu đỏ Ví dụ: Tính g(1,1) = d(1,1) = 1/C * dE(1,1) = 1/(m+n) * dE(1,1), m, n số hàng cột dE k/c Eculid điểm = 1/(10+7) *√(−0.6 − −0.87)2 + (−0.46 − −0.88)2 = 0.029 *) Q trình nhận dạng chữ Ngơn ngữ kí hiệu Việt Nam theo bảng chữ hình 1.1 chia làm nhóm:  Nhóm 1: bàn tay thẳng đứng, bao gồm chữ cái: A, B, C, D, Đ, E, F, I, K, L, O, R, S, T, U, V, X, Y, W  Loại 2: bàn tay nằm ngang, bao gồm sáu chữ cái: G, H, M, N, P, Q 49  Loại 3: bàn tay di chuyển, bao gồm chữ cái, tức là, J, Z, Â, Ă, Ê, Ơ, Ô, Ư Gọi (Ax, Ay, Az) độ lớn chiếu lên trục X,Y,Z vector g tương ứng theo trục, fij giá trị cảm biến cong thứ i gắn ngón tay thứ j, từ ta có S vector gồm 13 thông số đo từ cảm biến gắn bao tay, thu thời điểm T ST = [𝑓11 𝑓12 𝑓21 𝑓22 𝑓31 𝑓32 𝑓41 𝑓42 𝑓51 𝑓52 𝐴𝑥 𝐴𝑦 𝐴𝑧 ] 𝑇 Thuật toán nhận dạng sau: Găng tay Vector liệu Tay chuyển động Yes Nhóm No Tay thẳng đứng Yes Nhóm No No Tay nằm ngang Yes Nhóm So khớp mẫu DTW Đầu Đầu Hình 3.5 : Thuật tốn nhận dạng ngơn ngữ kí hiệu Việt Nam 50 Để phân loại liệu đầu thuộc nhóm nào, học viên sử dụng thong số thu từ accelerometer Xét n mẫu liệu liên tục, St ,…, St+n , ta tính tốn thay đổi Ax: Var ( Ax )    t n h A  A  x x , n ht (1) Với ̅̅̅̅ 𝐴𝑥 tính sau: Ax  Nếu Var ( Ax ) , t n h  Ax (2) n ht lớn ε cho trước, tức bàn tay chuyển động nhỏ ε , tay cố định phân nhóm tiếp sau: Tay đứng Vị trí tay = {Tay ngang 𝑁𝑢𝑙𝑙 𝐴𝑥 ∈ [−60,0] 𝐴𝑥 ∈ [−137, −100] với giá trị khác Hình 3.5 Phân nhóm liệu đầu vào dựa Ax Phần nhận dạng gồm hai phần, liệu phân nhóm vào nhóm ta thực so khớp mẫu Học viên thực thu sẵn liệu tư tĩnh bàn tay, gọi : k k k k Tk  [ f11k f12k f 21 f 22 f 31k f 32k f 41 f 42 f 51k f 52k 0 0]T 51 liệu kí tự thứ k thu sẵn ST liệu thu vào đề cập trên, ta tính sai số ST Tk là:  t ,k  i[1,5], j[1,2]  f ijt  f ijk  10  t ,k , trả kí tự thứ k, coi kí tự mà ta Ta tính arg kmin [1, N ] C1 muốn biểu diễn Nếu bàn tay chuyển động, ta sử dụng DTW để tiến hành nhận dạng DTW áp dụng toán học viên khơng có khác biệt nhiều so với lý thuyết, ngoại trừ việc điểm thay số chuỗi liệu Mỗi chuỗi số liệu thu thập từ thiết bị ứng với trạng thái tĩnh bàn tay Tức học viên thực tính tốn tương đồng chuỗi, chuỗi chuỗi liên tục liệu thu từ thiết bị Chuỗi A liệu thu thập 16 lần liên tiếp: vị trí bàn tay 15 vị trí trước Chuỗi B so sánh liệu thu sẵn bàn tay ứng với chữ Học viên sử dụng DTW để tính tốn độ sai khác chuỗi liệu thu với liệu chữ có sẵn A, B, C, D, Ứng với chữ mà độ sai khác trả nhỏ nhất, học viên coi bàn tay thể chữ Mơ bàn tay Để mô bàn tay, học viên sử dụng công nghệ biểu diễn 3D cơng cụ WPF, cho phép tạo lại mơ hình 3D bàn tay phần mềm Điểm bật WPF hiển thị hình ảnh đồ họa 3D mà tiếp cận công cụ phức tạp chuyên dụng 52 WPF tích hợp sẵn DirectX giúp người lập trình phát triển ứng dụng 3D cách dễ dàng mà quan tâm đến phức tạp DirectX 3.2.3 Giới thiệu WPF Windows Presentation Foundation (viết tắt WPF) Microsoft phát triển, công nghệ Windows Form dùng để xây dựng ứng dụng dành cho máy trạm chạy hệ điều hành Windows WPF giới thiệu từ năm 2006 NET Framework 3.0 (dưới tên gọi Avalon), công nghệ nhận quan tâm cộng đồng lập trình viên nhiều điểm đổi lập trình ứng dụng khả xây dựng giao diện thân thiện, sinh động Tại Việt Nam, WPF thực chưa phát triển so với nhánh khác Silverlight (WPF/E) Hình 3.6 .NET Framework 3.0 Thư viện lõi WPF PresentationCore PresentationFramework để xử lý điều hướng, ràng buộc liệu, kiện quản lý giao diện WPF dựa tảng đồ họa DirectX, xử lý vector, hỗ trợ gam màu rộng, cho 53 phép tùy biến giá trị opacity hay tạo gradient cách dễ dàng, cho phép tạo ảnh không gian chiều chiều Thư viện thực thi WPF tự động tính toán tận dụng tài nguyên hệ thống cách tối ưu để giảm tải cho CPU Ngoài ra, WPF hỗ trợ tốt Winform việc xử lý hình ảnh, âm thanh, video, quản lý phơng chữ, quản lý hiển thị chỉnh sửa văn Các control WPF lồng ghép linh động để tạo giao diện viết XAML Một ứng dụng WPF xây dựng để chạy độc lập dạng mở rộng EXE đóng gói với phần mở rộng XBAP để tích hợp lên website Thư viện thực thi WPF tích hợp tất hệ điều hành kể từ Windows Vista Windows Server 2008 Cho đến thời điểm tại, WPF có phiên bản: WPF 3.0 (11-2006), WPF 3.5 (11-2007), WPF 3.5sp1 (8-2008), WPF (4-2010), WPF 4.5 (8-2012) 3.2.4 Áp dụng WPF mô bàn tay Mơ hình ba chiều bàn tay có dạng sau: Hình 3.7 Mơ hình ba chiều bàn tay 54 Tồn mơ hình bàn tay chuyển động quanh trục x,y,z hình Trục từ lưng bàn tay hướng ngón tay trục x, trục từ lưng bàn tay hướng ngón tay trục y, trục từ lưng bàn tay hướng xuống (hướng từ lòng bày tay xuống) trục z, trục ứng với trục quay thực tế cảm biến gia tốc Khi cánh tay thực chuyển động quay quanh trục, cảm biến gia tốc ghi nhận thay đổi truyền máy tính thơng qua giá trị kênh X, Y, Z, ba giá trị hình chiếu gia tốc trọng trường lên trục cảm biến Dựa vào lý thuyết xác định góc quay tính tốn góc quay theo trục cành tay thật, từ thực quay khối hình theo góc tương ứng Mỗi ngón tay, đại diện hình khối chữ nhật, hình đốt ngón tay (như trình bày trên, ta bỏ qua đốt đầu ngón tay) ngón tay gấp lại, điện trở cảm biến cong thay đổi, dẫn đến giá trị đọc vào kênh ADC thay đổi, dựa giá trị tính góc gấp ngón tay Mỗi khối chữ nhật có trục quay ẩn nằm mặt phẳng đứng hướng tâm khối, cho phép khối quay ứng với góc ngón tay thật quay Từ giá trị đọc ADC, cần quay khối chữ nhật tương ứng với góc tính tốn được, ta mơ thành cơng chuyển động gấp ngón tay Trường hợp đặc biệt với ngón cái, có trục chuyển động mở rộng đặc điểm bàn tay người, nên cần gắn thêm cảm biến gia tốc lên ngón tay để xác định góc quay cho riêng ngón 3.3 Kết nhận dạng đánh giá Với liệu lựa chọn mục 3.1, học viên chia liệu thành ba nhóm dựa chuyển động bàn tay tương ứng với thuật tốn trình bày trên: - Nhóm 1: Khi tư bàn tay thẳng đứng Bao gồm: A, B, C, D, Đ, E, F, I, K, L, O, R, S, T, U, V, X, Y, W 0, 1, 2, 3, 4, 5, 6, 8, 55 - Nhóm 2: Khi tư bàn tay nằm ngang Bao gồm: G, H, M, N, P, Q - Nhóm 3: Khi biểu diễn kí tự chuyển động bàn tay Bao gồm kí tự: J, Z, Â, Ă, Ê, Ơ, Ô, Ư dấu ( dấu huyền, dấu hỏi, dấu ngã, dấu sắc) Kết trình nhận dạng thống kê bảng sau: STT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Kí tự A B C D Đ E I K L O R S T U V X Y G H M N P Q Â Ô Ê Ă Ơ Ư Số lượng kiểm tra 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 Số lượng xác 50 50 43 50 50 43 50 50 50 43 38 50 38 43 48 50 50 50 50 49 48 50 50 46 41 39 32 29 30 48 Tỉ lệ (%) 100 100 86 100 100 86 100 100 100 86 76 100 76 86 96 100 100 100 100 98 96 100 100 92 82 78 64 58 60 96 56 31 32 33 34 35 36 37 38 39 40 41 42 43 Dấu huyền Dấu sắc Dấu hỏi Dấu ngã 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 50 43 50 45 47 46 30 34 35 32 100 100 100 100 86 100 90 94 92 60 68 70 64 Bảng 1: Kết nhận dạng ngơn ngữ kí hiệu Việt Nam Qua kết nhận dạng thử nghiệm cho thấy độ xác hệ thống khơng đồng mẫu Với số tự nhiên độ xác cao ký hiệu chữ khó biểu diễn (như dấu thanh) có độ xác thấp Điều phù hợp với thực tế với thân người, biểu diễn nhận dạng ký hiệu phức tạp khó ký hiệu đơn giản 57 KẾT LUẬN Với đề tài “Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu Việt Nam”, tác giả đạt kết định Thiết bị hệ thống hoạt động ổn định thu kết tốt Đề tài có nhiều khả mở rộng ứng dụng, nhiều vấn đề cần nghiên cứu phát triển Những kết mà luận văn đạt được: Luận văn tập trung vào xây dựng hệ thống có khả chuyển cử hành động bàn tay sang chữ ứng với tư bàn tay sử dụng ngơn ngữ kí hiệu Đây bước đầu cho xây dựng hệ thống hoàn chỉnh cho phép giao tiếp dễ dàng người khiếm thính người bình thường thơng qua ngơn ngữ kí hiệu Về mặt lý thuyết: Luận văn tìm hiểu phương pháp nhận dạng ngơn ngữ kí hiệu, tìm hiểu cách thức sử dụng hệ thống cảm biến thu thập liệu, phương pháp nhận dạng sử dụng so khớp tĩnh so khớp xoắn thời gian động, tìm hiểu mơ ba chiều với ngôn ngữ C# Về thực tiễn: Luận văn xây dựng thành cơng thiết bị găng tay, có khả thu thập liệu bàn tay phải, thiết bị hoạt động ổn định Luận văn xây dựng thành công phần mềm mô bàn tay dạng mô hình chiều có khả nhận dạng chữ bảng chữ ngôn ngữ kí hiệu với kết tốt Các hạn chế: Hệ thống cảm biến cịn đơn giản, chưa mơ hồn chỉnh hết tư bàn tay cánh tay, nên mơ cịn hạn chế Thêm nữa, cấu tạo thiết bị phức tạp nhiều phần,và kết nối với máy tính thơng qua dây dẫn, khó khăn sinh hoạt lao động Thuật tốn nhận dạng cịn có sai số lớn nhiều trường hợp 58 Hệ thống có đầu dạng văn chưa có dạng âm Hệ thống chưa có chiều chuyển ngược từ ngơn ngữ thường ( âm thanh, chữ viết) sang dạng ngơn ngữ kí hiệu Hướng phát triển: Tiếp tục thiết kế thiết bị có khả mơ mạnh mẽ hơn, áp dụng mơ ngơn ngữ kí hiệu toán khác Khuyến nghị Do thời gian nghiên cứu có hạn điều kiện cịn hạn chế, nên kết đạt nhiều thứ chưa đạt yêu cầu tốc độ hay khả ứng dụng Tác giả mong muốn hồn thiện tương lai Trong q trình thực cịn nhiều thiếu sót, hi vọng nhận đóng góp ý kiến thầy cô, bạn bè đồng nghiệp 59 TÀI LIỆU THAM KHẢO [1] Phạm Thị Cơi, Q trình hình thành ngơn ngữ nói người điếc Việt Nam, Luận án Phó tiến sĩ khoa học Ngữ văn, Viện Ngôn ngữ học, 1988, Tr 31 [2] Đỗ Thị Hiên NNKH, Ngơn ngữ kí hiệu cộng đồng người khiếm thính Việt Nam: thực trạng giải pháp, Báo cáo tổng hợp đề tài nghiên cứu khoa học cấp bộ, Viện Khoa học xã hội Việt Nam, 2012, Tr 156 [3] Nguyễn Thị Phương, Nguyễn Đức Tồn, Mấy vấn đề cú pháp ngôn ngữ kí hiệu Việt Nam, Tạp chí Ngơn ngữ, Số (2012) [4] B Parton, “Sign language recognition and translation: A multidiscipline approach from the field of artificial intelligence,” Journal of Deaf Studies and Deaf Education, 11(11) (2006) pp 94-101 [5] C Wang, W Gao, and S Shan, “An approach based on phonemes to large vocabulary Chinese sign language recognition,” in Proc IEEE Int Conf Autom Face Gesture Recognit (2002) pp 393–398 [6] D Xu, W Yao, and Y Zhang, “Hand gesture interaction for virtual training of SPG,” in Proc Int Conf Artif Reality Telexistence (2006) pp 672–676 [7] M Muller, Information Retrieval for Music and Motion, Chapter 4: Dynamic Time Warping, Springer Berlin Heidelberg (2007) pp 69-84 [8] Lam T Phi, T.T Quyen Bui, Hung D Nguyen, Thang T Vu, “A GloveBased Gesture Recognition System for Vietnamese Sign Language”, 15th International Conference on Control, Automation and Systems (ICCAS 2015) Oct 13-16, 2015 in BEXCO, Busan, Korea [9] Ruiduo Yang, Sudeep Sarkar, Barbara L Loeding, Handling Movement Epenthesis and Hand Segmentation Ambiguities in Continuous Sign Language 60 Recognition Using Nested Dynamic Programming IEEE Trans Pattern Anal Mach Intell 32(3) (2010) 462-477 [10] R Lockton, “Hand-gesture recognition using computer vision,” The 4th Year Project Report, Balliol College Oxford University, (2002) [11] S.A Mehdi and Y.N Khan, “Sign language recognition using sensor gloves,” Proc of the 9th International Conference on Neural Information Processing, vol (2002) pp 2204-2209 [12] T.T Quyen Bui and K.-S Hong, Evaluating a color-based active basis model for object recognition, Computer Vision and Image Understanding, 116 (11) (2012) 1111-1120 [13] T.D Bui and L.T Nguyen, “Recognition of Vietnamese sign language using mems accelerometers,” Proc of the first International Conference on Sensing Technology, Palmerston North, New Zealand, Nov 21-23 (2005) pp 118-122 [14] T Takahashi and F Kishino, “Hand gesture coding based on experiments using a hand gesture interface device,” SIGCHI Bull., vol 23, no (1991) pp 67–74, Apr [15] T.D Bui and L.T Nguyen, “Recognition postures in Vietnamese sign language using mems accelerometers,” The IEEE Sensors Journal, 7(5) (2007) pp 707-712 ... hệ thống nhận dạng ngơn ngữ kí hiệu Việt Nam cần thiết Trong nghiên cứu này, học viên nghiên cứu ngôn ngữ ký hiệu Việt Nam, phương pháp nhận dạng ngôn ngữ ký hiệu Việt Nam sử dụng găng tay cảm... QUAN VỀ NGÔN NGỮ KÍ HIỆU VIỆT NAM 1.1 Khái niệm vai trị ngơn ngữ ký hiệu 1.2 Đặc điểm ngôn ngữ học ngôn ngữ ký hiệu 1.3 Ngôn ngữ ký hiệu Việt Nam 1.4 Các phương pháp nhận biết... hệ thống nhận dạng ngôn ngữ ký hiệu Dựa kiến thức trình bày chương này, với ứng dụng nhận dạng cụ thể với ngôn ngữ ký hiệu cụ thể khác nhau, cần xây dựng thuật toán nhận dạng, tập mẫu nhận dạng