Nhận dạng ngôn ngữ ký hiệu tiếng việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG VÕ ĐỨC HỒNG NHẬN DẠNG NGƠN NGỮ KÝ HIỆU TIẾNG VIỆT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG VÕ ĐỨC HỒNG NHẬN DẠNG NGƠN NGỮ KÝ HIỆU TIẾNG VIỆT Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: GS.TS Jean Meunier TS Huỳnh Hữu Hưng Đà Nẵng - 2018 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu tơi thực hiện, hướng dẫn GS TS Jean Meunier TS Huỳnh Hữu Hưng Tôi cam đoan kết nghiên cứu trình bày luận án trung thực khơng chép từ luận án khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng Mọi trích dẫn có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả NCS VÕ ĐỨC HOÀNG i MỤC LỤC LỜI CAM ĐOAN .i MỤC LỤC ii DANH MỤC TỪ VIẾT TẮT iv DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH VẼ vi MỞ ĐẦU 1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 3 Phương pháp nghiên cứu Cấu trúc luận án 4 Đóng góp luận án TỔNG QUAN Tổng quan ngôn ngữ ký hiệu Các nghiên cứu liên quan nhận dạng ngôn ngữ ký hiệu 11 Phân loại theo phương pháp thu nhận liệu 13 Phân loại theo kỹ thuật học máy 22 Kết chương 35 NHẬN DẠNG CỬ CHỈ TĨNH 37 Phương pháp mơ hình hình học 37 Tiền xử lý 38 Trích xuất đặc trưng 45 Huấn luyện nhận dạng 46 Kết thực nghiệm 47 Phương pháp xếp hạng ma trận tương quan (ROCM) 48 Thu nhận liệu, phân đoạn bàn tay 49 Tiền xử lý 51 Trích xuất đặc trưng 53 Nhận dạng ngôn ngữ ký hiệu tiếng Việt 56 Thực nghiệm 59 Phân đoạn tự động video nhận dạng cử tĩnh 62 Các khái niệm phân đoạn video 62 Phân đoạn video xác định khung hình 64 Giải pháp đề xuất phân đoạn tự động video 67 Trích xuất đặc trưng 69 Thực nghiệm đánh giá 70 ii Kết chương 71 NHẬN DẠNG CỬ CHỈ LIÊN TỤC 73 Nhận dạng hệ tọa độ cầu 73 Thu nhận liệu tiền xử lý 75 Trích xuất đặc trưng 77 Huấn luyện nhận dạng 79 Kết thực nghiệm 82 Nhận dạng với phương pháp chia khối 83 Thu nhận liệu tiền xử lý 84 Trích xuất đặc trưng độ sâu 85 Huấn luyện nhận dạng 87 Kết thực nghiệm 87 Kết chương 89 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 91 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 95 TÀI LIỆU THAM KHẢO 96 iii DANH MỤC TỪ VIẾT TẮT Từ viết tắt Nghĩa chữ viết tắt Dịch nghĩa tiếng Việt ANN Artificial Neural Network Mạng nơ-ron nhân tạo ASL American Sign Language Ngôn ngữ ký hiệu Mỹ DTW Dynamic Time Warping So khớp thời gian động GMM Gaussian Mixture Model Mơ hình hỗn hợp Gauss HMM Hidden Markov Model Mơ hình Markov ẩn KNN K-Nearest Neighbor K lân cận gần MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp PCA Principal Component Analysis Phân tích thành phần Pixel Picture of Element Điểm ảnh RGB Red Green Blue Hệ màu Đỏ-Lục-Lam ROCM Rank Order Correlation Matrix Xếp hạng ma trận tương quan SDK Software Development Kit Công cụ phát triển phần mềm SLR Sign Language Recognition Nhận dạng ngôn ngữ ký hiệu SVM Support Vector Machine Máy vec-tơ hỗ trợ VSL Vietnamese Sign Language Ngôn ngữ ký hiệu tiếng Việt iv DANH MỤC BẢNG BIỂU Bảng 1.1: Bảng tóm tắt phương pháp thống kê, nhận dạng 32 Bảng 2.1: So sánh với nghiên cứu liên quan (cùng liệu) 48 Bảng 2.2: Độ xác mơ hình với cách chia ma trận .60 Bảng 2.3: Độ xác 10 cử số với cách chia ma trận 61 Bảng 2.4: Mô tả 12 giá trị vec-tơ đặc trưng 69 Bảng 2.5: Thống kê tỉ lệ nhận dạng chọn khung hình liên tiếp (k) .70 v DANH MỤC HÌNH VẼ Hình 1.1: Bảng chữ cái, chữ số ngơn ngữ ký hiệu tiếng Việt Hình 1.2: Biểu diễn từ “Hoa hồng” 11 Hình 1.3: Sơ đồ quy trình nhận dạng ảnh 12 Hình 1.4: Sơ đồ nhận dạng ngôn ngữ ký hiệu 13 Hình 1.5: Cảm biến gia tốc cảm biến điện sinh học cánh tay [27] 15 Hình 1.6: Găng tay liệu 16 Hình 1.7: Hệ thống CopyCat [34] .17 Hình 1.8: Găng tay màu sắc thiết lập đặc trưng [35] 18 Hình 1.9: Thu nhận hình ảnh để nhận dạng [40] 20 Hình 1.10: Hình ảnh bàn tay qua bước xử lý 20 Hình 1.11: Ví dụ mơ hình Markov ẩn .26 Hình 1.12: Chain code đồ thị hành động sau chuyển đổi[60] 31 Hình 2.1: Sơ đồ nhận dạng theo mơ hình hình học 37 Hình 2.2: Phân đoạn ảnh xác định điểm lồi, lõm 41 Hình 2.3: Xác định đường viền thuật toán Theo, P [71] 42 Hình 2.4: Đánh nhãn xác định điểm lồi 43 Hình 2.5: Cách xác định đỉnh ngón tay .44 Hình 2.6: Phát tách cổ tay 44 Hình 2.7: Trích xuất đặc trưng bàn tay .46 Hình 2.8: Một số hình ảnh cử tập liệu sử dụng 47 Hình 2.9: Sơ đồ khối nhận dạng cử đơn 49 Hình 2.10: Khoảng cách thu nhận liệu với Kinect .51 Hình 2.11: Chuẩn hóa kích thước .52 Hình 2.12: Bộ liệu hình ảnh chiều sâu NNKH tiếng Việt .53 vi Hình 2.13: Xếp hạng giá trị trung bình ma trận 4x4 54 Hình 2.14: Chuyển đổi ma trận xếp hạng tương quan vào vec-tơ 55 Hình 2.15: Thuật tốn chuyển ma trận vào vec-tơ đặc trưng 55 Hình 2.16: Thuật tốn vec-tơ đặc trưng vào vec-tơ tương quan .56 Hình 2.17: Biểu diễn trực quan loại vec-tơ .57 Hình 2.18: Minh họa thuật tốn phân lớp 58 Hình 2.19: Hình ảnh thử nghiệm với bảng chữ 59 Hình 2.20: Hình ảnh thử nghiệm tương ứng 10 chữ số 0-9 60 Hình 2.21: Độ xác kỹ thuật phân loại khác .61 Hình 2.22: Cấu trúc phân cấp của video 63 Hình 2.23: Mơ hình phân đoạn cứng 64 Hình 2.24: Mơ tả phân đoạn khung hình .69 Hình 2.25: Mơ tả giá trị vec-tơ đặc trưng 70 Hình 3.1: Sơ đồ hoạt động hệ thống 75 Hình 3.2: Các vị trí cần lấy để nhận dạng ngơn ngữ ký hiệu tiếng Việt 76 Hình 3.3: Chuyển đổi hệ quy chiếu máy quay sang đối tượng 77 Hình 3.4: Chia vùng chuẩn hóa liệu góc kinh độ φ góc nâng θ .78 Hình 3.5: Mẫu liệu thu nhận 79 Hình 3.6: So khớp với DTW .79 Hình 3.7: Đường tối ưu sử dụng DTW 81 Hình 3.8: Độ xác kiểm tra 10 từ 82 Hình 3.9: Sơ đồ thực nhận dạng cử động 84 Hình 3.10: Xác định khung bao đối tượng 85 Hình 3.11: Kết mảng Z giá trị vec-tơ đưa vào thử nghiệm 87 Hình 3.12: Kết sử dụng SVM, HMM tương ứng chia khối 16 87 vii Hình 3.13: Độ xác trung bình kỹ thuật chia khối 4,16 32 .88 Hình 3.14: Hình ảnh liệu thử nghiệm 89 viii Hình 3.12 biểu diễn kết tỉ lệ nhận dạng thành công 30 từ tập sở liệu thu nhận Tương ứng với phương pháp chia khối liệu (4 16) nghiên cứu tiến hành thử nghiệm huấn luyện nhận dạng phương pháp học máy khác (SVM HMM) Qua thực nghiệm phương pháp chia khối liệu thành sử dụng phương pháp học máy SVN cho kết nhận dạng tương đói đồng đạt giá trị trung bình cao Trong tổng số 3000 cử ghi lại người, tập huấn luyện bao gồm 1800 mẫu tương ứng với đối tượng phần lại sử dụng cho giai đoạn thử nghiệm Với cách phân chia khối trích xuất đặc trưng nghiên cứu sử dụng phương pháp phân loại HMM SVM để huấn luyện nhận dạng 100% 95% 90% 83% 80% 80% 67% 70% 60% 50% 48% 45% 40% 30% 20% 10% 0% Grid Grid 16 HMM Grid 32 SVM Hình 3.13: Độ xác trung bình kỹ thuật chia khối 4,16 32 Hình 3.12 3.13 cho thấy xác với thí nghiệm khác nhau, sử dụng phương pháp tiếp cận HMM SVM Rõ ràng phương pháp SVM với kích thước lưới 3D 4*4*4 cho kết cao (95%) so với phương pháp khác 88 Hình 3.14: Hình ảnh liệu thử nghiệm Kết chương Chương trình bày chi tiết nghiên cứu thu nhận liệu, trích xuất đặc trưng nhận dạng cử liên tục ngôn ngữ ký hiệu tiếng Việt Các phân tích nhận xét sau phương pháp nghiên cứu cho thấy hệ thống đáp 89 ứng mục tiêu với nghiên cứu Cụ thể là: − Hệ thống nhận dạng dựa liệu khớp xương thu nhận từ thiết bị Kinect giải nhược điểm găng tay, thị giác máy tính Q trình tiền xử lý đơn giản nhược điểm liệu xử lý nhỏ Khi xử lý theo thời gian thực thường chậm và xảy tràn nhớ triển khai thực tế với liệu lớn − Hệ thống nhận dạng từ cảm biến độ sâu, trích xuất đặc trưng dựa phân khối liệu khắc phục nhược điểm ảnh hưởng môi trường Quá trình trích xuất đặc trưng mơ hình hóa thành ma trận chiều kết hợp phương pháp phân chia khối liệu (block) giảm đáng kể chi phí cho q trình tiền xử lý Thay đổi cách tiếp cận nghiên cứu phụ thuộc vào thời gian Nghiên cứu thử nhiệm với liệu thu nhận gồm 30 từ với nhiều cách phân chia khối khác (4, 16, 32), thử nghiệm với nhiều mơ hình cho kết tốt theo thời gian thực đạt 95% Nghiên cứu tiếp tục để cải tiến hoàn thiện để áp dụng thực tế nơi công cộng nhà ga, sân bay, bệnh viện 90 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Các kết luận án Luận án hoàn thành mục tiêu đề nhận dạng ngôn ngữ ký hiệu tiếng Việt Nghiên cứu hướng đến hai đối tượng xử lý nhận dạng cử tĩnh liên tục ngôn ngữ ký hiệu tiếng Việt Việc ứng dụng nghiên cứu áp dụng triển khai thực tế mang lại hiệu hỗ trợ cho người khuyết tật Các cơng việc sau thực luận án: − Nghiên cứu tổng quan hệ thống nhận dạng ngơn ngữ ký hiệu, phân tích, đánh giá thành tựu, hạn chế, phạm vi ứng dụng kỹ thuật nhận dạng học máy Sắp xếp, phân loại, đánh giá cơng trình nghiên cứu gần trích đặc trưng nhận dạng − Áp dụng phương pháp trích xuất đặc trưng hình ảnh theo mơ hình hình học để nhận dạng cử tĩnh cử động ngôn ngữ ký hiệu Thử nghiệm với liệu có sẵn, áp dụng mơ hình học máy để thử nghiệm so sánh để chọn phương pháp tối ưu Tuy kết nhận dạng thành công chưa cao sở để phát triển nghiên cứu nhận dạng ngôn ngữ ký hiệu tiếng Việt (Cơng trình 1, 4, 5) − Đề xuất phương pháp trích xuất đặc trưng dựa vào liệu hình ảnh thu nhận từ cảm biến độ sâu thiết bị Kinect Sử dụng phương pháp xếp hạng ma trận tương quan (ROCM) cho nghiên cứu nhận dạng cử tĩnh (Cơng trình 2) − Nghiên cứu thành công phương pháp phân đoạn video theo thời gian thực nhằm trích chọn khung hình chính, loại bỏ khung hình dư thừa áp dụng nhận dạng cử tĩnh ngôn ngữ ký hiệu theo thời gian thực (Cơng trình 3) − Đề xuất thử nghiệm nghiên cứu cử liên tục ngôn ngữ ký hiệu tiếng Việt dựa thông tin từ khớp xương mơ hình nhận dạng DTW kết hợp kNN 91 (Cơng trình 6) − Nghiên cứu nhận dạng cử liên tục ngôn ngữ ký hiệu dựa phương pháp chia khối theo thời gian thành không gian ba chiều (3D) Áp dụng triển khai thời gian thực, loại bỏ phụ thuộc việc thực cử liên tục theo thời gian (Cơng trình 7) − Sử dụng thuật toán SVM truyền thống, kết hợp với mơ hình MAX_WIN ứng dụng vào hệ thống nhận ngơn ngữ ký hiệu tĩnh liên tục − Xây dựng hai liệu cử tĩnh (hình ảnh) cử liên tục (video) ngôn ngữ ký hiệu tiếng Việt để thử nghiệm đánh giá phương pháp nghiên cứu đề xuất − Thiết kế triển khai hệ thống nhận dạng ngôn ngữ ký hiệu để áp dụng thực tế nơi công cộng nhà ga, sân bay, bệnh viện, trường học Đánh giá kết So với mục tiêu đặt ban đầu, đánh giá kết đạt sau: − Phần nghiên cứu tổng quan nêu lên đầy đủ yêu cầu toàn diện lĩnh vực nghiên cứu nhận dạng ngôn ngữ ký hiệu vấn đề liên quan, dựa vào phân tích ưu, nhược điểm nhằm định hướng nghiên cứu luận án − Phần nhận dạng ngôn ngữ ký hiệu tĩnh đưa hai phương pháp nghiên cứu để đánh giá hiệu Đối với nghiên cứu nhận dạng ký hiệu tĩnh dùng phương pháp mơ hình hình học, áp dụng quy trình chuẩn xử lý ảnh, cải tiến phương pháp trích xuất đặc trưng phương pháp huấn luyện nhận dạng Tuy kết nhận dạng chưa cao (89.5%) nghiên cứu mang lại kinh nghiệm xử lý ảnh, nhận dạng ngôn ngữ ký hiệu dựa máy ảnh màu Trong nghiên cứu tiếp theo, hệ thống thu nhận liệu từ cảm biến độ sâu Kinect, áp dụng phương pháp trích xuất đặc trưng xếp hạng ma trận tương quan (ROCM) mơ hình huấn luyện SVM kết hợp MAX-WIN để phân loại nhận dạng Nghiên cứu khắc phục hạn chế trước như: thu 92 nhận liệu bị ảnh hưởng ánh sáng, hình nền, che lấp bàn tay, ngón tay thực hiện, q trình trích xuất đặc trưng chưa có tính phân loại cao, tổng hợp nhiều thông số nên dẫn đến kết nhận dạng thấp Đặc biệt nghiên cứu nhận dạng thành cơng ngơn ngữ ký hiệu tiếng Việt có kết hợp hai bàn tay Kết nghiên cứu thử nghiệm liệu hình ảnh ngơn ngữ ký hiệu tiếng Việt với nhiều mơ hình khác tỉ lệ nhận dạng đạt thấp 94.22% cao lên đến 99% − Luận án thành công nghiên cứu tự động phân đoạn video, trích xuất khung hình dựa thời gian thực, giúp hệ thống triển khai thực tế, đáp ứng nhu cầu người thực nhận dạng cử tĩnh ngôn ngữ ký hiệu tiếng Việt theo thời gian thực − Việc nhận dạng cử liên tục ngôn ngữ ký hiệu tiếng Việt thử nghiệm nghiên cứu nhiều mô hình khác Trong nghiên cứu liệu thu nhận dựa máy ảnh màu gắn trực tiếp vào máy tính, sử dụng mơ hình hình học để trích xuất đặc trưng áp dụng mơ hình HMM, DTW để phát trạng thái chuyển đổi Nghiên cứu kế thừa phát triển từ mơ hình xử lý ảnh trước nhiên kết nhận dạng không cao Trong nghiên cứu 6, liệu tọa độ khung xương thiết bị Kinect sử dụng Nghiên cứu thay đổi hoàn toàn cách tiếp cận nhận dạng cử liên tục ngôn ngữ ký hiệu Nghiên cứu 7, tác giả sử dụng phương pháp trích xuất đặc trưng cách mơ hình hóa liệu thời gian thành khơng gian ba chiều, áp dụng mơ hình học máy SVM thu kết khả quan Nghiên cứu thử nghiệm với liệu 30 từ ngôn ngữ ký hiệu tiếng Việt so sánh với nhiều cách phân chia khối liệu khác mơ hình học máy khác kết cao đạt đến 95% − Cơ sở liệu sử dụng luận án xây dựng cho phương pháp tiếp cận khác Được thực nhiều đối tượng khác nhau, liệu có đa dạng cách thu nhận từ máy ảnh màu, cảm biến độ sâu, tọa độ khung 93 xương thu nhận từ thiết bị Kinect Hướng phát triển Ngoài kết đạt được, số vấn đề nảy sinh từ luận án cần tiếp tục nghiên cứu hoàn thiện tương lai bao gồm: − Hạn chế việc xây dựng liệu mẫu nên việc nghiên cứu triển khai thực tế gặp nhiều khó khăn − Vấn đề nhận dạng cử liên tục dừng mức độ từ, cụm từ việc nhận dạng thành câu có ý nghĩa phụ thuộc nhiều vào ngữ pháp ngữ cảnh Đặc biệt cú pháp câu ngôn ngữ ký hiệu chưa có thống phụ thuộc vào yếu tố cảm nhận cử người, vùng miền Việc nghiên cứu kết hợp biễu diễn ngôn ngữ ký hiệu với ngữ cảnh hướng nghiên cứu mở có nhiều triển vọng − Vấn đề sở liệu phần quan trọng hướng nghiên cứu luận án Cần hợp tác với giáo viên, người nghiên cứu ngôn ngữ ký hiệu đặc biệt người khiếm thính Tất mẫu liệu thử nghiệm không nhận dạng lưu trữ bổ sung vào tập liệu huấn luyện để huấn luyện lại hệ thống Quy trình gồm bước “thu thập liệu kiểm tra - huấn luyện lại - cập nhật hệ thống” phải diễn thường xuyên liên tục Tóm lại, nghiên cứu nhận dạng ngơn ngữ ký hiệu thực không nhằm tạo hệ thống thay hoàn toàn học hỏi, giao tiếp người khiếm thính người bình thường mà nhằm cung cấp công cụ hỗ trợ giao tiếp Trong tương lai hệ thống tiếp tục nghiên cứu thêm biểu khuôn mặt, hình miệng xây dựng phương pháp xác định ý nghĩa câu ngữ cảnh 94 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CƠNG BỐ Nguyen Trong-Nguyen, Duc-Hoang Vo, Huu-Hung Huynh, and Jean Meunier "Geometry-based static hand gesture recognition using support vector machine." In Control Automation Robotics & Vision (ICARCV), 2014 13th International Conference on, pp 769-774 IEEE, 2014 Duc-Hoang Vo, Trong-Nguyen Nguyen, Huu-Hung Huynh, and Jean Meunier "Recognizing vietnamese sign language based on rank matrix and alphabetic rules." In Advanced Technologies for Communications (ATC), 2015 International Conference on, pp 279-284 IEEE, 2015 Duc-Hoang Vo, Huu-Hung Huynh, Thanh-Nghia Nguyen, and Jean Meunier "Automatic hand gesture segmentation for recognition of Vietnamese sign language." In Proceedings of the Seventh Symposium on Information and Communication Technology, pp 368-373 ACM, 2016 Duc-Hoang Vo, Huu-Hung Huynh, and Trong-Nguyen Nguyen "Modeling dynamic hand gesture based on geometric features." In Advanced Technologies for Communications (ATC), 2014 International Conference on, pp 471-476 IEEE, 2014 Vo, Duc-Hoang, Huu-Hung Huynh, and J Meaunier "Geometry-based dynamic hand gesture recognition." Issue on Information and Communications Technology, Vol (2015): pp13-19 VÕ ĐỨC HOÀNG, Huỳnh Hữu Hưng, Nguyễn Hồng Sang, Jean Meunier, “Nhận dạng ngôn ngữ ký hiệu tiếng Việt với cử động dựa hệ tọa độ cầu.” Hội thảo quốc gia điện tử, truyền thông công nghệ thông tin Số: Trang: 222-226, 2015 Duc-Hoang Vo, Huu-Hung Huynh, Phuoc-Mien Doan and Jean Meunier, “Dynamic Gesture Classification for Vietnamese Sign Language Recognition” International Journal of Advanced Computer Science and Applications(IJACSA), 8.3 (2017), pp 415420 95 TÀI LIỆU THAM KHẢO 10 11 12 13 14 15 Admasu, Y.F and K Raimond Ethiopian sign language recognition using Artificial Neural Network in Intelligent Systems Design and Applications (ISDA), 2010 10th International Conference on 2010 IEEE Assaleh, K and M Al-Rousan, Recognition of Arabic sign language alphabet using polynomial classifiers EURASIP Journal on Applied Signal Processing, 2005 2005: p 2136-2145 Bao, P.T., N.T Binh, and T.D Khoa A new approach to hand tracking and gesture recognition by a new feature type and HMM in Fuzzy Systems and Knowledge Discovery, 2009 FSKD'09 Sixth International Conference on 2009 IEEE Bellman, R and R Kalaba, On adaptive control processes Automatic Control, IRE Transactions on, 1959 4(2): p 1-9 Bowden, R., et al., A linguistic feature vector for the visual interpretation of sign language, in Computer Vision-ECCV 2004 2004, Springer p 390-401 Brashear, H., et al American sign language recognition in game development for deaf children in Proceedings of the 8th international ACM SIGACCESS conference on Computers and accessibility 2006 ACM Brashear, H., et al., Using multiple sensors for mobile sign language recognition 2003 Bui, T and L.T Nguyen, Recognizing postures in Vietnamese sign language with MEMS accelerometers Sensors Journal, IEEE, 2007 7(5): p 707-712 Burges, C.J., A tutorial on support vector machines for pattern recognition Data mining and knowledge discovery, 1998 2(2): p 121-167 Capilla, D.M., Sign Language Translator using Microsoft Kinect XBOX 360 TM Department of Electrical Engineering and Computer Science, University of Tennessee, 2012 Chai, X., et al Sign Language Recognition and Translation with Kinect in IEEE Conf on AFGR 2013 Dong, C., M Leu, and Z Yin American Sign Language Alphabet Recognition Using Microsoft Kinect in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops 2015 Elgammal, A., C Muang, and D Hu, Skin detection-a short tutorial Encyclopedia of Biometrics, 2009: p 1-10 Elmezain, M., et al A hidden markov model-based continuous gesture recognition system for hand motion trajectory in Pattern Recognition, 2008 ICPR 2008 19th International Conference on 2008 IEEE Fleck, M.M., D.A Forsyth, and C Bregler Finding naked people in European Conference on Computer Vision 1996 Springer 96 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 Fukumizu, K., G.R Lanckriet, and B.K Sriperumbudur Learning in Hilbert vs Banach spaces: A measure embedding viewpoint in Advances in Neural Information Processing Systems 2011 Gao, W., et al., A Chinese sign language recognition system based on SOFM/SRN/HMM Pattern Recognition, 2004 37(12): p 2389-2402 Grobel, K and M Assan Isolated sign language recognition using hidden Markov models in Systems, Man, and Cybernetics, 1997 Computational Cybernetics and Simulation., IEEE International Conference on 1997 IEEE Grzejszczak, T., M Kawulok, and A Galuszka, Hand landmarks detection and localization in color images Multimedia Tools and Applications, 2016 75(23): p 16363-16387 Hachaj, T., M.R Ogiela, and M Piekarczyk Dependence of Kinect sensors number and position on gestures recognition with Gesture Description Language semantic classifier in Computer Science and Information Systems (FedCSIS), 2013 Federated Conference on 2013 IEEE Hai, P.T., et al Automatic feature extraction for Vietnamese sign language recognition using support vector machine in 2018 2nd International Conference on Recent Advances in Signal Processing, Telecommunications & Computing (SigTelCom) 2018 IEEE Hasan, M.M and P.K Mishra, HSV brightness factor matching for gesture recognition system International Journal of Image Processing (IJIP), 2010 4(5): p 456 Hasan, M.M and P.K Misra, Brightness factor matching for gesture recognition system using scaled normalization International Journal of Computer Science & Information Technology, 2011 3(2) Hewitt, S., et al., The Efficacy of Anti-vibration Gloves Acoustics Australia, 2016 44(1): p 121-127 Hu, J.-S and T.-M Su, Robust background subtraction with shadow and highlight removal for indoor surveillance EURASIP Journal on Applied Signal Processing, 2007 2007(1): p 108-108 Jung, K.K., et al EMG pattern classification using spectral estimation and neural network in SICE, 2007 Annual Conference 2007 IEEE Karami, A., B Zanj, and A.K Sarkaleh, Persian sign language (PSL) recognition using wavelet transform and neural networks Expert Systems with Applications, 2011 38(3): p 2661-2667 Kawulok, M., et al., Self-adaptive algorithm for segmenting skin regions EURASIP Journal on Advances in Signal Processing, 2014 2014(1): p 170 Keys, R., Cubic convolution interpolation for digital image processing IEEE transactions on acoustics, speech, and signal processing, 1981 29(6): p 11531160 Khan, Y.N and S.A Mehdi, Sign Language Recognition using Sensor Gloves 97 31 32 33 34 35 36 37 38 39 40 41 42 43 44 FAST-National University of Computer and Emerging Sciences, Lahore2008, 2008 Kikukawa, T and S Kawafuchi, Development of an automatic summary editing system for the audio-visual resources Trans Inst Electron., Inform., Commun Eng, 1992 75: p 204-212 Kim, K.-W., et al., Recognition of sign language with an inertial sensor-based data glove Technology and Health Care, 2015 24(s1): p S223-S230 Kim, W., et al., Human action recognition using ordinal measure of accumulated motion EURASIP Journal on Advances in Signal Processing, 2010 2010(1): p 219190 Kishore, P., et al 4-Camera model for sign language recognition using elliptical fourier descriptors and ANN in Signal Processing And Communication Engineering Systems (SPACES), 2015 International Conference on 2015 IEEE Kohonen, T., The self-organizing map Proceedings of the IEEE, 1990 78(9): p 1464-1480 Kosmidou, V.E and L.J Hadjileontiadis, Sign language recognition using intrinsic-mode sample entropy on sEMG and accelerometer data Biomedical Engineering, IEEE Transactions on, 2009 56(12): p 2879-2890 Kruskal, J.B and M Liberman, The symmetric time-warping problem: from continuous to discrete Time Warps, String Edits and Macromolecules: The Theory and Practice of Sequence Comparison, 1983: p 125-161 Kulkarni, V.S and S Lokhande, Appearance based recognition of american sign language using gesture segmentation International Journal on Computer Science and Engineering, 2010 2(03): p 560-565 Kuroda, T., et al Consumer price data-glove for sign language recognition in Proc of 5th Intl Conf Disability, Virtual Reality Assoc Tech., Oxford, UK 2004 Lamberti, L and F Camastra, Real-time hand gesture recognition using a color glove, in Image Analysis and Processing–ICIAP 2011 2011, Springer p 365-373 Lang, S., M Block, and R Rojas Sign language recognition using kinect in Artificial Intelligence and Soft Computing 2012 Springer Le Tran Nguyen, C.D.T., et al., Contour Based Hand Gesture Recognition Using Depth Data 2013 Li, H and M Greenspan Continuous time-varying gesture segmentation by dynamic time warping of compound gesture models in HAREM 2005: BMVC Workshop on Human Activity Recognition and Modelling 2005 Li, X., Gesture recognition based on fuzzy C-Means clustering algorithm Department Of Computer Science The University Of Tennessee Knoxville, 2003 98 45 46 47 48 49 50 51 52 53 54 55 56 57 Li, Y Hand gesture recognition using Kinect in Software Engineering and Service Science (ICSESS), 2012 IEEE 3rd International Conference on 2012 IEEE Li, Y., et al Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors in International Conference on Multimodal Interfaces and the Workshop on Machine Learning for Multimodal Interaction 2010 ACM Liang, R.-H and M Ouhyoung A real-time continuous gesture recognition system for sign language in Automatic Face and Gesture Recognition, 1998 Proceedings Third IEEE International Conference on 1998 IEEE Lichtenauer, J.F., E.A Hendriks, and M.J Reinders, Sign language recognition by combining statistical DTW and independent classification Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2008 30(11): p 2040-2046 Maebatake, M., et al Sign language recognition based on position and movement using multi-stream HMM in Universal Communication, 2008 ISUC'08 Second International Symposium on 2008 IEEE Maraqa, M., et al., Recognition of Arabic Sign Language (ArSL) Using Recurrent Neural Networks Journal of Intelligent Learning Systems & Applications, 2012 4(1) Maung, T.H.H., Real-time hand tracking and gesture recognition system using neural networks World Academy of Science, Engineering and Technology, 2009 50: p 466-470 Milgram, J., M Cheriet, and R Sabourin “One Against One” or “One Against All”: Which One is Better for Handwriting Recognition with SVMs? in Tenth International Workshop on Frontiers in Handwriting Recognition 2006 Suvisoft Min, B.-W., et al Hand gesture recognition using hidden Markov models in Systems, Man, and Cybernetics, 1997 Computational Cybernetics and Simulation., 1997 IEEE International Conference on 1997 IEEE Mitra, S and T Acharya, Gesture recognition: A survey Systems, Man, and Cybernetics, Part C: Applications and Reviews, IEEE Transactions on, 2007 37(3): p 311-324 Mohandes, M and M Deriche Image based Arabic sign language recognition in Signal Processing and Its Applications, 2005 Proceedings of the Eighth International Symposium on 2005 IEEE Murakami, K and H Taguchi Gesture recognition using recurrent neural networks in Proceedings of the SIGCHI conference on Human factors in computing systems 1991 ACM Nagasaka, A and Y Tanaka, Automatic video indexing and full-video search for object appearances 1992 99 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 Naidoo, S., C Omlin, and M Glaser, Vision-based static hand gesture recognition using support vector machines University of Western Cape, Bellville, 1998 Nalepa, J and M Kawulok Fast and accurate hand shape classification in International Conference: Beyond Databases, Architectures and Structures 2014 Springer Nguyen, T.-N., H.-H Huynh, and J Meunier, Static Hand Gesture Recognition Using Artificial Neural Network Journal of Image and Graphics, 2013 1(1) Nguyen, T.-N., et al Geometry-based static hand gesture recognition using support vector machine in Control Automation Robotics & Vision (ICARCV), 2014 13th International Conference on 2014 IEEE Oh, J., et al Multimedia data mining framework for raw video sequences in Pacific-Asia Conference on Knowledge Discovery and Data Mining 2002 Springer Otsu, N., A threshold selection method from gray-level histograms Automatica, 1975 11(285-296): p 23-27 Otsuji, K., Y Tonomura, and Y Ohba Video browsing using brightness data in Visual Communications,'91, Boston, MA 1991 International Society for Optics and Photonics Parvini, F., et al., An approach to glove-based gesture recognition, in HumanComputer Interaction Novel Interaction Methods and Techniques 2009, Springer p 236-245 Pedersoli, F., et al., XKin: an open source framework for hand pose and gesture recognition using kinect The Visual Computer, 2014: p 1-16 Phi, L.T., et al A glove-based gesture recognition system for Vietnamese sign language in Control, Automation and Systems (ICCAS), 2015 15th International Conference on 2015 IEEE Rabiner, L.R., A tutorial on hidden Markov models and selected applications in speech recognition Proceedings of the IEEE, 1989 77(2): p 257-286 Raheja, J.L., A Chaudhary, and K Singal Tracking of fingertips and centers of palm using kinect in Computational Intelligence, Modelling and Simulation (CIMSiM), 2011 Third International Conference on 2011 IEEE Ren, Z., et al., Robust part-based hand gesture recognition using kinect sensor Multimedia, IEEE Transactions on, 2013 15(5): p 1110-1120 Sandjaja, I.N and N Marcos Sign language number recognition in INC, IMS and IDC, 2009 NCM'09 Fifth International Joint Conference on 2009 IEEE Sankoff, D and J.B Kruskal, Time warps, string edits, and macromolecules: the theory and practice of sequence comparison Reading: Addison-Wesley Publication, 1983, edited by Sankoff, David; Kruskal, Joseph B., 1983 100 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 Shahraray, B Scene change detection and content-based sampling of video sequences in IS&T/SPIE's Symposium on Electronic Imaging: Science & Technology 1995 International Society for Optics and Photonics Sklansky, J., Measuring concavity on a rectangular mosaic IEEE Transactions on Computers, 1972 100(12): p 1355-1364 Starner, T and A Pentland, Real-time american sign language recognition from video using hidden markov models, in Motion-Based Recognition 1997, Springer p 227-243 Starner, T., J Weaver, and A Pentland, Real-time american sign language recognition using desk and wearable computer based video Pattern Analysis and Machine Intelligence, IEEE Transactions on, 1998 20(12): p 1371-1375 Starner, T.E., Visual Recognition of American Sign Language Using Hidden Markov Models 1995, DTIC Document Stergiopoulou, E and N Papamarkos, Hand gesture recognition using a neural network shape fitting technique Engineering Applications of Artificial Intelligence, 2009 22(8): p 1141-1158 Theo, P., Algorithms for graphics and image processing USA.: Computer Science Press, Inc, 1982 Tonomura, Y., et al., Structured video computing IEEE multimedia, 1994 1(3): p 34-43 Van Hieu, D and S Nitsuwat Image preprocessing and trajectory feature extraction based on hidden markov models for sign language recognition in Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing, 2008 SNPD'08 Ninth ACIS International Conference on 2008 IEEE Vapnik Vladimir, N., Thc Nature of Statistical Learning Theory SpringVerlag, New York 1995, Inc Vezhnevets, V., V Sazonov, and A Andreeva A survey on pixel-based skin color detection techniques in Proc Graphicon 2003 Moscow, Russia Viola, P and M Jones, Robust real-time object detection International Journal of Computer Vision, 2001 4(34–47) Vogler, C and D Metaxas, Handshapes and movements: Multiple-channel american sign language recognition, in Gesture-Based Communication in Human-Computer Interaction 2004, Springer p 247-258 Wang, X., F Jiang, and H Yao DTW/ISODATA algorithm and Multilayer architecture in Sign Language Recognition with large vocabulary in Intelligent Information Hiding and Multimedia Signal Processing, 2008 IIHMSP'08 International Conference on 2008 IEEE Wen, X and Y Niu A method for hand gesture recognition based on morphology and fingertip-angle in Computer and Automation Engineering (ICCAE), 2010 The 2nd International Conference on 2010 IEEE 101 88 89 90 91 92 93 94 95 96 97 Yamato, J., O Jun, and K Ishii Recognizing human action in time-sequential images using hidden Markov model in Computer Vision and Pattern Recognition, 1992 Proceedings CVPR '92., 1992 IEEE Computer Society Conference on 1992 Yang, Y., et al Traffic Video Segmentation and Key Frame Extraction Using Improved Global K-Means Clustering in Information Science and Engineering (ISISE), 2010 International Symposium on 2010 IEEE Ye, J., H Yao, and F Jiang Based on HMM and SVM multilayer architecture classifier for Chinese sign language recognition with large vocabulary in Multi-Agent Security and Survivability, 2004 IEEE First Symposium on 2004 IEEE Yeung, M.M and B Liu Efficient matching and clustering of video shots in Image Processing, 1995 Proceedings., International Conference on 1995 IEEE Yewale, S.K and P.K Bharne, Artificial neural network approach for hand gesture recognition International Journal of Engineering Science & Technology, 2011 3(4) Zafrulla, Z., et al American sign language recognition with the kinect in Proceedings of the 13th international conference on multimodal interfaces 2011 ACM Zhang, H., A Kankanhalli, and S.W Smoliar, Automatic partitioning of fullmotion video Multimedia systems, 1993 1(1): p 10-28 Zhang, L., J.-C Hsieh, and J Wang A Kinect-based golf swing classification system using HMM and Neuro-Fuzzy in Computer Science and Information Processing (CSIP), 2012 International Conference on 2012 IEEE Zhang, X., et al Hand gesture recognition and virtual game control based on 3D accelerometer and EMG sensors in Proceedings of the 14th international conference on Intelligent user interfaces 2009 ACM Zhao, S., et al., An improved algorithm of hand gesture recognition under intricate background Intelligent Robotics and Applications, 2008: p 786-794 102 ... nhận dạng ngôn ngữ ký hiệu tổng quát, phân tích đánh giá kết hướng đến nhận dạng ngôn ngữ ký hiệu tiếng Việt - Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu tĩnh bảng chữ ngôn ngữ ký hiệu tiếng. .. quan ngôn ngữ ký hiệu giới Việt Nam; phần thứ hai nêu tóm tắt nghiên cứu liên quan nhận dạng ngôn ngữ cử chỉ, ngôn ngữ ký hiệu đến Tổng quan ngôn ngữ ký hiệu Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu. .. ngữ ký hiệu Việt Nam Hình 1.1: Bảng chữ cái, chữ số ngôn ngữ ký hiệu tiếng Việt2 Bảng chữ ngơn ngữ ký hiệu biểu diễn hình dạng bàn tay Ngôn ngữ ký hiệu tiếng Việt xây dựng tương tự ngôn ngữ ký