Nhận dạng ngôn ngữ ký hiệu tiếng Việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG VÕ ĐỨC HỒNG NHẬN DẠNG NGƠN NGỮ KÝ HIỆU TIẾNG VIỆT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2018 BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG VÕ ĐỨC HỒNG NHẬN DẠNG NGƠN NGỮ KÝ HIỆU TIẾNG VIỆT Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 LUẬN ÁN TIẾN SĨ KỸ THUẬT Người hướng dẫn khoa học: GS.TS Jean Meunier TS Huỳnh Hữu Hưng Đà Nẵng - 2018 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu tơi thực hiện, hướng dẫn GS TS Jean Meunier TS Huỳnh Hữu Hưng Tôi cam đoan kết nghiên cứu trình bày luận án trung thực khơng chép từ luận án khác Một số kết nghiên cứu thành tập thể đồng tác giả đồng ý cho sử dụng Mọi trích dẫn có ghi nguồn gốc xuất xứ rõ ràng đầy đủ Tác giả NCS VÕ ĐỨC HOÀNG i MỤC LỤC LỜI CAM ĐOAN .i MỤC LỤC ii DANH MỤC TỪ VIẾT TẮT iv DANH MỤC BẢNG BIỂU v DANH MỤC HÌNH VẼ vi MỞ ĐẦU 1 Mục tiêu nghiên cứu Đối tượng phạm vi nghiên cứu 3 Phương pháp nghiên cứu Cấu trúc luận án 4 Đóng góp luận án TỔNG QUAN Tổng quan ngôn ngữ ký hiệu Các nghiên cứu liên quan nhận dạng ngôn ngữ ký hiệu 11 Phân loại theo phương pháp thu nhận liệu 13 Phân loại theo kỹ thuật học máy 22 Kết chương 35 NHẬN DẠNG CỬ CHỈ TĨNH 37 Phương pháp mơ hình hình học 37 Tiền xử lý 38 Trích xuất đặc trưng 45 Huấn luyện nhận dạng 46 Kết thực nghiệm 47 Phương pháp xếp hạng ma trận tương quan (ROCM) 48 Thu nhận liệu, phân đoạn bàn tay 49 Tiền xử lý 51 Trích xuất đặc trưng 53 Nhận dạng ngôn ngữ ký hiệu tiếng Việt 56 Thực nghiệm 59 Phân đoạn tự động video nhận dạng cử tĩnh 62 Các khái niệm phân đoạn video 62 Phân đoạn video xác định khung hình 64 Giải pháp đề xuất phân đoạn tự động video 67 Trích xuất đặc trưng 69 Thực nghiệm đánh giá 70 ii Kết chương 71 NHẬN DẠNG CỬ CHỈ LIÊN TỤC 73 Nhận dạng hệ tọa độ cầu 73 Thu nhận liệu tiền xử lý 75 Trích xuất đặc trưng 77 Huấn luyện nhận dạng 79 Kết thực nghiệm 82 Nhận dạng với phương pháp chia khối 83 Thu nhận liệu tiền xử lý 84 Trích xuất đặc trưng độ sâu 85 Huấn luyện nhận dạng 87 Kết thực nghiệm 87 Kết chương 89 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 91 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 95 TÀI LIỆU THAM KHẢO 96 iii DANH MỤC TỪ VIẾT TẮT Từ viết tắt Nghĩa chữ viết tắt Dịch nghĩa tiếng Việt ANN Artificial Neural Network Mạng nơ-ron nhân tạo ASL American Sign Language Ngôn ngữ ký hiệu Mỹ DTW Dynamic Time Warping So khớp thời gian động GMM Gaussian Mixture Model Mơ hình hỗn hợp Gauss HMM Hidden Markov Model Mơ hình Markov ẩn KNN K-Nearest Neighbor K lân cận gần MLP Multi Layer Perceptron Mạng truyền thẳng nhiều lớp PCA Principal Component Analysis Phân tích thành phần Pixel Picture of Element Điểm ảnh RGB Red Green Blue Hệ màu Đỏ-Lục-Lam ROCM Rank Order Correlation Matrix Xếp hạng ma trận tương quan SDK Software Development Kit Công cụ phát triển phần mềm SLR Sign Language Recognition Nhận dạng ngôn ngữ ký hiệu SVM Support Vector Machine Máy vec-tơ hỗ trợ VSL Vietnamese Sign Language Ngôn ngữ ký hiệu tiếng Việt iv DANH MỤC BẢNG BIỂU Bảng 1.1: Bảng tóm tắt phương pháp thống kê, nhận dạng 32 Bảng 2.1: So sánh với nghiên cứu liên quan (cùng liệu) 48 Bảng 2.2: Độ xác mơ hình với cách chia ma trận .60 Bảng 2.3: Độ xác 10 cử số với cách chia ma trận 61 Bảng 2.4: Mô tả 12 giá trị vec-tơ đặc trưng 69 Bảng 2.5: Thống kê tỉ lệ nhận dạng chọn khung hình liên tiếp (k) .70 v DANH MỤC HÌNH VẼ Hình 1.1: Bảng chữ cái, chữ số ngơn ngữ ký hiệu tiếng Việt Hình 1.2: Biểu diễn từ “Hoa hồng” 11 Hình 1.3: Sơ đồ quy trình nhận dạng ảnh 12 Hình 1.4: Sơ đồ nhận dạng ngôn ngữ ký hiệu 13 Hình 1.5: Cảm biến gia tốc cảm biến điện sinh học cánh tay [27] 15 Hình 1.6: Găng tay liệu 16 Hình 1.7: Hệ thống CopyCat [34] .17 Hình 1.8: Găng tay màu sắc thiết lập đặc trưng [35] 18 Hình 1.9: Thu nhận hình ảnh để nhận dạng [40] 20 Hình 1.10: Hình ảnh bàn tay qua bước xử lý 20 Hình 1.11: Ví dụ mơ hình Markov ẩn .26 Hình 1.12: Chain code đồ thị hành động sau chuyển đổi[60] 31 Hình 2.1: Sơ đồ nhận dạng theo mơ hình hình học 37 Hình 2.2: Phân đoạn ảnh xác định điểm lồi, lõm 41 Hình 2.3: Xác định đường viền thuật toán Theo, P [71] 42 Hình 2.4: Đánh nhãn xác định điểm lồi 43 Hình 2.5: Cách xác định đỉnh ngón tay .44 Hình 2.6: Phát tách cổ tay 44 Hình 2.7: Trích xuất đặc trưng bàn tay .46 Hình 2.8: Một số hình ảnh cử tập liệu sử dụng 47 Hình 2.9: Sơ đồ khối nhận dạng cử đơn 49 Hình 2.10: Khoảng cách thu nhận liệu với Kinect .51 Hình 2.11: Chuẩn hóa kích thước .52 Hình 2.12: Bộ liệu hình ảnh chiều sâu NNKH tiếng Việt .53 vi Hình 2.13: Xếp hạng giá trị trung bình ma trận 4x4 54 Hình 2.14: Chuyển đổi ma trận xếp hạng tương quan vào vec-tơ 55 Hình 2.15: Thuật tốn chuyển ma trận vào vec-tơ đặc trưng 55 Hình 2.16: Thuật tốn vec-tơ đặc trưng vào vec-tơ tương quan .56 Hình 2.17: Biểu diễn trực quan loại vec-tơ .57 Hình 2.18: Minh họa thuật tốn phân lớp 58 Hình 2.19: Hình ảnh thử nghiệm với bảng chữ 59 Hình 2.20: Hình ảnh thử nghiệm tương ứng 10 chữ số 0-9 60 Hình 2.21: Độ xác kỹ thuật phân loại khác .61 Hình 2.22: Cấu trúc phân cấp của video 63 Hình 2.23: Mơ hình phân đoạn cứng 64 Hình 2.24: Mơ tả phân đoạn khung hình .69 Hình 2.25: Mơ tả giá trị vec-tơ đặc trưng 70 Hình 3.1: Sơ đồ hoạt động hệ thống 75 Hình 3.2: Các vị trí cần lấy để nhận dạng ngơn ngữ ký hiệu tiếng Việt 76 Hình 3.3: Chuyển đổi hệ quy chiếu máy quay sang đối tượng 77 Hình 3.4: Chia vùng chuẩn hóa liệu góc kinh độ φ góc nâng θ .78 Hình 3.5: Mẫu liệu thu nhận 79 Hình 3.6: So khớp với DTW .79 Hình 3.7: Đường tối ưu sử dụng DTW 81 Hình 3.8: Độ xác kiểm tra 10 từ 82 Hình 3.9: Sơ đồ thực nhận dạng cử động 84 Hình 3.10: Xác định khung bao đối tượng 85 Hình 3.11: Kết mảng Z giá trị vec-tơ đưa vào thử nghiệm 87 Hình 3.12: Kết sử dụng SVM, HMM tương ứng chia khối 16 87 vii Hình 3.13: Độ xác trung bình kỹ thuật chia khối 4,16 32 .88 Hình 3.14: Hình ảnh liệu thử nghiệm 89 viii ... nhận dạng ngôn ngữ ký hiệu tổng quát, phân tích đánh giá kết hướng đến nhận dạng ngôn ngữ ký hiệu tiếng Việt - Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu tĩnh bảng chữ ngôn ngữ ký hiệu tiếng. .. quan ngôn ngữ ký hiệu giới Việt Nam; phần thứ hai nêu tóm tắt nghiên cứu liên quan nhận dạng ngôn ngữ cử chỉ, ngôn ngữ ký hiệu đến Tổng quan ngôn ngữ ký hiệu Ngôn ngữ ký hiệu hay ngôn ngữ dấu hiệu. .. ngữ ký hiệu Việt Nam Hình 1.1: Bảng chữ cái, chữ số ngôn ngữ ký hiệu tiếng Việt2 Bảng chữ ngơn ngữ ký hiệu biểu diễn hình dạng bàn tay Ngôn ngữ ký hiệu tiếng Việt xây dựng tương tự ngôn ngữ ký