Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)

Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)Nghiên Cứu Xây Dựng Hệ Thống Chuyển Đổi Ngôn Ngữ Cử Chỉ Sang Văn Bản (LV thạc sĩ)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - CHÂU QUANG VŨ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CHUYỂN ĐỔI NGÔN NGỮ CỬ CHỈ SANG VĂN BẢN LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) TP.HỒ CHÍ MINH – 2017 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - CHÂU QUANG VŨ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CHUYỂN ĐỔI NGÔN NGỮ CỬ CHỈ SANG VĂN BẢN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 60.48.01.04 LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN PHƯƠNG TP.HỒ CHÍ MINH - 2017 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Tất số liệu kết luận văn trung thực chưa có công bố nghiên cứu khác Tp Hồ Chí Minh, ngày 31 tháng năm 2017 Học viên thực luận văn Châu Quang Vũ ii LỜI CẢM ƠN Đề hoàn thành luận văn này, nỗ lực nghiên cứu thân, xin chân thành cảm ơn TS Nguyễn Phương, người hướng dẫn khoa học, tận tình bảo hỗ trợ tơi suốt q trình thực luận văn Tơi xin gửi lời cảm ơn đến cô Dương Phương Hạnh, giám đốc Trung tâm Nghiên cứu Giáo dục Người khiếm thính (CED), truyền cảm hứng để thực đề tài Tôi xin gửi lời cảm ơn đến quý Thầy/Cơ Học viện Cơng nghệ Bưu Viễn thơng hết lòng truyền đạt kiến thức thời gian học tập Học viện Cuối cùng, xin cảm ơn đến gia đình, bạn bè đồng nghiệp, người cổ vũ tinh thần tạo điều kiện thuận lợi để tơi hồn thành luận văn Tp Hồ Chí Minh, ngày 31 tháng năm 2017 Học viên thực luận văn Châu Quang Vũ iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii DANH MỤC CÁC BẢNG vi MỞ ĐẦU .1 Chương - TỔNG QUAN 1.1 Tổng quan cảm biến Kinect 1.1.1 Giới thiệu 1.1.2 Ứng dụng camera Kinect 1.1.3 Các phận theo dõi Kinect 1.1.4 Các vấn đề thu nhận tín hiệu từ kinect .5 1.2 Giới thiệu học máy 1.2.1 1.3 Phân loại học máy Mạng Nơ ron 1.3.1 Mạng nơ ron sinh học .9 1.3.2 Mạng nơ ron nhân tạo 10 1.4 Ngôn ngữ cử (ngôn ngữ ký hiệu) 16 1.4.1 Đặc điểm Ngôn ngữ ký hiệu 16 1.4.2 Ngôn ngữ ký hiệu sống 17 1.4.3 Ngôn ngữ ký hiệu Việt Nam 17 1.5 Kết luận chương 18 Chương - NỘI DUNG NGHIÊN CỨU 19 2.1 Trạng thái bàn tay 19 2.1.1 Nhận dạng ngón tay 19 2.2 Hướng di chuyển phận .22 2.3 Hướng cánh tay phận 22 2.4 Xử lý khuôn mặt 23 2.5 Hướng bàn tay .23 iv 2.6 Bắt đầu kết thúc thao tác 24 2.7 Nhiễu tín hiệu 24 2.8 Kết luận chương 26 Chương - XÂY DỰNG HỆ THỐNG .27 3.1 Xác định vector .27 3.2 Tăng cường giá trị vector 31 3.2.1 Tăng cường số chiều .31 3.2.2 Lan truyền .32 3.2.3 Xây dựng Mạng Nơ ron nhân tạo 34 3.2.4 Underfitting 37 3.3 Kết luận chương 37 Chương - THỰC NGHIỆM HỆ THỐNG 38 4.1 Học dịch thao tác 38 4.2 Xác định ngưỡng 39 4.3 Tỉ lệ xác .39 4.4 So sánh với cơng trình khác 40 4.4.1 Cơng trình Mustafa .40 4.4.2 Cơng trình P.N Khang, H.N Minh, V.T Thức P.T Phi 41 4.4.3 So sánh 41 4.5 Kết luận chương 42 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 43 TÀI LIỆU THAM KHẢO 45 v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ CÁI VIẾT TẮT Viết tắt ANN Tiếng Anh Afiticial neural network Tiếng Việt Mạng Nơ ron nhân tạo ML Machine learning Học máy NNKH Ngôn ngữ ký hiệu PE Processing Element Phần tử xử lý RGB-D Red Green Blue – Deep SVM Suport vector machine Ảnh hệ màu đỏ - xanh – xanh dương có chiều sâu Vector máy hỗ trợ W Weight Trọng số vi DANH MỤC CÁC BẢNG Bảng 1.1: Các phận theo dõi Kinect Bảng 2.1: Các hình theo dõi bàn tay ngón tay kinect 19 Bảng 3.1: Vị trí ngón tay đỉnh bàn tay trái đến phận mặt 29 Bảng 3.2: Các giá trị ghi nhận trạng thái bàn tay 29 Bảng 3.3: Hướng bàn tay phận 30 Bảng 3.4: Các vị trí ngừng bàn tay trái giai đoạn 31 Bảng 3.5: Các chiều lan truyền 33 Bảng 4.1: Ngưỡng dao động phận 39 vii DANH MỤC CÁC HÌNH Hình 1.1: Camera Kinect Hình 1.2: Các phận theo dõi Kinect Hình 1.3: Mơ hình nơ ron sinh học Hình 1.4: Ví dụ ANN với tầng ẩn 13 Hình 2.1: Viền bàn tay 20 Hình 2.2: Sơ đồ luồng xử lý trạng thái ngón tay 21 Hình 2.3: Nhiễu tín hiệu 25 Hình 3.1: 26 chữ 27 Hình 3.2: Hàm tổng nhiều nơ ron layer 35 Hình 3.3: Hàm chuyển đổi 36 Hình 4.1: Giao diện chương trình 38 Hình 4.2: Giao diện đốn thao tác 39 Hình 4.3: Kiểm tra liệu test 40 Hình 4.4: Kết thực Mustafa 41 Hình 4.5: Kết thực P.N Khang 41 Hình 5.1: Leap motion khả theo dõi bàn tay 44 MỞ ĐẦU Người khuyết tật gặp phải nhiều khó khăn Họ thuộc số người nghèo bị phân biệt đối xử nhiều xã hội “Kinh nghiệm cho thấy Người khuyết tật quyền tham gia giữ vai trò dẫn dắt tiến trình phát triển, cộng đồng phát triển Những đóng góp họ tạo hội cho người, Người khuyết tật Người không khuyết tật Thông điệp Mục tiêu phát triển thiên niên kỷ 2009 nêu rõ: Mục tiêu trọng tâm giúp Người khuyết tật hòa nhập vào cộng đồng mục tiêu yếu tố quan trọng để đạt Mục tiêu phát triển thiên niên kỷ định sẵn” (Thông điệp Ngày quốc tế Người khuyết tật, ngày 03 tháng 12 năm 2009) Theo số liệu Tổng cục Thống kê, thời điểm năm 2009, Việt Nam có 2.5 triệu người khiếm thính (điếc nghe kém) [15] Việc hòa nhập người vào xã hội gặp nhiều khó khăn vấn đề giao tiếp Hiện tại, ngoại trừ biện pháp hỗ trợ hòa nhập ngơn ngữ cử chỉ, người gõ văn (captionist), đọc hình miệng gần khơng có biện pháp hỗ trợ cho người khiếm thính giao tiếp với xã hội Trẻ khiếm thính từ - 10 năm cho chương trình tiểu học, số theo tới cấp hai trường Khi đó, độ tuổi trung bình họ 25 Bên cạnh đó, có số em khơng học, hồn tồn mù chữ ngôn ngữ ký hiệu Trong khi, người nghe bình thường có nhiều hội học tập từ giáo dục quy, bổ túc, giáo dục thường xuyên đào tạo từ xa… người khiếm thính có trường chun biệt cho họ có số có hội học hòa nhập Sau rời trường chuyên biệt, em khiếm thính bước vào đời với hành trang ba số 0: Khơng thể giao tiếp, khơng chun mơn, khơng có thơng dịch ngơn ngữ ký hiệu (NNKH), em khó tìm việc làm công việc không ổn định Nghề phù hợp với người khiếm thính cơng việc lao động chân tay nặng nhọc Trường hợp Lê Trần Khả Ái, bạn trẻ điếc bẩm sinh bước vào giảng đường đại học trường hợp hoi cộng đồng người khiếm thính, tín hiệu vui cho cộng đồng có người thành công vượt lên số phận minh ... NGHỆ BƯU CHÍNH VIỄN THƠNG - CHÂU QUANG VŨ NGHIÊN CỨU XÂY DỰNG HỆ THỐNG CHUYỂN ĐỔI NGÔN NGỮ CỬ CHỈ SANG VĂN BẢN CHUYÊN NGÀNH: HỆ THỐNG THÔNG TIN MÃ SỐ: 60.48.01.04 LUẬN VĂN THẠC... ron nhân tạo 10 1.4 Ngôn ngữ cử (ngôn ngữ ký hiệu) 16 1.4.1 Đặc điểm Ngôn ngữ ký hiệu 16 1.4.2 Ngôn ngữ ký hiệu sống 17 1.4.3 Ngôn ngữ ký hiệu Việt Nam 17... có hệ thống chuyển đổi để người khiếm thính giao tiếp với xã hội, tạo hội lớn để xã hội có thêm hội để có thêm nhiều trường hợp người khuyết tật hòa nhập vào sống Hệ thống chuyển đổi ngôn ngữ cử