Nhận dạng ngôn ngữ ký hiệu tiếng việt (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO ĐẠI HỌC ĐÀ NẴNG VÕ ĐỨC HỒNG NHẬN DẠNG NGƠN NGỮ KÝ HIỆU TIẾNG VIỆT Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 62 48 01 01 TÓM TẮT LUẬN ÁN TIẾN SĨ KỸ THUẬT Đà Nẵng - 2018 Cơng trình hoàn thành ĐẠI HỌC ĐÀ NẴNG Người hướng dẫn khoa học; GS TS Jean Meunier TS Huỳnh Hữu Hưng Phản biện 1: …………………………………………… Phản biện 2: …………………………………………… Phản biện …………………………………………… Luận án bảo vệ trước Hội đồng chấm luận án cấp Đại học Đà Nẵng Vào hồi … ngày tháng … năm …… Có thể tìm hiểu luận án tại: - Thư viện quốc gia Việt Nam - Trung tâm Thông tin – Học liệu, Đại học Đà Nẵng MỞ ĐẦU Tính cấp thiết đề tài Việt Nam nước có số người khuyết tật cao khu vực châu Á - Thái Bình Dương, người bị khuyết tật khiếm thính chiếm khoảng 15% Người khiếm thính sử dụng ngơn ngữ ký hiệu ngôn ngữ cử tay với dấu hiệu truyền trực quan tay cảm xúc khuôn mặt để truyền đạt ý nghĩa từ thay sử dụng âm Ngôn ngữ sử dụng cộng đồng người khiếm thính, nhiên khơng phổ biến cộng đồng giao tiếp Yêu cầu luận án phát triển phương pháp nhận dạng ngôn ngữ ký hiệu chuyển đổi ký hiệu thực thành văn nhằm tạo giao tiếp thuận tiện người khuyết tật người bình thường Việc nghiên cứu cải tiến phương pháp nhận dạng cử tay có ý nghĩa quan trọng, giúp người khiếm thính hòa nhập tốt với cộng đồng Mục tiêu luận án Luận án nghiên cứu nhằm giải nhận dạng ngôn ngữ ký hiệu tiếng Việt (VSL – Vietnamese Sign Language), khắc phục khó khăn kỹ thuật thu nhận liệu, tiền xử lý trích xuất đặc trưng hỗ trợ người khiếm thính giao tiếp hòa nhập cộng đồng Cụ thể luận án nhằm hướng đến mục tiêu sau: - Các phương pháp trích xuất đặc trưng ngơn ngữ ký hiệu - Xây dựng phương pháp tiền xử lý, trích xuất đặc trưng giảm phụ thuộc vào hình ảnh môi trường thực để nâng cao tỉ lệ nhận dạng so với nghiên cứu trước - Áp dụng mơ hình học máy để thử nghiệm, chọn mơ hình có kết tốt để huấn luyện nhận dạng cử ngôn ngữ ký hiệu tiếng Việt - Xây dựng liệu mẫu ngôn ngữ ký hiệu tiếng Việt nghiên cứu phương pháp phân đoạn video để nâng cao tỉ lệ nhận dạng, áp dụng triển khai hệ thống nhận dạng theo thời gian thực Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu luận án bao gồm nội dung: - Các thuật toán, giải pháp để phân tích nhận dạng ngơn ngữ ký hiệu - Bảng chữ ngôn ngữ ký hiệu tiếng Việt - Các từ, cụm từ biểu diễn cử liên tục ngôn ngữ ký hiệu tiếng Việt Xác định mục tiêu đối tượng nghiên cứu trên, phạm vi nghiên cứu luận án tập trung sau: - Nghiên cứu kỹ thuật xử lý ảnh hỗ trợ cho hệ thống nhận dạng ngôn ngữ ký hiệu tổng quát, phân tích đánh giá kết hướng đến nhận dạng ngôn ngữ ký hiệu tiếng Việt - Nghiên cứu hệ thống nhận dạng ngôn ngữ ký hiệu tĩnh bảng chữ ngôn ngữ ký hiệu tiếng Việt bao gồm hai cơng việc là: (1) xây dựng phương pháp thu nhận liệu, kết hợp trích xuất đặc trưng bản, (2) tìm kiếm, lựa chọn, cải thiện phương pháp nhận dạng cho phù hợp với hệ thống nhận dạng ngôn ngữ ký hiệu tiếng Việt - Nghiên cứu xây dựng hệ thống nhận dạng ký hiệu cử liên tục bao gồm từ, hướng đến việc dịch câu hồn chỉnh ngơn ngữ ký hiệu tiếng Việt Phương pháp nghiên cứu Phương pháp nghiên cứu sử dụng luận án phương pháp kết hợp lý thuyết thực nghiệm để kiểm tra hiệu quả: - Phân tích đặc điểm riêng của ngơn ngữ ký hiệu tiếng Việt, xây dựng sở liệu mẫu để thử nghiệm - Xem xét nghiên cứu liên quan, đánh giá ưu điểm khuyết điểm phương pháp nhận dạng khác để từ đề xuất ý tưởng cho nhận dạng ngơn ngữ ký hiệu tiếng Việt Việc đánh giá dựa vào tiêu chí thời gian xử lý tỷ lệ nhận dạng thành cơng - Thiết kế thực thi thí nghiệm với sở liệu chung có sẵn để đánh giá hiệu Cấu trúc luận án Trên sở nhiệm vụ nghiên cứu nêu trên, để đạt mục tiêu đề đảm bảo tính hợp lý vấn đề nghiên cứu, phần mở đầu, phần kết luận hướng phát triển, luận án cấu trúc gồm ba chương với nội dung chương sau: Chương luận án giới thiệu tổng quan ngôn ngữ ký hiệu Việt Nam giới Phần trình bày nghiên cứu liên quan nhận dạng ngôn ngữ ký hiệu theo hai cách phân loại dựa vào trình thu nhận liệu phương pháp học máy Kết nghiên cứu tổng quan sở cho đề xuất nghiên cứu nhận dạng ngôn ngữ ký hiệu tiếng Việt chương Chương trình bày hai nghiên cứu nhận dạng cử tĩnh ngôn ngữ ký hiệu, nhằm hướng đến nhận dạng bảng chữ ngôn ngữ ký hiệu tiếng Việt Nghiên cứu thứ đề xuất dựa quy trình xử lý ảnh Dữ liệu thu nhận máy ảnh hình ảnh bàn tay, trình tiền xử lý sử dụng lọc màu da để loại bỏ nhiễu Nghiên cứu áp dụng phương pháp hình học để xác định đỉnh ngón tay, loại bỏ phần cánh tay Sau trích xuất đặc trưng vec-tơ, nghiên cứu sử dụng mơ hình học máy vec-tơ hỗ trợ đa lớp (SVMs) để huấn luyện nhận dạng Nghiên cứu thứ hai sử dụng cảm biến độ sâu để thu nhận liệu, trích xuất đặc trưng dựa vào mơ hình xếp hạng ma trận tương quan (ROCM) Trong nghiên cứu xây dựng liệu hình ảnh ngơn ngữ ký hiệu tiếng Việt với ký hiệu đơn, ký hiệu kép dấu mũ phục vụ cho thử nghiệm sau Chương trình bày nghiên cứu nhận dạng cử liên tục ngôn ngữ ký hiệu tiếng Việt Các cử liên tục thu nhận lưu trữ dạng chuỗi khung hình liên tiếp Nghiên cứu thứ sử dụng liệu từ cảm biến khung xương thiết bị Kinect Dữ liệu thu nhận dùng để nghiên cứu tọa độ không gian ba chiều khớp xương cổ tay, khuỷu tay Nghiên cứu chuyển đổi liệu thành vec-tơ đặc trưng tương ứng với giá trị tọa độ điểm thu nhận sử dụng mơ hình so khớp thời gian động (DTW) để huấn luyện, nhận dạng Nghiên cứu thứ hai sử dụng cảm biến độ sâu để thu nhận liệu, áp dụng mơ hình không gian ba chiều (3D) để xử lý liệu theo thời gian thực Sau trích xuất vec-tơ đặc trưng, nghiên sử dụng mơ hình học máy vec-tơ hỗ trợ (SVM) để huấn luyện nhận dạng Đóng góp luận án Luận án đề xuất nghiên cứu nhận dạng ngôn ngữ ký hiệu tiếng Việt cho người khiếm thính, áp dụng theo thời gian thực để làm công cụ hỗ trợ giảng dạy cho trẻ khiếm thính hay hỗ trợ giao tiếp nơi công cộng nhà ga, bệnh viện, sân bay Nghiên cứu luận án bao chia thành hai phần riêng biệt: nhận dạng cử tĩnh cử liên tục ngôn ngữ ký hiệu tiếng Việt Các đóng góp luận án cụ thể sau: - Nghiên cứu nhận dạng ngôn ngữ ký hiệu (cử tĩnh cử liên tục) dựa liệu thu nhận từ máy ảnh màu trích xuất đặc trưng theo mơ hình hình học Thử nghiệm với phương pháp học máy vec-tơ hỗ trợ (SVM), đánh giá hiệu phương pháp nghiên cứu dựa vào tỉ lệ nhận dạng thành công - Đề xuất phương pháp thu nhận liệu từ cảm biến độ sâu: (1) trích xuất đặc trưng dựa vào phương pháp xếp hạng ma trận tương quan để nhận dạng bảng chữ (cử tĩnh); (2) sử dụng phương pháp chia khối theo mơ hình khơng gian ba chiều để nhận dạng từ, cụm từ, câu (cử liên tục) ngôn ngữ ký hiệu tiếng Việt - Nghiên cứu phương pháp phân đoạn video để trích xuất khung hình chính, áp dụng nhận dạng ghép ký tự bảng chữ ngôn ngữ ký hiệu tiếng Việt theo thời gian thực - Đối với cử liên tục ngôn ngữ ký hiệu tiếng Việt, nghiên cứu thực nghiệm với hai phương pháp thu nhận liệu: tọa độ khớp xương cảm biến độ sâu để thu nhận liệu, phân tích đặc trưng, nhận dạng đánh giá hiệu Luận án đề tài nghiên cứu theo hướng ứng dụng kỹ thuật vào sống Hệ thống thay hồn tồn q trình giao tiếp người khiếm thính, góp phần giúp người khiếm thính giao tiếp với người bình thường, hòa nhập tốt cộng đồng có tính nhân văn sâu sắc CHƯƠNG 1: TỔNG QUAN Nội dung chương gồm có hai phần chính: phần thứ tổng quan ngôn ngữ ký hiệu giới Việt Nam (VSL – Vietnamese Sign Language); phần thứ hai tổng hợp nghiên cứu liên quan nhận dạng ngôn ngữ cử chỉ, ngôn ngữ ký hiệu đến 1.1 Tổng quan ngôn ngữ ký hiệu Ngơn ngữ kí hiệu cộng đồng người khiếm tính sử dụng rộng rãi Ngơn ngữ kí hiệu bao gồm cử điệu thông dụng hàng nghìn kí hiệu mà người khiếm tính phát triển theo thời gian Ở Việt Nam, ngôn ngữ ký hiệu đưa vào giáo dục sử dụng từ sớm từ năm 1866, linh mục người Pháp cha Azemar quy tụ khoảng trẻ khiếm thính để dạy ngơn ngữ đạo đức Sau đó, trẻ sang Pháp để học tập phương pháp dùng ngôn ngữ ký hiệu điệu Đến năm 1886, anh nước, linh mục tuyên bố mở trường dạy trẻ khiếm thính Thuận An (Bình Dương) Trung tâm nơi người khiếm thính Việt Nam Nơi trăm năm qua, nhiều hệ người khiếm thính ni dưỡng giáo dục Từ năm 2000, Việt Nam bắt đầu triển khai nỗ lực nhằm hồn thiện hệ thống hóa ngơn ngữ ký hiệu Việt Nam Các câu lạc bộ, nhóm học tập bắt đầu hình thành phát triển Một số tài liệu công phu xuất như: tập Ký hiệu cho người khiếm tính Việt Nam, từ điển ngơn ngữ ký hiệu Việt Nam Do quốc gia, khu vực có lịch sử, văn hóa, tập quán khác nên ký hiệu để biểu thị vật tượng khác Chẳng hạn, tính từ màu hồng Hà Nội người ta xoa vào má (má hồng), Thành phố Hồ Chí Minh lại vào môi (môi hồng) Bảng chữ ngôn ngữ ký hiệu tiếng Việt tương ứng Bảng chữ ngôn ngữ viết, bao gồm 29 chữ cái, chữ ghép, dấu chữ số Bảng chữ ngôn ngữ ký hiệu tiếng Việt xây dựng tương tự ngôn ngữ ký hiệu Mỹ (ASL) sử dụng rộng rãi số quốc gia Bảng chữ bao gồm 23 chữ cái, từ ghép, dấu mũ dấu Các chữ Ă, Â, Ê, Ô, Ơ, Ư, CH, GH, NGH kết hợp từ cử tay liên tục Tương tự bảng chữ ngôn ngữ ký hiệu tiếng Việt, ý nghĩa chữ số thể hình dạng bàn tay Những số từ đến số ngón tay thường sử dụng rộng rãi ngày sống, kể người bình thường Riêng số từ đến có khác biệt so với tưởng tượng Các số từ 10 trở có kết hợp từ cử chi tay trở lên Đối với cử tĩnh (hình ảnh bàn tay) ta thể ghép ký tự để thành từ, cụm từ có nghĩa, tương tự cách ghép từ ngơn ngữ viết Tuy nhiên ngồi NNKH biểu diễn hành động liên tục bàn tay, cánh tay 1.2 Các nghiên cứu liên quan nhận dạng ngôn ngữ ký hiệu Dựa vào nghiên cứu nhận dạng ngôn ngữ ký hiệu thực chia thành nhóm dựa vào phương pháp thu nhận liệu phân loại học máy, nhận dạng Phân loại theo phương pháp thu nhận liệu Bước quan trọng việc xử lý nhận dạng ngôn ngữ ký hiệu thu thập liệu Dữ liệu thu nhận phân tích cách sử dụng phương pháp khác để trích xuất đặc trưng đưa vào mơ hình thống kê để nhận dạng Điện đồ (Electromyography) Điện đồ hệ thống tương tác trực tiếp người máy tính thơng qua tín hiệu thể hay suy nghĩ trở thành thành phần quan trọng nghiên cứu phát chuyển động thể người Hệ thống giúp cho máy tính hiểu cử động người ví dụ điều khiển rơ bốt, trò chơi ảo, điều khiển chi giả dành cho người khuyết tật Máy tính thu nhận tín hiệu điện sinh học nhờ cảm biến gắn trực tiếp thể phân loại, sau tổng hợp thông tin liệu hệ thống thường sử dụng mạng nơ-ron nhân tạo để phân loại nhận biết hành động Găng tay liệu (Data-Glove) Găng tay liệu găng tay đặc biệt dùng để theo dõi thay đổi hình dạng chuyển động tay Thiết bị có cảm biến bố trí tất ngón tay bàn tay để phát di chuyển uốn cong ngón tay, cung cấp vị trí, định hướng, tốc độ hướng tay theo tham chiếu cố định 11 đặc điểm DTW hữu ích lĩnh vực nhận dạng chữ ký khả xử lý đường chữ ký có độ dài khơng (tức đường cong có số lượng điểm toạ độ x,y khác nhau) Điều cho phép so sánh mà không cần phải lấy lại mẫu 1.3 Kết chương Chương xếp, phân loại, phân tích, đánh giá nghiên cứu gần thu nhận liệu, kỹ thuật trích đặc trưng nhận dạng hệ thống nhận dạng ngôn ngữ ký hiệu Đây sở để đề xuất, lựa chọn phương pháp trích đặc trưng nhận dạng để đạt mục tiêu cuối luận án xây dựng hệ thống nhận dạng ngôn ngữ ký hiệu tiếng Việt với đặc trưng riêng dành cho người Việt Nam CHƯƠNG 2: NHẬN DẠNG CỬ CHỈ TĨNH Chương tập trung trình bày cấu trúc hệ thống nhận dạng ngôn ngữ ký hiệu tĩnh, đối tượng đề xuất xử lý hình ảnh bảng chữ ngơn ngữ ký hiệu tiếng Việt Nghiên cứu hướng đến ứng dụng giảng dạy bảng chữ cái, ký hiệu tĩnh ngôn ngữ ký hiệu cho người bắt đầu học tập với hình ảnh từ hay hai bàn tay theo thời gian thực Chương 2, trình bày hai hướng nghiên cứu nhận dạng cử tay tĩnh ngôn ngữ ký hiệu khác Nghiên cứu tiếp cận nhận dạng ngơn ngữ ký hiệu theo mơ hình xử lý ảnh bao gồm ba giai đoạn: tiền xử lý, trích xuất đặc trưng phân loại trình bày hình 2.1 Giai đoạn tiền xử lý liên quan đến hai giai đoạn phụ: lọc màu da cách sử dụng lọc màu sắc, phân ngưỡng xác định khu vực màu chứa hình ảnh bàn tay; tách bàn tay loại bỏ phần cánh tay phần 12 chứa thơng tin liên quan đến thông tin ngôn ngữ ký hiệu Trong giai đoạn thứ hai tính lấy từ bàn tay bao gồm: tỷ lệ chiều rộng đến chiều cao, góc bàn tay, số ngón tay mặt cắt ngang Các giá trị thu tạo trành vec-tơ đặc trưng Cuối cùng, mơ hình học máy vec-tơ hỗ trợ (SVM) với chiến lược "max-wins" sử dụng để phân loại cử tay 2.1 Phương pháp mơ hình hình học Hình 2.1: Sơ đồ nhận dạng theo mơ hình hình học Thực nghiệm tiến hành liệu ảnh màu Bộ Khoa học Giáo dục Đại học Ba Lan1 Kết nghiên cứu thử nghiệm trực tiếp liệu thu nhận từ máy ảnh Logitech QuickCam Sphere với độ phân giải 640*480 thực theo thời gian thực http://sun.aei.polsl.pl/~mkawulok/gestures/ 13 Tiền xử lý Lọc màu da: sử dụng mơ hình HSV với liệu có sẵn Ba Lan để mang tính tổng qt cao nhằm mục đích kiểm tra màu da người Việt Nam Trong bước tiếp theo, nghiên cứu sử dụng lọc trung vị để làm mượt hình ảnh sau sử dụng phương pháp trừ hình ảnh ban đầu hình ảnh thu nhận vừa lọc Hình ảnh thu nhiễu nhẹ nên chúng tơi tiếp tục sử dụng lọc trung vị môt lần để loại bỏ hoàn toàn nhiễu Tách bàn tay: Sau xác định màu da đối tượng, hình ảnh thu thường bị nhiễu hình ảnh nhỏ, ảnh hưởng đến trích xuất thơng tin bàn tay Bước nghiên cứu sử dụng lọc hình thái để loại bỏ nhiễu làm mịn ranh giới đối tượng Trong số trường hợp ảnh chụp kèm theo khuôn mặt người thực Để loại bỏ khuôn mặt, sử dụng thuật tốn AdaBoots để xác định khn mặt tiến hành loại bỏ Hình ảnh bàn tay thực gần máy ảnh có kích thước lớn khn mặt, dựa vào đặc tính này, hệ thống xác định giá trị ngưỡng kích thước hình ảnh để tiến hành loại bỏ nhiễu thu nhận hình ảnh bàn tay Trích xuất đặc trưng Các tính đề xuất bao gồm thơng số tổng quát: tỉ lệ chiều rộng chiều cao, góc bàn tay số ngón tay cộng với thơng số chi tiết: góc ngón tay, số lượng điểm giao với lưới cắt ngang Bằng cách kết hợp 18 giá trị mô tả trên, vec-tơ đặc tính chứa 18 phần tử sử dụng huấn luyện nhận dạng Huấn luyện nhận dạng Mô hình SVM đa lớp (multi-class SVM) sử dụng nghiên cứu số lượng lớp cần phân loại lớn hai lớp Do 14 số lượng lớn lớp cần học nên kết nhận xác định cách lấy giá trị lớn gần (MAX-WIN), phân loại phân chia mơ hình cho lớp học cho lớp nhận dạng tăng lên Các mơ hình gán cho cử tương ứng với lớp có nhiều giá trị Kết thực nghiệm Hệ thống kiểm nghiệm thực ngôn ngữ C++ Bộ liệu cử tay tĩnh thu thập từ dự án Bộ Khoa học Giáo dục Đại học Ba Lan hỗ trợ, bao gồm 899 hình ảnh màu 27 cử chỉ, tương ứng với trung bình 33 mẫu/cử Để tăng số lượng mẫu, ảnh xoay theo hai hướng (± 20o), có 2697 mẫu để thử nghiệm Cơng việc tương thích với thực tế cử thực với hướng khác Bộ liệu chia thành đào tạo thử nghiệm với tỷ lệ 2:1, tương ứng với 1798 mẫu cho đào tạo 899 mẫu để thử nghiệm Bên cạnh nghiên cứu thử nghiệm với hình ảnh thu trực tiếp thơng qua máy ảnh Logitech QuickCam Sphere với tốc độ 30 khung hình giây độ phân giải 640 * 480 Thời gian thiết lập xử lý cho khung hình khoảng 20 mili giây, nhằm hướng đến xây dựng hệ thống nhận dạng theo thời gian 2.2 Phương pháp xếp hạng ma trận tương quan (ROCM) Phân đoạn bàn tay Với hình ảnh chiều sâu với giá trị nhỏ tìm thấy cách quét dòng, giá trị tương ứng dmin khoảng cách gần điểm thuộc bàn tay Cuối ta xác định phạm vi quan tâm khu vực hình ảnh thu chứa bàn tay dmin + w2 15 Ảnh huấn luyện Phân đoạn bàn tay Ảnh nhận dạng Phân chia ma trận hình ảnh bàn tay Tách bàn tay Chuẩn hóa kích thước Xếp hạng ma trận Phân lớp Số hóa Vector Kết nhận dạng Hình 2.2: Sơ đồ khối nhận dạng cử đơn Tiền xử lý Tách bàn tay: Sau chọn phạm vi thu nhận ảnh thích hợp, ảnh thu bị nhiễu nhẹ phụ thuộc vào mơi trường cảm biến Sử dụng lọc hình thái không gian để loại bỏ nhiễu làm mịn ảnh, đồng thời sử dụng thuật toán xác định biên làm mịn đối tượng Cuối ta có hình ảnh bàn tay dựa khung Chuẩn hóa kích thước: Có nhiều phương pháp để thay đổi kích thước hình ảnh bàn tay trước giai đoạn trích xuất đặc trưng Một điểm bất lợi hình ảnh thu từ bàn tay kích thước thu với tỉ lệ chiều đứng chiều ngang khác (bàn tay thể đứng hay ngang) ảnh hưởng lớn đến bước xử lý 16 Vì cần xử lý để đưa hình ảnh bàn tay kích thước chuẩn cần thiết Trích xuất đặc trưng Chia lưới (ma trận) hình ảnh: Trong nghiên cứu sử dụng lưới vuông để chia ảnh bàn tay thành khối với kích thước Sau tính tốn giá trị dựa giá trị trung bình điểm ảnh thuộc Kết thu ma trận vng có giá trị trung bình tương ứng ô Thống kê thông tin: Để mô tả giá trị ô, tương ứng với khu vực hình ảnh Sau tính tốn cho tất ô kết thu hai ma trận vuông cấp d Ma trận thứ nhất, M_at m bao gồm d2 giá trị trung bình, ma trận thứ hai M_atsd bao gồm d2 giá trị độ lệch tiêu chuẩn Xếp hạng ma trận: Mỗi ma trận vuông cấp chuyển đổi thành ma trận xếp hạng tương ứng có kích thước dựa vào giá trị phần tử để xếp hạng Các giá trị ma trận M_atm xếp theo thứ tự tăng dần sau đánh giá trị thứ hạng chuyển giá trị xếp hạng tương ứng vào ma trận M_atsd Tạo vector: Để tương thích với kỹ thuật phân loại, ma trận xếp hạng biểu diễn vector, đặt tên vector kết hợp Mỗi phần tử vector mô tả mối quan hệ hai ô lân cận, tương ứng với hai yếu tố liên tiếp ma trận xếp hạng Phân lớp nhận dạng Mơ hình học máy hỗ trợ vec- để sử dụng phân tích liệu nhận dạng mẫu, phân loại dựa vào giá trị đặc trưng 17 Kết thực nghiệm Bảng 2.1: Độ xác thử nghiệm mơ hình với cách chia ma trận Tương tự việc nhận dạng ký tự số từ đến liệu bao gồm 2011 mẫu bao gồm 10 cử tay Bảng 2.2: Độ xác thử nghiệm 10 cử số với cách chia ma trận 2.3 Phân đoạn tự động video nhận dạng cử tĩnh Các khái niệm Khung hình thơng tin quan trọng để tổng hợp nội dung video Một khung hình đại diện cho phân đoạn video Sau nhận dạng, hiểu nội dung, thơng tin khung hình ta xác định xác nội dung video Các khung hình xem tóm tắt nội dung Đối với trình xử lý thu thập thơng tin từ video, việc xác định khung hình giúp giảm thiểu nhiều thời gian tìm kiếm, xử lý Quy trình xử lý 18 Quy trình xử lý mơ tả tóm tắt sau: Một người biểu diễn ký hiệu trước máy ảnh chiều sâu Một chuỗi khung hình ảnh (video) thu nhận Quá trình phân đoạn hình ảnh áp dụng để trích xuất, lấy hình ảnh vùng bàn tay Trong tập liệu có nhiều hình ảnh dư thừa, trình chuyển tiếp ký tự hay hành động Thuật tốn xác định khung hình áp dụng để loại bỏ hình ảnh dư thừa giống nhau, giữ lại khung hình Cuối trích xuất đặc trưng từ hình ảnh nhị phân khung hình chính, áp dụng kỹ thuật SVM để phân loại nhận dạng Xác định khung hình Ký hiệu N số lượng hình ảnh M nhóm hình ảnh có tương tự nhau, động tác thể khung hình mi Các khung hình tương ứng mi xác định k khung hình liên tiếp mà khơng có dự thay đổi Kỹ thuật phân khung khác sử dụng để phát thay đổi hai khung hình liên tiếp Để tính độ khác khung hình liên tiếp sử dụng cơng thức Trong giá trị điểm ảnh tọa độ (x,y), hai khung hình liên tiếp Khi đối tượng khơng di chuyển có nghĩa Để xác định khác khung hình phải nằm ngưỡng cho phép T1 T2 (T1