NGHIÊN CỨU NHẬN DẠNG NGÔN NGỮ CỬ CHỈ THÔNG QUA QUỸ ĐẠO CHUYỂN ĐỘNG LIÊN TỤC CỦA ĐỐI TƯỢNG DỰA TRÊN MÔ HÌNH MARKOV ẨN

NGHIÊN CỨU NHẬN DẠNG NGÔN NGỮ CỬ CHỈ THÔNG QUA QUỸ ĐẠO CHUYỂN ĐỘNG LIÊN TỤC CỦA ĐỐI TƯỢNG DỰA TRÊN MÔ HÌNH MARKOV ẨN Dương Khắc Hưởng, Nguyễn Đăng Bình Trường THPT chuyên Lê Quý Đôn - Khánh Hòa Khoa CNTT trường ĐH Khoa Học Huế - T.P Huế khduong.lqd@gmail.com, dangbinh@gmail.com Tóm tắt: Nhận dạng quỹ đạo chuyển động liên tục đối tượng lĩnh vực nghiên cứu khoa học thị giác máy tính, chủ yếu cho mục đích nhận dạng ngôn ngữ cử chỉ, tương tác người - máy tính Trong báo đề xuất hệ thống nhận dạng ngôn ngữ cử dựa vào quỹ đạo chuyển động đối tượng phát qua màu sắc Sử dụng mô hình Markov ẩn (HMM) để huấn luyện nhận dạng quỹ đạo thu từ chuyển động đối tượng Hệ thống có năm bước chính: Phân đoạn hình ảnh thu từ chuỗi hình ảnh qua camera để phát quỹ đạo chuyển động đối tượng; Tiền xử lý trích chọn đặc trưng quỹ đạo chuyển động đối tượng thuật toán đề xuất để tạo lập tham số đầu vào ban đầu cho mô hình HMM; Quá trình học thuật toán Baum-Welch trình nhận dạng quỹ đạo thuật toán Viterbi; Phân tích thiết kế hệ thống tạo lập liệu thực nghiệm Các kết thực nghiệm cho thấy Hệ thống đề xuất nhận dạng thành công cử rời rạc với ý nghĩa tỉ lệ nhận dạng thu kết 98,4% liệu thực nghiệm Từ khóa: Nhận dạng cử chỉ, Nhận dạng đối tượng, Nhận dạng ký tự, Thị giác máy tính, Tương tác người-máy tính Đặt vấn đề Nhận dạng ngôn ngữ cử từ quỹ đạo chuyển động đối tượng lĩnh vực tương đối vấn đề nghiên cứu nhận dạng cử tương tác người - máy tính (HCI – Human Computer Interaction) Quỹ đạo chuyển động đối tượng tập hợp rời rạc điểm (tâm đối tượng) thu từ chuỗi hình ảnh đối tượng chuyển động không gian theo thời gian Mục tiêu nhận dạng ngôn ngữ cử nhằm nâng cao khả tương tác từ xa người máy tính mà không cần thông qua thiết bị vào thông dụng chuột bàn phím Trong khoảng thập kỷ gần đây, số nghiên cứu ứng dụng HCI khác đề xuất Mỗi mô hình có ưu điểm khác như: Hệ thống nhận dạng ký tự bảng chữ dựa vào quỹ đạo chuyển động ngón tay [2]; Hệ thống điều khiển chuột máy tính từ xa cử bàn tay thông qua thị giác máy tính [3]; Tương tác người-máy tính dựa cử tay thông qua cảm biến RGB-D [6]; Nhận dạng cử tay kết hợp trích chọn đặc trưng [7]; Nhận dạng cử có ý nghĩa bàn tay dựa mô hình tách từ mô hình Markov ẩn sở [8] Trong báo này, đưa phương pháp tiền xử lý liệu đầu vào từ chuỗi hình ảnh đối tượng chuyển động thu từ camera thông qua việc phát màu sắc đối tượng chuyển động không gian 2D Sau tiền xử lý, đặc trưng hướng chuyển động điểm quỹ đạo lựa chọn để tạo véc tơ đặc trưng, thành phần quan trọng tham số đầu vào cho mô hình Markov ẩn Ngoài xây dựng hệ thống có khả huấn luyện tham số đầu cho mô hình Markov ẩn thuật toán Baum-Welch nhận dạng ký tự bảng chữ từ “a” đến “z” chữ số từ “0” đến “9” thuật toán Viterbi Hệ thống hỗ trợ việc tạo lập nhiều liệu thực nghiệm với số lượng trạng thái quan sát khác giúp cho việc đánh giá so sánh kết thực nghiệm liệu để đưa kết luận với độ tin cậy cao Bài báo trình bày gồm mục, đó: Mục trình bày mô hình hệ thống tổng thể bao gồm vấn đề cần nghiên cứu; Mục trình bày việc thiết kế xây dựng hệ thống tạo lập liệu dùng để thực nghiệm, huấn luyện nhận dạng liệu thực nghiệm; Mục đưa kết nghiên cứu liệu thực nghiệm Mục đưa số nhận xét đánh giá ảnh hưởng đến kết nhận dạng hệ thống liệu đầu vào khác Hệ thống nhận dạng ngôn ngữ cử Hệ thống nhận dạng ngôn ngữ từ quỹ đạo chuyển động đối tượng gồm ba giai đoạn mô tả Hình 2.1 Hình 2.1 Các giai đoạn hệ thống Hệ thống đưa thu thập quỹ đạo chuyển động đối tượng không gian theo thời gian thực Đối tượng phát dựa vào màu sắc đối tượng theo dõi thay đổi vị trí không gian theo thời gian Mốc để xác định vị trí đối tượng tâm đối tượng Từ quỹ đạo chuyển động có ý nghĩa đối tượng, đưa phương pháp tiền xử lý liệu trích chọn đặc trưng quỹ đạo chuyển động đối tượng sửa dụng mô hình HMM để huấn luyện tập liệu thu cho lớp ký tự số từ “0” đến “9” lớp chữ từ “a” đến “z” 2.1 Dò tìm theo dõi đối tượng dựa vào màu sắc Đối tượng sử dụng hệ thống đối tượng có kích thước đủ lớn màu sắc có độ tương phản cao so với màu Màu sắc đối tượng chọn đối tượng xuất lần khung ảnh thu từ camera Trong báo sử dụng không gian màu YCbCr để phát theo dõi đối tượng Một màu không gian màu YcbCr gồm ba giá trị Y (độ sáng), Cb (sắc độ màu xanh) Cr (sắc độ màu đỏ) Sau giá trị chọn từ màu đối tượng, sử dụng thêm ngưỡng cho giá trị Với Y nằm khoảng từ đến 255, Cb giao động khoảng ∆Cb = ±40 Cr giao động khoảng ∆Cr = ±30 Đối tượng sau phát hiện, tâm đối tượng tính dựa vào công thức tính moment thứ không gian 2D công thức (2.1) (2.2) [9] sau Gọi (xc, yc) tọa độ tâm đối tượng xc yc xác định theo công thức sau: ∑x xI ( x, y) M 10 xc = = M 00 ∑∑ I ( x, y ) x (2.1) y ∑y yI ( x, y) M 01 yc = = M 00 ∑∑ I ( x, y ) x (2.2) y Sau xác định tâm đối tượng, giá trị tính lại cho khung hình để đưa vị trí đối tượng vào quỹ đạo chuyển động Quỹ đạo chuyển động đối tượng dãy điểm, điểm điểm cuối đối tượng thay đổi vị trí khoảng thời gian định trước Tuy nhiên điểm quỹ đạo thu có phân bố không đồng đều, có chỗ mật độ điểm dày đặc (thường góc cua) chỗ khác mật độ điểm thưa Vì đưa thuật toán tiền xử lý liệu đầu vào với ý tưởng loại bỏ điểm không cần thiết vị trí có mật độ điểm xuất cao Thuật toán 2.1: Tiền xử lý liệu đầu vào Dữ liệu vào: P = {P0(x0, y0); P1(x1, y1); , Pm( xm, ym)}, quỹ đạo P gồm m+1 điểm Dữ liệu ra: P = { P0(x0, y0); P1(x1, y1); , Pt( xt, yt)}, quỹ đạo P gồm t+1 điểm (t ≤ m) Phương pháp: Bước 1: Tìm vị trí điểm có tổng khoảng cách đến điểm kề trước kề sau nhỏ dmin = ( ( xi −1 − xi ) + ( yi −1 − yi ) + ( xi − xi +1 ) + ( yi − yi +1 ) i =1 m −1 ) (2.3) Gọi v vị trí tương ứng dmin đạt giá trị nhỏ Bước 2: Loại bỏ điểm thứ v khỏi quỹ đạo t = t-1; for i = v to m-1 Pi = Pi+1; endfor Bước 3: Lặp lại If (m> t) lặp lại Bước 2.2 Trích chọn đặc trưng quỹ đạo chuyển động đối tượng Theo số nghiên cứu trước [7], [8], đặc trưng quỹ đạo phụ thuộc vào yếu tố như: vị trí, vận tốc hướng chuyển động đó, vị trí vận tốc ảnh hưởng đến hình dáng quỹ đạo không gian 2D mà chủ yếu hướng chuyển động điểm so với điếm trước quỹ đạo chọn hướng chuyển động điểm quỹ đạo làm đặc trưng cho quỹ đạo Góc điểm thời điểm t+1 so với điểm trước thời t mô tả Hình 2.2 (a) tính theo công thức: θt = arctan( dy dx ) (2.4) Hướng chuyển động giá trị góc quy đổi cách chia cung tròn 3600 36 hướng đánh số thứ tự từ đến 36 mô tả Hình 2.2 (b) (a) (b) Hình 2.2 Góc hướng chuyển động đối tượng Như đặc trưng quỹ đạo véc tơ mà thành phần số thứ tự hướng của điểm so với điểm kế trước Thuật toán 2.2: Trích chọn đặc trưng Dữ liệu vào: P={(x0, y0), (x1, y2), , (xm, ym) } Tọa độ m+1 điểm quan sát quỹ đạo Dữ liệu ra: O={o0, o1, o2, , om } Hướng chuyển động từ điểm i-1 đến điểm i (i = m) Phương pháp: Bước 1: Tiền xử lý liệu Thực thuật toán 2.1 tập điểm P Bước 2: Tính góc cho vị trí đối tượng dựa vào công thức (2.4) For i =1 to t θ i = arctan( yi − yi −1 ) xi − xi −1 Endfor Bước 3: Chuyển đổi giá trị góc sang giá trị hướng O0 = 0; For i = to m Oi = 18θ i (2.5) π Endfor Bước 4: Kết thúc Ta có véc tơ đặc trưng O = {o0, o1, o2, , om } 2.3 Mô hình Markov ẩn cho toán nhận dạng ngôn ngữ cử 2.3.1 Mô hình Markov ẩn Mô hình HMM mô hình toán học thống kê [2], [5], [7], [8], [9], [10] Trong hệ thống mô hình hóa chuỗi trình Markov với tham số trước nhiệm vụ cần phải xác định tham số ẩn từ tham số quan sát Một mô hình HMM λ = (A, B, π) Trong bao gồm: Tập trạng thái S = {s1, s2, , sN} với N số trạng thái Ma trận xác suất ban đầu π = {π1, π2, , πN }T A = {aij} (i, j = N) ma trận phân phối xác suất chuyển trạng thái, với aij xác suất chuyển từ trạng thái i thời điểm t sang trạng thái j thời điểm t+1 Tập ký hiệu quan sát V = {v1, v2, ,vM} với M số ký hiệu quan sát phân biệt Tập chuỗi quan sát O = {o1, o2, ,oT} với T độ dài chuỗi quan sát B = {bj(k)} ma trận phân phối xác suất ký hiệu quan sát, bj(k) xác suất nhận ký hiệu quan sát vk trạng thái j Mô hình HMM tuân theo ràng buộc thống kê: ∑ N j =1 aij = 1; ∑ M k =1 b j (k ) = ∑ N i =1 πi = Mỗi lớp ngôn ngữ cử biểu diễn mô hình HMM độc lập Mỗi mô hình HMM có ba toán cần giải quyết: (1) Cho mô hình Markov ẩn λ = (A, B, π), tính p(O| λ) xác suất xảy chuỗi tín hiệu O = { o1, o2, ,oT } (2) Cho mô hình Markov ẩn λ = (A, B, π), tìm chuỗi trạng thái Q = {q1, q2, …, qT} cho xác suất tương ứng với chuỗi tín hiệu quan sát O = { o1, o2, ,oT } lớn nhất, tức P(O,Q|λ) cực đại (3) Xây dựng mô hình Markov ẩn λ = (A, B, π) cho p(O|λ) p(O,Q|λ) đạt cực đại Ngoài mô hình HMM có ba kiểu: Kiểu kết nối đầy đủ; Kiểu kết nối từ trái sang phải Kiểu kết nối từ trái sang phải theo đường thẳng [8] Theo kết nghiên cứu trước [8] mô hình kết nối kiểu trái phải theo đường thẳng mô hình cho kết tốt ba mô hình với toán huấn luyện nhận dạng quỹ đạo Mô hình kết nối đầy đủ mô hình kết nối từ trái sang phải kiểu đường thẳng mô tả Hình 2.3 Hình 2.3 Mô hình HMM kiểu đầy đủ kiểu đường thẳng Hình 2.3.(a) mô hình HMM kiểu kết nối đầy đủ, Hình 2.3.(b) mô hình HMM kiểu kết nối từ trái sang phải theo đường thẳng Với mô hình kiểu kết nối từ trái sang phải theo đường thẳng, thời điểm chuyển qua thời điểm trạng thái cũ giữ nguyên chuyển sang trạng thái Số lượng trạng thái mô hình thông số quan trọng ảnh hưởng đến trình huấn luyện nhận dạng Nếu số trạng thái nhiều sinh tượng lặp lại nhiều số ký hiệu quan sát số trạng thái làm giảm độ xác trình nhận dạng Trong báo thực nghiệm ba liệu với số lượng trạng thái 10, 18 36 (số trạng thái số ký hiệu quan sát) Ví dụ quỹ đạo chữ số “3” với số trạng thái 10 số ký hiệu quan sát 36 mô tả Hình 2.4 Hình 2.4 Quỹ đạo chữ số với 10 trạng thái Để huấn luyện liệu cho lớp, việc cần xây dựng tham số λ = (A, B, π) ban đầu Không thể khẳng định tham số tốt cho mô hình HMM Ma trận A tham số xây dựng theo công thức (2.7) Giá trị ma trận A phụ thuộc vào thời gian t định nghĩa sau: t = T (2.6) N Trong T độ dài quỹ đạo N số trạng thái giá trị aij tính sau:  1 − t  1 aij =  t 0   ( j = i) (2.7) ( j = i + 1) ( j ≠ i, j ≠ i + 1) Giá trị t tính theo công thức (2.6) Để xây dựng ma trận B ban đầu từ tập véc tơ đặc trưng O1, O2, , Om lớp tính theo công thức sau: b j (k ) = p M (2.8) Với ý nghĩa trạng thái thứ j có p ký hiệu vk chuỗi quan sát O1, O2, , Om vk ký hiệu thứ k tập gồm M ký hiệu quan sát phân biệt mô hình HMM Và cuối tạo ma trận xác suất ban đầu π = {1 0 }T (2.9) Ma trận π có N phần tử, phần tử có giá trị 1, phần tử khác có 2.3.2 Huấn luyện liệu với mô hình Markov ẩn Mỗi lớp ký hiệu ngôn ngữ biểu diễn mô hình HMM độc lập Mô hình HMM huấn luyện với liệu mẫu độc lập chứa số mẫu dương (hữu hạn) Mỗi mẫu dùng cho huấn luyện trích chọn véc tơ đặc trưng tương ứng sử dụng thuật toán Baum-Welch để cập nhật mẫu, ước tính véc tơ tham số mô hình HMM lớp Mỗi lớp huấn luyện độc lập với liệu riêng lớp Thuật toán 2.3: Thuật toán Baum-Welch ước lượng véc tơ tham số mô hình HMM Dữ liệu vào: Tập gồm m véc tơ đặc trưng O1, O2, , Om lớp Dữ liệu ra: Giá trị ước lượng véc tơ tham số mô hình Markov ẩn λ = (A, B, π ) Phương pháp: Bước 1: Khởi tạo tham số ban đầu cho mô hình HMM Khởi tạo A = {aij} (i = n, j=1 n) theo công thức (2.10) Khởi tạo B = {bj(k)} (j = n, k = 36) từ tập véc tơ đặc trưng theo công thức (2.11) Khởi tạo π = {1 0 }T theo công thức (2.12) Bước 2: Tính xác suất chuyển từ trạng thái i thời điểm t đến trạng thái j thời điểm t +  n  (2.10) α t (i ) =  ∑ α t −1 (i )aij  b j (t ) ;  j =1   n  (2.11) βt (i) = ∑ βt +1 ( j )aij  b j (t + 1)  j =1  α (i )aij bi (t + 1) βt +1 ( j ) (2.12) ξt (i, j ) = P(qt = i, qt +1 = j | O, λ ) = t P(O | λ ) α (i )aij bi (t + 1) βt +1 ( j ) α t (i )aij b j (t + 1) βt +1 ( j ) (2.13) = N N ξt( n ) (i, j ) = t P(O | λ ) ∑∑ αt ( x)axyby (t + 1)β t +1 ( y) x =1 y =1 N Bước 3: Xác suất trạng thái i thời điểm t: γ t (i ) = ∑ ξt (i, j ) (2.14) j =1 Bước 4: Cập nhật lại giá trị tham số cho mô hình Xác suất trạng thái i trạng thái bắt đầu πi: π i = γ (i ) (2.15) T −1 ∑ ξ (i, j) Xác suất chuyển trạng thái: t aij = t =1 T −1 (2.6) ∑ γ (i) t t =1 ∑ γ (i) t Xác suất phát ra: bik = ot = k T (2.17) ∑ γ (t ') t t '=1 Hình 2.5 Sơ đồ huấn luyện cho N lớp mô hình HMM với N tập mẫu độc lập khác Thuật toán 2.4 thực huấn luyện liệu cho lớp với tập liệu riêng tương ứng Quá trình huấn luyện liệu minh họa Hình 2.5 Thuật toán 2.4: Thuật toán huấn luyện liệu Dữ liệu vào: n liệu cho n lớp, với có m véc tơ đặc trưng O1, O2, , Om Dữ liệu ra: n mô hình λi (1 ≤ i ≤ n) Phương pháp: Bước 1: Huấn luyện n liệu cho n mô hình HMM For i = to n Thực thuật toán 2.3 m véc tơ đặc trưng O1, O2, , Om cho lớp thứ i; Bước Kết thúc Ta có n mô hình HMM (λ1, λ2, , λn) 2.3.3 Nhận dạng ký hiệu ngôn ngữ dựa vào mô hình Markov ẩn Sau mô hình HMM lớp huấn luyện Từ chuỗi quan sát chuyển động đối tượng Thuật toán 2.5 dùng để ước lượng độ tương tự ứng dụng để nhận dạng liệu thực nghiệm mô tả Hình 2.6 Thuật toán 2.5: Thuật toán Viterbi(λ, O) Dữ liệu vào: Chuỗi quan sát O = (o1, o2, ,oT) , mô hình λ = (A, B, π) Dữ liệu ra: Chuỗi trạng thái Q* , xác suất p*(λ| O) Phương pháp: Bước 1: Khởi tạo δ1(i) = pi bi(o1) ψ1(i) = , i =1, , N Bước 2: For t = to T-1 δt (j) = maxi [δt - 1(i) aij] bj(ot) ψt(j) = arg maxi [δt - 1(i) aij] Endfor Bước 3: Kết thúc p* = maxi [δT(i)] q*T = arg maxi [δT(i )] Bước 4: Kết quả: q*t = ψt+1(q*t+1) với t = T - 1, T - , , Thuật toán 2.6: Thuật toán nhận dạng ngôn ngữ cử Dữ liệu vào: Chuỗi quan sát O N mô hình HMM (λ1, λ2, λN) Dữ liệu ra: Tên lớp tương ứng với chuỗi quan sát O Phương pháp: Bước 1: Giá trị ban đầu pmax = p*(λ1 | O); //Thực thuật toán 2.5 với liệu vào Viterbi (λ1, O); Bước 2: Lặp lại For i = to n if pmax < p*(λi|O); // Thực thuận toán 2.5 với liệu vào Viterbi(λi, O); pmax = p*(λi|O); k:=i; endif endfor Bước 3: Kết thúc Tên lớp ngôn ngữ cử tương ứng với chuỗi quan sát O có p*(λi|O) lớn Trong thuật toán 2.6 trên, giá trị p*(λi|O) kết có sau thực Thuật toán 2.5 liệu vào với mô hình HMM λi chuỗi quan sát O Hình 2.6 Sơ đồ trình nhận dạng cử ngôn ngữ Thiết kế xây dựng thệ thống Hệ thống xây dựng ngôn ngữ lập trình C# 2010 Microfoft số gói công cụ hỗ trợ dạng mã nguồn mở bên thứ ba như: Emgu CV Accord.NET Framework Hình 3.1 Giao diện hệ thống Hệ thống bao gồm chức sau đây: • Thu hình ảnh từ camera, phát đối tượng màu sắc định theo dõi đối tượng để lấy quỹ đạo chuyển động đối tượng • Sau hệ thống lấy quỹ đạo chuyển động đối tượng, tự động tiền xử lý liệu thuật toán 2.1 trích chọn đặc trưng thuật toán 2.2 Tập véc tơ đặc trưng • • • thu lớp lưu vào tệp văn thư mục tương ứng với tên lớp ký tự dùng để huấn luyện lưu vào tệp văn riêng dùng để nhận dạng Khi liệu ban đầu lớp tạo ra, hệ thống để huấn luyện liệu cho lớp Chức huấn luyện liệu xây dựng thuật toán 2.5 Dữ liệu mô hình HMM sau huấn luyện lưu trữ tệp có cấu trúc nằm thư mục lớp để phục vụ cho trình nhận dạng Hệ thống nhận dạng lúc nhiều mẫu liệu tạo lập tệp riêng trước đưa kết thống kê số liệu nhận dạng sai tệp văn kết Hệ thống nhận dạng trực tiếp đưa kết sau nhận dạng giao diện chương trình Kết ký tự nhận dạng hiển thị hình hình ảnh từ camera Chức mô video clip upload trang youtube chỉ: https://www.youtube.com/watch?v=0zCTP9szFPM Sau thiết kế xây dựng hệ thống, tiến hành tạo liệu tương ứng với số trạng thái mô hình HMM 10, 18 36 Với 36 ký tự gồm 10 ký tự số từ “0” đến “9” 26 ký tự chữ từ “a” đến “z” Mỗi chia thành hai phần, phần dùng cho huấn luyện, phần cho nhận dạng Số liệu liệu thể bảng 3.1 sau: Bảng 3.1 Số liệu liệu dùng để huấn luyện nhận dạng Số trạng thái 10 18 36 Tổng số mẫu 791 780 870 Huấn luyện 45% 46% 41% Nhận dạng 55% 54% 59% Kết thực nghiệm Chúng tiến hành thực nghiệm hệ thống với liệu tạo trình bày Mục Hình 4.1 Tạo lập liệu thực nghiệm Các số liệu cụ thể liệu kết nhận dạng trình bày bảng 4.1 Với kết sau thực nghiệm liệu thể Bảng 4.1 trên, đánh giá kết nghiên cứu thuật toán tiền xử lý liệu, thuật toán trích chọn đặc trưng, xây dựng tham số cho mô hình HMM, lựa chọn ứng dụng thuật toán huấn luyện, thuật toán nhận dạng phù hợp với liệu mà tạo Bảng 4.1 Kết thực nghiệm Số trạng thái Số mẫu huấn luyện Số mẫu nhận dạng Số mẫu nhận dạng sai Tỷ lệ 10 360 431 42 90,3% 18 360 420 25 94,0% 36 360 510 98,4% Trung bình 360 453 25 94.2% Trong Bảng 4.1 thấy tỷ lệ nhận dạng sai tăng số trạng thái mô hình HMM giảm, điều phù hợp với nhận định ban đầu số trạng thái chuỗi trạng thái kết nhận dạng có nhiều trạng thái bị lặp lại làm cho xác suất chuỗi trạng thái lớp gần nên dẫn đến kết phân lớp bị sai lệch Từ kết nghiên cứu lý thuyết mô hình HMM, xây dựng cài đặt hệ thống thực nghiệm đưa số nhận xét đề tài sau: • Số trạng thái mô hình HMM tốc độ thực hệ thống nhanh kết nhận dạng hệ thống thấp ngược lại Số lượng ký hiệu quan sát phân biệt mô hình HMM nhiều độ xác • hệ thống cao số lượng ký hiệu quan sát nhiều ảnh hưởng đến tốc độ hệ thống • Độ dài chuỗi quan sát (quỹ đạo) có ảnh hưởng đến kết hệ thống Nếu chuỗi quan sát dài gây nên tượng lặp lại trạng thái kết nhận dạng, độ dài chuỗi quan sát ngắn làm giảm tỷ lệ nhận dạng Ngoài độ dài chuỗi quan sát phụ thuộc vào hình dáng ký tự cần nhận dạng • Một số điều kiện khác làm ảnh hưởng đến kết hệ thống như: tốc độ độ phân giải camera, cường độ ánh sáng môi trường, khoảng cách từ đối tượng chuyển động đến camera, tương phản màu sắc đối tượng màu • Ngoài hình dáng quỹ đạo số ký tự ảnh hưởng đến kết nhận dạng ví dụ hình dáng ký tự chữ “o” ký tự chữ số “0” tương đối giống nên không quy định chiều quỹ đạo thực cử viết hai ký tự hệ thống khó để nhận dạng chúng Kết luận Trong báo nghiên cứu vấn đề ứng dụng mô hình HMM nhận dạng ngôn ngữ cử có ý nghĩa ký tự thông qua quỹ đạo chuyển động liên tục đối tượng Chúng xây dựng thuật toán tiền xử lý liệu, thuật toán trích chọn đặc trưng ứng dụng thuật toán Baum-Welch thuật toán Viterbi để xây dựng thuật toán huấn luyện liệu nhận dạng quỹ đạo chuyển động đối tượng Chúng xây dựng hệ thống cho phép tạo lập liệu dùng để huấn luyện nhận dạng Kết thực nghiệm liệu giúp cho có đánh giá nhận xét sát hệ thống Với kết nghiên cứu mà đạt trên, kết luận kết áp dụng việc xây dựng ứng dụng giao tiếp người – máy tính Trong thời gian tới tiếp tục nghiên cứu đề tài để ứng dụng vào thực tế nhằm xây dựng ứng dụng giao tiếp với máy tính ngôn ngữ cử giúp cho người sử dụng máy tính thực thao tác với máy tính từ xa thông qua thiết bị camera cử mà không cần sử dụng đến thiết bị nhập liệu thông dụng chuột bàn phím 10 Tài liệu tham khảo 10 A.A Randive, H B Mali, S D Lokhande (2012), “Hand Gesture Segmentation”, International Journal of Computer Technology and Electronics Engineering (IJCTEE), Vol.2, pp.125-129 A.Elmezain, A Al-Hamadi (2007), “Gesture Recognition for Alphabets from Hand Motion Trajectory Using Hidden Markov Models”, IEEE International Symposium on, pp.1209-1214 Antonis A Argyros, Manolis I.A Lourakis (2006), “Vision-Based Interpretation of Hand Gestures for Remote Control of a Computer Mouse”, ECCV'06 Proceedings of the 2006 international conference on Computer Vision in Human-Computer Interaction, pp.40-51 Ch.Srinivasa Rao, S.Srinivas Kumar and B.Chandra Mohan (2010), “Content Based Image Retrieval Using Exact Legendre Moments And Support Vector Machine”, International journal of multimedia & Its applications (IJMA), Vol 2, pp.69-79 Feng-Sheng Chen, Chih-Ming Fu, Chung-Lin Huang (2003), “Hand gesture recognition using a real-time tracking method and hidden Markov models”, Institute of Electrical Engineering, National Tsing Hua University, Hsin Chu 300, Taiwan, ROC Vol.21, pp.745–758 J M Palacios, Carlos Sag, Eduardo Montijano and Sergio Llorente (2013), “Human-Computer Interaction Based on Hand Gestures Using RGB-D Sensors”, This article belongs to the Special Issue State-of-the-Art Sensors Technology in Spain, ISSN 1424-8220, pp.11843-11860 Mahmoud Elmezain, Ayoub Al-Hamadi, and Bernd Michaelis (2009), “Hand Gesture Recognition Based on Combined Features Extraction”, World Academy of Science, Engineering and Technology, Vol.3, pp.853-858 Mahmoud Elmezain , Ayoub Al-hamadi , Bernd Michaelis (2008), “A Hidden Markov Model-Based Isolated and Meaningful Hand Gesture Recognition”, World Academy of science, engineering and technology, Vol 31, pp.394-401 Nguyen Dang Binh, Enokida Shuichi and Toshiaki Ejima (2005), “Real-Time Hand Tracking and Gesture Recognition System”, IGGST International Journal on Graphics, Vision Image Processing, Vol.6, pp.31-39 Nianjun Liu, Brian C Lovell, Peter J Kootsookos, and Richard I.A Davis (2004), “Model Structure Selection & Training Algorithms for a HMM Gesture Recognition System”, Frontiers in Handwriting Recognition, 2004 IWFHR-9 2004 Ninth International Workshop, ISSN:1550-5235, pp.100-105 RESEARCH ON RECOGNITION OF GESTURES LANGUAGE THROUGH CONSECUTIVE TRAJECTORY MOTION OF THE OBJECT BY HIDDEN MARKOV MODEL Duong Khac Huong, Nguyen Dang Binh Le Quy Don High school - Khanh Hoa province Faculty of Information Techgnology – Hue Univeristy of Sciences – Hue University khduong.lqd@gmail.com, dangbinh@gmail.com Abstract: Consecutive motion trajectory of the object recognition is a new field of computer vision in scientific researching, mainly for the purpose of using gestures language recognition between human interaction – computer (HCI) In this paper we propose a recognition system of gestures language based on the motion trajectory of the object detected by color Using Hidden Markov Model (HMM) for the training and recognition from motion trajectory of the object moves Our system is divided into five main steps: Segment of images from the sequence moves through cameras to detect motion trajectory of the object; pre-processing and extract features for motion trajectory of the object using the proposed algorithm to create the initial input for HMM parameters Baum-Welch algorithm learning process and motion trajectory recognize by the Viterbi algorithm; System design and creation of experimental data analysis The experimental results show the proposed system can successfully identify the discrete gestures with its recognition and motion trajectory and the recognition result was 98.4% on experimental data sets Keywords: Gestures Recognition, Objects Recognition, Character Recognition, Computer Vision, Human Computer Interaction 11