Đang tải... (xem toàn văn)
Bài báo này đề xuất phương pháp xử lý hình ảnh sau khi thu nhận và áp dụng kỹ thuật phân tích thành phần chính PCA (Principle Component Analysis) để nhận dạng cử chỉ dựa trên các hình ảnh sau khi xử lý đó. Các kết quả thực nghiệm cho thấy hệ thống đề xuất đã đạt được tỉ lệ nhận dạng cao. Mời các bạn cùng tham khảo!
Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Ứng dụng PCA nhận dạng cử tay ngôn ngữ tiếng Việt Nguyễn Thị Hương Thảo, Vũ Hữu Tiến, Nguyễn Ngọc Minh, Vũ Văn San Học Viện Cơng Nghệ Bưu Chính Viễn Thơng Email: {thaonth, tienvh, minhnn, sanvv}@ptit.edu.vn Tóm tắt—Hiện nay, cử tay mối quan tâm người khiếm thính họ sử dụng ngơn ngữ cử để giao tiếp với giao tiếp với người bình thường Đối với người bình thường khơng biết gặp khó khăn với ngơn ngữ cử người khiếm thính cần phải có thơng dịch viên hỗ trợ q trình giao tiếp Do đó, hệ thống nhận dạng ngôn ngữ cử bàn tay tự động cần thiết để giúp đỡ người khiếm thính hịa nhập vào sống bình thường Về mặt kỹ thuật, nhận dạng ngôn ngữ cử tốn tồn diện phải có kết hợp giai đoạn thu nhận ảnh, xử lý ảnh, phân tích nhận dạng ảnh Bài báo đề xuất phương pháp xử lý hình ảnh sau thu nhận áp dụng kỹ thuật phân tích thành phần PCA (Principle Component Analysis) để nhận dạng cử dựa hình ảnh sau xử lý Các kết thực nghiệm cho thấy hệ thống đề xuất đạt tỉ lệ nhận dạng cao Từ khóa—PCA, nhận dạng cử chỉ, VSL I GIỚI THIỆU Ngôn ngữ cử loại ngôn ngữ sử dụng cử bàn tay, biểu cảm khuôn mặt chuyển động thể để truyền đạt ý nghĩa người khiếm thính với với người bình thường Ngơn ngữ cử tay sử dụng nhiều ứng dụng khác tương tác người – máy, thực ảo, trò chơi tương tác Vì nhận dạng ngơn ngữ cử lĩnh vực thu hút nhiều nhà nghiên cứu tập trung tìm hiểu Điều giúp cho người khiếm thính có hội giao tiếp với người bình thường cách dễ dàng Nhiều nghiên cứu trước thực với ngôn ngữ khác ngôn ngữ cử Mỹ Latin, ngôn ngữ cử Ấn Độ, ngôn ngữ cử Anh Tuy nhiên chưa có nhiều báo đề cập đến ngơn ngữ cử Tiếng Việt VSL (Vietnamese Sign Language) Bài báo đề xuất hệ thống nhận dạng cử tay mà người sử dụng không cần phải sử dụng thiết bị chuyên dụng găng tay mà thực cử tay trần trước camera cố định sẵn Hệ thống thực nhận dạng chữ Tiếng Việt qua cử bàn tay tĩnh cách sử 136 ISBN: 978-604-67-0635-9 136 dụng kỹ thuật PCA Hệ thống nhận dạng cử tay có bốn giai đoạn: thu nhận liệu, mơ hình hóa cử chỉ, trích chọn đặc trưng nhận dạng Thu nhận liệu thực cách sử dụng găng tay Găng tay liệu sử dụng cảm biến (cơ quang) gắn vào găng tay để chuyển đổi cử ngón tay thành tín hiệu điện Từ xác định vị trí tương ứng ngón tay Cử tay thu nhận camera/webcam/Kinect 3D Cách có giá thành thấp người sử dụng tạo cử cách dễ dàng Trong số cơng trình nghiên cứu trước sử dụng ảnh tĩnh để phân tích nhận dạng, họ thường sử dụng camera để bắt giữ hình ảnh Tuy nhiên, phương pháp khơng thích hợp thực tế Đối với ứng dụng thời gian thực thường sử dụng webcam để bắt giữ chuỗi video cử động bàn tay Trong phương pháp này, khung hình phân tích để tách ảnh cử bàn tay Vấn đề phương pháp tìm khung hình chứa cử cuối Sau giai đoạn thu nhận liệu mơ hình hóa cử Bàn tay cần mơ hình hố để xử lý cách xác Các mơ hình khác lựa chọn tùy theo ứng dụng cụ thể Giai đoạn thực phân vùng bàn tay tiền xử lý Phân vùng bàn tay thực tách bàn tay khỏi ảnh tiền xử lý trình cải thiện chất lượng ảnh cắt vùng liên quan để xử lý Quá trình phân vùng xác giúp trích chọn đặc trưng hồn hảo Phương pháp trích chọn đặc trưng xem xét kỹ lưỡng tùy vào ứng dụng khác Giai đoạn cuối hệ thống nhận dạng cử tay phân loại cử Có nhiều phương pháp phân loại Mơ hình Markov ẩn HMM, phân tích thành phần PCA, phân loại theo khoảng cách, mạng neural Nhận dạng cử tay gồm nhiều kỹ thuật khác [1] Các nhà nghiên cứu sử dụng kỹ thuật khác đạt độ xác cao Phương pháp tài liệu [2] đề xuất hệ thống nhận dạng ngôn ngữ cử Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thơng Tin (ECIT 2015) Hình Sơ đồ hệ thống nhận dạng đề xuất Hình Bảng ký hiệu ngôn ngữ cử tiếng Việt Ấn Độ video trực tiếp sử dụng trị riêng vector riêng để trích chọn đặc trưng Jayashree R.Pansare đồng nghiệp [3] đề xuất hệ thống nhận dạng cử tay tĩnh thời gian thực ngôn ngữ cử Mỹ Latinh phức tạp Hệ thống thực tiền xử lý ảnh với lọc trung vị tốn tử hình thái, trích chọn đặc trưng sử dụng centroid phân loại sử dụng khoảng cách Euclidean S.Nagarajan T.S.Subashini [4] giới thiệu hệ thống nhận dạng cử bàn tay tĩnh mô tả chữ ngơn ngữ ký hiệu Mỹ Đóng góp báo sử dụng lược đồ xám hướng biên để trích chọn đặc trưng nhận dạng SVM nhiều lớp nhiên hệ thống thực với đồng [5] đề xuất hệ thống nhận dạng ngôn ngữ Đài Loan với hai loại cử tay tĩnh động sử dụng SVM HMM, nhiên hệ thống yêu cầu người sử dụng phải đeo găng tay màu trình thu nhận ảnh Bài báo đề xuất hệ thống nhận dạng cử bàn tay dựa kỹ thuật PCA ngôn ngữ tiếng Việt đánh giá tính hiệu phương pháp sử dụng khoảng cách Euclidean để phân loại Trong q trình mơ hình hóa cử chỉ, báo đề xuất phương pháp tách bàn tay khỏi nền, giúp cho q trình nhận dạng xác Bài báo cấu trúc sau Phần II đề xuất hệ thống nhận dạng cử tay Các kết thực nghiệm mơ tả phân tích mô tả phần III Cuối kết luận đưa phần IV A Thu nhận liệu Giai đoạn hệ thống thu nhận liệu Ảnh thu nhận camera máy tính với độ phân giải Megapixel Người sử dụng thực cử tay trần trước camera khoảng cách 1m Để chụp ảnh tĩnh cử chỉ, hệ thống sử dụng giải pháp thông báo để người sử dụng giữ nguyên tư bàn tay khoảng 5ms Trong thí nghiệm này, hệ thống thử nghiệm với ảnh cử tay mô tả 25 chữ tiếng Việt Cơ sở liệu gồm 250 ảnh tương ứng với 25 lớp chữ Mỗi lớp chữ gồm 10 ảnh thực hai người khác điều kiện ánh sáng khác trắng đơn giản Tập sở liệu ngơn ngữ Tiếng Việt cho hình B Chuẩn hóa liệu Sơ đồ khối tầng chuẩn hóa hình ảnh mơ tả hình Để nhận dạng hình ảnh, trước giai đoạn nhận dạng, hình ảnh phải chuẩn hóa để hệ thống rút đặc trưng ảnh Trong hệ thống đề xuất, ảnh chuẩn hóa ảnh nhị phân có kích thước 100x100 Để phân vùng cử tay, ảnh RGB đầu vào chuyển thành ảnh YCrCb với mục đích sử dụng hai kênh màu Cr Cb để chọn vùng da bàn tay Với việc sử dụng hai kênh màu vậy, ảnh xử lý bị tác động với thay đổi ánh sáng Trong hệ thống đề xuất, để chọn vùng da bàn tay, giá trị Cr chọn khoảng từ 146 đến 165 Cb chọn khoảng từ 140 đến 195 Do trình tách ảnh bàn tay dựa giá trị ngưỡng Cr Cb nên số vùng ảnh bị sai lệch, tạo II MƠ HÌNH HỆ THỐNG Sơ đồ hệ thống đề xuất mơ tả hình 137 137 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Vector phương sai ảnh tính sau: Φi = Γi − Ψ (2) Bước 2: Tính ma trận hiệp phương sai Ma trận hiệp phương sai C ảnh sở liệu tính sau: C= vùng trống ảnh Do ảnh sau tách xử lý để loại bỏ vùng trống không mong muốn Để đơn giản cho việc xử lý nhận dạng, ảnh YCrCb biến đổi sang ảnh nhị phân Quá trình giúp cho việc xử lý giảm từ ma trận Y, Cr, Cb xuống ma trận ảnh nhị phân Do việc chọn ngưỡng trình biến đổi nhị phân, ảnh xuất vùng khuyết không mong muốn Do việc loại bỏ vùng khuyết tiến hành lần Tuy nhiên, số ảnh, việc loại bỏ làm nội dung ảnh Vì vậy, thuật tốn tìm vùng trống lớn để giữ lại sử dụng để khơng làm thay đổi hình dạng đối tượng ảnh Cuối cùng, phép xử lý hình thái (phép đóng) sử dụng để hình ảnh đối tượng hồn chỉnh Φn ΦTn = AAT (3) n=1 ui = Avi , i = 1, 2, , M (4) vi vector riêng AT A Để đơn giản tính tốn, có K(K < M ) vector riêng (tương ứng với K trị riêng lớn nhất) giữ lại Trong báo này, chọn K = 30 để đảm bảo tính cân thời gian tính tốn độ xác nhận dạng Bước 4: Trích chọn đặc trưng ảnh Sau lựa chọn K vector riêng ảnh sở liệu, phương sai ảnh cử bàn tay sở liệu mô tả tổ hợp tuyến tính K vector riêng lớn C Trích chọn đặc trưng phân loại Trong giai đoạn nhận dạng sử dụng thuật tốn PCA để trích chọn đặc trưng ảnh phân loại ảnh đầu vào Cụ thể trị riêng vector riêng coi đặc trưng ảnh đầu vào Đối với giai đoạn phân loại, khoảng cách Euclidean sử dụng để so sánh đặc trưng ảnh đầu vào với đặc trưng ảnh lưu trữ sở liệu Ảnh sở liệu có khoảng cách Euclidean ngắn coi giống với ảnh đầu vào Các bước giai đoạn nhận dạng mô tả sau: Bước 1: Tính vector phương sai liệu Giả sử có M ảnh sở liệu để huấn luyện I1 , I2 , , IM Kích thước ảnh N XN Để tính trị riêng, ảnh Ii kích thước N XN xếp lại thành vector Γi kích thước 1XN Vector trung bình M ảnh tính sau: K ˆi = Φ λj uj , i = 1, 2, , K (5) j=1 λj = uTj Φj Mỗi ảnh cử bàn tay sở liệu mô tả vector: i λ1 λi2 (6) Ωi = , i = 1, 2, , M λiK Ωi vector đặc trưng ảnh cử bàn tay i sở liệu Bước 5: Phân loại M Γi M A = [Φ1 Φ2 ΦM ] Bước 3: Tính trị riêng vector riêng Trong báo này, kích thước ảnh 100X100(N = 100) có 250 ảnh sở liệu (M = 250) Vì vậy, kích thước ma trận hiệp phương sai C 1002 X1002 Đây ma trận có kích thước lớn việc tính vector riêng trị riêng phức tạp Để giảm khối lượng tính toán, [6] chứng minh M trị riêng AT A tương ứng với M trị riêng lớn AAT với vector riêng tương ứng M trị riêng AAT tính sau: Hình Các bước xử lý q trình mơ hình hóa hình ảnh cử Ψ= M M (1) i=1 138 138 Hội Thảo Quốc Gia 2015 Điện Tử, Truyền Thông Công Nghệ Thông Tin (ECIT 2015) Với ảnh cử bàn tay tính tốn sau: λ1 λ2 Ω= λK đầu vào, vector đặc trưng Ω BẢNG Ký tự , λi = uTi Φ A B C D Đ E G H I K L M N O P Q R S T U V X Y Dấu móc Dấu mũ Tổng (7) Φ giá trị ảnh đầu vào trừ ảnh trung bình cử bàn tay sở liệu Sau tách vector đặc trưng ảnh đầu vào, vector đặc trưng so với vector đặc trưng ảnh sở liệu dựa vào khoảng cách Euclidean Khoảng cách Euclidean tính sau: K er = Ω − Ωk = i=1 (λi − λki )2 (8) Ảnh sở liệu với er tối thiểu ảnh gần giống với ảnh đầu vào Ảnh giống coi kết trình đối sánh ảnh đầu vào Vì vậy, ký tự tương ứng với ảnh kết coi kết trình nhận dạng cử tay III MƠ PHỎNG VÀ PHÂN TÍCH KẾT QUẢ Để đánh giá hiệu sử dụng thuật toán PCA việc nhận dạng ngôn ngữ chữ tiếng Việt, mô thực tập sở liệu 250 ảnh mô tả 25 chữ tiếng Việt Tất ảnh chuẩn hóa cách cắt định lại kích cỡ 100 x 100 pixel Hệ thống kiểm tra với 25 ký tự với lớp ký tự gồm 10 ảnh thực đánh giá dựa tỉ lệ nhận dạng thành công Hệ thống VSL thực phần mềm MATLAB phiên 7.6, Windows 8.1, GB RAM webcam có độ phân giải Megapixel Bảng mô tả kết hệ thống đề xuất nhận dạng 25 chữ tiếng Việt với tỉ lệ thành công lên tới 80.4 % Kết tỉ lệ thành công chữ “B, D, H, O, T” thấp chúng có hình dạng giống Vì hệ thống nhận dạng nhầm Đối với chữ “A, E, K, L, N, P, Q, S, U, X” ảnh cử bàn tay có chất lượng tốt sau giai đoạn tiền xử lý Vì hệ thống đạt tỉ lệ nhận dạng cao chữ Ngoài ra, đối tượng ảnh cử tách đầy đủ chuẩn hóa tốt nên hệ thống đề xuất đạt tỷ lệ thành công cao so với phương pháp tài liệu [2] Bảng I SO SÁNH KẾT QUẢ NHẬN DẠNG Tỷ lệ thành công (%) (Phương pháp đề xuất) 100 50 75 50 75 100 80 50 75 100 100 75 100 50 100 100 75 100 50 100 75 100 75 75 80 80.4 Tỷ lệ thành công (%) (Phương pháp tài liệu [2]) 100 25 75 50 75 100 80 100 75 100 100 75 100 50 100 100 100 75 50 100 75 75 50 75 80 79.4 Kết mô cho thấy tỉ lệ nhận dạng thành công 80.4 % Kết cho thấy số chữ bị nhận dạng sai chúng có ảnh cử bàn tay giống Tuy nhiên, việc chuẩn hóa ảnh hợp lý sử dụng phương pháp PCA để nhận dạng, tỉ lệ thành công hệ thống đề xuất đạt cao so với số phương pháp trước TÀI LIỆU THAM KHẢO [1] A.R Sarkar , G Sanyal and S Majumder, Hand Gesture Recognition Systems: A Survey, International Journal of Computer Applications,vol 71,2013 [2] J Singha and K Das, Recognition of Indian Sign Language in Live Video, International Journal of Computer Applications, Vol 70, 2013 [3] J R Pansare, S H Gawande and M Ingle, Real-Time Static Hand Gesture Recognition for American Sign Language (ASL) in Complex Background,Journal of Signal and Information Processing, 2012, vol 3, 364-367 [4] S Nagarajan and T.S Subashini, Static Hand Gesture Recognition for Sign Language Alphabets using Edge Oriented Histogram and Multi Class SVM, International Journal of Computer Applications, vol82, 2013 [5] C Huang and B Tsai, A Vision-Based Taiwanese Sign Language Recognition, 20th International Conference onPattern Recognition (ICPR), 2010 [6] M Turk and A Pentland Eigenfaces for recognition, Journal of Cognitive Neuroscience, vol.3, no.1, pp 71-86, 1991 IV KẾT LUẬN Trong báo thực đánh giá hệ thống nhận dạng ngôn ngữ cử tiếng Việt sử dụng kỹ thuật PCA 139 139 ... thống nhận dạng ngôn ngữ Đài Loan với hai loại cử tay tĩnh động sử dụng SVM HMM, nhiên hệ thống yêu cầu người sử dụng phải đeo găng tay màu trình thu nhận ảnh Bài báo đề xuất hệ thống nhận dạng cử. .. Vì vậy, ký tự tương ứng với ảnh kết coi kết trình nhận dạng cử tay III MƠ PHỎNG VÀ PHÂN TÍCH KẾT QUẢ Để đánh giá hiệu sử dụng thuật toán PCA việc nhận dạng ngôn ngữ chữ tiếng Việt, mô thực tập... bàn tay dựa kỹ thuật PCA ngôn ngữ tiếng Việt đánh giá tính hiệu phương pháp sử dụng khoảng cách Euclidean để phân loại Trong q trình mơ hình hóa cử chỉ, báo đề xuất phương pháp tách bàn tay khỏi
