hệ thống chuyển đổi ngôn ngữ ký hiệu sang giọng nói và văn bản

MUC LUC Tom tắt nội dung dự Giới thiệu và tông quan đề tài cứu Giới thiệu Lý do chọn đề Mục đích cứu Đối tượng cứu Phương pháp cứu Tổng quan đề Trí tuệ tạo Ngôn ngữ lập Thư viện - Phầ

SO GIAO DUC VA DAO TAO THANH PHO DA NANG

HOI THI TIN HOC TRE THANH PHO DA NANG NAM

PHAN MEM SANG TAO KHOI D

TEN DE TAI

HE THONG CHUYEN DOI NGON NGU KY HIEU

SANG GIONG NOI VA VAN BAN

gia:

Pham — Lép Trần Phuong — Lop

Da Nang, thang năm

MUC LUC

Tom tắt nội dung dự

Giới thiệu và tông quan đề tài cứu

Giới thiệu

Lý do chọn đề

Mục đích cứu

Đối tượng cứu

Phương pháp cứu

Tổng quan đề

Trí tuệ tạo

Ngôn ngữ lập

Thư viện - Phần mềm — hỗ trợ

hinh Convolutional Neural Network ( Mang No tu)

Gia thiét khoa hoc

Giãn đồ lõi xử

Bộ dữ liệu (

Hệ thống nhận dạng và chuyền đỗi thủ ngữ

Hệ thống website “ ByYour Sign”

h kết quả và thảo luận

kết quả

Thảo luận

Tính năng nỗi bật

Khuyết điểm

Hướng phát triển

Kết luận

Tài liệu tham khảo

Tóm tắt nội dung dự án

Ngôn ngữ ký hiệu hay thủ ngữ là ngôn ngữ chủ yếu được cộng đồng người

iếm thính sử dụng nhằm chuyên tải thông tin qua cử chỉ, điệu bộ của cơ thé va

nét mặt thay cho lời nói Ngôn ngữ ký hiệu ở Việt Nam đã được hình thành từ

rất lâu nhưng có lẽ đến tận thời điểm hiện nay độ pho biến của nó chưa được

rộng rãi Điều này dẫn đến việc giao tiếp giữa người khiếm thính hay khiếm thị

và người bình thường gặp khó khăn Nắm bắt được nhu cầu này, dự án “ Hệ thống chuyển đổi ngôn ngữ ký hiệu sang giọng nói và văn bản ” được thực

hiện nhằm dễ dàng hóa việc nắm bắt thông tin được truyền đạt từ người khiếm

Mục tiêu của dự án là giúp cho những đối tượng chưa biết hay nắm rõ về thủ ngữ cập nhật nội dung cơ bản mà người khiếm thính muốn truyền tải và định

hình suy nghĩ của họ Cụ thé la, với dữ liệu hơn 10000 ảnh mẫu trong đó hơn 1⁄4

được sử dụng để testing, toàn bộ mô hình được phát triển qua hệ thống mạng lưới neural (CNN architecture) mô hình Deep Learning để nhan dang va phân

loại hơn 20 kí tự chữ cái với tỉ lệ chính xác cao, sau đó hiển thị dạng âm thanh hoặc văn bản tùy theo lựa chọn người

Đóng góp mới của nghiên cứu này là xây dựng một hệ thông không chỉ nhằm là một trình phiên địch ngôn ngữ mà còn hướng tới những đối tượng có niềm yêu thích và mong muốn tìm hiểu sâu hơn về ngôn ngữ kí hiệu qua hệ thống website

được thiết kế riêng phục vụ cho việc giới thiệu thủ ngữ đến với mọi nguoi

Giới thiệu và tông quan đề tài nghiên cứu

Giới thiệu

Lý do chọn đề

Có thể nói, đối với những người câm điếc, ngôn ngữ kí hiệu chính là tiếng mẹ đẻ của

họ Ngôn ngữ ký hiệu hay thủ ngữ là ngôn ngữ chủ yếu được cộng đồng người khiếm thính sử dụng nhăm chuyền tải thông tin qua cử chỉ, điệu bộ của cơ thể và nét mặt thay

ỜI HÓI

“Ở nước ta hiện có khoảng I đến 2,5 triệu người câm điếc và người khiếm thính tương đương với cả một tỉnh nằm trong nhóm I về quy mô dân số, như Bắc Ninh, Quảng

Ninh tuy nhiên có rất ít phiên dịch viên ngôn ngữ ký hiệu

Hiện nay, độ phố biến của thủ ngữ của nó chưa được rộng rãi, tại Hà Nội hiện chỉ có 6 người đạt đến trình độ có thê dịch các lĩnh vực cho nguoi diéc, trong cả nước con số ấy chưa đếm đủ mười đầu ngón tay Một con số quá nhỏ bé so với số lượng người câm điếc Thực trạng này khiến người điếc bị cô lập, dé tốn thương và bị phân biệt đối xử trong cộng đồng nói chung và trong khi tiếp cận dịch vụ như giải trí, y tế riêng.”

Hơn nữa, không kể những người có tính chất công việc đặc thù hay tình huống gia

đình thường xuyên giao tiếp với người khiếm thính, khiếm thanh thì những đối tượng

khác sẽ nhận thấy việc học thêm một ngôn ngữ là thủ ngữ thật sự mắt thời gian và công sức Vậy nên, khi có tình huống giao tiếp với người gặp khó trong việc nghe và

nói thì điều đó trở nên bắt cập và khó khăn

Xuất phát từ những lý do trên, nhóm chúng em đã chọn dé tai “Xdy dung hệ

thống chuyên đổi ngôn ngữ kí hiệu sang giọng nói và văn bản ” đễ nghiên cứu Mục dích nghiên cứu

Hệ thống như một trình phiên dịch ngôn ngữ, ở đây là thủ ngữ với mong muốn nhận dạng và phân loại kí hiệu sang dạng âm thanh và văn bản đề hỗ trợ việc trao đôi thông

tin giữa người khiếm thính, khiếm thanh và người bình thường, ta có thê cập nhật nội

cơ bản mà người khiếm thính muốn truyền tải và định hình suy nghĩ của họ Ngoài ra, hệ thống website được thiết kế nhằm tạo sự hứng thú cho mọi người về ngôn ngữ ký hiệu

Đối tượng nghiên cứu

Ngôn ngữ ký hiệu (hay còn gọi là “thủ ngữ”) bao gồm bảng chữ cái, số với những quy định riêng, các ước hiệu riêng iông như ngôn ngữ nói, ngôn ngữ ký hiệu có những đặc điểm ngữ pháp riêng biệt hông chỉ người khiếm thị mà những người câm, điếc

c ng có thể nói chuyện, giao tiếp với mọi người nhờ hệ thống ngôn ngữ ký hiệu

ANT ee

zs

{' Y A-+osu ea Actoau nav /E +04u mol LÍ + oxu nàuj DẤU RAU | DAUMO = = = =

O +040 na C+ Au wed

VI DỤ: TÔI LA NHUNG

19+14+26+9 11+1+24 13+8+13+7

Meee SAKE YRMAY

Ảnh 1: Hệ thông chữ cái bằng ngôn ngữ kí hiệu

Phương pháp nghiên cứu

e_ Thu thập bộ dữ liệu với hơn 10000 ảnh đề tạo

e_ Nghiên cứu và phát triển các thuật toán ứng dụng Deep Learning để có thể cho tỉ lệ chính xác cao

e©_ Dựa vào công nghệ và các công cụ được cung cấp săn có đề có xây dựng

hệ thống website với các tính năng bô ích và lý thú hướng đến các đối tượng có niềm yêu thích với thủ ngữ

Tổng quan đề tài

Trí tuệ nhân tạo

Trí tuệ nhân tạo hay trí thông minh nhân tạo (Artifcial intelligence — viết tắt là AT) là một ngành thuộc lĩnh vực khoa học máy tính (Computer sclence) Là trí tuệ do con người lập trình tạo nên với mục tiêu giúp máy tính có thê tự động hóa các hành vi thông minh như con người Cụ thẻ, trí tuệ nhân tạo giúp máy tính có được những trí tuệ của con người như: biết suy nghĩ và lập luận đề giải quyết vấn đề, biết giao tiếp do hiểu ngôn ngữ, tiếng nói, biết học và tự thích nghĩ

2.2 Ngôn ngữ lập trình: Python

Python là ngôn ngữ lập trình hướng đối tượng, cấp cao, mạnh mẽ, được tạo ra bởi uido van Rossum Nó dễ dàng để tìm hiểu và đang nỗi lên như một trong những ngôn ngữ lập trình nhập môn tốt nhất cho người lần đầu tiếp xúc với ngôn ngữ lập trình Python hoàn toàn tạo kiểu động và sử dụng cơ chế cấp phát bộ nhớ tự động Python có cấu trúc dữ liệu cấp cao mạnh mẽ và cách tiếp cận đơn giản nhưng hiệu quả đối với lập trình hướng đối tượng Cú pháp lệnh của Python là điểm cộng vô cùng lớn

vì sự rõ ràng, dễ hiểu và cách gõ linh động làm cho nó nhanh chóng trở thành một ngôn ngữ lý tưởng để viết script và phát triển ứng dụng trong nhiều lĩnh vực, ở hầu hết các nền tảng

Thư viện - Phần mềm — API hỗ trợ

Các thư viện và phân mềm tiên quyêết cho dự án ngôn ngữ ký hiệu gom:

e Numpy (phiên bản

° python (phiên bản

e cras (phiên bản

® Tensorflow (phiên bản

® Matplotlib (phiên bản

© Django (phién bản

hinh Convolutional Neural Network ( Mang No tu)

fe_3 fc_4 Fully-Connected Fully-Connected

Conv_1 Conv_2 ReLU activation

Convolution Convolution l ——`

(S x 5) kernel Max-Pooling (S x 5) kernel Max-Pooling (with

valid padding (2x2) valid padding (2x2) dropout)

© ®o

@ > ®:1

@ /@2

(28 x 28 x 1) (24 x24 x n1) (12 x 12 x n1) (8x8xn2) (4x4xn2) @ output

n3 units

Convolutional Neural Network (CNN hoac ConvNet) duoc tam dich la: Mang

no ron tích tụ Đây được xem là một trong những mô hình của Deep Learning — tập hợp các thuật toán để có mô hình đữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng nhiều lớp xử lý cấu trúc phức tạp Hiểu đơn giản, CNN là một lớp của mạng nơ sâu , được áp dụng phố biến nhất để phân tích hình ảnh trực quan Hiện tại, chúng ta chưa có định nghĩa một cách chính xác nhất về thuật toán CNN Mạng CNN được thiết

kế với mục đích xử lý dữ liệu thông qua nhiều lớp mảng Ngoài ra, CNN có thể giúp tạo ra được hệ thống thông minh, phản ứng với độ chính xác khá cao So với những mạng nơ ron thông thường, mạng CNN nhận đầu vào là một mảng hai chiều và hoạt động trực tiếp trên hình ảnh thay vì tập trung trích xuất tính năng thường thấy ở các

Mang no ron

Gia thiét khoa hoc

Đề tối giản cơ sở vật chất thì cần tập trung mạnh vào công nghệ để dam bao hiệu quả

Đề đề tài nhận diện và chuyền đổi các ký hiệu với độ chính xác cao, cần đầu tư mạnh vào bộ dữ liệu để xây dựng

Đề đề tài đạt hiệu suất cao mà không đòi hỏi quá nhiều ở cơ sở vật chất, cần tập trung vào việc phát huy mọi tiềm lực ở mọi khâu của công nghệ,

Đề chứng minh được giá trị của đề tài, cần phải hợp tác với các đơn vị hỗ trợ

o người khuyết tật dé thử nghiệm, đánh giá và tiếp tục phát triển

Thiết kế nghiên cứu

Giãn đồ lõi xứ lí

e Những ngày đầu khi mới bắt đầu tìm hiểu về Deep Learning, các kiến thức và

kỹ thuật về train model còn sơ sài, chúng em đã xây dựng mạng lưới nơ Neural Network Architecture) kha don giản và tỉ lệ chính xác chỉ khoảng 65%

với chỉ gần 2000 tâm ảnh sử dung dé train va

Background Flatten Subtraction

Tách nên

Bộ dữ liệu Dense Layer

Grayscale Coversion ;

Dense Layer

Thresholding Phân ngưỡng ảnh Dense Dropout

Layer

Dense Layer

Anh 2: So dé hé théng xw li (1)

e Sau dé khi da tim hiéu sau hon vé Convolution Neural Network , chúng em đã thử xây dựng lại mô hình với bản nâng cấp trong Convolutional Model dé cho

độ chính xác cao hơn với tỉ lệ khoảng

DATA DATASET

PREPROCESSING SPLITING CONVOLUTIONAL MODEL

Ảnh 3: Sơ đồ hệ thông xử lí

Bộ dữ liệu ( Dataset )

ồm 17113 ảnh chữ cái , chia thành 27 nhãn Mỗi nhãn là kí hiệu tay cho mỗi chữ

Bộ đữ liệu được chia theo tỉ lệ để thực hiện công việc xây dựng model vả kiểm tra như

120

g0 100

20

0

OABCDEFGHI JKLMNOPQRSTUVWXYZ 0ABCDEFGHIJKLMNOPQRSTUVWXYZ

0 0

Ảnh 4: Tỉ lệ ảnh training Ảnh 5: Tỉ lệ ảnh

Kết quá nghiên cứu

e _ Hệ thống nhận dang và chuyền đổi thủ ngữ

Với hệ thông xử lí (1) chúng em mất hơn 3 tiếng đề hoàn thành việc training ma không có sự hỗ trợ của hệ thông ngoài như

[ 57.40%

/

Ảnh 6: Nhận diện chữ cái và tỉ lệ chính xác

Với hệ thống xử lí (2) , bằng thư viện vẽ đồ thị matplotlib chúng em thấy được tỉ lệ chính xác như

0.4 - “—==_ train accuracy

—" wal_accuracy

€ G = © 127.00.1:8000/convert

Xin chào

BY YOUR SIGN

Trangchủ Giớithiu Bàihọc Thưưiệnảnh GocFAQ Liênhệ

Ảnh 8: Nhận diện thành công chữ C

© Hé thong website “ By Your Sign”

— 1ao diện đăng nhập và đăng

PO z6 ve x [+

€ G @ 127001:2000/dangrhap

Tên tài khoản

Mật khâu

NG

Chưa 0 tai khoan ? S bx

ẾT D troarenae,‹ x

€ CG 9Ø

Tên của bạn

Email

Sö điện thoại

Mật khâu

Nhập lại mật khấu

- 8 X

¿ ®9%8-

by your sign

— 1ao diện chính của website chảo đón người

m | LD) Sign Language x i+ - g8 xX G_ @ 1270012000 % ££ ® @

XIn chào, TLPLinh

BY YOUR SIGN Trangeh Giớithiu Bảihọc Thưưiệnảnh GócFAQ Liênhệ =D

| BY YOUR SIGN aa Đisugidy £ Định hướng

tượng chưa biết hay ảnh mẫu trong đó hơn j :

em mong muốn có thể

Sau đây là một sô giao diện phục vụ cho việc tìm hiệu ngôn ngữ kí hiệu

1B | D Sontargusge x i+ - 0x

G = © 127.00.1:8000 % ¢ @ ©

BY YOUR SIGN Tragchủ GiớthiệU Bàihọc Thưưệnảnh GócFAQ Lênhệ

,

Ngôn ngữ kí hiệu Việt Nam

Ngôn ngữ ký hiệu Việt Nam là tên gọi ba ngôn ngữ ký hiệu được phát triển bởi các cộng đồng khiếm thính tại Thành phố Hồ Chí Minh, Hà Nội, và

Hải Phòng ở Việt Nam Các ngôn ngữ này trực thuộc một khu vực cũng bao gồm các ngôn ngữ ký hiệu của Lào và Thái Lan, nhưng người ta chưa

biết các ngôn ngữ này có liên quan với nhau Các ngôn ngữ ký hiệu Việt Nam đã chịu ảnh hưởng từ ngôn ngữ ký hiệu Pháp Các ngôn ngữ ký hiệu

Thành phố Hồ Chí Minh và Hà Nội dùng chung vào khoảng 58% từ vựng cơ bản, trong khi các ngôn ngữ TPHCM và Hải Phòng dùng chung vào

khoảng 54% từ vựng cơ bản Từ những năm 2000, Việt Nam bắt đầu triển khai những nỗ lực của mình nhằm hoàn thiện và hệ thống hóa ngôn ngữ

ký hiệu Việt Nam Các câu lạc bộ, nhóm dạy, và sinh hoạt ngôn ngữ ký hiệu bắt đầu hình thành và nở rộ Một số tài liệu khá công phu xuất hiện

như: bộ 3 tập Ký hiệu cho người điếc Việt Nam, từ điển ngôn ngữ ký hiệu Việt Nam

Theo Wikipedia về Ngôn ngữ kí hiệu Việt Nam

Ảnh 10: Trang giới thiệu

€ CG D 127.0.0.1:8000

BY YOUR SIGN Trangeh = Gidithiéu « Baihoe Thưưiệnảnh GócFAQ Liênhệ

Những câu hỏi thường gặp

Học thủ ngữ có khó khõng ?

Ngoài ngôn ngữ kí hiệu, chúng ta có thé giao tiếp với người khiếm thị bằng cách nào nữa không ?

Ngõn ngữ kí hiệu ở mỗi vũng miễn cõ giỗng nhau không ?

Các từ như xanh nhat, xanh mon mén , ngôn ngữ kí hiều có thế dién tả được không ?

Ngôn ngữ kí hiệu có ngữ phép không ?

A Q

Anh 11: 6c FAQ

1D Sign Language x =

& G = © 1270012000

BY YOUR SIGN Trangchủ Giớithiêu Bàihọc Thưvưiênảnh GócFAQ Liênhệ

Thư viện ảnh

Ảnh 12: Thư viện ảnh

Phân tích kết quả và thảo luận

Phân tích kết quả

Trong bước đầu của dự án, chúng em đã phần nảo nhận diện và phân loại bộ bảng chữ cái gồm 27 kí hiệu và chuyên đổi sang dạng văn bản và giọng nói Tuy

nhiên, vì thời gian nghiên cứu đề tài khá ngắn (2 tháng) và kiến thức vẫn còn nhiều

hạn chế, nên qua một vài bài testing, chúng em nhận thay rang tỉ lệ nhận dạng chính xác chưa cao, thấp hơn khi nhận dạng nhiều kí tự củng một lần nên chúng em cần phải

cải thiện bộ xử lý nhiều hơn

Thảo luận

Tính năng nỗi bật

Sau khi tính toán kĩ các khả năng thực hiện ý tưởng và so sánh với các sản phẩm trước đây, chúng em sản phâm này có một so những ưu điêm so với các sản phâm tương tự trước đây:

Xây dựng hệ thông website bắt mắt tạo niềm yêu thích cho mọi người về ngôn ngữ kí hiệu

Dễ sử dụng, quản

Hệ thống web server đã deploy được chương trình chạy nhận dạng

Khuyết điểm

Bộ dữ liệu vẫn chưa nhiều hạn chế chưa

sự tốt

Số lượng kí hiệu trong hệ thống chưa được đa dạng

Độ chính xác chưa được cao, đặc biệt khi nhận dạng nhiều ký hiệu một lần

Hệ thống website với cơ sở đữ liệu server quy mô nhỏ

Hướng phát triển

Sau quá trình nghiên cứu bị hạn chế về mặt thời gian e ng như chuyên môn nên sản phẩm van chưa có thê đạt đến được như sự mong đợi, e ng như đề tài cần thêm thời gian và công sức nghiên cứu và theo đó, c ng cần dựa trên những đánh gia khách quan

nh khoa học đề có thể kết luận được Đây sẽ là những bước tiếp theo để hoàn thiện:

Tiếp tục nghiên cứu và hoàn thiện giao diện của hệ thông website dé thu hut

sự quan tâm của nhiều người về thủ ngữ như cung cấp bài dạy miễn

Tiếp tục phát triển thuậ

Đề tăng độ chính xác cao, tập trung đầu tư, tìm kiếm nhiều vào bộ dữ liệu

hật