đề tài ai mini project dự án nhận dạng ngôn ngữ ký hiệu bằng teachable machine

Tuy nhiên, không phải ai cũng hiểu và biết cách sử dụng ngôn ngữ này, và việc phát triển một hệ thống nhận dạng ngôn ngữ ký hiệu có thể giúp nâng cao khả năng giao tiếp và tương tác của

BO GIAO DUC VA DAO TAO DAI HOC QUOC GIA THANH PHO HO CHi MINH

TRUONG DAI HOC KINH TE - LUAT

BAO CAO CASE STUDY HOC PHAN: CHUYEN DOI SO VA TRi TUE NHAN TAO

DE TAI: Al MINI PROJECT — DU AN NHAN DANG NGON NGU KY HIEU

BANG TEACHABLE MACHINE NHOM SINH VIEN THUC HIEN

Dinh Thuy Trang K22401C K224010126 100%

Phạm Thị Hồng Anh K224021C K224020218 100%

Đặng Thiên Hân K224021C K224020228 100%

GVHD: ThS Nguyễn Thế Đại Nghĩa

MÃ LỚP HỌC PHẢN: 232MI5208

NHÓM THỰC HIỆN: NHÓM 8

Thành phố Hỗ Chí Minh, ngày 11 tháng 4 năm 2024

MỤC LỤC

I Mô tả dự án nhận dạng ngôn ngữ ký hiệu - c2 2221221121222 211111122 rkkeo 3

Ll Tống quan về Teachable Machine 2-2 E2 2E9212112121E222121 1 11mg 3

1.2 Lý do chọn đề tài c2 1211 121221 1 1n ng ngu re 3

1.3 Ý nghĩa LH HH HH HH ng Hàn He rung 3

IL Chức năng của hệ thống nhận dạng - c2 1 2211212111212 111111118115 21111581111 rreg 4

2.1 Chức năng L2 010 1112111212211 1110115 111111111 511111 k 1k TH ky 4

2.2 Liệt kê 5 lớp dùng để nhận dạng - 52 SE E1 2111121121211 11 1E 1E trerie 5 2.2.1 Lớp “ Xin lỗï” c1 2 1211111121121 221 11 1121111 111112 ey 5

P5 con ằaT 5

P8 u90 e. 6

2.2.4 LOp “ Kin Cha na 7

2.2.5 LOp % Cad an .ốe Ả 7

II Ứng dụng của việc nhận dạng - L1 2 222112111221 11121 121111111581 151 115155111121 key 8 3.1 Một công cụ hỗ trợ nguoi khiém thinh trong cuộc song ¬ 8 3.2 Hỗ trợ những người bình thường muốn học ngôn ngữ ký hiệu 5-5: 8 3.3 Mọi người có thê sử dụng nó trong việc giao tiếp với thiết bị thông minh dễ dàng hơn mà không cần chạm vào chúng - + sc x23 11 1121111 111121111 1E Erre 8 3.4 Ứng dụng trong viée gidm sat va baO Mt cece ccc ceccscesesessesessessesseseserseveteevecevees 9 IV Dự đoán sự phát triển trong tương lai cccccccecsscsscssessesessesscsesevsvssecevsusevevsesesevenees 9 Ms nh 10

in on na 10 5.2 Kết luận ch HH HH nga eo 10

L Mô tả dự án nhận dạng ngôn ngữ ký hiệu

Tên dự án: Ứng dụng Teachable Machine đề nhận dạng ngôn ngữ ký hiệu

Đường dẫn đến dự án: h((ps://teachablemachine.withgoogle.com/models/xUT-

QjRIe/

Link Trello: https://trello.com/b/a8pQMPcf/ai-mini-project-ngon-ng%E1%BB%AF-

ky-hi%E1%BB%87u

1.1 Tổng quan về Teachable Machine

Ngày nay, Trí tuệ nhân tạo (AI) và Học máy (ML) là hai trong những lĩnh vực ứng dụng triển vọng nhất trên thế giới Tuy nhiên, với một người không chuyên công nghệ thông tin, rất khó dé ho co thê tiếp cận và ứng dụng AI hay ML vảo trong các nghiên cứu của minh Dé khắc phục vấn đề này, nhóm chúng em xin đề cập tới một công cụ do Google phát hành có tén Teachable Machine Teachable Machine sé giúp chúng ta có được những trải nghiệm cơ bản nhất về trí thông minh nhân tạo (AI) Nó được xây dựng dựa trên mạng nơ-ron tích chập (CNN - ConvolutHonal neural networks) - một trong những m6 hinh Deep Learning tién tién, giúp xây dựng hệ thông thông minh với độ chính

xác cao

1.2 Lý do chọn đề tài

Việc nhận dạng ngôn ngữ ký hiệu là một lĩnh vực quan trọng và mang tính cấp thiết đối với cộng đồng người khiếm thính Ngôn ngữ ký hiệu là phương tiện chính thức của

họ để giao tiếp và tương tác với thế giới xung quanh Tuy nhiên, không phải ai cũng hiểu

và biết cách sử dụng ngôn ngữ này, và việc phát triển một hệ thống nhận dạng ngôn ngữ

ký hiệu có thể giúp nâng cao khả năng giao tiếp và tương tác của người khiếm thính trong cộng đồng

Dự án nhận dạng ngôn ngữ ký hiệu là một nghiên cứu về việc nhận diện hình ảnh của

ngôn ngữ ký hiệu, nhằm tạo ra mô hình có khả năng phân loại các biểu tượng ngôn ngữ

ký hiệu Điều này giúp người khiếm thính có thé giao tiếp độc lập và dé dàng hơn.

143 Ý nghĩa

Dự án nhận dạng ngôn ngữ ký hiệu trên Teachable Machine mang ý nghĩa quan trọng trong việc nâng cao chất lượng giáo dục cho học sinh khiếm thính Mô hình nhận dạng ngôn ngữ ký hiệu giúp họ giao tiếp hiệu quả hơn trong cuộc sống hàng ngày mà không cần phải dựa vào người thứ ba để giải thích biểu tượng ngôn ngữ ký hiệu, từ đó cải thiện cuộc sông của người khiếm thính, giúp họ dễ dàng giao tiếp và tham gia vào cộng đồng

II Chức năng của hệ thống nhận dang

2.1 Chức năng

Hệ thống nhận dạng ngôn ngữ ký hiệu là một phần quan trọng của công nghệ hỗ trợ giao tiếp cho cộng đồng người khiếm thính Chức năng chính của nó là nhận dạng và phân loại các biêu hiện ngôn ngữ ký hiệu từ hình ảnh hoặc video Tính đến hiện tại, các

công nghệ nhận dạng hình ảnh và video đã phát triển đáng kẻ, từ đó cải thiện độ chính

xác và hiệu suất của hệ thống

Điều quan trọng là hệ thống không chỉ dừng lại ở việc nhận dạng các cử chỉ của tay,

mà còn khả năng nhận diện biểu thức khuôn mặt và các yếu tố khác của ngôn ngữ cơ thé

Việc này tăng cường khả năng giao tiếp và truyền đạt ý nghĩa của ngôn ngữ ký hiệu một cách toàn diện hơn

Ngoài việc nhận dạng, hệ thông còn có khả năng dịch và hiểu ý nghĩa của các biểu hiện ngôn ngữ ký hiệu Việc này mở ra một cánh cửa rộng lớn cho giao tiếp giữa người khiếm thính và người không khiếm thính, đồng thời cung cấp một cơ hội tiếp cận thông

tin và kiến thức rộng lớn hơn cho cả hai nhóm này

Tính năng tương tác thời gian thực của hệ thống là một trong những điểm mạnh quan trọng Điều này cho phép người dùng giao tiếp tức thì mà không gặp trở ngại về thời gian hay độ trễ, tạo ra một trải nghiệm giao tiếp tự nhiên và thuận lợi.Hơn nữa, hệ thông cũng

có thê tích hợp với các công nghệ khác như trợ lý ảo, máy đọc văn bản và các ứng dụng giao tiếp điện tử Điều này mở ra các cơ hội mới trong việc tạo ra một môi trường giao tiếp linh hoạt và đa chiều, không chỉ trong việc giao tiếp mà còn trong việc giáo dục và giải trí

Cuối cùng, hệ thống không chỉ giúp người khiếm thính giao tiếp hiệu quả mà còn là một công cụ hỗ trợ giảng dạy và học tập ngôn ngữ ký hiệu Tính năng cung cấp phán hồi

và mô phỏng giúp người học nắm bắt và hiểu sâu hơn về ngôn ngữ này, từ đó nâng cao khả năng giao tiếp và tương tác của họ trong cộng đồng

2.2 Liệt kê 5 lớp dùng để nhận dạng

2.2.1 Lớp “ Xin lỗi“

Khi muốn truyền lời xin lỗi, lớp này sẽ chuyên các hành động tay thành lời nói, nhằm

truyền đạt ý nghĩa của việc xin lỗi trong giao tiếp Đề diễn đạt ý nghĩa "Xin lỗi", người sử dụng có thê sử dụng cử chỉ ngón tay của mình bằng cách dùng tay phải xoa vào lòng bàn tay phải

Xin lỗi

Sorry

Ngôn ngữ ký hiệu biểu hiện cho từ “ Xim lỗi “ 2.2.2 Lớp “ Giúp đỡ “

Cách thể hiện sự cần giúp đỡ trong giao tiếp, ta dùng kí hiệu tay như sau: Ngửa lòng một bàn tay, đặt bàn tay còn lại ở phía trên, bàn tay này nắm hờ, riêng ngón cái duỗi ra Nếu hỏi người khác có cần giúp đỡ không thì đập nắm tay xuống lòng bản tay, gợi ý giúp

đỡ người khác thì đi chuyên cả hai bản tay từ trong ra ngoài (hướng về phía đối diện), nhờ người khác giúp đỡ thì di chuyên hai bàn tay theo hướng ngược lại Khi thực hiện

xong, hệ thống sẽ hiện từ “ Giúp đỡ”.

SIGN #8

NO HELP HELP

Ngôn ngữ ký hiệu biểu hiện cho từ “ Giúp đõ “ 2.2.3 Lớp “ Cảm ơn”

Để biểu hiện sự cảm ơn, biết ơn đến người khác trong ngôn ngữ ký hiệu Cần đặt tay

trái lên trên cằm của bạn rồi đưa tay ra phía đối diện , lúc này hệ thống sẽ tự động nhận

diện và hiển thi tir “ Cảm ơn” lên màn hình, dễ dàng giúp người sử dụng có thê hiểu được

ý nhau

SIGN #10

THANK YOU THANK YOU

Your hand is coming out from your chin

Ngôn ngữ ký hiệu biéu hién cho tie “ Cam on”

2.2.4 Lớp “ Xin chào”

Từ “ Xin chào” là từ khá cơ bản trong giao tiếp thường ngày Đặt tay phải của bạn lên trán rồi đưa tay ra phía ngoài một chút Hành động này khá giỗng với ngôn ngữ cơ thê thông thường Lúc này hệ thống sẽ nhận diện và biến cử chỉ tay thành câu nói

SIGN #1

HELLO HELLO

Your dominant hand is coming

Ngôn ngữ ký hiệu biểu hiện cho tie “ Xin chao”

2.2.5 Lớp “ Cai gi “

Khi muốn hỏi, truyền đạt từ “ Cái gì” bạn có thê sử dụng kí hiệu bằng cách như sau: Năm ngón tay của cả hai bàn tay uốn cong vào nhau và di chuyển ra vào Hệ thống sẽ

nhận diện và hiện ra từ tương ứng

SIGN #12

Ngôn ngữ ký hiệu biểu hiện cho từ “ Cái gì?”

7

II Ứng dụng của việc nhận dạng

3.1 Một công cụ hỗ trợ người khiếm thính trong cuộc sống

Hệ thống nhận diện ngôn ngữ ký hiệu là 1 công cụ hỗ trợ đặc biệt đối với người

khiếm thính trong nhiều khía cạnh cuộc sống

- Trong giáo dục, hệ thống giúp người khiếm thính học và hiểu các ngôn ngữ ký hiệu | cách hiệu quả nhất, đồng thời giúp cho việc tương tác giữa họ và giáo viên trở nên dễ đàng hơn

- Trong cuộc sông sinh hoạt hằng ngày, công cụ này đóng vai trò như một công nghệ hỗ

tro giup những người khiếm thính thực hiện các hoạt động công nghệ bình thường như:

nghe điện thoại, trả lời tin nhắn hay điều khiến các thiết bị thông minh trong gia đình,

Đồng thời, công cụ này cũng hỗ trợ họ trong quá trình giao tiếp bằng cách dịch các ngôn ngữ ký hiệu ra văn bản và ngược lại

- Trong việc khám chữa bệnh, hệ thống này giúp cho việc tương tác giữa bác sĩ và bệnh

nhân khiếm thính trở nên dễ dàng hơn trong quá trình tư vấn, khám và chữa bệnh kịp thời

khẩn cấp Đồng thời, các y bác sĩ cũng có thê tạo ra những hướng dẫn và thông tin y tế qua hệ thống này giúp người khiếm thính có được sự hỗ trợ tốt nhất trong việc bảo vệ sức khoé cua minh

3.2 Hỗ trợ những người bình thường muốn học ngôn ngữ ký hiệu Ngày nay, ngôn ngữ ký hiệu là l ngôn ngữ phô biến trên toàn cầu trong nhiều lĩnh vực Theo thông kê, hơn 90% trẻ em khiếm thính có ba mẹ là những người bình thường nên hệ thống này sẽ giúp cho những bậc phụ huynh có thê học ngôn ngữ ký hiệu dễ dàng

hơn Bên cạnh đó, có rất nhiều lĩnh vực cần học ngôn ngữ ký hiệu như bác sĩ, cảnh sát, các dịch vụ nhà nước hỗ trợ người dân khiếm thính thì công cụ này giúp ích cho họ dễ

dàng học và giao tiếp với những người khiếm thính trong công việc

3.3 Mọi người có thể sử dụng nó trong việc giao tiếp với thiết bị thông minh dé dang hon mà không cần chạm vào chúng

Ngày nay, công nghệ ngày càng phát triển nên thay vì sử dụng các thiết bị công nghệ bằng vật lý như công tắc, remote, màn hình cảm ứng thì hệ thống ngôn ngữ ký hiệu sẽ

giúp ta điều khiên chúng một cách để dàng và tiết kiệm thời gian hơn Ngoài việc hỗ trợ

cho người khiếm thính thì công cụ này cũng giúp tạo sự mới mẻ và thú vị hơn trong việc

sử dụng các thiết bị thông minh, giúp quá trình sử dụng trở nên mượt mà và trơn tru hơn 3.4 Ứng dụng trong việc giám sát và bảo mật

Hệ thống nhận diện ngôn ngữ cũng giúp giám sát và bảo mật trong các trường hợp đặc biệt Khi một người sử dụng ngôn ngữ ký hiệu bất thường, thì hệ thông sẽ tự phân

tích và đưa ra cảnh báo khi phát hiện ngôn ngữ ký hiệu có dấu hiệu, hành vi bất thường

va khac la co thé de doa ta, tir đó giúp giảm thiểu rủi ro giả mạo và không cần thiết Việc này giúp tăng cường bảo mật cho sự an toàn của mình và tài sản, giúp ta tránh xa những

nguy hiểm không đáng có

IV Dự đoán sự phát triển trong tương lai

Hệ thống nhận diện ngôn ngữ ký hiệu còn rất nhiều hạn chế và bất cập trong quá trình hoạt động Việc nâng cấp và cải thiện hệ thống trong tương lai theo xu hướng phát triên công nghệ này trong tương lai la 1 điều cần thiết va quan trọng

- Cải thiện độ chính xác trong việc nhận diện và dịch ngôn ngữ ký hiệu: Hệ thống còn rất

nhiều lỗi trong quá trình nhận diện ngôn ngữ ký hiệu, vì vậy cần sử dụng những thuật

toán phức tạp và chính xác hơn giúp hệ thống có thê nhận diện ký hiệu và dịch chúng ra

với độ chính xác nhất có thẻ

- Sử dụng nhiều ngôn ngữ ký hiệu hơn: Ngày càng có nhiều ngôn ngữ ký hiệu mới và đa dạng hơn trên toàn thế giới, việc cập nhật những ngôn ngữ mới vào hệ thống nhận diện ngôn ngữ ký hiệu này giúp mở rộng mạng lưới người dùng và hỗ trợ tốt hơn cho những

người khiếm thính trên toàn cầu

- Tích hợp thông minh nhân tạo: Công nghệ phát triển đi đôi với việc hệ thông nhận diện

sẽ được tích hợp với các công nghệ hỗ trợ khác như trợ lý ảo, máy đọc văn bản và các

ứng dụng giao tiếp điện tử Từ đó hệ thống sẽ có thê thực hiện nhiều chức năng trong

phân tích và hiểu biết ngôn ngữ ký hiệu

- Mở rộng ứng dụng trong nhiều lĩnh vực hơn: Trong tương lai, việc ứng dụng hệ thống này trong nhiều lĩnh vực hơn như: giáo dục, y tế, giao thông, công nghệ thông tin, giải trí giúp người khiếm thính tương tác dễ dàng hơn trong sinh hoạt công cộng

V Kết luận

5.1 Đánh giá mô hình

Về ưu điềm:

Hiệu quả chi phí và phù hợp với mọi hoàn cảnh: Teachable Machine là một công

cụ miễn phí, dễ tiếp cận và không yêu cầu kiến thức sâu về lập trình hay machine learning, phù hợp cho cả người mới bắt đầu

Tốc độ xử lý hình ảnh của AI và khả năng học nhanh: Máy có thể học nhanh chóng từ dữ liệu đã có và có khả năng thường xuyên cập nhật dữ liệu mới và độ

chính xác nhất định

Dễ dàng truy cập thông tin: Teachable Machine cho phép nhiều người sử dụng

cùng lúc với mọi loại thiết bị cũng như tối đa hóa hữu ích và đơn giản hóa cách

mọi người có được thông tin

Về nhược điểm:

Nếu có trục trặc về mạng Internet hoặc sự cô trên Web, việc xử lý sẽ mat thoi gian

va gây khó khăn cho người dùng

Khả năng xảy ra sai sót khá cao vì cách nhận dạng của Teachable Machime phụ

thuộc khá nhiều vào chất lượng hình ảnh và âm thanh; vì vậy, trong những trường

hợp như môi trường thiếu điều kiện ánh sáng hay xuất hiện âm thanh nhiễu thì rất

dễ xảy ra việc không nhận dạng được

5.2 Kết luận

Sau khi triển khai thực hiện dự án nhận dạng ngôn ngữ ký hiệu voi Teachable

Machine, nhóm chúng em đưa ra kết luận như sau: Khả năng ứng dụng là khả thi

đối với những dự án đơn giản, chỉ dành cho một nhóm người nhỏ Tuy nhiên, đối

10