Dự án thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo

Ngoài ra, họ còngặp phải rào cản tâm lý vô cùng lớn, họ mặc cảm và thiếu tự tin.Việc tìm kiếm đồ vật có ý nghĩa rất lớn đối với người khiếm thị, chúng emquyết tâm xây dựng dự án với mong

DỰ ÁN THIẾT BỊ HỖ TRỢ TÌM KIẾM ĐỒ VẬT CHO NGƯỜI KHIẾM THỊ SỬ

DỤNG TRÍ TUỆ NHÂN TẠO

Lĩnh vực: Hệ thống nhúng

MỤC LỤC

A PHẦN I MỞ ĐẦU 3

1 Lý do lựa chọn dự án 3

2 Câu hỏi nghiên cứu 3

3 Mục tiêu nghiên cứu 3

3.1 Mục tiêu chung 3

3.2 Mục tiêu cụ thể 3

4 Phương pháp nghiên cứu 3

4.1 Phương pháp phân tích và tổng hợp lý thuyết 3

4.2 Phương pháp thực nghiệm khoa học 4

4.3 Phương pháp chuyên gia 4

5 Kế hoạch nghiên cứu 4

6 Tính mới, tính sáng tạo của dự án 4

7 Ý nghĩa của dự án 4

B PHẦN II QUÁ TRÌNH NGHIÊN CỨU 4

1 Tổng quan về vấn đề nghiên cứu 4

2 Cơ sở khoa học 5

2.1 Công nghệ trí tuệ nhân tạo AI là gì: 5

2.2 Công nghệ nhận diện vật thể Object Detect : 6

3 Thiết kế hệ thống 6

3.1 Đề xuất chức năng của hệ thống 6

3.2 Xác định các thành phần cấu tạo cho thiết bị: 6

3.3 Thiết kế chế tạo sản phẩm: 6

3.4 Chế tạo 9

C PHẦN III KẾT LUẬN 14

1 Kết quả đạt được 14

3 Hướng phát triển 14

PHỤ LỤC 16

1 Giá thành thiết bị: 16

3 Hướng dẫn sử dụng sản phẩm: 16

TÀI LIỆU THAM KHẢO 17

A PHẦN I MỞ ĐẦU

1 Lý do lựa chọn dự án

Theo thống kê đến ngày 10/09/2022 của Hội nhãn khoa Việt Nam hiện nay trên thế giới hiện có khoảng 314 triệu người mù và thị lực thấp, trong đó khoảng 45 triệu người mù Tại Việt Nam hiện có khoảng 2 triệu người mù và thị lực thấp Người khiếm thị gặp rất nhiều khó khăn trong đi lại, tìm kiếm đồ vật cũng như những công việc trong cuộc sống, họ phụ thuộc vào sự giúp đỡ của người khác Ngoài ra, họ còn gặp phải rào cản tâm lý vô cùng lớn, họ mặc cảm và thiếu tự tin

Việc tìm kiếm đồ vật có ý nghĩa rất lớn đối với người khiếm thị, chúng em quyết tâm xây dựng dự án với mong muốn giúp người khiếm thị tìm kiếm các vật dụng như điện thoại, chìa khoá… từ vị trí của các vật dụng để xác định hướng di chuyển

Trên thế giới nói chung và Việt Nam nói riêng có nhiều sản phẩm hỗ trợ người

khiếm thị, đề cập ở phần II mục 1, tuy nhiên em nhận thấy còn nhiều bất cập, hạn

chế, các sản phẩm hoạt động chưa ổn định, độ chính xác thấp, sử dụng trí tuệ nhân tạo nhưng chủ yếu là các dự án nước ngoài, không thiết thực đối với người Việt

Với cơ sở thực tiễn nêu trên, chúng em mong muốn chế tạo một sản phẩm hỗ trợ người khiếm thị nhận biết các đồ vật, nhận biết được vật cản đảm bảo yêu cầu kỹ thuật, đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều kiện thực

tế hiện nay

2 Câu hỏi nghiên cứu

- “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo” cần có những chức năng gì? Để những chức năng đó hoạt động chính xác, ổn định thì phải thiết kế và chế tạo như thế nào?

- “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo”

có đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều kiện thực tiễn hiện nay không?

3 Mục tiêu nghiên cứu

3.1 Mục tiêu chung

Thiết kế, chế tạo, thử nghiệm thành công thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo đảm bảo yêu cầu kỹ thuật, tính chính xác, giá thành hợp lý và phù hợp với điều kiện hiện nay

3.2 Mục tiêu cụ thể

Nghiên cứu, phân tích được ưu, nhược điểm của các thiết bị hỗ trợ người khiếm thị hiện có trên thị trường; Nghiên cứu các sản phẩm được học sinh, sinh viên chế tạo nhằm hỗ trợ người khiếm thị; Đề xuất những chức năng của thiết bị hỗ trợ người khiếm thị mà chưa được nghiên cứu chế tạo thành công; Lựa chọn được các linh kiện phù hợp, tiết kiệm, giá thành thấp để lắp đặt thiết bị ; Chế tạo thử nghiệm sản phẩm và vận hành, kiểm tra hoạt động của sản phẩm trong các điều kiện khác nhau, cải tiến và hoàn thiện chương trình lập trình cho sản phẩm; Đánh giá được ưu, nhược điểm của sản phẩm và so sánh được giữa “Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng trí tuệ nhân tạo” và các sản phẩm có sẵn trên thị trường về tính chính xác, tính kinh tế, tính khả thi

và phù hợp với điều kiện thực tế hiện nay

4 Phương pháp nghiên cứu

Trong dự án, chúng em sử dụng các phương pháp nghiên cứu sau:

4.1 Phương pháp phân tích và tổng hợp lý thuyết

Tìm hiểu tổng quan về vấn đề nghiên cứu (phân tích ưu, nhược điểm của thiết

bị, các thiết bị, hệ thống hỗ trợ người khiế thị hiện có); từ đó đề xuất chức năng và xác định các thành phần cấu tạo nên sản phẩm; Tìm hiểu những khó khăn mà người khiếm thị đang gặp phải; Tìm hiểu các hệ điều hành , ngôn ngữ lập trình, cấu trúc hệ thống

một chương trình AI, phương pháp chuyển đổi kết quả nhận diện sang giọng nói Tiếng

Việt phát ra loa ngoài,….

4.2 Phương pháp thực nghiệm khoa học

Phác thảo mô hình AI >> Chế tạo, thiết kế thử từ phần cứng máy tính >> Đưa dự án lên máy tính nhúng >> Vận hành, kiểm tra, đánh giá >> Lập hồ sơ kĩ thuật

4.3 Phương pháp chuyên gia

Dự án xin ý kiến tham vấn, tư vấn của kỹ sư khoa học máy tính, chuyên viên thiết kế dự án AI; nhân viên kỹ thuật thiết kế mạch điện tử, gia công cơ khí

5 Kế hoạch nghiên cứu

- Tháng 6/2023: Hình thành ý tưởng nghiên cứu

- Tháng 7/20232: Phân tích ưu, nhược điểm của các thiết hỗ trợ người khiếm thị đang có mặt trên thị trường, các sản phẩm KHKT đã đạt giải trước đây, các sản phẩm do học sinh, sinh viên chế tạo

- Từ 01/8 - 14/8/2023: Đề xuất các chức năng của sản phẩm

- Từ 15/8 – 15/9/2023: Lựa chọn phần cứng đáp ứng nhu cầu dự án ( Máy tính nhúng, camera, pin, loa ngoài, mạch nguồn,…)

- Từ 16/9 – 26/9/2023: Xây dựng dự án lên phần cứng máy tính nhúng, thự nghiệm, đánh giá về tính ổn định, tính chính xác và khả năng ứng dụng của sản phẩm vào thực tế

- Từ 27/9/2023 – tháng 01/2024: Cải tiến, điều chỉnh sản phẩm; viết báo cáo khoa học

6 Tính mới, tính sáng tạo của dự án

“Thiết bị hỗ trợ tìm kiếm đồ vật cho người kiếm thị sử dụng trí tuệ nhân tạo” đảm bảo tính mới, tính sáng tạo sau:

- Thiết bị có khả năng nhận diện các đồ vật, phương tiện, con vật, các vật thể xung quanh theo thời gian thực, tốc độ phản hồi nhanh

- Thiết bị có khả năng đọc tên các kết quả nhận diện được ra loa ngoài hoàn toàn bằng ngôn ngữ tiếng Việt

- Có khả năng nhận biết, đọc tên cùng lúc nhiều đồ vật, nhiều vật thể trong một khung hình

- Có khả năng cảnh báo va chạm bằng còi khi đến gần các vật thể cố định như bàn ghế, tường, tủ, cánh cửa…

7 Ý nghĩa của dự án

Thiết kế, chế tạo, thử nghiệm thành công “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị” đảm bảo tính chính xác, tính kinh tế, tính khả thi và phù hợp với điều kiện thực tế hiện nay; Hệ thống được đưa vào sử dụng trong thực tế sẽ giúp mỗi người khiếm thị có khả năng tìm kiếm các vật dụng trong nhà; Xác định hướng đi nhờ cách

bố trí các vật dụng quen thuộc trong nhà; Hạn chế va chạm với các vật thể cố định nhờ cảm biến khoảng cách và còi cảnh báo ; Giúp người khiếm thị bớt đi những khó khăn trong cuộc sống; Đóng góp những nghiên cứu của mình vào lĩnh vực trí tuệ nhân tạo, góp phần vào công cuộc đổi mới công nghệ

B PHẦN II QUÁ TRÌNH NGHIÊN CỨU

1 Tổng quan về vấn đề nghiên cứu

Nghiên cứu thiết kế, chế tạo “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị” là ý tưởng hoàn toàn mới , có khả năng đọc được bằng Tiếng Việt chính xác, trôi chảy; có khả năng nhận diện một lúc nhiều đồ vật, nhận diện nhanh, chính xác; có khả năng cảnh báo va chạm sớm bằng còi

Hiện tại, đã có một số sản phẩm do học sinh, sinh viên nghiên cứu , chế tạo như sau:

- Kính mắt thông minh : cảnh báo va chạm sớm bằng cảm biến siêu âm

Nhược điểm: cảm biến siêu âm có độ tin cậy thấp, hoạt động sai nhiều ở phạm

vi quá hẹp (chồng chéo sóng siêu âm) hoặc quá rộng (không nhận được phản hồi), chỉ dừng lại ở cảnh báo va chạm

- Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng Yolo V3: Nhận diên vật thể theo thời gian thực trên phần cứng có cấu hình cao, tốc độ xử lý nhanh ở những phần cứng có trang bị card đồ hoạ, GPU rời…

Nhược điểm: công nghệ cũ; tốc độ chậm ở phần cứng nhúng nhỏ gọn , thời

gian phản hồi kết quả chậm; hoạt động kém hiệu quả trong các điều kiện di chuyển liên tục, thiếu sáng; có khả năng nhận diện được đồ vật nhưng số lượng ít (30-50 đối tượng tuỳ dự án) , có khả năng phát âm nhưng hoàn toàn bằng tiếng Anh, mất khả nhiều thời gian để đọc được một tên đồ vật bằng tiếng Anh như vậy

- Gậy thông minh cho người khiểm thị: Sử dụng cảm biến siêu âm để xác định vật cản, có cảnh báo ngã khi rơi gậy trong thời gian dài

Nhược điểm: Không trang bị hệ thống nhận diện đồ vật, cảm biến siêu âm dễ

bị nhiễu, độ bền thấp

- Xây dựng thiết bị nhận diện thông minh cầm tay trợ giúp người khiếm thị : Sử dụng công nghệ thị giác máy tính để nhận diện hình ảnh; thông tin hình ảnh được xử lý sẽ được truyền về người dùng qua tai nghe

Nhước điểm: Phần cứng cồng kềnh, sử dụng công nghệ R-CNN trong nhận

diện hình ảnh, tốc độ phản hồi chậm; không có khả năng phát âm bằng tiếng Việt

2 Cơ sở khoa học

2.1 Công nghệ trí tuệ nhân tạo AI là gì:

Trí tuệ nhân tạo hay trí thông minh nhân tạo (Artificial Intelligence – viết tắt là AI) là một ngành thuộc lĩnh vực khoa học máy tính (Computer science) Là trí tuệ do

con người lập trình tạo nên với mục tiêu giúp

máy tính có thể tự động hóa các hành vi

thông minh như con người

Với những tính năng nổi trội và hiện

đại, Trí tuệ nhân tạo (AI) đã vượt lên những

phần mềm lập trình truyền thống trở thành

một công nghệ tối mới tối ưu Đó là khả năng

tiếp thu, tự học, giám sát và điều khiển máy

móc tự hành Đây chính là yếu tố quan trọng

giúp các Doanh nghiệp thay đổi và phát triển

theo kịp xu hướng toàn cầu hóa và theo kịp

tốc độ cuộc Cách mạng công nghiệp 4.0 đang Hình 1 Các nhánh trong công nghệ AI

Hình 2 Object Detect trong thực tế

Hình 3 Chức năng của sản phẩm

diễn ra rất mạnh mẽ.Trong một cuộc khảo sát gần đây của Forbes Insights về trí tuệ nhân tạo, “44% số người được hỏi từ các ngành sản xuất ô tô và sản xuất khác đã xếp loại AI là rất quan trọng đối với chức năng sản xuất trong 5 năm tới, trong khi gần một nửa 49% đã trả lời rằng sử dụng AI để tạo ra thành công”

Trong dự án này, chúng em vận dụng một nhánh nhỏ của AI đó là Machine Learning nhằm mục đích đạo tạo cho máy học những đồ vật, con vật, phương tiện thông dụng, thường gặp để máy nhậns diện và đọc tên một cách chủ động, chính xác

2.2 Công nghệ nhận diện vật thể Object Detect :

Một trong những lĩnh vực quan trọng của Trí tuệ nhân tạo (Artificial Intelligence) là thị giác máy (Computer Vision) Computer Vision là một lĩnh vực bao gồm các phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích và nhận dạng các hình ảnh, phát hiện các đối tượng, tạo ảnh, siêu phân giải hình ảnh và nhiều hơn vậy Object Detection có lẽ là khía cạnh sâu sắc nhất của thị giác máy do số lần sử dụng trong thực tế

Object Detection đề cập đến khả

năng của hệ thống máy tính và phần mềm

để định vị các đối tượng trong một hình ảnh

và xác định từng đối tượng Object

Detection đã được sử dụng rộng rãi để phát

hiện khuôn mặt, phát hiện xe, đếm số người

đi bộ, hệ thống bảo mật và xe không người

lái Có nhiều cách để nhận diện đối tượng

có thể được sử dụng cũng như trong nhiều

lĩnh vực thực hành Giống như mọi công

nghệ khác, một loạt các ứng dụng sáng tạo và tuyệt vời của Object Detection sẽ đến từ các lập trình viên và các nhà phát triển phần mềm

3 Thiết kế hệ thống

3.1 Đề xuất chức năng của hệ thống

Từ phân tích ưu, nhược điểm

của của thiết bị, hệ thống hỗ trợ người

khiếm thị kể trên, chúng em đề xuất

chức năng của sản phẩm ở hình 3:

3.2 Xác định các thành phần cấu

tạo cho thiết bị:

Trên cơ sở đề xuất chức năng

của hệ thống, chúng em xác định các thiết bị, module và lựa chọn linh kiện chế tạo thiết bị đo của hệ thống như sau:

- Máy tính nhúng Raspberry Pi4

- Camera Logitech C270

- Pin, mạch nguồn ổn áp 5V

- Loa, mạch công suất (khuếch đại tín hiệu) loa

- Arduino ProMini

- Cảm biến khoảng cách hồng ngoại Sharp

- Hộp chứa (có khoang chứa các mạch điện của máy và các cảm biến)

3.3 Thiết kế chế tạo sản phẩm:

3.3.1 Thiết kế 3D của vỏ thiết bị:

Vỏ thiết bị hay hộp chứa là một trong số

những thành phần sơ khai quan trong trong việc

xây dựng sản phẩm Sau quá trình thiết kế, bố

trí mạch điện ,máy tính nhúng, cảm biến,

camera… chúng em đã thiết kế và hoàn thiện

mô hình 3D của vỏ thiết bị đáp ứng các yếu tố

như: Hộp đựng vừa máy tính nhúng; pin lipo

10000mAh; Có ngăn chia cho mạch nguồn để

đảm bảo toả nhiệt; có ngăn gắn loa , mạch loa

vào hộp (hình 4):

3.3.2 Thiết kế sơ đồ cấu tạo tổng quát của hệ thống

Hình 5 Sơ đồ cấu tạo hệ thống nhận diện đồ vật

3.3.3 Thiết kế lưu đồ thuật toán của hệ thống

Lưu đồ thuật toán của sản phẩm được chúng em trực tiếp thiết kế như hình:

Hình 4 Thiết kế 3D vỏ thiết bị

Hình 6 Lưu đồ thuật toán

3.3.4 Thiết kế sơ đồ nguyên lý, mạch in

- Trực tiếp thiết kế sơ đồ nguyên lý mạch điện, tính toán các linh kiện sử dụng, lựa chọn các thiết bị, module phù hợp

Hình 7 Sơ đồ mạch điện thực tế của sản phẩm

- Trực tiếp thiết kế mạch , đấu nối mạch theo sơ đồ nguyên lý đã có (hình 13)

Ở phần này, chúng em chú ý đến vị trí sắp xếp các khối: khối nguồn, khối xử lý trung tâm, khối ngoại vi, … ở các vị trí hợp lí phục vụ cho việc làm vỏ, tránh ảnh hưởng của nhiễu từ các khối cao tần sang khối khác, tránh ảnh hưởng nhiệt độ giữa các module , sau đó xin ý kiến nhận xét của chuyên gia

3.4 Chế tạo

3.4.1 Lắp ráp phần cứng sản phẩm

Quy trình lắp đặt phần cứng sản phẩm:

+ Bước 1: Kết nối pin 3.7V với mạch nguồn 5V

Hình 8 Kết nối Pin và mạch nguồn

+ Bước 2: Kết nối mạch nguồn với công tắc nguồn, mạch nguồn với máy tính nhúng; mạch nguồn với vi điều khiển Arduino ProMini

Hình 9 Kết nối máy tính nhúng và Arduino

+ Bước 3: Kết nối máy tính nhúng với mạch khuếch đại loa; kết nối loa vào mạch khuếch đại

Hình 10 Kết nối máy tính nhúng và mạch loa

+ Bước 4: Đóng hộp, lắp camera, cảm biến khoảng cách vào hộp

Hình 11 Sản phẩm hoàn thiện

3.4.2 Xây dựng hệ thống nhận diện đồ vật sử dụng Model SSD

3.4.2.1 Giới thiệu về ModelSSD, tại sao chọn ModelSSD cho dự án

Model SSD là tên viết tắt của Single Shot Detection, đây là một mô hình Object Detection Model này được viết trên thư viện Tensorflow

Model SSD của

TensorFlow được đào tạo trên Bộ

dữ liệu COCO 2017 chứa nhiều

đối tượng phổ biến, hàng ngày

Định dạng ModelSSD của

TensorFlow bao gồm một tệp

save_model.pb và một thư mục

chứa các nhãn Đây là 2 thành phần

quan trọng của model này

Để lựa chọn ModelSSD cho

dự án này, chúng em đã nghiên cứu

và thất bại rất nhiều lần khi sử dụng

các model nặng như Yolo, và cũng

nhận thấy rõ rằng các sản phẩm

trước đây đã từng dùng những

model như YoloV3, R-CNN cho

hiệu quả không cao Thay vào đó,

Model SSD là một mô hình mạng

CNN cho việc phát hiện, nhận

dạng, phân loại đối tượng được tạo ra từ việc kết hợp giữa các convolutional layers và connected layers ( Tóm tắt là có thể phát hiện được nhiều vật thể cùng 1 lúc trong một khung hình); ModelSSD có thể đạt được tốc độ cao ở phần cứng yếu mà độ chính xác không quá giảm so với các model nặng thuộc top đầu

Hình 12 Cấu trúc mô hình SSD

Hình 13 Quy trình hoạt động của Model SSD

Hình 14 Quy trình nhận diện vật thể trong sản phẩm

3.4.2.2 Xây dựng môi trường lập trình cho ModelSSD

Để dự án hoạt động được trên môi trường hệ điều hành, cần xây dựng một môi trường làm việc đáp ứng yêu cầu, cụ thể, Model SSD có những yêu cầu trong môi trường lập trình như sau:

+ OpenCV >= 4.1.0.25 + TensorFlow >= 2.2.0 + Python >= 3.7

Để đáp ứng những yêu cầu đó, chúng em cần cài đặt môi trường ảo và sử dụng các lệnh để cài đặt các thư viện tương ứng:

+ Cài đặt môi trường ảo:

sudo pip3 install virtualenv

+ Cài đặt OpenCV:

sudo apt-get install libhdf5-dev libhdf5-serial-dev libhdf5-103 sudo apt-get install libqtgui4 libqtwebkit4 libqt4-test python3-pyqt5 sudo apt-get install libatlas-base-dev

sudo apt-get install libjasper-dev pip install opencv-python==4.1.0.25

+ Cài đặt Tensorflow từ Google Drive:

sudo apt-get install gfortran sudo apt-get install libhdf5-dev libc-ares-dev libeigen3-dev sudo apt-get install libatlas-base-dev libopenblas-dev libblas-dev sudo apt-get install liblapack-dev cython

sudo pip3 install pybind11 sudo pip3 install h5py sudo pip3 install upgrade setuptools pip install gdown

sudo cp /home/pi/.local/bin/gdown /usr/local/bin/gdown gdown https://drive.google.com/uc?

id=11mujzVaFqa7R1_lB7q0kVPW22Ol51MPg pip install tensorflow-2.2.0-cp37-cp37m-linux_armv7l.whl

3.4.2.3 Xây dựng ModelSSD lên máy tính nhúng Raspberry Pi4

Để xây dựng Model lên máy tính nhúng, chúng em đã xây dựng môi trường

cũng như các thư viện theo mục 3.4.2.2.