Ngoài ra, họ còngặp phải rào cản tâm lý vô cùng lớn, họ mặc cảm và thiếu tự tin.Việc tìm kiếm đồ vật có ý nghĩa rất lớn đối với người khiếm thị, chúng emquyết tâm xây dựng dự án với mong
SỞ GIÁO DỤC VÀ ĐÀO TẠO TỈNH NAM ĐỊNH TRƯỜNG THPT MỸ THO DỰ ÁN THIẾT BỊ HỖ TRỢ TÌM KIẾM ĐỒ VẬT CHO NGƯỜI KHIẾM THỊ SỬ DỤNG TRÍ TUỆ NHÂN TẠO Lĩnh vực: Hệ thống nhúng MỤC LỤC A PHẦN I MỞ ĐẦU Lý lựa chọn dự án Câu hỏi nghiên cứu 3 Mục tiêu nghiên cứu 3.1 Mục tiêu chung 3.2 Mục tiêu cụ thể Phương pháp nghiên cứu 4.1 Phương pháp phân tích tổng hợp lý thuyết 4.2 Phương pháp thực nghiệm khoa học 4.3 Phương pháp chuyên gia Kế hoạch nghiên cứu .4 Tính mới, tính sáng tạo dự án .4 Ý nghĩa dự án B PHẦN II QUÁ TRÌNH NGHIÊN CỨU .4 Tổng quan vấn đề nghiên cứu Cơ sở khoa học .5 2.1 Công nghệ trí tuệ nhân tạo AI gì: 2.2 Công nghệ nhận diện vật thể Object Detect : Thiết kế hệ thống 3.1 Đề xuất chức hệ thống .6 3.2 Xác định thành phần cấu tạo cho thiết bị: 3.3 Thiết kế chế tạo sản phẩm: 3.4 Chế tạo C PHẦN III KẾT LUẬN 14 Kết đạt 14 Hướng phát triển 14 PHỤ LỤC 16 Giá thành thiết bị: .16 Hướng dẫn sử dụng sản phẩm: 16 TÀI LIỆU THAM KHẢO 17 A PHẦN I MỞ ĐẦU Lý lựa chọn dự án Theo thống kê đến ngày 10/09/2022 Hội nhãn khoa Việt Nam giới có khoảng 314 triệu người mù thị lực thấp, khoảng 45 triệu người mù Tại Việt Nam có khoảng triệu người mù thị lực thấp Người khiếm thị gặp nhiều khó khăn lại, tìm kiếm đồ vật cơng việc sống, họ phụ thuộc vào giúp đỡ người khác Ngồi ra, họ cịn gặp phải rào cản tâm lý vô lớn, họ mặc cảm thiếu tự tin Việc tìm kiếm đồ vật có ý nghĩa lớn người khiếm thị, chúng em tâm xây dựng dự án với mong muốn giúp người khiếm thị tìm kiếm vật dụng điện thoại, chìa khố… từ vị trí vật dụng để xác định hướng di chuyển Trên giới nói chung Việt Nam nói riêng có nhiều sản phẩm hỗ trợ người khiếm thị, đề cập phần II mục 1, nhiên em nhận thấy nhiều bất cập, hạn chế, sản phẩm hoạt động chưa ổn định, độ xác thấp, sử dụng trí tuệ nhân tạo chủ yếu dự án nước ngồi, khơng thiết thực người Việt Với sở thực tiễn nêu trên, chúng em mong muốn chế tạo sản phẩm hỗ trợ người khiếm thị nhận biết đồ vật, nhận biết vật cản đảm bảo yêu cầu kỹ thuật, đảm bảo tính xác, tính kinh tế, tính khả thi phù hợp với điều kiện thực tế Câu hỏi nghiên cứu - “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo” cần có chức gì? Để chức hoạt động xác, ổn định phải thiết kế chế tạo nào? - “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo” có đảm bảo tính xác, tính kinh tế, tính khả thi phù hợp với điều kiện thực tiễn không? Mục tiêu nghiên cứu 3.1 Mục tiêu chung Thiết kế, chế tạo, thử nghiệm thành công thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo đảm bảo yêu cầu kỹ thuật, tính xác, giá thành hợp lý phù hợp với điều kiện 3.2 Mục tiêu cụ thể Nghiên cứu, phân tích ưu, nhược điểm thiết bị hỗ trợ người khiếm thị có thị trường; Nghiên cứu sản phẩm học sinh, sinh viên chế tạo nhằm hỗ trợ người khiếm thị; Đề xuất chức thiết bị hỗ trợ người khiếm thị mà chưa nghiên cứu chế tạo thành công; Lựa chọn linh kiện phù hợp, tiết kiệm, giá thành thấp để lắp đặt thiết bị ; Chế tạo thử nghiệm sản phẩm vận hành, kiểm tra hoạt động sản phẩm điều kiện khác nhau, cải tiến hồn thiện chương trình lập trình cho sản phẩm; Đánh giá ưu, nhược điểm sản phẩm so sánh “Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng trí tuệ nhân tạo” sản phẩm có sẵn thị trường tính xác, tính kinh tế, tính khả thi phù hợp với điều kiện thực tế Phương pháp nghiên cứu Trong dự án, chúng em sử dụng phương pháp nghiên cứu sau: 4.1 Phương pháp phân tích tổng hợp lý thuyết Tìm hiểu tổng quan vấn đề nghiên cứu (phân tích ưu, nhược điểm thiết bị, thiết bị, hệ thống hỗ trợ người khiế thị có); từ đề xuất chức xác định thành phần cấu tạo nên sản phẩm; Tìm hiểu khó khăn mà người khiếm thị gặp phải; Tìm hiểu hệ điều hành , ngơn ngữ lập trình, cấu trúc hệ thống chương trình AI, phương pháp chuyển đổi kết nhận diện sang giọng nói Tiếng Việt phát loa ngoài,… 4.2 Phương pháp thực nghiệm khoa học Phác thảo mơ hình AI >> Chế tạo, thiết kế thử từ phần cứng máy tính >> Đưa dự án lên máy tính nhúng >> Vận hành, kiểm tra, đánh giá >> Lập hồ sơ kĩ thuật 4.3 Phương pháp chuyên gia Dự án xin ý kiến tham vấn, tư vấn kỹ sư khoa học máy tính, chuyên viên thiết kế dự án AI; nhân viên kỹ thuật thiết kế mạch điện tử, gia cơng khí Kế hoạch nghiên cứu - Tháng 6/2023: Hình thành ý tưởng nghiên cứu - Tháng 7/20232: Phân tích ưu, nhược điểm thiết hỗ trợ người khiếm thị có mặt thị trường, sản phẩm KHKT đạt giải trước đây, sản phẩm học sinh, sinh viên chế tạo - Từ 01/8 - 14/8/2023: Đề xuất chức sản phẩm - Từ 15/8 – 15/9/2023: Lựa chọn phần cứng đáp ứng nhu cầu dự án ( Máy tính nhúng, camera, pin, loa ngồi, mạch nguồn,…) - Từ 16/9 – 26/9/2023: Xây dựng dự án lên phần cứng máy tính nhúng, thự nghiệm, đánh giá tính ổn định, tính xác khả ứng dụng sản phẩm vào thực tế - Từ 27/9/2023 – tháng 01/2024: Cải tiến, điều chỉnh sản phẩm; viết báo cáo khoa học Tính mới, tính sáng tạo dự án “Thiết bị hỗ trợ tìm kiếm đồ vật cho người kiếm thị sử dụng trí tuệ nhân tạo” đảm bảo tính mới, tính sáng tạo sau: - Thiết bị có khả nhận diện đồ vật, phương tiện, vật, vật thể xung quanh theo thời gian thực, tốc độ phản hồi nhanh - Thiết bị có khả đọc tên kết nhận diện loa hoàn toàn ngơn ngữ tiếng Việt - Có khả nhận biết, đọc tên lúc nhiều đồ vật, nhiều vật thể khung hình - Có khả cảnh báo va chạm còi đến gần vật thể cố định bàn ghế, tường, tủ, cánh cửa… Ý nghĩa dự án Thiết kế, chế tạo, thử nghiệm thành cơng “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị” đảm bảo tính xác, tính kinh tế, tính khả thi phù hợp với điều kiện thực tế nay; Hệ thống đưa vào sử dụng thực tế giúp người khiếm thị có khả tìm kiếm vật dụng nhà; Xác định hướng nhờ cách bố trí vật dụng quen thuộc nhà; Hạn chế va chạm với vật thể cố định nhờ cảm biến khoảng cách còi cảnh báo ; Giúp người khiếm thị bớt khó khăn sống; Đóng góp nghiên cứu vào lĩnh vực trí tuệ nhân tạo, góp phần vào cơng đổi cơng nghệ 5 B PHẦN II Q TRÌNH NGHIÊN CỨU Tổng quan vấn đề nghiên cứu Nghiên cứu thiết kế, chế tạo “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị” ý tưởng hoàn tồn , có khả đọc Tiếng Việt xác, trơi chảy; có khả nhận diện lúc nhiều đồ vật, nhận diện nhanh, xác; có khả cảnh báo va chạm sớm cịi Hiện tại, có số sản phẩm học sinh, sinh viên nghiên cứu , chế tạo sau: - Kính mắt thơng minh : cảnh báo va chạm sớm cảm biến siêu âm Nhược điểm: cảm biến siêu âm có độ tin cậy thấp, hoạt động sai nhiều phạm vi hẹp (chồng chéo sóng siêu âm) rộng (không nhận phản hồi), dừng lại cảnh báo va chạm - Thiết bị hỗ trợ tìm kiếm đồ vật sử dụng Yolo V3: Nhận diên vật thể theo thời gian thực phần cứng có cấu hình cao, tốc độ xử lý nhanh phần cứng có trang bị card đồ hoạ, GPU rời… Nhược điểm: công nghệ cũ; tốc độ chậm phần cứng nhúng nhỏ gọn , thời gian phản hồi kết chậm; hoạt động hiệu điều kiện di chuyển liên tục, thiếu sáng; có khả nhận diện đồ vật số lượng (30-50 đối tượng tuỳ dự án) , có khả phát âm hoàn toàn tiếng Anh, khả nhiều thời gian để đọc tên đồ vật tiếng Anh - Gậy thông minh cho người khiểm thị: Sử dụng cảm biến siêu âm để xác định vật cản, có cảnh báo ngã rơi gậy thời gian dài Nhược điểm: Không trang bị hệ thống nhận diện đồ vật, cảm biến siêu âm dễ bị nhiễu, độ bền thấp - Xây dựng thiết bị nhận diện thông minh cầm tay trợ giúp người khiếm thị : Sử dụng công nghệ thị giác máy tính để nhận diện hình ảnh; thơng tin hình ảnh xử lý truyền người dùng qua tai nghe Nhước điểm: Phần cứng cồng kềnh, sử dụng cơng nghệ R-CNN nhận diện hình ảnh, tốc độ phản hồi chậm; khơng có khả phát âm tiếng Việt Cơ sở khoa học 2.1 Công nghệ trí tuệ nhân tạo AI gì: Trí tuệ nhân tạo hay trí thơng minh nhân tạo (Artificial Intelligence – viết tắt AI) ngành thuộc lĩnh vực khoa học máy tính (Computer science) Là trí tuệ người lập trình tạo nên với mục tiêu giúp máy tính tự động hóa hành vi thơng minh người Với tính trội đại, Trí tuệ nhân tạo (AI) vượt lên phần mềm lập trình truyền thống trở thành cơng nghệ tối tối ưu Đó khả tiếp thu, tự học, giám sát điều khiển máy móc tự hành Đây yếu tố quan trọng giúp Doanh nghiệp thay đổi phát triển theo kịp xu hướng tồn cầu hóa theo kịp Hình Các nhánh cơng nghệ AI tốc độ Cách mạng công nghiệp 4.0 diễn mạnh mẽ.Trong khảo sát gần Forbes Insights trí tuệ nhân tạo, “44% số người hỏi từ ngành sản xuất ô tô sản xuất khác xếp loại AI quan trọng chức sản xuất năm tới, gần nửa 49% trả lời sử dụng AI để tạo thành công” Trong dự án này, chúng em vận dụng nhánh nhỏ AI Machine Learning nhằm mục đích đạo tạo cho máy học đồ vật, vật, phương tiện thông dụng, thường gặp để máy nhậns diện đọc tên cách chủ động, xác 2.2 Công nghệ nhận diện vật thể Object Detect : Một lĩnh vực quan trọng Trí tuệ nhân tạo (Artificial Intelligence) thị giác máy (Computer Vision) Computer Vision lĩnh vực bao gồm phương pháp thu nhận, xử lý ảnh kỹ thuật số, phân tích nhận dạng hình ảnh, phát đối tượng, tạo ảnh, siêu phân giải hình ảnh nhiều Object Detection có lẽ khía cạnh sâu sắc thị giác máy số lần sử dụng thực tế Object Detection đề cập đến khả hệ thống máy tính phần mềm để định vị đối tượng hình ảnh xác định đối tượng Object Detection sử dụng rộng rãi để phát khuôn mặt, phát xe, đếm số người bộ, hệ thống bảo mật xe khơng người lái Có nhiều cách để nhận diện đối tượng sử dụng nhiều lĩnh vực thực hành Giống cơng Hình Object Detect thực tế nghệ khác, loạt ứng dụng sáng tạo tuyệt vời Object Detection đến từ lập trình viên nhà phát triển phần mềm Thiết kế hệ thống 3.1 Đề xuất chức hệ thống Từ phân tích ưu, nhược điểm của thiết bị, hệ thống hỗ trợ người khiếm thị kể trên, chúng em đề xuất chức sản phẩm hình 3: 3.2 Xác định thành phần cấu tạo cho thiết bị: Hình Chức sản phẩm Trên sở đề xuất chức hệ thống, chúng em xác định thiết bị, module lựa chọn linh kiện chế tạo thiết bị đo hệ thống sau: - Máy tính nhúng Raspberry Pi4 - Camera Logitech C270 - Pin, mạch nguồn ổn áp 5V - Loa, mạch cơng suất (khuếch đại tín hiệu) loa - Arduino ProMini - Cảm biến khoảng cách hồng ngoại Sharp - Hộp chứa (có khoang chứa mạch điện máy cảm biến) 7 3.3 Thiết kế chế tạo sản phẩm: 3.3.1 Thiết kế 3D vỏ thiết bị: Vỏ thiết bị hay hộp chứa số thành phần sơ khai quan trong việc xây dựng sản phẩm Sau trình thiết kế, bố trí mạch điện ,máy tính nhúng, cảm biến, camera… chúng em thiết kế hồn thiện mơ hình 3D vỏ thiết bị đáp ứng yếu tố như: Hộp đựng vừa máy tính nhúng; pin lipo 10000mAh; Có ngăn chia cho mạch nguồn để đảm bảo toả nhiệt; có ngăn gắn loa , mạch loa vào hộp (hình 4): Hình Thiết kế 3D vỏ thiết bị 3.3.2 Thiết kế sơ đồ cấu tạo tổng quát hệ thống Hình Sơ đồ cấu tạo hệ thống nhận diện đồ vật 3.3.3 Thiết kế lưu đồ thuật toán hệ thống Lưu đồ thuật toán sản phẩm chúng em trực tiếp thiết kế hình: Hình Lưu đồ thuật tốn 3.3.4 Thiết kế sơ đồ nguyên lý, mạch in - Trực tiếp thiết kế sơ đồ ngun lý mạch điện, tính tốn linh kiện sử dụng, lựa chọn thiết bị, module phù hợp Hình Sơ đồ mạch điện thực tế sản phẩm - Trực tiếp thiết kế mạch , đấu nối mạch theo sơ đồ ngun lý có (hình 13) Ở phần này, chúng em ý đến vị trí xếp khối: khối nguồn, khối xử lý trung tâm, khối ngoại vi, … vị trí hợp lí phục vụ cho việc làm vỏ, tránh ảnh hưởng nhiễu từ khối cao tần sang khối khác, tránh ảnh hưởng nhiệt độ module , sau xin ý kiến nhận xét chuyên gia 9 3.4 Chế tạo 3.4.1 Lắp ráp phần cứng sản phẩm Quy trình lắp đặt phần cứng sản phẩm: + Bước 1: Kết nối pin 3.7V với mạch nguồn 5V Hình Kết nối Pin mạch nguồn + Bước 2: Kết nối mạch nguồn với công tắc nguồn, mạch nguồn với máy tính nhúng; mạch nguồn với vi điều khiển Arduino ProMini Hình Kết nối máy tính nhúng Arduino + Bước 3: Kết nối máy tính nhúng với mạch khuếch đại loa; kết nối loa vào mạch khuếch đại Hình 10 Kết nối máy tính nhúng mạch loa + Bước 4: Đóng hộp, lắp camera, cảm biến khoảng cách vào hộp 10 Hình 11 Sản phẩm hoàn thiện 3.4.2 Xây dựng hệ thống nhận diện đồ vật sử dụng Model SSD 3.4.2.1 Giới thiệu ModelSSD, chọn ModelSSD cho dự án Model SSD tên viết tắt Single Shot Detection, mơ hình Object Detection Model viết thư viện Tensorflow Model SSD TensorFlow đào tạo Bộ liệu COCO 2017 chứa nhiều đối tượng phổ biến, hàng ngày Định dạng ModelSSD TensorFlow bao gồm tệp save_model.pb thư mục chứa nhãn Đây thành phần quan trọng model Hình 12 Cấu trúc mơ hình SSD Để lựa chọn ModelSSD cho dự án này, chúng em nghiên cứu thất bại nhiều lần sử dụng model nặng Yolo, nhận thấy rõ sản phẩm trước dùng model YoloV3, R-CNN cho hiệu không cao Thay vào đó, Model SSD mơ hình mạng Hình 13 Quy trình hoạt động Model SSD CNN cho việc phát hiện, nhận dạng, phân loại đối tượng tạo từ việc kết hợp convolutional layers connected layers ( Tóm tắt phát nhiều vật thể lúc khung hình); ModelSSD đạt tốc độ cao phần cứng yếu mà độ xác khơng q giảm so với model nặng thuộc top đầu 11 Hình 14 Quy trình nhận diện vật thể sản phẩm 3.4.2.2 Xây dựng mơi trường lập trình cho ModelSSD Để dự án hoạt động môi trường hệ điều hành, cần xây dựng môi trường làm việc đáp ứng yêu cầu, cụ thể, Model SSD có yêu cầu mơi trường lập trình sau: + OpenCV >= 4.1.0.25 + TensorFlow >= 2.2.0 + Python >= 3.7 Để đáp ứng yêu cầu đó, chúng em cần cài đặt môi trường ảo sử dụng lệnh để cài đặt thư viện tương ứng: + Cài đặt môi trường ảo: sudo pip3 install virtualenv + Cài đặt OpenCV: sudo apt-get install libhdf5-dev libhdf5-serial-dev libhdf5-103 sudo apt-get install libqtgui4 libqtwebkit4 libqt4-test python3-pyqt5 sudo apt-get install libatlas-base-dev sudo apt-get install libjasper-dev pip install opencv-python==4.1.0.25 + Cài đặt Tensorflow từ Google Drive: sudo apt-get install gfortran sudo apt-get install libhdf5-dev libc-ares-dev libeigen3-dev sudo apt-get install libatlas-base-dev libopenblas-dev libblas-dev sudo apt-get install liblapack-dev cython sudo pip3 install pybind11 sudo pip3 install h5py sudo pip3 install upgrade setuptools pip install gdown sudo cp /home/pi/.local/bin/gdown /usr/local/bin/gdown gdown https://drive.google.com/uc? id=11mujzVaFqa7R1_lB7q0kVPW22Ol51MPg pip install tensorflow-2.2.0-cp37-cp37m-linux_armv7l.whl 3.4.2.3 Xây dựng ModelSSD lên máy tính nhúng Raspberry Pi4 Để xây dựng Model lên máy tính nhúng, chúng em xây dựng môi trường thư viện theo mục 3.4.2.2 12 Sau có mơi trường làm việc cho dự án , chúng em tải xuống Model SSD đào tạo sẵn số đồ vật tiến hành nhúng Model vào máy tính nhúng: git clone https://github.com/tensorflow/models.git cd models/research protoc object_detection/protos/*.proto python_out= export PYTHONPATH=$PYTHONPATH:/home/pi/tensorflow/models/research:/home /pi/tensorflow/models/research/slim Tải model địa chỉ: https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/ tf2_detection_zoo.md Tiến hành đào tạo vật thể cho dự án dựa cấu trúc mơ hình chung Tensorflow đưa trước đó, giúp thiết bị nhận diện đa đạng đồ vật 3.4.3 Chuyển đổi kết nhận diện thành giọng nói tiếng Việt sử dụng Pydub: Quá trình quan trọng định thành công dự án phải chuyển đổi kết nhận dạng thành âm đọc loa ngồi, chúng em thử nghiệm nhiều cơng nghệ Google Cloud Speed, Google Text To Speech nhận số nhước điểm sau: + Những công nghệ địi hỏi cấu hình phần cứng tương đối ổn định + Phụ thuộc vào Internet + Làm chậm tốc độ sản phẩm + Mất trình để chuyển từ tiếng Anh sang tiếng Việt có dấu dự án lập trình ngơn ngữ khơng hỗ trợ tiếng Việt có dấu Qua thực tế q trình đào tạo cho máy, chúng em nhận việc sử dụng công cụ chuyển văn thành giọng nói khơng cần thiết số lượng vật thể , phương tiện, đối tượng nhận diện xung quanh chưa thực nhiều, chúng em sử dụng Pydub để chuyển đổi kết nhận diện từ dạng văn (text) sang file mp3 phát loa Q trình tiêu tốt tài ngun hoạt động dường tức thì, giúp sản phẩm khơng bị trễ Để làm điều này, chúng em chuẩn bị ghi lại file mp3 đọc tên vật thể để vào thư mục dự án, sau lập trình gọi tên file có kết nhận diện: Cấu trúc thư mục dự án: Du an - mp3 doituong1.mp3 doituong2.mp3 doituong3.mp3 doituong4.mp3 - model - label 3.5 Thử nghiệm, đánh giá, điều chỉnh hoàn thiện hệ thống 13 3.5.1 Thử nghiệm 1: thử nghiệm hoạt động sản phẩm tai nghe, loa bluetooth * Hoạt động hệ thống: Sau khởi động tải sở liệu, hệ thống nhận diện vật thể xung quanh, truyền hình lên máy tính thơng qua giao tiếp khơng dây, truyền tín hiêu âm qua loa bluetooth nhận diện đồ vật * Đánh giá, kết luận: Sản phẩm hoạt động yêu cầu đề ra, nhiên truyền qua bluetooth, file mp3 bị khuyết giây đầu tiên, thể thiết bị nói to chưa rõ ràng Thử với tai nghe âm nghe trọn vẹn dây tai nghe rối, âm lượng nhỏ, không trực quan * Những điều chỉnh, cải tiến: Sử dụng mạch khuếch đại âm thanh, chuyển tín hiệu từ cổng tai nghe 3.5 lên loa 3.5.2 Thử nghiệm 2: thử nghiệm hoạt động sản phẩm sử dụng loa qua mạch khuếch đại * Hoạt động hệ thống: Sau khởi động tải sở liệu, hệ thống nhận diện vật thể xung quanh, truyền hình lên máy tính thơng qua giao tiếp khơng dây, truyền tín hiêu âm qua mạch khuếch đại từ cổng Audio 3.5 , loa bật nhận diện đồ vật * Kết quả: Sản phẩm hoạt động yêu cầu đặt * Đánh giá, kết luận: Sản phẩm hoạt động theo yêu cầu đặt ra, nhiên chúng em muốn hồn thiện nên có trang bị thêm cảm biến khoảng cách cảnh báo va chạm sớm, giúp sản phẩm tiến sát đến thực tế 3.5.3 Thử nghiệm 3: thử nghiệm sản phẩm kết hợp mạch cảnh báo va chạm sớm * Hoạt động hệ thống: Sau khởi động tải sở liệu, hệ thống nhận diện vật thể xung quanh, truyền hình lên máy tính thơng qua giao tiếp khơng dây, truyền tín hiêu âm qua mạch khuếch đại từ cổng Audio 3.5 , loa bật nhận diện đồ vật Mỗi đến gần vật thể cố định bàn ghế, tủ, tường, cửa, cảm biến khoảng cách đo đạc gửi tín hiệu cho vi điều khiển Arduino ProMini Vi điều khiển điều khiển còi kêu tuỳ theo khoảng cách thiết bị vật cản phía trước, đến gần vật cản cịi kêu nhịp độ nhanh * Kết quả: Sản phẩm hoạt động mục tiêu đề Đánh giá, kết luận: Mặc dù sản phẩm hoạt động theo yêu cầu đề nhiên thời gian khởi động để tải sở liệu chậm – 2-3 phút Cần tiếp tục tối ưu hố chương trình lập trình để đồng với phần cứng C PHẦN III KẾT LUẬN Kết đạt 14 Sau trình nghiên cứu, chế tạo lập trình, chúng em hồn thiện thành cơng sản phẩm: “Thiết bị hỗ trợ tìm kiếm đồ vật cho người khiếm thị sử dụng trí tuệ nhân tạo” với tính : + Nhận diện vật thể theo thời gian thực + Nhận diện đồ vật , vật , phương tiện xung quanh + Chuyển đổi kết nhận diện thành giọng nói phát loa ngồi giúp người khiếm thị xác định đồ vật có trước camera + Từ việc nhận biết vị trí đồ vật , người khiếm thị xác định hướng di chuyển + Sản phẩm có tính cảnh báo sớm vật cản cố định nhờ cảm biến khoảng cách hồng ngoại, khoảng cách gần vật cản, còi cảnh bảo nhanh Tồn hướng khắc phục Bảng Tồn hướng khắc phục hệ thống STT Tồn Hướng khắc phục Thời gian khởi động chậm Phát triển dự án thư viện Tensorflow Lite để cải thiện tốc độ Phần cứng cồng kềnh Xây dựng dự án thành phần mềm, ứng dụng phần cứng điện thoại thông minh để chạy phần mềm Đôi lúc nhận diện sai vật Đào tạo thêm sở liệu cho máy học, thể có hình dạng, : giúp tăng độ xác cho dự án TV với hình máy tính, lọ hoa với cốc uống nước… Hướng phát triển Xây dựng lại dự án thư viện Tensorflow Lite: (Mặc dù phần cứng nhỏ Raspberry Pi4, module Tensorflow không sử dụng phổ biến , thay vào người ta sử dụng Tensorflow Lite Tuy nhiên , Tensorflow Lite ngồi tốc độ xử lý nhanh gặp nhiều trục trặc chạy liên tục dự án này, , chúng em sử dụng module Tensorflow 2.) Tuy nhiên có điều kiện thời gian, dự án xây dựng lại Tensorflow Lite, giúp dự án khởi động nhanh 80%, độ xác khơng đổi Xây dựng dự án thành phần mềm chạy phần cứng thiết bị di động Đào tạo thêm sở liệu cho hệ thống PHỤ LỤC Giá thành thiết bị: Thiết bị Số lượng x đơn giá Thành tiền Máy tính nhúng Raspberry Pi4 01 x 2.500.000 2.500.000 Camera USB Logitech C270 01 x 450.000 450.000 15 Mạch nguồn 5V 01 x 80.000 80.000 Pin sạc 3.7V 10000mAH 01 x 150.000 150.000 Arduino Promini 01 x 120.000 120.000 Cảm biến khoảng cách Sharp 01 x 135.000 135.000 Loa 01 x 40.000 40.000 Mạch khuyếch đại loa 01 x 20.000 20.000 In 3D hộp đựng 01 x 200.000 200.000 Tổng 3.695.000 Đánh giá thời gian sử dụng pin sản phẩm Sản phẩm sử dụng pin 3.7V 10.000mAh cho công suất đạt 37Wh Mạch nguồn trạng bị 5V 3A đáp ứng hoạt động sản phẩm với hiệu suất chuyển đổi lên đến 95% Qua thử nghiệm thực tế, dòng tải sản phẩm hoạt động hết cơng suất 2.5A Từ , ta có cơng thức sau: + Cơng suất tiêu thụ sản phẩm: Ptt = 2.5A x 5V = 12.5W/h + Công suất PIN : Pb = 10A x 3.7V = 37W/h + Thời gian sử dụng sản phẩm: Tsd = Pb : Ptt = 37 : 12.5 = 2.96 (giờ) Hướng dẫn sử dụng sản phẩm: Các bước để sử dụng sản phẩm: Bước 1: Bật nguồn sản phẩm cách nhấn nút nguồn lần Bước 2: Chờ thiết bị khởi động, khởi động xong, thiết bị thông báo qua loa Bước 3: Chuẩn bị đồ vật điều kiện vừa đủ sáng, không tối , thử đưa camera đến trước sản phẩm Bước 4: Tắt nguồn thiết bị sau sử dụng xong cách nhấn lần nút nguồn Bước 5: Sạc pin không sử dụng với nguồn điện 5V , cáp sạc USB TypeC 16 TÀI LIỆU THAM KHẢO [1] Trung tâm truyền thông, giáo dục sức khoẻ trung ương (2019): http://t5g.org.vn/viet-nam-co-khoang-2-trieu-nguoi-mu-va-thi-luc-kem [2] Model SSD (2023): https://phamdinhkhanh.github.io/2019/10/05/SSDModelObjectDetection.html [3] VIBLO (2023) Tìm hiểu ModelSSD: https://viblo.asia/p/tim-hieu-ve-ssdmultibox-real-time-object-detection-3P0lPEPG5ox [4] MIAI (2023) Cộng đồng MiAI: http://miai.vn [5] Đại học Công nghệ (2021): Sản phẩm trợ giúp người khiếm thị: http://tuyensinh.vnu.edu.vn/index.php/Home/viewnewsVNU/175 [6] Arduino VN (2021) Lập trình Arduino với Arduino IDE http://arduino.vn/bai- viet/68-cai-dat-driver-va-arduino-ide [7] VIBLO (2021) Giải mã lập trình web: Front-End, Back-End Full Stack https://viblo.asia/p/giai-ma-ve-lap-trinh-web-front-end-back-end-va-full-stack07LKXmPJZV4