Đã từ lâu con người luôn mơ ước chế tạo được những máy móc thông minh, có một số chức năng thay thế con người, như khả năng nhìn và nhận dạng được các vật thể, nghe và thực hiện theo lời nói của con người. Nhưng cho mãi đến những năm gần đây, khi có những lý thuyết mới về xử lý thông tin và công nghệ phát triển, thì mơ ước đó mới dần trở thành hiện thực. Tuy thế, cho đến nay, giao tiếp giữa người với máy đã được cải thiện rất nhiều nhưng vẫn còn mức độ như thông qua bàn phím hay các thiết bị xuất nhập khác. Giao tiếp giữa người với máy bằng giọng nói sẽ là phương thức giao tiếp hiện đại và có ý nghĩa quan trọng trong cuộc sống như xe lăn cho nguời tàn tật được điều khiển bằng giọng nói, hay con người sẽ không dùng bàn phím hoặc chuột để giao tiếp với máy tính, mà thay vào đó sẽ điều khiển máy tính theo mệnh lệnh bằng ngôn ngữ. Trên thế giới đã có nhiều hệ thống nhận dạng giọng nói (tiếng Anh) đã và đang được ứng dụng rất hiệu quả như: ViaVoice, Dragon Naturally Speaking, Spoken Toolket…nhưng do sự khác biệt về ngôn ngữ nên chúng ta không thể áp dụng chương trình trên để nhận dạng tiếng Việt. Do đó, một hệ thống nhận dạng giọng nói tiếng Việt cần phải được xây dựng. Đề tài này xin trình bày quá trình nghiên cứu thiết kế, chế tạo robot được điều khiển từ xa bằng giọng nói (tiếng Việt) với một bộ từ vựng nhỏ, thiết lập hệ thống điều khiển robot từ xa theo tập lệnh cố định.
TRƯỜNG ĐẠI HỌC CÔNG NGHIỆP THỰC PHẨM TP.HCM KHOA CN ĐIỆN – ĐIỆN TỬ ĐỒ ÁN HỌC PHẦN II ĐỀ TÀI: ROBOT ĐIỀU KHIỂN BẰNG GIỌNG NÓI KẾT HỢP ĐIỀU KHIỂN BẰNG TAY GVHD: HOÀNG ĐẮC HUY SVTH: ĐỖ HOÀNG LONG MSSV: 2002180073 TP.HCM…Tháng 12 Năm 2020 Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy Nhận xét giáo viên ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… ……………………………………………………………………………… Ngày……Tháng……Năm 2020 Giáo viên hướng dẫn Ký tên SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay SVTH: Đỗ Hồng Long GVHD: Hồng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hoàng Đắc Huy MỤC LỤC SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy PHỤC LỤC Hình 1.1: robot ASIMO .3 Hình 1.2: robot Kismet Hình 1.3: robot Grace Hình 1.4: robot Qrio Hình 1.5: robot Xiaomi .7 Hình 2.1: boar mạch Arduino uno .10 Bảng 2.1: Thông số Arduino 11 Hình 2.2: Bluetooth HC-05 .13 Hình 2.3: Bluetooth HC-05 Bluetooth HC-06 14 Hình 2.4: Sơ đồ chân HC-05 .15 Hình 2.5: Phần mềm Hercules Setup Untility 18 Hình 2.6: Module động L298 .19 Hình 2.7: Module LM2596 20 Hình 2.8: Cách sử dụng LM2596 21 Hình 2.9: App Inventor bước 23 Hình 2.10: App Inventor bước 24 Hình 2.11: App Inventor bước 24 Hình 2.12: Code App Inventor 25 SVTH: Đỗ Hồng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy Hình 2.13: Code App Inventor 26 Hình 2.14: Code App Inventor 26 Hình 2.15: Code App Inventor 27 Hình 3.1: Kết nối Arduino với L298 28 Bảng 3.1: Kết nối Arduino, L298 bánh xe 29 Hình 3.2: Kết nối Arduino với Bluetooth HC-05 .29 Bảng 3.2: Kết nối Arduino với HC-05 .30 Hình 3.3: Sơ đồ đấu dây 30 Hình 3.4: Sơ đồ khối chức mạch điều khiển robot .31 Hình 3.5: Sơ đồ thuật toán Robot điều khiển 32 Hình 3.5: Sơ đồ mạch 33 Hình 4.1: Mơ hình tồn diện 35 Hình 4.2: Mơ hình thực tế 36 Hình 4.3: Giao diện điều khiển điện thoại 37 SVTH: Đỗ Hồng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hoàng Đắc Huy DANH MỤC KÝ HIỆU VÀ CỤM TỪ VIẾT TẮT KÝ HIỆU THUẬT NGỮ UHF Dải tần số vô tuyến nằm khoảng 300 MHz tới GHz (3,000 MHz) I/O Input/Output IDE Intergrated Development Environment ISM International Safety Management GND Điểm nối đất UART Universal Asynchronous Receiver Transmitter SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy LỜI NĨI ĐẦU Đã từ lâu người ln mơ ước chế tạo máy móc thơng minh, có số chức thay người, khả nhìn nhận dạng vật thể, nghe thực theo lời nói người Nhưng cho đến năm gần đây, có lý thuyết xử lý thông tin công nghệ phát triển, mơ ước dần trở thành thực Tuy thế, nay, giao tiếp người với máy cải thiện nhiều cịn mức độ thơng qua bàn phím hay thiết bị xuất nhập khác Giao tiếp người với máy giọng nói phương thức giao tiếp đại có ý nghĩa quan trọng sống xe lăn cho nguời tàn tật điều khiển giọng nói, hay người khơng dùng bàn phím chuột để giao tiếp với máy tính, mà thay vào điều khiển máy tính theo mệnh lệnh ngơn ngữ Trên giới có nhiều hệ thống nhận dạng giọng nói (tiếng Anh) ứng dụng hiệu như: ViaVoice, Dragon Naturally Speaking, Spoken Toolket…nhưng khác biệt ngôn ngữ nên áp dụng chương trình để nhận dạng tiếng Việt Do đó, hệ thống nhận dạng giọng nói tiếng Việt cần phải xây dựng Đề tài xin trình bày trình nghiên cứu thiết kế, chế tạo robot điều khiển từ xa giọng nói (tiếng Việt) với từ vựng nhỏ, thiết lập hệ thống điều khiển robot từ xa theo tập lệnh cố định Trong q trình thực tơi thầy Hồng Đắc Huy giảng viên hướng dẫn đồ án góp ý hướng dẫn nhiệt tình SVTH: Đỗ Hồng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy CHƯƠNG I: TỔNG QUAN VỀ ROBOT BLUETOOTH ĐIỀU KHIỂN BẰNG GIỌNG NÓI VÀ TAY 1.1 Đặt vấn đề Ngày với sống đại tiện nghi khái niệm robot khơng cịn xa lạ với Robot sử dụng rộng rãi phổ biến, xuất sản xuất cơng nghiệp mà cịn phục vụ gia đình, giải trí, gọi chung robot dịch vụ Bên cạnh nhịp sống ngày gấp rút hối hơn, xuất robot phục vụ tự động gia đình trở nên cấp thiết Sự xuất robot hút bụi cho ta giải trí robot điều khiển từ xã, điều khiển giọng nói Nó mang lại cho sống thêm tiện nghi đại Đồng hành với ta thấy ngày nhiều cải tiến sống Với Robot điều khiển giọng nói kết hợp tay thật mang lại cho giải trí phục vụ gia đình Sau ngày làm việc mệt mỏi đến nhà lệnh cho Robot mang cốc nước tuyệt vời Có thể nhắc đến Robot điều khiển giọng nói kết hợp với tay chạy pin 12V lập trình Arduino, loại khác có vi điều khiển Trong xu cạnh tranh hãng phát triển vi mạch cố gắng tăng mật độ tích hợp vi mạch ngày cao, hạ giá thành đến mức thấp Người sử dụng dễ dàng sỡ hữu vi điều khiển tốc độ cao giá rẽ, công cụ phát triển Nhiệm vụ đề tài tìm hiểu lắp ráp Robot điều khiển giọng nói kết hợp tay lập trình Arduino 1.2 Nghiên cứu Thiết kế hồn chỉnh đưa quy trình làm Robot điều khiển giọng nói kết hợp tay cách hoàn chỉnh SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy 1.3 Đối tượng nghiên cứu • • • • • • • Robot điều khiển từ xa Robot điều khiển giọng nói Moudule Bluetooth HC-05 Module LM2596 Moudule điều khiển động L298 Arduino R3 phần mềm Arduino App inventor 1.4 Khái quát Robot điều khiển giọng nói kết hợp tay Robot điều khiển giọng nói kết hợp tay robot di chuyển nhận dạng giọng nói người điều khiển, làm theo lệnh người điều khiển lập trình sẵn bên 1.5 Tìm hiểu sâu đối tượng nghiên cứu 1.5.1 Robot điều khiển từ xa tay Robot điều khiển giọng nói Robot điều khiển từ xa tay: thông qua Bluetooth, wifi, 3g để liên kết với chúng điều khiển chúng theo ý Đặc điểm điều khiển tay chưa đáp ứng hết cho người điều khiển mong muốn phần điều khiển ta phải nhấn nút Robot hoạt động Robot điều khiển giọng nói: điều khiển tay Robot điều khiển giọng nói thơng qua Bluetooth, wifi, 3g để kết nối với chúng Nhưng lại đáp ứng nhu cầu người dung nhiều so với Robot điều khiển tay có nhiều câu lệnh thao tác cần nói cho chúng hiểu thực SVTH: Đỗ Hồng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay CHƯƠNG III: CƠ SỞ THỰC HIỆN 3.1 Kết nối linh kiện 3.1.1 Kết nối Arduino với L298 Hình 3.1: kết nối Arduino với L298 SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy - Chú thích: Bảng nối dây từ trái sang phải Arduino L298 ~10 IN1 IN2 IN3 IN4 Bánh xe 1(trái) Out Dây cam Out Dây đỏ Out Out Bánh xe 2(phải) Dây xanh dương Dây xanh Bảng 3.1 kết nối Arduino, L298 bánh xe 3.1.2 Kết nối bluetooth HC-05 với Arduino Hình 3.2: kết nối Arduino với bluetooth HC-05 Arduino HC-05 GND GND 5V Vcc SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy TX RX Bảng 3.2 kết nối Arduino với HC-05 3.1.3 Sơ đồ đấu dây Hình 3.3: Sơ đồ đấu dây SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy 3.1.4 Sơ đồ khối Hình 3.4: Sơ đồ khối chức mạch điều khiển robot SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy 3.1.5 sơ đồ thuật toán sơ đồ mạch Hình 3.5: Sơ đồ thuật tốn Robot điều khiển SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay Hình 3.6: Sơ đồ mạch SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy 3.2 Nguyên Lý hoạt động Robot Robot có hai chế độ lập trình điều khiển tay điều khiển giọng nói Ta dùng điện thoại để kết nối Bluetooth (phải có wifi 3g) giao diện lên gồm nhiều nút phần mềm Giới hạn kết nối Bluetooth 8m nơi có nhiều đồ nhiều vật chắn, 10m không gian trống Khi mở nguồn kết nối Bluetooth ta lệnh giọng nói điều khiển tay từ điện thoại gửi tín hiệu vào HC-05, từ HC-05 gửi tín hiệu vào Arduino để xác định câu lệnh lập trình sau chuyển tín hiệu vào L298 để điều khiển bánh xe cho robot chạy theo câu lệnh mà ta đặt Ở chế độ điều khiển tay: ta sử dụng gồm bốn nút điều khiển lên, xuống, trái, phải tương ứng với thẳng, lùi, quay trái, quay phải điều khiển ta nhấn đè robot tự di chuyển robot dừng ta ngưng thao tác tay Ở chế độ điều khiển giọng nói: ta sử dụng hai nút nút void (dùng để lệnh giọng nói) nút đỏ (dừng lại) phầm mềm Khi lệnh giọng nói robot di chuyển theo câu lệnh dừng thao tác nhấn vào nút đỏ (dừng lại) bấm void nói dừng lại robot dừng SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay CHƯƠNG IV: TỔNG KẾT 4.1 Mơ hình thực tế Hình 4.1: Mơ hình hồn thiện SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay Hình 4.2: Mơ hình thực tế SVTH: Đỗ Hồng Long GVHD: Hồng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay 4.2 Giao diện điện thoại Hình 4.3: Giao diện điều khiển điện thoại SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay 4.3 Thiết kế code #include SoftwareSerial HC05(2, 3); // RX | TX int IN3 = 4; int IN4 = 5; int IN2 = 9; int IN1 = 10; void setup() { // put your setup code here, to run once: Serial.begin(9600); HC05.begin(9600); pinMode (IN3 , OUTPUT); pinMode (IN4 , OUTPUT); pinMode (IN2 , OUTPUT); pinMode (IN1 , OUTPUT); } void chedo1(){ // tien digitalWrite(IN1,1); digitalWrite(IN2,0); digitalWrite(IN3,1); digitalWrite(IN4,0); SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay } void chedo2(){ //lùi digitalWrite(IN1,0); digitalWrite(IN2,1); digitalWrite(IN3,0); digitalWrite(IN4,1); } void chedo3(){ //dung digitalWrite(IN1,0); digitalWrite(IN2,0); digitalWrite(IN3,0); digitalWrite(IN4,0); } void chedo4(){ //quay phai digitalWrite(IN1,1); digitalWrite(IN2,0); } void chedo5(){ //quay trai digitalWrite(IN3,1); digitalWrite(IN4,0); } SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay void loop() { if (HC05.available () ){ char data = HC05.read (); switch (data) { case '1' : chedo1(); break; case '2' : chedo5(); break; case '3' : chedo4(); break; case '4' : chedo2(); break; case '5' : chedo3(); break; default : break; } Serial.println (data); } delay (50); } SVTH: Đỗ Hoàng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy 4.4 Kết luận đồ án 4.4.1 Ưu nhược điểm Đồ án hoàn thành yêu cầu thiết kế đạt yêu cầu kỹ thuật định ứng dụng Robot điều khiển giọng nói kết hợp tay hoạt động hồn chỉnh Song bên cạnh đồ án em số hạn chế như: khả lệnh giọng nói phải dừng nhấn nút đỏ xe dừng, bánh xe chưa đủ ma sát để bám mặt nên dừng đột ngột dễ xảy tình trạng trược bánh xe Thời gian sử dụng chưa lâu 4.4.2 Hướng phát triển đề tài Từ ứng dụng Robot điều khiển giọng nói kết hợp tay khơng gian phịng Hiện ta phát triển cho không gian nhà ngồi trời Ta lập trình Robot thông minh kết hợp thêm nhiều phụ kiện nhiều câu lệnh hay như: lệnh cầm ly nước vật dụng gây nguy hiểm cho người Ta tích hợp thêm để phát triển từ xe Robot thành người Robot để chúng giúp vào công việc khó khan như: vào long đất để thám hiểm, lặn sâu biển để đo mật đô sâu biển người giúp việc nhà, người bạn để tâm sâu ngày căng thẳng SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy Tài liệu tham khảo: • • • • • • http://arduino.vn/ https://mobitool.net/dieu-khien-robot-bang-bluetooth-su-dung-arduino.html http://arduino.vn/bai-viet/639-du-xe-dieu-khien-tu-xa-qua-bluetooth https://unica.vn/che-tao-robot-dieu-khien-bang-giong-noi https://vngiotlab.github.io/vbluno/vi/mydoc_mobile_tut3_vi.html https://text.123doc.net/document/4776160-do-an-dieu-khien-thiet-bi-bang-giong-noi-arduino.htm SVTH: Đỗ Hoàng Long ... chúng điều khiển chúng theo ý Đặc điểm điều khiển tay chưa đáp ứng hết cho người điều khiển mong muốn phần điều khiển ta phải nhấn nút Robot hoạt động Robot điều khiển giọng nói: điều khiển tay Robot. .. người điều khiển, làm theo lệnh người điều khiển lập trình sẵn bên 1.5 Tìm hiểu sâu đối tượng nghiên cứu 1.5.1 Robot điều khiển từ xa tay Robot điều khiển giọng nói Robot điều khiển từ xa tay: ... tài: Robot Điều Khiển Giọng Nói & Tay SVTH: Đỗ Hồng Long GVHD: Hoàng Đắc Huy Đề tài: Robot Điều Khiển Giọng Nói & Tay GVHD: Hồng Đắc Huy MỤC LỤC SVTH: Đỗ Hoàng Long Đề tài: Robot Điều Khiển Giọng