Ví dụ nếu ta nói “hello” thì đến Ở bước này ta dùng mạng nơ ron với dữ liệu nơ ron được huấn luyện trước đó để phân tích và đưa ra kết quả, ví dụ ta nói “hello” thì với đầu vào là 24 nơ ron [0. 0. 0. 0. 0. 0. 0. 0. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] và đầu ra là 4 giá trị tương ứng với 4 ý định (tags) [-2.7158, 4.7774, -2.1573, - 3.8762] ta thấy số lớn nhất là 4.7774 tương ứng với ý định “greeting”.
SVTH: LÊ TRUNG KIÊN 93
4.3.2.2.5 Kết quả
Hình 4.26: Sơ đồ khối tính tốn đầu ra cho kết quả
Để giá trị dự đốn được chính xác ta tính xác xuất đầu ra phân lớp nếu có giá trị nào trong mảng lớn hơn 85% thì sẽ trả kết quả là các câu trả lời của ý định có phần trăm lớn nhất như ví dụ của mơ hình phân lớp thì giá softmax cao nhất là 0.9983 của ý định “greeting” và kết quả là câu trả lời (responses) ["HI", "Hello"].
4.3.2.2.6 Dữ liệu đầu ra
Hình 4.27: Sơ đồ khối đầu ra âm thanh tiếng anh tiếng anh
Hình 4.28: Sơ đồ khối đầu ra âm thanh tiếng việt tiếng việt
SVTH: LÊ TRUNG KIÊN 94 Sau khi xác định được ý định thì bước tiếp theo là chọn ngẫu nhiên một câu trả lời rồi chuyển câu trả lời dạng text tiếng anh sang âm thanh với thư viện “pyttsx3” để người nghe có thể nghe được.
Đối với tiếng việt thì sau khi chọn ngẫu nhiên câu trả lời thì phải tiến hành thêm bước dịch từ tiếng anh sang tiếng việt bằng thư viện “Translator” rồi mới chuyển sang âm thanh bằng thư viện “gTTS” hỗ trợ đọc tiếng việt.
4.3.3 Xây dựng chương trình quản lý cơ sở dữ liệu người dùng.
Hình 4.29: Sơ đồ quản lý dữ liệu người dùng
Giải thích sơ đồ:
Để dễ dàng quản lý ta lưu dữ liệu vào ứng dụng Excel và để lưu được giá trị dữ liệu từ máy tính về excel ta dùng thư viện openpyxl.
SVTH: LÊ TRUNG KIÊN 95 - Nếu người dùng yêu cầu gửi tài liệu cho khoa cơ điện tử (ngăn chứa 1) hoặc khoa tự động hóa (ngăn chứa 2) thì máy tính sẽ lưu lại lịch sử gửi của người này.
Hình 4.30: Dữ liệu lịch sử người dùng gửi tài liệu
- Nếu người dùng hỏi mà máy tính khơng hiểu thì sẽ được lưu lại dữ liệu câu hỏi đó để có thể quản lý và đào tạo thêm những câu hỏi khơng trả lời được.
Hình 4.31: Dữ liệu lịch sử người dùng hỏi bị lỗi
- Nếu người quản lý truy cập vào cửa sau để lấy tài liệu thì máy tính cũng lưu lại lịch sử.
SVTH: LÊ TRUNG KIÊN 96
Hình 4.32: Dữ liệu lịch sử truy cập của người quản lý
4.4 Thiết kế giao diện người dùng 4.4.1 Hướng dẫn thao tác với giao diện 4.4.1 Hướng dẫn thao tác với giao diện
Hình 4.33: Giao diện người dùng hệ thống chatbot Bảng 4.6: Các nút chức năng Bảng 4.6: Các nút chức năng
Button Chức năng Ảnh minh họa
Chạy chương trình
SVTH: LÊ TRUNG KIÊN 97 - Cài đặt ngôn ngữ.
- Đăng nhập vào excel quản lý cơ sở dữ liệu người dùng.
- Truy cập mở cửa sau. Nhấn để đưa tài liệu vào ngăn dành cho khoa cơ điện tử
Nhấn để đưa tài liệu vào ngăn dành cho khoa tự động hóa
4.4.2 Xây dựng giao diện
Hình 4.34: Sơ đồ điều khiển từ giao diện
Nút RUN: Sau khi nhấn chương trình sẽ chạy lúc này máy tính sẽ nghe và xử lý giọng nói và dùng mơ hình phân loại ý định để xác định câu trả lời đầu ra nếu không nghe hoặc khơng xác định được ý định máy tính sẽ báo khơng hiểu và lưu câu hỏi khơng hiểu đó vào excel rồi bắt đầu lặp lại nghe lần nữa ngược lại nếu xác định được ý định thì máy tính sẽ trả lời khi ý định là yêu cầu mở ngăn một hoặc hai thì máy tính
SVTH: LÊ TRUNG KIÊN 98 sẽ trả lời, lưu dữ liệu vào excel và gửi tín hiệu xuống vi điều khiển để tiến hành hoạt động khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Mechatronic: Khi nhấn máy tính sẽ lưu dữ liệu lên excel truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn của cơ điện tử khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Automation: Khi nhấn máy tính sẽ lưu dữ liệu lên excel truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn của tự động hóa khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Setting: Khi nhấn sẽ hiện ra giao diện chuyển ngôn ngữ và đăng nhập, để vào excel xem dữ liệu hoặc mở cửa sau bắt buộc phải nhập đúng tài khoản được cấp.
SVTH: LÊ TRUNG KIÊN 99
CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI 5.1 Thiết kế mơ hình 5.1 Thiết kế mơ hình
5.1.1 Cơ sở thiết kế
Để mơ hình mang tính trực quan và tăng khả năng giao tiếp robot với người dùng thì phải đảm bảo độ cao phù hợp và phải phù hợp với độ tải của động cơ nên độ cao được tăng thêm 400mm.
5.1.2 Bản thiết kế mơ hình trên Inventor
SVTH: LÊ TRUNG KIÊN 100
5.2 Sơ đồ mạch điều khiển
Hình 5.2:Sơ đồ điều khiển tồn hệ thống trên giao diện
SVTH: LÊ TRUNG KIÊN 101 ❖ RUN: Đầu tiên khi kích hoạt camera sẽ được khởi động tiếp đến sẽ chạy
chương trình xử lý ảnh phát hiện khuôn mặt và bám theo đối tượng, nếu khn mặt trong khung hình đúng trong 5s robot sẽ bắt đầu bám theo và điều chỉnh tọa độ khuôn mặt vào giữa khung hình, khi vào đúng khung hình chương trình xử lý phát hiện khuôn mặt kết thúc và chạy chương trình giao tiếp bằng giọng nói.
Robot sẽ nghe bằng micro và xử lý giọng nói dùng mơ hình phân loại ý định để xác định câu trả lời đầu ra nếu không nghe hoặc khơng xác định được ý định thì robot sẽ báo khơng hiểu và lưu câu hỏi khơng hiểu đó vào excel rồi bắt đầu lặp lại nghe lần nữa, ngược lại nếu xác định được ý định thì robot sẽ trả lời khi ý định là yêu cầu mở ngăn một hoặc hai thì sẽ trả lời rồi lưu lại ảnh người gửi, dữ liệu vào excel và gửi tính hiệu xuống vi điều khiển để tiến hành hoạt động đến khi hoàn tất robot trở lại trạng thái bắt đầu nghe tiếp tục. Trong trường hợp nếu robot nghe quá 3 lần mà khơng thấy phản hồi thì tự động sẽ chuyển sang chế độ đỗ xe ở vị trí đã định.
Sau khi kết thúc cuộc trò chuyện, robot sẽ bắt đầu xoay phải và chạy chương trình phát hiện màu, đến khi phát hiện được màu đỏ (parking lot), giống như phát hiện khuôn mặt robot di chuyển và cân chỉnh đối tượng và giữa khung hình, bám đến vị trí đối tượng, sau khi đến đối tượng robot sẽ xoay 180 độ nhầm mục đích hướng robot ra ngoài cho tầm camera quan sát, cuối cùng quay lại chương trình xử lý khn mặt.
❖ Mechatronic: Khi kích hoạt chương trình sẽ lưu ảnh người dùng vào cơ sở dữ
liệu trên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn cơ điện tử khi kết thúc thì robot bắt đầu nghe tiếp tục.
❖ Automation: Tương tự như mechatronic khi kích hoạt máy tính sẽ lưu hình
người gửi và lưu dữ liệu lên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn tự động hóa đến khi kết thúc thì robot bắt đầu trở lại nghe tiếp tục.
❖ Setting: Khi kích hoạt sẽ hiện ra giao diện chuyển ngơn ngữ và đăng nhập, để
SVTH: LÊ TRUNG KIÊN 102 ❖ EXIT: Dừng và thốt tất cả chương trình.
Sơ đồ mạch điều khiển robot:
Hình 5.3: Sơ đồ đấu nối dây
Trung tâm điều khiển chính vẫn là Arduino Mega 2560, nhiệm vụ của master là nhận lệnh từ máy tính, truyền lệnh cho các slave đồng thời thực hiện việc thu nhận giấy tờ từ cổng vào, chuyển đổi các ngăn từ yêu cầu người gửi.
Slave công việc là chờ và nhận lệnh từ master, trong đó hai slave vẫn tiếp tục giữ vai trò điều khiển động cơ DC, slave còn lại đảm nhận vai trò mở cổng sau để người sử dụng lấy giấy tờ trong ngăn, đồng thời tích hợp thêm module RFID trong việc mở cổng sau.
5.3 Mơ hình hồn chỉnh
Mơ hình có kích thước 1200x408x430 có chiều cao 1200mm phù hợp với người dùng tương tác với màn hình điều khiển, và dễ dàng thao tác gửi giấy tờ hành chánh vào ngăn của robot.
SVTH: LÊ TRUNG KIÊN 103 Robot có khối lượng xấp xỉ 9kg bao gồm tồn bộ hệ thống với tốc độ di chuyển 22 vịng/phút để q trình dị tìm đối tượng ổn định và chính xác.
Hình 5.4: Mơ hình kết hợp thực tế
5.4 Đánh giá
Mơ hình khi kết hợp hoạt động tốt sau nhiều lần thực nghiệm, robot di chuyển ổn định ít rung lắc, đảm bảo cho tầm nhìn camera quan sát và phát hiện đối tượng hiệu quả, giao tiếp tốt với người dùng tương tác, các ngăn lấy tài liệu hoạt động tốt
Robot quản lý dữ liệu người sử dụng bao gồm người gửi tài liệu và người quản lý truy cập vào cửa lấy tài liệu được lưu thơng tin vào excel, hình ảnh người gửi được lưu vào thư mục quản lý như (hình 5.5).
SVTH: LÊ TRUNG KIÊN 104
SVTH: LÊ TRUNG KIÊN 105
CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết quả
6.1.1 Tạo dữ liệu cho chatbot
Bảng 6.1: Dữ liệu huấn luyện.
STT Tags Patterns Responses
1 Greeting
- Hi - Hey
- How are you - Is anyone there? - Hello - Good day - Hi - Hello 2 goodbye - Bye
- See you later - Goodbye - Bye 3 thanks - Thanks - Thank you - That's helpful - Thanks a lot! - Happy to help! - Any time! - My pleasure 4 my name - What your name?
- What is the name - My name is KP"
5 root source - Who is your creator? - Who created you
- my creator is Kien and Phuoc
- Kien and Phuoc created me
6 function - can you help me?
- what can you do for me?
- I can help you find the classroom, help you look up the phone number of the lecturer....
7 send faculty Mechatronic
- I want to send documents to Mechatronic
- I want to send documents to electronic engine
- Insert the document into the slot below
Mechatronic
8 send doc - I want to send a document - Mechatronic or Automation
9 send faculty Automation
- I want to send a document to Automation
- I need to send documents to Automation
- Insert the document into the slot below
SVTH: LÊ TRUNG KIÊN 106 10 birthday - your birthday
- What is your date of birth?
- I was born on June 18, 2021 - I was born on 18/6/2021 11 number phone Mr Kien
- I want to meet Kien - What is Kien's phone
number?
- 0949071948
12 Introduction Faculty
- Introduction to the Faculty of Mechanical Engineering
- Please watch the video to know more
13 University introduction
- Introducing Can Tho University of Engineering and Technology
- About Can Tho University of Engineering and
Technology
- Please watch the video to know more
14 Head Faculty
- Dean of the Department of Mechanical Engineering - Head of Department of
Mechanical Engineering - Who is the Dean of
Mechanical Engineering?
- The Dean of the Faculty of Mechanical
Engineering is Do Vinh Quang
15 laguane Vn
- can you speak Vietnamese - speak Vietnamese please - Vietnamese please
- OK, I will speak Vietnamese
- Yes, speak Vietnamese now
- I also speak Vietnamese, switch now
16 laguane En
- can you speak English - speak english please - English please
- OK, I will speak English - Yes, speak english now - I also speak English,
switch now 17 open youtube - open youtube
- you can open youtube - Youtube is opening
6.1.2 Kết quả đào tạo mơ hình huấn luyện
Với dữ liệu đào tạo hiện tại là 17 ý định và 42 câu hỏi thì sau 1000 quá trình huấn luyện thì cross entropy là 0.0005
SVTH: LÊ TRUNG KIÊN 107
Hình 6.1: Kết quả huấn luyện mơ hình
6.1.3 Kết quả phát hiện giọng nói tiếng việt
Bảng 6.2: Kết quả phát hiện giọng nói tiếng việt
Stt Số
lần Câu hỏi Câu trả lời Đúng
1 30 Trưởng khoa kỹ thuật cơ khí là ai
Trưởng khoa của khoa kỹ thuật cơ khí
là Đỗ Vinh Quan 25
2 30 Giới thiệu về cơ
điện tử Vui lòng xem video để biết thêm 28 3 30
Giới thệu về Đại học Kỹ thuật Công nghệ Cần Thơ
Vui lòng xem video để biết thêm 27 4 30 Bạn sinh ngày
mấy Tôi sinh ngày 18/6/2021 26
5 30 Bạn có thể giúp gì được cho tơi
Tơi có thể giúp bạn tìm lớp học, giúp bạn tra cứu số điện thoại của giảng viên .... 26 6 30 Tạm biệt Hẹn gặp lại 24 7 30 Chào Chào Bạn 27 8 30 Bạn có thể nói tiếng anh được khơng
SVTH: LÊ TRUNG KIÊN 108 9 30
Bạn có thể nói tiếng việt được khơng.
Tơi cũng nói tiếng Việt, chuyển đổi
ngay bây giờ 29
10 30 Bạn tên gì Tơi tên là KP 27
11 30 Tôi muốn gặp
Kiên 0949071948 24
12 30 Mở youtube Đang mở youtube 27
13 30 Ai là người đã
tạo ra bạn. Kiên và Phước đã tạo ra tôi 28 14 30 Tôi muốn gửi tài
liệu Cơ điện tử hoặc tự động hóa 24
15 30
Tơi muốn gửi tài liệu đến tự động hóa
Chèn tài liệu vào khe dưới tự động hóa 28 16 30
Tôi muốn gửi tài liệu đến cơ điện
tử Chèn tài liệu vào khe dưới cơ điện tử
25
17 30 Cảm ơn Rất vui được giúp bạn 27
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá cao, máy tính nghe tốt với những câu dài có nhiều key word nhưng người dùng cần nói chuẩn thì robot sẽ nhận dạng tốt hơn và đưa ra câu trả lời tốt hơn.
6.1.4 Kết quả phát hiện giọng nói tiếng anh
Bảng 6.3: Kết quả phát hiện giọng nói tiếng anh
Stt Số
lần Câu hỏi Câu trả lời Đúng
1 30
Who is the Head of Mechanical Engineering Department
The Dean of the Faculty of Mechanical Engineering is Do Vinh Quang 24
2 30
Introduction to the Faculty of Mechanical Engineering
Please watch the video to know more 25
3 30
introducing Can Tho University of Technology
Please watch the video to know more 21
SVTH: LÊ TRUNG KIÊN 109 5 30 what can you do
for me
I can help you find the classroom, help you look up the phone number of the lecturer....
18
6 30 Goodbye Bye 26
7 30 Hi Hello 24
8 30 Can you speak
English Yes, speak english now 24
9 30 Can you speak
vietnamese Yes, speak Vietnamese now 22
10 30 What your name My name is KP 21
11 30 I want meet kien 0949071948 21
12 30 open youtube
for me Youtube is opening 17
13 30 Who is created
you Kien and Phuoc created me 22
14 30 I want to send
document Mechatronic or Automation 19
15 30
I want to send documents to Automation
Insert the document into the slot below
Automation 23
16 30
I want to send documents to Mechatronic
Insert the document into the slot below
Mechatronic 25
17 30 thanks Happy to help! 18
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá