SVTH: LÊ TRUNG KIÊN 100
5.2 Sơ đồ mạch điều khiển
Hình 5.2:Sơ đồ điều khiển tồn hệ thống trên giao diện
SVTH: LÊ TRUNG KIÊN 101 ❖ RUN: Đầu tiên khi kích hoạt camera sẽ được khởi động tiếp đến sẽ chạy
chương trình xử lý ảnh phát hiện khn mặt và bám theo đối tượng, nếu khuôn mặt trong khung hình đúng trong 5s robot sẽ bắt đầu bám theo và điều chỉnh tọa độ khuôn mặt vào giữa khung hình, khi vào đúng khung hình chương trình xử lý phát hiện khuôn mặt kết thúc và chạy chương trình giao tiếp bằng giọng nói.
Robot sẽ nghe bằng micro và xử lý giọng nói dùng mơ hình phân loại ý định để xác định câu trả lời đầu ra nếu không nghe hoặc khơng xác định được ý định thì robot sẽ báo khơng hiểu và lưu câu hỏi khơng hiểu đó vào excel rồi bắt đầu lặp lại nghe lần nữa, ngược lại nếu xác định được ý định thì robot sẽ trả lời khi ý định là yêu cầu mở ngăn một hoặc hai thì sẽ trả lời rồi lưu lại ảnh người gửi, dữ liệu vào excel và gửi tính hiệu xuống vi điều khiển để tiến hành hoạt động đến khi hoàn tất robot trở lại trạng thái bắt đầu nghe tiếp tục. Trong trường hợp nếu robot nghe quá 3 lần mà khơng thấy phản hồi thì tự động sẽ chuyển sang chế độ đỗ xe ở vị trí đã định.
Sau khi kết thúc cuộc trị chuyện, robot sẽ bắt đầu xoay phải và chạy chương trình phát hiện màu, đến khi phát hiện được màu đỏ (parking lot), giống như phát hiện khuôn mặt robot di chuyển và cân chỉnh đối tượng và giữa khung hình, bám đến vị trí đối tượng, sau khi đến đối tượng robot sẽ xoay 180 độ nhầm mục đích hướng robot ra ngồi cho tầm camera quan sát, cuối cùng quay lại chương trình xử lý khn mặt.
❖ Mechatronic: Khi kích hoạt chương trình sẽ lưu ảnh người dùng vào cơ sở dữ
liệu trên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn cơ điện tử khi kết thúc thì robot bắt đầu nghe tiếp tục.
❖ Automation: Tương tự như mechatronic khi kích hoạt máy tính sẽ lưu hình
người gửi và lưu dữ liệu lên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn tự động hóa đến khi kết thúc thì robot bắt đầu trở lại nghe tiếp tục.
❖ Setting: Khi kích hoạt sẽ hiện ra giao diện chuyển ngơn ngữ và đăng nhập, để
SVTH: LÊ TRUNG KIÊN 102 ❖ EXIT: Dừng và thốt tất cả chương trình.
Sơ đồ mạch điều khiển robot:
Hình 5.3: Sơ đồ đấu nối dây
Trung tâm điều khiển chính vẫn là Arduino Mega 2560, nhiệm vụ của master là nhận lệnh từ máy tính, truyền lệnh cho các slave đồng thời thực hiện việc thu nhận giấy tờ từ cổng vào, chuyển đổi các ngăn từ yêu cầu người gửi.
Slave công việc là chờ và nhận lệnh từ master, trong đó hai slave vẫn tiếp tục giữ vai trò điều khiển động cơ DC, slave còn lại đảm nhận vai trò mở cổng sau để người sử dụng lấy giấy tờ trong ngăn, đồng thời tích hợp thêm module RFID trong việc mở cổng sau.
5.3 Mơ hình hồn chỉnh
Mơ hình có kích thước 1200x408x430 có chiều cao 1200mm phù hợp với người dùng tương tác với màn hình điều khiển, và dễ dàng thao tác gửi giấy tờ hành chánh vào ngăn của robot.
SVTH: LÊ TRUNG KIÊN 103 Robot có khối lượng xấp xỉ 9kg bao gồm tồn bộ hệ thống với tốc độ di chuyển 22 vịng/phút để q trình dị tìm đối tượng ổn định và chính xác.
Hình 5.4: Mơ hình kết hợp thực tế
5.4 Đánh giá
Mơ hình khi kết hợp hoạt động tốt sau nhiều lần thực nghiệm, robot di chuyển ổn định ít rung lắc, đảm bảo cho tầm nhìn camera quan sát và phát hiện đối tượng hiệu quả, giao tiếp tốt với người dùng tương tác, các ngăn lấy tài liệu hoạt động tốt
Robot quản lý dữ liệu người sử dụng bao gồm người gửi tài liệu và người quản lý truy cập vào cửa lấy tài liệu được lưu thơng tin vào excel, hình ảnh người gửi được lưu vào thư mục quản lý như (hình 5.5).
SVTH: LÊ TRUNG KIÊN 104
SVTH: LÊ TRUNG KIÊN 105
CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết quả
6.1.1 Tạo dữ liệu cho chatbot
Bảng 6.1: Dữ liệu huấn luyện.
STT Tags Patterns Responses
1 Greeting
- Hi - Hey
- How are you - Is anyone there? - Hello - Good day - Hi - Hello 2 goodbye - Bye
- See you later - Goodbye - Bye 3 thanks - Thanks - Thank you - That's helpful - Thanks a lot! - Happy to help! - Any time! - My pleasure 4 my name - What your name?
- What is the name - My name is KP"
5 root source - Who is your creator? - Who created you
- my creator is Kien and Phuoc
- Kien and Phuoc created me
6 function - can you help me?
- what can you do for me?
- I can help you find the classroom, help you look up the phone number of the lecturer....
7 send faculty Mechatronic
- I want to send documents to Mechatronic
- I want to send documents to electronic engine
- Insert the document into the slot below
Mechatronic
8 send doc - I want to send a document - Mechatronic or Automation
9 send faculty Automation
- I want to send a document to Automation
- I need to send documents to Automation
- Insert the document into the slot below
SVTH: LÊ TRUNG KIÊN 106 10 birthday - your birthday
- What is your date of birth?
- I was born on June 18, 2021 - I was born on 18/6/2021 11 number phone Mr Kien
- I want to meet Kien - What is Kien's phone
number?
- 0949071948
12 Introduction Faculty
- Introduction to the Faculty of Mechanical Engineering
- Please watch the video to know more
13 University introduction
- Introducing Can Tho University of Engineering and Technology
- About Can Tho University of Engineering and
Technology
- Please watch the video to know more
14 Head Faculty
- Dean of the Department of Mechanical Engineering - Head of Department of
Mechanical Engineering - Who is the Dean of
Mechanical Engineering?
- The Dean of the Faculty of Mechanical
Engineering is Do Vinh Quang
15 laguane Vn
- can you speak Vietnamese - speak Vietnamese please - Vietnamese please
- OK, I will speak Vietnamese
- Yes, speak Vietnamese now
- I also speak Vietnamese, switch now
16 laguane En
- can you speak English - speak english please - English please
- OK, I will speak English - Yes, speak english now - I also speak English,
switch now 17 open youtube - open youtube
- you can open youtube - Youtube is opening
6.1.2 Kết quả đào tạo mơ hình huấn luyện
Với dữ liệu đào tạo hiện tại là 17 ý định và 42 câu hỏi thì sau 1000 quá trình huấn luyện thì cross entropy là 0.0005
SVTH: LÊ TRUNG KIÊN 107
Hình 6.1: Kết quả huấn luyện mơ hình
6.1.3 Kết quả phát hiện giọng nói tiếng việt
Bảng 6.2: Kết quả phát hiện giọng nói tiếng việt
Stt Số
lần Câu hỏi Câu trả lời Đúng
1 30 Trưởng khoa kỹ thuật cơ khí là ai
Trưởng khoa của khoa kỹ thuật cơ khí
là Đỗ Vinh Quan 25
2 30 Giới thiệu về cơ
điện tử Vui lòng xem video để biết thêm 28 3 30
Giới thệu về Đại học Kỹ thuật Cơng nghệ Cần Thơ
Vui lịng xem video để biết thêm 27 4 30 Bạn sinh ngày
mấy Tôi sinh ngày 18/6/2021 26
5 30 Bạn có thể giúp gì được cho tơi
Tơi có thể giúp bạn tìm lớp học, giúp bạn tra cứu số điện thoại của giảng viên .... 26 6 30 Tạm biệt Hẹn gặp lại 24 7 30 Chào Chào Bạn 27 8 30 Bạn có thể nói tiếng anh được không
SVTH: LÊ TRUNG KIÊN 108 9 30
Bạn có thể nói tiếng việt được khơng.
Tơi cũng nói tiếng Việt, chuyển đổi
ngay bây giờ 29
10 30 Bạn tên gì Tôi tên là KP 27
11 30 Tôi muốn gặp
Kiên 0949071948 24
12 30 Mở youtube Đang mở youtube 27
13 30 Ai là người đã
tạo ra bạn. Kiên và Phước đã tạo ra tôi 28 14 30 Tôi muốn gửi tài
liệu Cơ điện tử hoặc tự động hóa 24
15 30
Tôi muốn gửi tài liệu đến tự động hóa
Chèn tài liệu vào khe dưới tự động hóa 28 16 30
Tơi muốn gửi tài liệu đến cơ điện
tử Chèn tài liệu vào khe dưới cơ điện tử
25
17 30 Cảm ơn Rất vui được giúp bạn 27
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá cao, máy tính nghe tốt với những câu dài có nhiều key word nhưng người dùng cần nói chuẩn thì robot sẽ nhận dạng tốt hơn và đưa ra câu trả lời tốt hơn.
6.1.4 Kết quả phát hiện giọng nói tiếng anh
Bảng 6.3: Kết quả phát hiện giọng nói tiếng anh
Stt Số
lần Câu hỏi Câu trả lời Đúng
1 30
Who is the Head of Mechanical Engineering Department
The Dean of the Faculty of Mechanical Engineering is Do Vinh Quang 24
2 30
Introduction to the Faculty of Mechanical Engineering
Please watch the video to know more 25
3 30
introducing Can Tho University of Technology
Please watch the video to know more 21
SVTH: LÊ TRUNG KIÊN 109 5 30 what can you do
for me
I can help you find the classroom, help you look up the phone number of the lecturer....
18
6 30 Goodbye Bye 26
7 30 Hi Hello 24
8 30 Can you speak
English Yes, speak english now 24
9 30 Can you speak
vietnamese Yes, speak Vietnamese now 22
10 30 What your name My name is KP 21
11 30 I want meet kien 0949071948 21
12 30 open youtube
for me Youtube is opening 17
13 30 Who is created
you Kien and Phuoc created me 22
14 30 I want to send
document Mechatronic or Automation 19
15 30
I want to send documents to Automation
Insert the document into the slot below
Automation 23
16 30
I want to send documents to Mechatronic
Insert the document into the slot below
Mechatronic 25
17 30 thanks Happy to help! 18
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá cao nhưng người dùng cần nói chuẩn thì robot sẽ nhận dạng tốt hơn và đưa ra câu trả lời tốt hơn.
SVTH: LÊ TRUNG KIÊN 110
6.1.5 Kết quả lưu trữ dữ liệu người dùng
Hình 6.2: Phân tích dữ liệu trên excel
6.1.6 Điều khiển robot
SVTH: LÊ TRUNG KIÊN 111
Hình 6.4: Hoạt động khi mở cửa sau
Cơ cấu đóng mở khá tốt khi nhận tín hiệu từ chương trình điều khiển hệ thống.
6.2 Đánh giá
Chương trình xử lý xác định giọng nói và giao tiếp với điều khiển đạt yêu cầu hoạt động được đề ra, đồng thời đảm bảo được giao tiếp với người nói liên tục.
Mơ hình chatbot xử lý đóng mở và chuyển đổi ngăn hoạt động tốt.
Giao tiếp giữa máy tính và vi điều khiển nhanh chóng và ổn định.
Giao diện hiển thị và điều khiển tốt không bị lỗi.
6.3 Kết luận
6.3.1 Kết quả đạt được
- Xây dựng thiết kế mơ hình chatbot quản lý tài liệu trên Autodesk Inventor. - Chế tạo thành cơng mơ hình chatbot quản lý tài liệu thực tế.
- Xây dựng giao diện thành công tương tác với người dùng. - Giao tiếp cổng COM thành cơng giữa máy tính và vi điều khiển
- Chương trình xử lý xác định giọng nói hoạt động giao tiếp tốt với người dùng bằng tiếng Anh và tiếng Việt.
SVTH: LÊ TRUNG KIÊN 112 - Mơ hình chatbot đưa giấy tờ vào các ngăn hoạt động đúng như yêu cầu đặt ra.
6.3.2 Các hạn chế của đề tài
- Mơ hình chatbot quản lý tài liệu cịn bị hạn chế số ngăn và phương thức đóng mở và lưu trữ khác.
- Hệ thống chương trình xử lý xác định giọng nói địi hỏi người dùng phải giao tiếp chuẩn ngôn ngữ tiếng Anh hoặc tiếng Việt.
- Khả năng nghe bị giới hạn bởi tiếng ồn.
- Vì câu trả lời tiếng việt được dịch từ dữ liệu tiếng anh nên có một số từ robot nói khơng chuẩn nghĩa.
6.4 Hướng phát triển
- Xây dựng cơ cấu đóng mở, chuyển đổi giữa các ngăn của mơ hình chatbot linh hoạt và hiệu quả hơn.
- Xây dựng mơ hình chatbot có nhiều ngăn và ngồi chứa giấy tờ hành chính cịn có thể chứa được các thủ tục khác.
- Tăng khả năng thông minh của chatbot hơn có thể tự đào tạo khơng cần con người can thiệp.
- Xử lý tiếng ồn cho chương trình có thể giao tiếp tốt hơn. - Xây dựng thêm nhiều ngôn ngữ giao tiếp với người dùng. - Dùng máy tính nhúng thay vì laptop cồng kềnh.
SVTH: LÊ TRUNG KIÊN 113
TÀI LIỆU THAM KHẢO
[1] Nguyễn Văn Quyền (2016), Luận Văn Thạc Sĩ: "Xây Mơ Hình Bán Hàng Trên
Internet", Hà Nội.
[2] Nguyễn Hữu Cường (2017), Luận Văn Thạc Sĩ: "Nghiên Cứu Hệ Thống Trợ Lý
Thông Minh Ảo", Hà Nội.
[3] Demuth, H. and M. Beale, 2005. Neural Network Toolbox – User’s Guide®. MathWorks, Inc.
[4] Elizabeth D.Liddy. “Natural Language Processing”, Syracuse University 2001. [5] Đỗ Viết Mạnh (2020), Luận Văn Thạc Sĩ: "Xây dựng Chatbot Bán Hàng Dựa
Trên Mơ Hình Sinh", Hà Nội.
[6] Nguyễn Đắc Nam (2017), Luận Văn Thạc Sĩ: "Hệ Thống Tự Động Phân Luồn
Câu Hỏi Và Giải Đáp Yêu Cầu Trực Tuyến", Hà Nội.
[7] Nguyễn Chí Ngơn, Trần Thanh Hùng, Trương Thị Thanh Tuyền, Nguyễn Thái Nghe (2005), "Ứng Dụng Mạng Nơ-Ron Nhân Tạo Ðể Ðiều Khiển Thiết Bị Bằng
Giọng Nói Tiếng Việt", Tạp Chí Khoa Học Trường Đại Học Cần Thơ, (Số chuyên đề:
Nghiên cứu khoa học,2005:3 96-103)
[8] Nguyen Tan Phu,Nghia Duong-Trung (2020) "Chatbot for University Admission
Services”: Design and Implementation based on Long-short-term Memory Networks"
Hội thảo quốc gia lần thứ XXIII ,Quảng Ninh.
[9] Steven "Steven Bird, Ewan Klein & Edward Loper (2009), Sách: "Natural
Language Processing with Python"", Printed in the United States of America”
[10] Nguyễn Tấn Tiến (2019), Luận Văn Thạc Sĩ: "Nghiên Cứu Và Xây Dựng Chatbot
Hỗ Trợ Người Dùng Trong Ngân Hàng", Hà Nội.
[11] Phan Thanh Toàn (2018), Đồ Án Tốt Nghiệp: "Điều Khiển Xe Robot Bằng Giọng
SVTH: LÊ TRUNG KIÊN 114 [12] Nguyễn Thanh Tuấn (2019), Sách: "Deep Learning Cơ Bản"
[13] Vũ Thị Tuyến (2016)., Luận Văn Thạc Sĩ: “Một số mơ hình học máy trong phân
loại câu hỏi”, Hà Nội.
[14] Thủy Nguyễn Thành: Mã nguồn dự án Chatbot. Truy xuất https://github.com/thuynguyenthanh/VIETNAM-AIRLINES-Assistant-PROJECT/
Các website tham khảo:
[15] CODE LÝ CODE HÀNH,"Trợ Lý Ảo | Lập trình Trợ Lý Ảo tiếng
việt",https://www.youtube.com/watch?v=2BCvwaRX_BA.
[16] Mì AI, "Lập trình giao diện đồ hoạ đa luồng với Tkinter trên
Python",https://www.youtube.com/watch?v=MHva487-DH0.
[17] Patrick (2020), "Chat Bot With PyTorch - NLP And Deep Learning", https://www.python-engineer.com/posts/chatbot-pytorch/
[18] ProtonX, "Giới thiệu về Machine Learning + Deep Learning" , https://www.youtube.com/watch?v=j5HxIJoOJms.
[19] Tech With Tim, "Python Chat Bot Tutorial - Chatbot with Deep
SVTH: LÊ TRUNG KIÊN 115
PHỤ LỤC Nguồn code luận văn:
Link google drive:
https://drive.google.com/drive/folders/1SvicVinguXFDEhDMt2Ef1LmmvJPo3cBP ?usp=sharing