Nút RUN: Sau khi nhấn chương trình sẽ chạy lúc này máy tính sẽ nghe và xử lý giọng nói và dùng mơ hình phân loại ý định để xác định câu trả lời đầu ra nếu không nghe hoặc không xác định được ý định máy tính sẽ báo khơng hiểu và lưu câu hỏi khơng hiểu đó vào excel rồi bắt đầu lặp lại nghe lần nữa ngược lại nếu xác định được
ý định thì máy tính sẽ trả lời khi ý định là yêu cầu mở ngăn một hoặc hai thì máy tính
SVTH: LÊ TRUNG KIÊN
sẽ trả lời, lưu dữ liệu vào excel và gửi tín hiệu xuống vi điều khiển để tiến hành hoạt động khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Mechatronic: Khi nhấn máy tính sẽ lưu dữ liệu lên excel truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn của cơ điện tử khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Automation: Khi nhấn máy tính sẽ lưu dữ liệu lên excel truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn của tự động hóa khi xong thì máy tính bắt đầu nghe tiếp tục.
Nút Setting: Khi nhấn sẽ hiện ra giao diện chuyển ngôn ngữ và đăng nhập, để vào excel xem dữ liệu hoặc mở cửa sau bắt buộc phải nhập đúng tài khoản được cấp.
Nút EXIT: Dừng và thốt tất cả chương trình
SVTH: LÊ TRUNG KIÊN
CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI5.1 Thiết kế mơ hình 5.1 Thiết kế mơ hình
5.1.1 Cơ sở thiết kế
Để mơ hình mang tính trực quan và tăng khả năng giao tiếp robot với người dùng thì phải đảm bảo độ cao phù hợp và phải phù hợp với độ tải của động cơ nên độ cao được tăng thêm 400mm.
5.1.2 Bản thiết kế mơ hình trên Inventor
Hình 5.1: Mơ hình tổng quát kết hợp đề tài
SVTH: LÊ TRUNG KIÊN
5.2 Sơ đồ mạch điều khiển
Hình 5.2:Sơ đồ điều khiển tồn hệ thống trên giao diện
Giải thích sơ đồ các nút điều khiển trên màn hình cảm ứng:
SVTH: LÊ TRUNG KIÊN
❖ RUN: Đầu tiên khi kích hoạt camera sẽ được khởi động tiếp đến sẽ chạy
chương trình xử lý ảnh phát hiện khn mặt và bám theo đối tượng, nếu khn mặt trong khung hình đúng trong 5s robot sẽ bắt đầu bám theo và điều chỉnh tọa độ khn mặt vào giữa khung hình, khi vào đúng khung hình chương trình xử lý phát hiện khn mặt kết thúc và chạy chương trình giao tiếp bằng giọng nói.
Robot sẽ nghe bằng micro và xử lý giọng nói dùng mơ hình phân loại ý định để xác định câu trả lời đầu ra nếu khơng nghe hoặc khơng xác định được ý định thì robot sẽ báo khơng hiểu và lưu câu hỏi khơng hiểu đó vào excel rồi bắt đầu lặp lại nghe lần nữa, ngược lại nếu xác định được ý định thì robot sẽ trả lời khi ý định là yêu cầu mở ngăn một hoặc hai thì sẽ trả lời rồi lưu lại ảnh người gửi, dữ liệu vào excel và gửi tính hiệu xuống vi điều khiển để tiến hành hoạt động đến khi hoàn tất robot trở lại trạng thái bắt đầu nghe tiếp tục. Trong trường hợp nếu robot nghe quá 3 lần mà khơng thấy phản hồi thì tự động sẽ chuyển sang chế độ đỗ xe ở vị trí đã định. Sau khi kết thúc cuộc trị chuyện, robot sẽ bắt đầu xoay phải và chạy chương trình phát hiện màu, đến khi phát hiện được màu đỏ (parking lot), giống như phát hiện khuôn mặt robot di chuyển và cân chỉnh đối tượng và giữa khung hình, bám đến vị trí đối tượng, sau khi đến đối tượng robot sẽ xoay 180 độ nhầm mục đích hướng robot ra ngồi cho tầm camera quan sát, cuối cùng quay lại chương trình xử lý khn mặt.
❖ Mechatronic: Khi kích hoạt chương trình sẽ lưu ảnh người dùng vào cơ sở dữ
liệu trên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn cơ điện tử khi kết thúc thì robot bắt đầu nghe tiếp tục.
❖ Automation: Tương tự như mechatronic khi kích hoạt máy tính sẽ lưu hình
người gửi và lưu dữ liệu lên excel sau đó truyền dữ liệu xuống vi điều khiển để tiến hành chạy cơ cấu đưa giấy vào ngăn tự động hóa đến khi kết thúc thì robot bắt đầu trở lại nghe tiếp tục.
❖ Setting: Khi kích hoạt sẽ hiện ra giao diện chuyển ngơn ngữ và đăng nhập, để
vào excel xem dữ liệu hoặc mở cửa sau, bắt buộc phải nhập đúng tài khoản được cấp.
SVTH: LÊ TRUNG KIÊN
❖ EXIT: Dừng và thốt tất cả chương trình.
Sơ đồ mạch điều khiển robot:
Hình 5.3: Sơ đồ đấu nối dây
Trung tâm điều khiển chính vẫn là Arduino Mega 2560, nhiệm vụ của master là nhận lệnh từ máy tính, truyền lệnh cho các slave đồng thời thực hiện việc thu nhận giấy tờ từ cổng vào, chuyển đổi các ngăn từ yêu cầu người gửi.
Slave công việc là chờ và nhận lệnh từ master, trong đó hai slave vẫn tiếp tục giữ vai trò điều khiển động cơ DC, slave còn lại đảm nhận vai trò mở cổng sau để người sử dụng lấy giấy tờ trong ngăn, đồng thời tích hợp thêm module RFID trong việc mở cổng sau.
5.3 Mơ hình hồn chỉnh
Mơ hình có kích thước 1200x408x430 có chiều cao 1200mm phù hợp với người dùng tương tác với màn hình điều khiển, và dễ dàng thao tác gửi giấy tờ hành chánh vào ngăn của robot.
SVTH: LÊ TRUNG KIÊN
Robot có khối lượng xấp xỉ 9kg bao gồm toàn bộ hệ thống với tốc độ di chuyển 22 vịng/phút để q trình dị tìm đối tượng ổn định và chính xác.
Hình 5.4: Mơ hình kết hợp thực tế
5.4 Đánh giá
Mơ hình khi kết hợp hoạt động tốt sau nhiều lần thực nghiệm, robot di chuyển ổn định ít rung lắc, đảm bảo cho tầm nhìn camera quan sát và phát hiện đối tượng hiệu quả, giao tiếp tốt với người dùng tương tác, các ngăn lấy tài liệu hoạt động tốt
Robot quản lý dữ liệu người sử dụng bao gồm người gửi tài liệu và người quản lý truy cập vào cửa lấy tài liệu được lưu thơng tin vào excel, hình ảnh người gửi được lưu vào thư mục quản lý như (hình 5.5).
SVTH: LÊ TRUNG KIÊN
Hình 5.5: Dữ liệu người gửi bao gồm thông tin và ảnh
SVTH: LÊ TRUNG KIÊN
CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết quả
6.1.1 Tạo dữ liệu cho chatbot
Bảng 6.1: Dữ liệu huấn luyện.
STT Tags 1 Greeting 2 goodbye 3 thanks 4 my name 5 root source 6 function send faculty 7 Mechatronic 8 send doc send faculty 9 Automation
10 birthday number 11 phone Mr Kien 12 Introduction Faculty 13 University introduction 14 Head Faculty 15 laguane Vn 16 laguane En 17 open youtube
6.1.2 Kết quả đào tạo mơ hình huấn luyện
Với dữ liệu đào tạo hiện tại là 17 ý định và 42 câu hỏi thì sau 1000 quá trình huấn luyện thì cross entropy là 0.0005
Hình 6.1: Kết quả huấn luyện mơ hình
6.1.3 Kết quả phát hiện giọng nói tiếng việt
Bảng 6.2: Kết quả phát hiện giọng nói tiếng việt
Stt Số lần 1 30 2 30 3 30 4 30 5 30 6 30 7 30 8 30
9 30 10 30 11 30 12 30 13 30 14 30 15 30 16 30 17 30
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá cao, máy tính nghe tốt với những câu dài có nhiều key word nhưng người dùng cần nói chuẩn thì robot sẽ nhận dạng tốt hơn và đưa ra câu trả lời tốt hơn.
6.1.4 Kết quả phát hiện giọng nói tiếng anh
Bảng 6.3: Kết quả phát hiện giọng nói tiếng anh
Stt Số lần 1 30 2 30 3 30 4 30
5 30 6 30 7 30 8 30 9 30 10 30 11 30 12 30 13 30 14 30 15 30 16 30 17 30
Kết quả sau nhiều lần thử nghiệm thực tế thì câu trả lời cho xác suất đúng khá cao nhưng người dùng cần nói chuẩn thì robot sẽ nhận dạng tốt hơn và đưa ra câu trả lời tốt hơn.
6.1.5 Kết quả lưu trữ dữ liệu người dùng
Hình 6.2: Phân tích dữ liệu trên excel
6.1.6 Điều khiển robot
Hình 6.3: Hoạt động khi giấy tờ vào
SVTH: LÊ TRUNG KIÊN
Hình 6.4: Hoạt động khi mở cửa sau
Cơ cấu đóng mở khá tốt khi nhận tín hiệu từ chương trình điều khiển hệ thống.
6.2 Đánh giá
Chương trình xử lý xác định giọng nói và giao tiếp với điều khiển đạt yêu cầu hoạt động được đề ra, đồng thời đảm bảo được giao tiếp với người nói liên tục.
Mơ hình chatbot xử lý đóng mở và chuyển đổi ngăn hoạt động tốt. Giao tiếp giữa máy tính và vi điều khiển nhanh chóng và ổn định. Giao diện hiển thị và điều khiển tốt không bị lỗi.
6.3 Kết luận
6.3.1 Kết quả đạt được
- Xây dựng thiết kế mơ hình chatbot quản lý tài liệu trên Autodesk Inventor.
- Chế tạo thành cơng mơ hình chatbot quản lý tài liệu thực tế.
- Xây dựng giao diện thành công tương tác với người dùng.
- Giao tiếp cổng COM thành cơng giữa máy tính và vi điều khiển
- Chương trình xử lý xác định giọng nói hoạt động giao tiếp tốt với người dùng bằng tiếng Anh và tiếng Việt.
SVTH: LÊ TRUNG KIÊN
- Mơ hình chatbot đưa giấy tờ vào các ngăn hoạt động đúng như yêu cầu đặt ra.
6.3.2 Các hạn chế của đề tài
- Mơ hình chatbot quản lý tài liệu cịn bị hạn chế số ngăn và phương thức đóng mở và lưu trữ khác.
- Hệ thống chương trình xử lý xác định giọng nói địi hỏi người dùng phải giao tiếp chuẩn ngôn ngữ tiếng Anh hoặc tiếng Việt.
- Khả năng nghe bị giới hạn bởi tiếng ồn.
- Vì câu trả lời tiếng việt được dịch từ dữ liệu tiếng anh nên có một số từ robot nói khơng chuẩn nghĩa.
6.4 Hướng phát triển
- Xây dựng cơ cấu đóng mở, chuyển đổi giữa các ngăn của mơ hình chatbot linh hoạt và hiệu quả hơn.
- Xây dựng mơ hình chatbot có nhiều ngăn và ngồi chứa giấy tờ hành chính cịn có thể chứa được các thủ tục khác.
- Tăng khả năng thông minh của chatbot hơn có thể tự đào tạo khơng cần con người can thiệp.
- Xử lý tiếng ồn cho chương trình có thể giao tiếp tốt hơn.
- Xây dựng thêm nhiều ngôn ngữ giao tiếp với người dùng.
- Dùng máy tính nhúng thay vì laptop cồng kềnh.
- Kết nối điều khiển với các thiết bị không dây iot.
SVTH: LÊ TRUNG KIÊN
TÀI LIỆU THAM KHẢO
[1] Nguyễn Văn Quyền (2016), Luận Văn Thạc Sĩ: "Xây Mơ Hình Bán Hàng Trên
Internet", Hà Nội.
[2] Nguyễn Hữu Cường (2017), Luận Văn Thạc Sĩ: "Nghiên Cứu Hệ Thống Trợ Lý
Thông Minh Ảo", Hà Nội.
[3] Demuth, H. and M. Beale, 2005. Neural Network Toolbox – User’s Guide®. MathWorks, Inc.
[4] Elizabeth D.Liddy. “Natural Language Processing”, Syracuse University 2001.
[5] Đỗ Viết Mạnh (2020), Luận Văn Thạc Sĩ: "Xây dựng Chatbot Bán Hàng Dựa
Trên Mơ Hình Sinh", Hà Nội.
[6] Nguyễn Đắc Nam (2017), Luận Văn Thạc Sĩ: "Hệ Thống Tự Động Phân Luồn
Câu Hỏi Và Giải Đáp Yêu Cầu Trực Tuyến", Hà Nội.
[7] Nguyễn Chí Ngơn, Trần Thanh Hùng, Trương Thị Thanh Tuyền, Nguyễn Thái Nghe (2005), "Ứng Dụng Mạng Nơ-Ron Nhân Tạo Ðể Ðiều Khiển Thiết Bị Bằng
Giọng Nói Tiếng Việt", Tạp Chí Khoa Học Trường Đại Học Cần Thơ, (Số chuyên
đề: Nghiên cứu khoa học,2005:3 96-103)
[8] Nguyen Tan Phu,Nghia Duong-Trung (2020) "Chatbot for University Admission
Services”: Design and Implementation based on Long-short-term Memory
Networks" Hội thảo quốc gia lần thứ XXIII ,Quảng Ninh.
[9] Steven "Steven Bird, Ewan Klein & Edward Loper (2009), Sách: "Natural
Language Processing with Python"", Printed in the United States of America”
[10] Nguyễn Tấn Tiến (2019), Luận Văn Thạc Sĩ: "Nghiên Cứu Và Xây Dựng
Chatbot Hỗ Trợ Người Dùng Trong Ngân Hàng", Hà Nội.
[11] Phan Thanh Toàn (2018), Đồ Án Tốt Nghiệp: "Điều Khiển Xe Robot Bằng
Giọng Nói Với Raspberry pi 3", Tp Hồ Chí Minh.
SVTH: LÊ TRUNG KIÊN
[12] Nguyễn Thanh Tuấn (2019), Sách: "Deep Learning Cơ Bản"
[13] Vũ Thị Tuyến (2016)., Luận Văn Thạc Sĩ: “Một số mơ hình học máy trong
phân loại câu hỏi”, Hà Nội.
[14] Thủy Nguyễn Thành: Mã nguồn dự án Chatbot. Truy xuất
https://github.com/thuynguyenthanh/VIETNAM-AIRLINES-Assistant-PROJECT/
Các website tham khảo:
[15] CODE LÝ CODE HÀNH,"Trợ Lý Ảo | Lập trình Trợ Lý Ảo tiếng
việt",https://www.youtube.com/watch?v=2BCvwaRX_BA.
[16] Mì AI, "Lập trình giao diện đồ hoạ đa luồng với Tkinter trên
Python",https://www.youtube.com/watch?v=MHva487-DH0.
[17] Patrick (2020), "Chat Bot With PyTorch - NLP And Deep Learning",
https://www.python-engineer.com/posts/chatbot-pytorch/
[18] ProtonX, "Giới thiệu về Machine Learning + Deep Learning" , https://www.youtube.com/watch?v=j5HxIJoOJms.
[19] Tech With Tim, "Python Chat Bot Tutorial - Chatbot with Deep
Learning",https://www.youtube.com/watch?v=PzzHOvpqDYs
SVTH: LÊ TRUNG KIÊN
PHỤ LỤC Nguồn code luận văn:
Link google drive:
https://drive.google.com/drive/folders/1SvicVinguXFDEhDMt2Ef1LmmvJPo3cBP ?usp=sharing
Mã QR:
SVTH: LÊ TRUNG KIÊN