MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

137 58 0
MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

Thông tin tài liệu

ĐẠI HỌC KỸ THUẬT – CÔNG NGHỆ CẦN THƠ KHOA KỸ THUẬT CƠ KHÍ    LÊ TRUNG KIÊN 1700218 MƠ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ Ngành: Cơng nghệ kỹ thuật Cơ điện tử - 2017 Mã số: 7510204 LUẬN VĂN ĐẠI HỌC TP.CẦN THƠ, tháng 06 năm 2021 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC KỸ THUẬT – CÔNG NGHỆ CẦN THƠ Cán hướng dẫn: Th.S NGUYỄN LÊ THẾ DUY Luận văn đại học bảo vệ Trường Đại học Kỹ thuật – Công nghệ Cần Thơ ngày 28 tháng 06 năm 2021 Thành phần Ban chấm đánh giá luận văn đại học gồm: Trưởng ban: Th.S PHĨ HỒNG LINH Uỷ viên phản biện: Th.S ĐƯỜNG KHÁNH SƠN Thư ký ban chấm: Th.S NGUYỄN LÊ THẾ DUY Xác nhận Ban chấm đánh giá sau luận văn sửa chữa TRƯỞNG BAN UỶ VIÊN PHẢN BIỆN THƯ KÝ Th.S Phó Hồng Linh Th.S Đường Khánh Sơn Th.S Nguyễn Lê Thế Duy TRƯỜNG ĐẠI HỌC CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KỸ THUẬT – CÔNG NGHỆ CẦN THƠ Độc lập – Tự – Hạnh phúc KHOA KỸ THUẬT CƠ KHÍ NHIỆM VỤ LUẬN VĂN ĐẠI HỌC Họ tên sinh viên: LÊ TRUNG KIÊN MSSV: 1700218 Ngày, tháng, năm, sinh: 05/08/1998 Nơi sinh: Bạc Liêu Ngành: Công nghệ kỹ thuật Cơ điện tử Mã số: 7510204 TÊN ĐỀ TÀI: MƠ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ NHIỆM VỤ VÀ NỘI DUNG ❖ Nhiệm vụ: Xây dựng chương trình chatbot để quản lý, hỗ trợ thủ tục tài liệu giao tiếp ❖ Nội dung: - Thiết kế, chế tạo mơ hình quản lý tài liệu - Xây dựng chương trình chatbot điều khiển hệ thống ngôn ngữ Python - Thiết kế giao diện người dùng cho chatbot ngôn ngữ Python CÁN BỘ HƯỚNG DẪN: Th.S NGUYỄN LÊ THẾ DUY THỜI GIAN GIAO ĐỀ TÀI: 15/02/2021 THỜI GIAN HOÀN THÀNH: 18/06/2021 Cần Thơ, ngày 10 tháng 07 năm 2021 CÁN BỘ HƯỚNG DẪN BỘ MÔN CƠ ĐIỆN TỬ KHOA KỸ THUẬT CƠ KHÍ LỜI CAM ĐOAN LỜI CAM ĐOAN Tôi xin cam đoan đề tài nghiên cứu thực với hướng dẫn Th.s Nguyễn Lê Thế Duy không chép từ tài liệu hay cơng trình có trước Tất nội dung có tham khảo từ tài liệu khác ghi lại phần tài liệu tham khảo Cần Thơ, Ngày 10 tháng 07 năm 2021 Sinh viên thực Lê Trung Kiên SVTH: LÊ TRUNG KIÊN I LỜI CẢM ƠN LỜI CẢM ƠN Tôi xin chân thành cảm ơn quý thầy, giảng viên Khoa Kỹ Thuật Cơ Khí, Trường Đại Học Kỹ thuật – Công nghệ Cần Thơ, giúp đỡ cung cấp tài liệu cần thiết, truyền đạt nhiều kiến thức hữu ích tạo điều kiện thuận lợi để tơi hồn thành tốt đề tài luận văn Tôi xin chân thành cảm ơn Thầy Nguyễn Lê Thế Duy – Giảng viên hướng dẫn đề tài, thầy quan tâm tạo điều kiện thuận lợi sở vật chất tài liệu tham khảo đồng thời người định hướng, góp ý ưu khuyết điểm đề tài để luận văn đạt mức hoàn chỉnh Đặc biệt tơi xin gửi lời biết ơn sâu sắc đến người thân, gia đình, cha mẹ tạo điều kiện tốt kinh tế tình thần cho tơi có q trình nghiên cứu Tôi xin cảm ơn đến bạn bè, anh chị khóa trước hỗ trợ động viên chia sẻ kinh nghiệm cho suốt trình thực luận văn Xin trân trọng cảm ơn Cần Thơ, Ngày 10 tháng 07 năm 2021 Lê Trung Kiên SVTH: LÊ TRUNG KIÊN II TÓM TẮT LUẬN VĂN TÓM TẮT LUẬN VĂN Chatbot năm gần dần tiến đến tầm cao mới mẻ lĩnh vực khoa học công nghệ chatbot nghiên cứu phát triển với tốc độ chóng mặt trung tâm nghiên cứu, trường đại học học viện nhiều lĩnh vực ứng dụng công nghệ Chatbots hình thức thơ sơ phần mềm trí tuệ nhân tạo, chương trình tạo từ máy tính tiến hành trị chuyện thông qua phương pháp nhập văn bản, âm thanh, cảm ứng trả lời câu hỏi xử lý tình huống, cơng cụ giao tiếp, tương tác với người thông qua trí tuệ nhân tạo lập trình sẵn Có nhiều cơng cụ thư viện hỗ trợ cho Chatbots như: Deep learning, Dialogflow, Wit.ai, Watson Conversation Service, Microsoft „s LUIS, Google Natural Language API, Đề tài luận văn “Mơ Hình Chatbot Giao Tiếp, Hỗ Trợ Thủ Tục Giấy Tờ Hành Chính Cho Sinh Viên Tại Khoa Kỹ Thuật Cơ Khí” thực giải nhiệm vụ bao gồm nội dung sau: Tìm hiểu Deep learning việc đào tạo liệu cho chatbot, thiết kế điều khiển cấu quản lý thu thập tài liệu từ yêu cầu điều khiển chatbot SVTH: LÊ TRUNG KIÊN III DANH MỤC CHỮ VIẾT TẮT DANH MỤC CHỮ VIẾT TẮT Chữ viết tắt ANN ASR BoW CNN DNN GMM GPU GND HMM HTML I2C JSON LSTM NLP NLTK NLU PCA PE PWM PSF RFID RNN SGD UART USB SVM IDE Chữ đầy đủ Artificial Neural Network Automatic Speech Recognition Bag of Words Convolution Neural Network Deep neural Network Gaussian mixture models Graphics Processing Unit Ground Hidden Markov Mode Hypertext Markup Language Inter-Integrated Circuit JavaScript Object Notation Long Short-Term Memory Natural Language Processing Natural Language Toolkit Natural Language Understanding Principal component analysis Processing Elements Pulse Width Modulation Python Software Foundation Radio Frequency Identification Recurrent Neural Network Stochastic Gradient Descent Universal Asynchronous Receiver / Transmitter Universal Serial Bus Vector Support Machine Arduino integreated Development Environment SVTH: LÊ TRUNG KIÊN IV MỤC LỤC MỤC LỤC LỜI CAM ĐOAN I LỜI CẢM ƠN II TÓM TẮT LUẬN VĂN III DANH MỤC CHỮ VIẾT TẮT .IV MỤC LỤC i DANH MỤC HÌNH vii DANH MỤC BẢNG xii MỞ ĐẦU xiii CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu chatbot 1.1.1 Cấu tạo chatbot 1.1.2 Phân loại chatbot .3 1.1.3 Cách thức hoạt động 1.2 Hiểu ngôn ngữ tự nhiên (NLU) 1.3 Xác định ý định người dùng 1.4 Vấn đề tập trung nghiên cứu đề tài CHƯƠNG 2: ĐỐI TƯỢNG VÀ PHƯƠNG PHÁP NGHIÊN CỨU 11 2.1 Đối tượng nghiên cứu 11 2.1.1 Phần mềm Inventor 11 2.1.2 Tổng quan Arduino 12 2.1.2.1 Giới thiệu Arduino 12 SVTH: LÊ TRUNG KIÊN i MỤC LỤC 2.1.2.2 Phần cứng Arduino 13 2.1.2.3 Một số loại Arduino điển hình 14 2.1.2.4 Ứng dụng Arduino 15 2.1.3 Phần mềm IDE Arduino 16 2.1.3.1 Khái niệm IDE Arduino 16 2.1.3.2 Cấu trúc chương trình .17 2.1.4 Ngôn ngữ lập trình Python 18 2.1.4.1 Khái niệm Python 18 2.1.4.2 Lịch sử hình thành 20 2.1.4.3 Ứng dụng Python 21 2.1.5 Phần mềm PyCharm 23 2.1.5.1 Khái niệm PyCharm 23 2.1.5.2 Ứng dụng 24 2.1.6 Thuật toán học sâu (Deep Learning) .25 2.1.6.1 Giới thiệu 25 2.1.6.2 Phương thức hoạt động Deep learning .28 2.2 Phương pháp nghiên cứu .29 2.2.1 Phương thức truyền liệu I2C 29 2.2.1.1 Giới thiệu giao tiếp I2C 29 2.2.1.2 Đặc điểm 30 2.2.2 Phương thức truyền liệu UART .30 2.2.2.1 Giới thiệu giao tiếp UART 30 SVTH: LÊ TRUNG KIÊN ii MỤC LỤC 2.2.2.2 Đặc điểm 33 CHƯƠNG 3: THIẾT KẾ VÀ XÂY DỰNG ROBOT 34 3.1 Thiết kế mơ hình khí .34 3.1.1 Cơ sở thiết kế 34 3.1.2 Bản thiết kế mơ hình Inventor 34 3.1.3 Thiết kế khí .39 3.1.3.1 Thiết kế khung trữ tài liệu .39 3.1.3.2 Cơ cấu thu tài liệu vào 39 3.1.3.3 Cơ cấu chuyển đổi ngăn chứa tài liệu .40 3.1.3.4 Cơ cấu mở cửa lấy tài liệu 41 3.2 Thiết kế mạch điện .42 3.2.1 Lưu đồ giải thuật sơ đồ mạch điều khiển robot chatbot 42 3.2.2 Arduino Mega2560 (Master) 45 3.2.3 Arduino Uno R3 (Slave) 48 3.2.4 Động DC 51 3.2.5 Động module điều khiển động bước ULN2003 V2 .51 3.2.6 Module LM2596 53 3.2.7 Module LM393 53 3.2.8 Module RFID RC522 54 3.2.9 Màn hình hiển thị cảm ứng MageDok T116D 55 3.2.10 Pin hệ thống 56 3.3 Mơ hình hồn chỉnh .57 SVTH: LÊ TRUNG KIÊN iii CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI ❖ RUN: Đầu tiên kích hoạt camera khởi động tiếp đến chạy chương trình xử lý ảnh phát khn mặt bám theo đối tượng, khn mặt khung hình 5s robot bắt đầu bám theo điều chỉnh tọa độ khn mặt vào khung hình, vào khung hình chương trình xử lý phát khn mặt kết thúc chạy chương trình giao tiếp giọng nói Robot nghe micro xử lý giọng nói dùng mơ hình phân loại ý định để xác định câu trả lời đầu khơng nghe khơng xác định ý định robot báo không hiểu lưu câu hỏi không hiểu vào excel bắt đầu lặp lại nghe lần nữa, ngược lại xác định ý định robot trả lời ý định yêu cầu mở ngăn hai trả lời lưu lại ảnh người gửi, liệu vào excel gửi tính hiệu xuống vi điều khiển để tiến hành hoạt động đến hoàn tất robot trở lại trạng thái bắt đầu nghe tiếp tục Trong trường hợp robot nghe lần mà không thấy phản hồi tự động chuyển sang chế độ đỗ xe vị trí định Sau kết thúc trò chuyện, robot bắt đầu xoay phải chạy chương trình phát màu, đến phát màu đỏ (parking lot), giống phát khuôn mặt robot di chuyển cân chỉnh đối tượng khung hình, bám đến vị trí đối tượng, sau đến đối tượng robot xoay 180 độ nhầm mục đích hướng robot ngồi cho tầm camera quan sát, cuối quay lại chương trình xử lý khn mặt ❖ Mechatronic: Khi kích hoạt chương trình lưu ảnh người dùng vào sở liệu excel sau truyền liệu xuống vi điều khiển để tiến hành chạy cấu đưa giấy vào ngăn điện tử kết thúc robot bắt đầu nghe tiếp tục ❖ Automation: Tương tự mechatronic kích hoạt máy tính lưu hình người gửi lưu liệu lên excel sau truyền liệu xuống vi điều khiển để tiến hành chạy cấu đưa giấy vào ngăn tự động hóa đến kết thúc robot bắt đầu trở lại nghe tiếp tục ❖ Setting: Khi kích hoạt giao diện chuyển ngôn ngữ đăng nhập, để vào excel xem liệu mở cửa sau, bắt buộc phải nhập tài khoản cấp SVTH: LÊ TRUNG KIÊN 101 CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI ❖ EXIT: Dừng tất chương trình Sơ đồ mạch điều khiển robot: Hình 5.3: Sơ đồ đấu nối dây Trung tâm điều khiển Arduino Mega 2560, nhiệm vụ master nhận lệnh từ máy tính, truyền lệnh cho slave đồng thời thực việc thu nhận giấy tờ từ cổng vào, chuyển đổi ngăn từ yêu cầu người gửi Slave công việc chờ nhận lệnh từ master, hai slave tiếp tục giữ vai trò điều khiển động DC, slave lại đảm nhận vai trò mở cổng sau để người sử dụng lấy giấy tờ ngăn, đồng thời tích hợp thêm module RFID việc mở cổng sau 5.3 Mơ hình hồn chỉnh Mơ hình có kích thước 1200x408x430 có chiều cao 1200mm phù hợp với người dùng tương tác với hình điều khiển, dễ dàng thao tác gửi giấy tờ hành chánh vào ngăn robot SVTH: LÊ TRUNG KIÊN 102 CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI Robot có khối lượng xấp xỉ 9kg bao gồm toàn hệ thống với tốc độ di chuyển 22 vịng/phút để q trình dị tìm đối tượng ổn định xác Hình 5.4: Mơ hình kết hợp thực tế 5.4 Đánh giá Mơ hình kết hợp hoạt động tốt sau nhiều lần thực nghiệm, robot di chuyển ổn định rung lắc, đảm bảo cho tầm nhìn camera quan sát phát đối tượng hiệu quả, giao tiếp tốt với người dùng tương tác, ngăn lấy tài liệu hoạt động tốt Robot quản lý liệu người sử dụng bao gồm người gửi tài liệu người quản lý truy cập vào cửa lấy tài liệu lưu thơng tin vào excel, hình ảnh người gửi lưu vào thư mục quản lý (hình 5.5) SVTH: LÊ TRUNG KIÊN 103 CHƯƠNG 5: PHẦN KẾT HỢP ĐỀ TÀI Hình 5.5: Dữ liệu người gửi bao gồm thông tin ảnh SVTH: LÊ TRUNG KIÊN 104 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 6.1 Kết 6.1.1 Tạo liệu cho chatbot Bảng 6.1: Dữ liệu huấn luyện STT Tags Greeting goodbye thanks my name Patterns - Hi Hey How are you Is anyone there? Hello Good day Bye See you later Goodbye Thanks Thank you That's helpful Thanks a lot! What your name? What is the name Responses - Hi - Hello - Bye - Happy to help! - Any time! - My pleasure - My name is KP" - my creator is Kien and Phuoc - Kien and Phuoc created me - I can help you find the classroom, help you look up the phone number of the lecturer root source - Who is your creator? - Who created you function - can you help me? - what can you for me? send faculty Mechatronic - I want to send documents to Mechatronic - I want to send documents to electronic engine - Insert the document into the slot below Mechatronic send doc - I want to send a document - Mechatronic or Automation send faculty Automation - I want to send a document to Automation - I need to send documents to Automation - Insert the document into the slot below Automation SVTH: LÊ TRUNG KIÊN 105 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 10 11 12 13 14 birthday number phone Mr Kien Introduction Faculty University introduction Head Faculty - your birthday - What is your date of birth? - I want to meet Kien - What is Kien's phone number? - Introduction to the Faculty of Mechanical Engineering - Introducing Can Tho University of Engineering and Technology - About Can Tho University of Engineering and Technology - Dean of the Department of Mechanical Engineering - Head of Department of Mechanical Engineering - Who is the Dean of Mechanical Engineering? laguane Vn - can you speak Vietnamese - speak Vietnamese please - Vietnamese please 16 laguane En - can you speak English - speak english please - English please 17 open youtube - open youtube - you can open youtube 15 - I was born on June 18, 2021 - I was born on 18/6/2021 - 0949071948 - Please watch the video to know more - Please watch the video to know more - The Dean of the Faculty of Mechanical Engineering is Do Vinh Quang - OK, I will speak Vietnamese - Yes, speak Vietnamese now - I also speak Vietnamese, switch now - OK, I will speak English - Yes, speak english now - I also speak English, switch now - Youtube is opening 6.1.2 Kết đào tạo mơ hình huấn luyện Với liệu đào tạo 17 ý định 42 câu hỏi sau 1000 trình huấn luyện cross entropy 0.0005 SVTH: LÊ TRUNG KIÊN 106 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN Hình 6.1: Kết huấn luyện mơ hình 6.1.3 Kết phát giọng nói tiếng việt Bảng 6.2: Kết phát giọng nói tiếng việt Stt Số lần 30 30 30 30 30 30 30 30 Câu hỏi Trưởng khoa kỹ thuật khí Giới thiệu điện tử Giới thệu Đại học Kỹ thuật Công nghệ Cần Thơ Bạn sinh ngày Bạn giúp cho tơi Tạm biệt Chào Bạn nói tiếng anh không SVTH: LÊ TRUNG KIÊN Câu trả lời Đúng Trưởng khoa khoa kỹ thuật khí Đỗ Vinh Quan 25 Vui lòng xem video để biết thêm 28 Vui lịng xem video để biết thêm 27 Tơi sinh ngày 18/6/2021 26 Tơi giúp bạn tìm lớp học, giúp bạn tra cứu số điện thoại giảng viên Hẹn gặp lại Chào Bạn Vâng, nói tiếng Anh 26 24 27 24 107 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 30 10 30 11 30 12 30 13 30 14 30 15 30 16 30 17 30 Bạn nói tiếng việt khơng Bạn tên Tơi muốn gặp Kiên Mở youtube Ai người tạo bạn Tôi muốn gửi tài liệu Tôi muốn gửi tài liệu đến tự động hóa Tơi muốn gửi tài liệu đến điện tử Cảm ơn Tơi nói tiếng Việt, chuyển đổi 29 Tôi tên KP 27 0949071948 24 Đang mở youtube 27 Kiên Phước tạo tơi 28 Cơ điện tử tự động hóa 24 Chèn tài liệu vào khe tự động hóa 28 Chèn tài liệu vào khe điện tử 25 Rất vui giúp bạn 27 Kết sau nhiều lần thử nghiệm thực tế câu trả lời cho xác suất cao, máy tính nghe tốt với câu dài có nhiều key word người dùng cần nói chuẩn robot nhận dạng tốt đưa câu trả lời tốt 6.1.4 Kết phát giọng nói tiếng anh Bảng 6.3: Kết phát giọng nói tiếng anh Stt Số lần 30 30 30 30 Câu hỏi Who is the Head of Mechanical Engineering Department Introduction to the Faculty of Mechanical Engineering introducing Can Tho University of Technology your birthday SVTH: LÊ TRUNG KIÊN Câu trả lời Đúng The Dean of the Faculty of Mechanical Engineering is Do Vinh Quang 24 Please watch the video to know more 25 Please watch the video to know more 21 I was born on June 18, 2021 19 108 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 30 30 30 30 30 10 11 30 30 12 30 13 30 14 30 15 30 16 30 17 30 what can you for me Goodbye Hi Can you speak English Can you speak vietnamese What your name I want meet kien open youtube for me Who is created you I want to send document I want to send documents to Automation I want to send documents to Mechatronic thanks I can help you find the classroom, help you look up the phone number of the lecturer Bye Hello 18 26 24 Yes, speak english now 24 Yes, speak Vietnamese now 22 My name is KP 0949071948 21 21 Youtube is opening 17 Kien and Phuoc created me 22 Mechatronic or Automation 19 Insert the document into the slot below Automation 23 Insert the document into the slot below Mechatronic 25 Happy to help! 18 Kết sau nhiều lần thử nghiệm thực tế câu trả lời cho xác suất cao người dùng cần nói chuẩn robot nhận dạng tốt đưa câu trả lời tốt SVTH: LÊ TRUNG KIÊN 109 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN 6.1.5 Kết lưu trữ liệu người dùng Hình 6.2: Phân tích liệu excel 6.1.6 Điều khiển robot Hình 6.3: Hoạt động giấy tờ vào SVTH: LÊ TRUNG KIÊN 110 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN Hình 6.4: Hoạt động mở cửa sau Cơ cấu đóng mở tốt nhận tín hiệu từ chương trình điều khiển hệ thống 6.2 Đánh giá Chương trình xử lý xác định giọng nói giao tiếp với điều khiển đạt yêu cầu hoạt động đề ra, đồng thời đảm bảo giao tiếp với người nói liên tục Mơ hình chatbot xử lý đóng mở chuyển đổi ngăn hoạt động tốt Giao tiếp máy tính vi điều khiển nhanh chóng ổn định Giao diện hiển thị điều khiển tốt không bị lỗi 6.3 Kết luận 6.3.1 Kết đạt - Xây dựng thiết kế mơ hình chatbot quản lý tài liệu Autodesk Inventor - Chế tạo thành cơng mơ hình chatbot quản lý tài liệu thực tế - Xây dựng giao diện thành công tương tác với người dùng - Giao tiếp cổng COM thành cơng máy tính vi điều khiển - Chương trình xử lý xác định giọng nói hoạt động giao tiếp tốt với người dùng tiếng Anh tiếng Việt SVTH: LÊ TRUNG KIÊN 111 CHƯƠNG 6: KẾT QUẢ VÀ HƯỚNG PHÁT TRIỂN - Mơ hình chatbot đưa giấy tờ vào ngăn hoạt động yêu cầu đặt 6.3.2 Các hạn chế đề tài - Mơ hình chatbot quản lý tài liệu cịn bị hạn chế số ngăn phương thức đóng mở lưu trữ khác - Hệ thống chương trình xử lý xác định giọng nói địi hỏi người dùng phải giao tiếp chuẩn ngôn ngữ tiếng Anh tiếng Việt - Khả nghe bị giới hạn tiếng ồn - Vì câu trả lời tiếng việt dịch từ liệu tiếng anh nên có số từ robot nói khơng chuẩn nghĩa 6.4 Hướng phát triển - Xây dựng cấu đóng mở, chuyển đổi ngăn mơ hình chatbot linh hoạt hiệu - Xây dựng mơ hình chatbot có nhiều ngăn ngồi chứa giấy tờ hành cịn chứa thủ tục khác - Tăng khả thông minh chatbot tự đào tạo khơng cần người can thiệp - Xử lý tiếng ồn cho chương trình giao tiếp tốt - Xây dựng thêm nhiều ngôn ngữ giao tiếp với người dùng - Dùng máy tính nhúng thay laptop cồng kềnh - Kết nối điều khiển với thiết bị không dây iot SVTH: LÊ TRUNG KIÊN 112 TÀI LIỆU THAM KHẢO TÀI LIỆU THAM KHẢO [1] Nguyễn Văn Quyền (2016), Luận Văn Thạc Sĩ: "Xây Mơ Hình Bán Hàng Trên Internet", Hà Nội [2] Nguyễn Hữu Cường (2017), Luận Văn Thạc Sĩ: "Nghiên Cứu Hệ Thống Trợ Lý Thông Minh Ảo", Hà Nội [3] Demuth, H and M Beale, 2005 Neural Network Toolbox – User’s Guide® MathWorks, Inc [4] Elizabeth D.Liddy “Natural Language Processing”, Syracuse University 2001 [5] Đỗ Viết Mạnh (2020), Luận Văn Thạc Sĩ: "Xây dựng Chatbot Bán Hàng Dựa Trên Mơ Hình Sinh", Hà Nội [6] Nguyễn Đắc Nam (2017), Luận Văn Thạc Sĩ: "Hệ Thống Tự Động Phân Luồn Câu Hỏi Và Giải Đáp Yêu Cầu Trực Tuyến", Hà Nội [7] Nguyễn Chí Ngơn, Trần Thanh Hùng, Trương Thị Thanh Tuyền, Nguyễn Thái Nghe (2005), "Ứng Dụng Mạng Nơ-Ron Nhân Tạo Ðể Ðiều Khiển Thiết Bị Bằng Giọng Nói Tiếng Việt", Tạp Chí Khoa Học Trường Đại Học Cần Thơ, (Số chuyên đề: Nghiên cứu khoa học,2005:3 96-103) [8] Nguyen Tan Phu,Nghia Duong-Trung (2020) "Chatbot for University Admission Services”: Design and Implementation based on Long-short-term Memory Networks" Hội thảo quốc gia lần thứ XXIII ,Quảng Ninh [9] Steven "Steven Bird, Ewan Klein & Edward Loper (2009), Sách: "Natural Language Processing with Python"", Printed in the United States of America” [10] Nguyễn Tấn Tiến (2019), Luận Văn Thạc Sĩ: "Nghiên Cứu Và Xây Dựng Chatbot Hỗ Trợ Người Dùng Trong Ngân Hàng", Hà Nội [11] Phan Thanh Toàn (2018), Đồ Án Tốt Nghiệp: "Điều Khiển Xe Robot Bằng Giọng Nói Với Raspberry pi 3", Tp Hồ Chí Minh SVTH: LÊ TRUNG KIÊN 113 TÀI LIỆU THAM KHẢO [12] Nguyễn Thanh Tuấn (2019), Sách: "Deep Learning Cơ Bản" [13] Vũ Thị Tuyến (2016)., Luận Văn Thạc Sĩ: “Một số mơ hình học máy phân loại câu hỏi”, Hà Nội [14] Thủy Nguyễn Thành: Mã nguồn dự án Chatbot Truy xuất https://github.com/thuynguyenthanh/VIETNAM-AIRLINES-Assistant-PROJECT/ Các website tham khảo: [15] CODE LÝ CODE HÀNH,"Trợ Lý Ảo | Lập trình Trợ Lý Ảo tiếng việt",https://www.youtube.com/watch?v=2BCvwaRX_BA [16] Mì AI, "Lập trình giao diện đồ hoạ đa luồng với Tkinter Python",https://www.youtube.com/watch?v=MHva487-DH0 [17] Patrick (2020), "Chat Bot With PyTorch - NLP And Deep Learning", https://www.python-engineer.com/posts/chatbot-pytorch/ [18] ProtonX, "Giới thiệu Machine Learning + Deep Learning" , https://www.youtube.com/watch?v=j5HxIJoOJms [19] Tech With Tim, "Python Chat Bot Tutorial - Chatbot with Deep Learning",https://www.youtube.com/watch?v=PzzHOvpqDYs SVTH: LÊ TRUNG KIÊN 114 PHỤ LỤC PHỤ LỤC Nguồn code luận văn: Link google drive: https://drive.google.com/drive/folders/1SvicVinguXFDEhDMt2Ef1LmmvJPo3cBP ?usp=sharing Mã QR: SVTH: LÊ TRUNG KIÊN 115

Ngày đăng: 16/07/2022, 09:59

Hình ảnh liên quan

MƠ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ  - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ
MƠ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ Xem tại trang 1 của tài liệu.
Hình 1.2: Các bước xử lý chính trong pipeline của NLU - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 1.2.

Các bước xử lý chính trong pipeline của NLU Xem tại trang 27 của tài liệu.
Hình 2.1: Logo AUTODESK INVENTOR - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 2.1.

Logo AUTODESK INVENTOR Xem tại trang 34 của tài liệu.
Hình 2.2: Arduino Mega2560 và Arduino Uno R3 - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 2.2.

Arduino Mega2560 và Arduino Uno R3 Xem tại trang 35 của tài liệu.
Hình 2.5: Một số Arduino cao cấp - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 2.5.

Một số Arduino cao cấp Xem tại trang 37 của tài liệu.
Hình 2.7: Giao diện Arduino IDE - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 2.7.

Giao diện Arduino IDE Xem tại trang 39 của tài liệu.
Hình 2.12: Phương thức hoạt động của Deep learning - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 2.12.

Phương thức hoạt động của Deep learning Xem tại trang 50 của tài liệu.
Hình 3.7: Cơ cấu chuyển đổi ngăn chứa tài liệu được thiết kế trên inventor - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 3.7.

Cơ cấu chuyển đổi ngăn chứa tài liệu được thiết kế trên inventor Xem tại trang 62 của tài liệu.
Hình 3.12: Sơ đồ khối mạch điện điều khiển - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 3.12.

Sơ đồ khối mạch điện điều khiển Xem tại trang 65 của tài liệu.
Hình 3.14: Sơ đồ đấu nối dây - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 3.14.

Sơ đồ đấu nối dây Xem tại trang 66 của tài liệu.
Hình 3.15: Mạch điện sau khi gia công - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 3.15.

Mạch điện sau khi gia công Xem tại trang 67 của tài liệu.
Hình 3.23: Sơ đồ nguyên lý cảm biến LM393 - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 3.23.

Sơ đồ nguyên lý cảm biến LM393 Xem tại trang 76 của tài liệu.
Hình 4.1: Kiến trúc mạng nơron nhân tạo - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.1.

Kiến trúc mạng nơron nhân tạo Xem tại trang 80 của tài liệu.
Hình 4.3: Ví dụ về json - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.3.

Ví dụ về json Xem tại trang 86 của tài liệu.
Chatbot được xây dựng dựa trên mơ hình phân loại ý định. - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

hatbot.

được xây dựng dựa trên mơ hình phân loại ý định Xem tại trang 100 của tài liệu.
Hình 4.14: Chuyển từ về nguyên mẫu với nltk - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.14.

Chuyển từ về nguyên mẫu với nltk Xem tại trang 103 của tài liệu.
Hình 4.16: Tạo vector từ trên python - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.16.

Tạo vector từ trên python Xem tại trang 105 của tài liệu.
Hình 4.17: Lưu đồ giải thuật huấn luyện mơ hình chatbot - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.17.

Lưu đồ giải thuật huấn luyện mơ hình chatbot Xem tại trang 106 của tài liệu.
Bảng 4.5: Dữ liệu đào tạo - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Bảng 4.5.

Dữ liệu đào tạo Xem tại trang 108 của tài liệu.
4.3.2.2 Bước phân lớp (xác định intent) mơ hình 4.3.2.2.1 Dữ liệu đầu vào  - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

4.3.2.2.

Bước phân lớp (xác định intent) mơ hình 4.3.2.2.1 Dữ liệu đầu vào Xem tại trang 111 của tài liệu.
Hình 4.21: Nhận dạng giọng nói tự động tiếng anh - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.21.

Nhận dạng giọng nói tự động tiếng anh Xem tại trang 112 của tài liệu.
Hình 4.30: Dữ liệu lịch sử người dùng gửi tài liệu - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.30.

Dữ liệu lịch sử người dùng gửi tài liệu Xem tại trang 117 của tài liệu.
Hình 4.31: Dữ liệu lịch sử người dùng hỏi bị lỗi - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.31.

Dữ liệu lịch sử người dùng hỏi bị lỗi Xem tại trang 117 của tài liệu.
Hình 4.34: Sơ đồ điều khiển từ giao diện - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 4.34.

Sơ đồ điều khiển từ giao diện Xem tại trang 119 của tài liệu.
Hình 5.5: Dữ liệu người gửi bao gồm thông tin và ảnh - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 5.5.

Dữ liệu người gửi bao gồm thông tin và ảnh Xem tại trang 126 của tài liệu.
6.1.2 Kết quả đào tạo mơ hình huấn luyện - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

6.1.2.

Kết quả đào tạo mơ hình huấn luyện Xem tại trang 128 của tài liệu.
Bảng 6.2: Kết quả phát hiện giọng nói tiếng việt - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Bảng 6.2.

Kết quả phát hiện giọng nói tiếng việt Xem tại trang 129 của tài liệu.
Bảng 6.3: Kết quả phát hiện giọng nói tiếng anh - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Bảng 6.3.

Kết quả phát hiện giọng nói tiếng anh Xem tại trang 130 của tài liệu.
Hình 6.3: Hoạt động khi giấy tờ vào - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 6.3.

Hoạt động khi giấy tờ vào Xem tại trang 132 của tài liệu.
Hình 6.2: Phân tích dữ liệu trên excel - MÔ HÌNH CHATBOT GIAO TIẾP, HỖ TRỢ THỦ TỤC GIẤY TỜ HÀNH CHÍNH CHO SINH VIÊN TẠI KHOA KỸ THUẬT CƠ KHÍ

Hình 6.2.

Phân tích dữ liệu trên excel Xem tại trang 132 của tài liệu.

Tài liệu cùng người dùng

Tài liệu liên quan