Phát triển hệ thống chatbot trò chuyện nhiều tầng

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KHOA HỌC - KỸ THUẬT MÁY TÍNH ✯✯✯ BK TP.HCM LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC PHÁT TRIỂN HỆ THỐNG CHATBOT TRÒ CHUYỆN NHIỀU TẦNG NGÀNH: CÔNG NGHỆ PHẦN MỀM HỘI ĐỒNG GVHD GVPB SVTH : : : : KHOA HỌC MÁY TÍNH 11 PGS TS QUẢN THÀNH THƠ TS NGUYỄN ĐỨC DŨNG NGUYỄN DƯƠNG MINH TÂM ĐẠT (1710059) ĐẠI HỌC QUỐC GIA TP.HCM -TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính BỘ MƠN: KHMT CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP Chú ý: Sinh viên phải dán tờ vào trang thuyết trình HỌ VÀ TÊN: Nguyễn Dương Minh Tâm Đạt NGÀNH: KHMT MSSV: 1710059 LỚP: MT17KHTN Đầu đề luận án: Phát triển hệ thống chat bot trò chuyện nhiều tầng Nhiệm vụ (yêu cầu nội dung số liệu ban đầu): ✔ Nghiên cứu lý thuyết học máy tảng ✔ Nghiên cứu lý thuyết xây dựng chatbot ✔ Phân tích thiết kế hệ thống chatbot với khả tương tác với số chatbot khác để hỗ trợ giao tiếp với người dùng Các chatbot giao tiếp hình ảnh văn ✔ Xây dựng demo ✔ Đánh giá hệ thống Ngày giao nhiệm vụ luận án: 03/09/2015 Ngày hoàn thành nhiệm vụ: 20/12/2015 Họ tên giảng viên hướng dẫn: 1) 2) 3) Phần hướng dẫn: Nội dung yêu cầu LVTN thông qua Bộ môn Ngày tháng năm CHỦ NHIỆM BỘ MƠN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) PGS.TS Quản Thành Thơ PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): Đơn vị: Ngày bảo vệ: Điểm tổng kết: Nơi lưu trữ luận án: TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KH & KT MÁY TÍNH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc -Ngày tháng năm PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) Họ tên SV: Nguyễn Dương Minh Tâm Đạt MSSV: 1710059 Ngành (chuyên ngành): KHMT Đề tài: Phát triển hệ thống chat bot trò chuyện nhiều tầng Họ tên người hướng dẫn/phản biện: PGS.TS Quản Thành Thơ Tổng quát thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính tốn: Hiện vật (sản phẩm) Tổng quát vẽ: - Số vẽ: Bản A1: Bản A2: Khổ khác: - Số vẽ vẽ tay Số vẽ máy tính: Những ưu điểm LVTN: - - Đề tài có tính thực tế cao Sinh viên nghiên cứu nhiều mảng kiến thức học thuật liên quan đến xử lý ngôn ngữ tự nhiên sử dụng học sâu vận dụng phù hợp vào đề tài Đặc biệt, học viên vận dụng nhiều tầng xử lý bao gồm QA Information Retrieval để hoàn thiện đề tài Đề tài bắt đầu áp dụng thực tế, đáp ứng nhu cầu non-functional requirement cơng nghiệp Những thiếu sót LVTN: - Sinh viên cần phân tích kỹ khái niệm “chatbot nhiều tầng” Đề nghị: Được bảo vệ □ Bổ sung thêm để bảo vệ □ câu hỏi SV phải trả lời trước Hội đồng: 10 Đánh giá chung (bằng chữ: giỏi, khá, TB): Không bảo vệ □ Điểm : 9/10 Ký tên (ghi rõ họ tên) PGS.TS Quản Thành Thơ TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA KH & KT MÁY TÍNH CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc -Ngày 01 tháng 08 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) Họ tên SV: Nguyễn Dương Minh Tâm Đạt MSSV: 1710059 Ngành (chuyên ngành): CNPM Đề tài: PHÁT TRIỂN HỆ THỐNG CHATBOT TRÒ CHUYỆN NHIỀU TẦNG Họ tên người hướng dẫn/phản biện: Nguyễn Đức Dũng Tổng quát thuyết minh: Số trang: Số chương: Số bảng số liệu Số hình vẽ: Số tài liệu tham khảo: Phần mềm tính tốn: Hiện vật (sản phẩm) Tổng qt vẽ: - Số vẽ: Bản A1: Bản A2: Khổ khác: - Số vẽ vẽ tay Số vẽ máy tính: Những ưu điểm LVTN: Luận văn phát triển hệ thống chatbot hỗ trợ trò chuyện hướng phi mục tiêu Với hệ thống dề xuất, câu phản hồi phân vào nhóm câu biết qua hình thức template matching Trường hợp câu hỏi khơng match phân loại câu hỏi người nhóm sử dụng module Q&A để xử lý Trong trường hợp cịn lại sử dụng GPT-2 model để sinh câu trả lời Về nhóm hồn thành u cầu đặt đề tài với cách tiếp cận sử dụng mơ hình phù hợp có sẵn Những thiếu sót LVTN: Đề tài chatbot dạng có độ phức tạp thực tế cao nhiều Mặc dù nhóm hoàn thành mục tiêu bản, nhiên nhóm cịn chưa cân nhắc yếu tố cần thiết cho chatbot dạng Thứ vấn đề hội thoại, tác nhân hội thoại trường hợp người dùng, nhiên với hệ thống trị chuyện, đơi bot phải người bắt đầu trò chuyện, điều cần ghi rõ scope đề tài Thứ hai, dạng matching vơ đa dạng khó bao phủ hết, bao phủ nhiều tốn chi phí tính tốn cho module template matching Thêm nữa, hình thức sinh câu trả lời khơng có nhớ, khơng sử dụng thơng tin ngữ cảnh Do kết sinh câu trả lời thường bị overfit tập liệu huấn luyện Điều thấy rõ phần thí nghiệm nhóm Đề nghị: Được bảo vệ o Bổ sung thêm để bảo vệ o Không bảo vệ o câu hỏi SV phải trả lời trước Hội đồng: a Nếu muốn cải thiện câu phản hồi chatbot mà có yếu tố ngữ cảnh, nhóm cần thay đổi cách tiếp cận toán? b Việc sử dụng lại GPT-2 hay mơ hình seq2seq có thực hợp lý chatbot phi mục tiêu? 10 Đánh giá chung (bằng chữ: giỏi, khá, TB): Giỏi Điểm: /10 Ký tên (ghi rõ họ tên) Nguyễn Đức Dũng LỜI CAM ĐOAN Tôi xin cam đoan rằng, ngoại trừ kết tham khảo từ cơng trình khác có liên quan ghi rõ luận văn, nội dung trình bày luận văn tơi thực chưa có phần nội dung nộp để lấy cấp trường khác TP HCM, NGÀY 25 THÁNG NĂM 2021 LỜI CẢM ƠN Đầu tiên, xin gửi lời cảm ơn chân thành đến PGS TS Quản Thành Thơ, người thầy gắn bó với tơi q trình thực luận văn Xin cảm ơn hướng dẫn tận tình, chu đáo thầy, nhờ kiến thức mà thầy truyền đạt lại giúp cho tơi hồn thành tốt luận văn Tôi xin cảm ơn TS Nguyễn Đức Dũng, giảng viên phản biện đề tài trình Đề cương Luận văn, với định hướng góp ý giúp cho tơi hoàn thành đề tài Xin gửi lời cảm ơn đến thầy cô trường Đại học Bách Khoa, đặc biệt thầy cô môn khoa Khoa học Kỹ thuật Máy tính truyền đạt kiến thức quý báu năm học qua Cuối cùng, xin cảm ơn bạn sinh viên, người tham gia thử nghiệm cho đề tài tơi, cảm ơn bạn đóng góp phần quan trọng việc đánh giá hệ thống tơi Tơi xin cảm ơn gia đình, bạn bè hỗ trợ tơi suốt q trình học tập hồn thành luận văn TÁC GIẢ iii TĨM TẮT Hiện nay, có nhiều chatbot đời với nhiều mục đích khác Một số chatbot tạo với mục đích định, có số tạo để trị chuyện giúp người dùng giải trí Cùng với phát triển cơng nghệ bước tiến nghiên cứu, nhiều mô hình hỗ trợ cho việc tạo chatbot có khả hiểu ngôn ngữ người tốt Trong đề tài luận văn này, nhóm xây dựng hệ thống chatbot trị chuyện với người dùng để giải trí Hệ thống thiết kế gồm nhiều tầng áp dụng nhiều mơ hình học máy khác để trị chuyện trả lời số câu hỏi người dùng MỤC LỤC Tóm tắt iii Danh mục hình ảnh vii Danh mục bảng biểu viii Danh mục chữ viết tắt Chương TỔNG QUAN 1.1 Đặt vấn đề 1.2 Ví dụ minh hoạ 1.3 Mục tiêu giai đoạn thực đề tài 1.3.1 Mục tiêu đề tài 1.3.2 Các giai đoạn thực 1.4 Giới hạn đề tài 1.5 Cấu trúc luận văn ix Chương KIẾN THỨC NỀN TẢNG 2.1 Tổng quan chatbot 2.1.1 Giới thiệu 2.1.2 Phân loại chatbot 2.1.3 Các kỹ thuật thiết kế chatbot 2.2 Word Embedding 2.2.1 Giới thiệu 2.2.2 Continuous Bag-of-Words Model 2.2.3 Continuous Skip-gram Model 2.3 Mạng nơ-ron nhân tạo - Artificial Neural Network (ANN) 2.3.1 Giới thiệu 2.3.2 Các công thức toán học 2.3.3 Khả ANN 2.3.4 Một số hàm Activation 2.3.4.1 Hàm Tanh 2.3.4.2 Hàm Sigmoid 2.3.4.3 Hàm Relu 2.3.5 Huấn luyện ANN 2.4 Recurrent Neural Networks 2.4.1 Giới thiệu 2.4.2 Một số ứng dụng RNN 2.4.2.1 One-to-one 2.4.2.2 Many-to-one 2.4.2.3 Many-to-many loại 2.4.2.4 Many-to-many loại 2.4.3 Long Short-Term Memory networks 2.4.4 Sequence to sequence model 2.5 Attention Transformer 2.5.1 Giới thiệu chế Attention 3 4 7 9 10 10 10 11 12 12 12 13 13 14 14 14 15 15 16 16 16 17 18 19 19 v MỤC LỤC 2.5.2 21 21 22 22 23 24 Chương CÁC CƠNG TRÌNH LIÊN QUAN 3.1 Chatbot tiếng Việt dựa mạng nơ-ron (A Neural Network Based Vietnamese Chatbot) 3.2 Mơ hình BERT 3.3 Mơ hình GPT-2 25 26 26 28 Chương TẬP DỮ LIỆU 4.1 Dữ liệu phụ đề phim tiếng Việt - OpenSubtitles 4.2 Tập liệu trả lời câu hỏi 29 30 30 Chương ĐẶC TẢ VÀ HIỆN THỰC HỆ THỐNG 5.1 Thiết kế hệ thống 5.1.1 Tổng quan kiến trúc hệ thống chức 5.1.2 Sơ đồ tình sử dụng (Use Case Diagram) 5.1.3 Sơ đồ trình tự (Sequence Diagram) 5.2 Chi tiết thành phần 5.2.1 Bộ xử lý tin nhắn (General Chat Module) 5.2.2 Bộ trả lời câu hỏi (QA Module) 5.2.3 Bộ sinh ngôn ngữ tự nhiên (GPT Module) 5.2.4 Bộ phân loại tin nhắn (Message Classifier) 5.2.5 Bộ xử lý tin nhắn (Message Handler) 5.3 Vấn đề cần giải 5.4 Khó khăn 5.5 Giải pháp 31 32 32 32 35 35 35 37 38 38 39 39 39 39 Chương CÔNG NGHỆ SỬ DỤNG 6.1 Ngơn ngữ lập trình 6.1.1 Python 6.1.2 JavaScript 6.2 Nền tảng thư viện 6.2.1 NodeJS 6.2.2 Pytorch 6.2.3 Pandas 6.2.4 TensorFlow 6.2.5 Botkit 6.2.6 Scikit-learn 6.2.7 Pymongo 6.2.8 Amazon Web Services 6.2.9 HuggingFace 6.3 Công cụ 6.3.1 Google Colab 6.3.2 MongoDB 41 42 42 42 42 42 43 43 43 43 43 43 44 44 44 44 44 2.6 2.7 Mơ hình Transformer 2.5.2.1 Giới thiệu 2.5.2.2 Encoder Decoder 2.5.2.3 Attention Mơ hình Generative Pre-trained Transformer Mơ hình Bidirectional Encoders Representation from Transformer (BERT) Chương THÍ NGHIỆM VÀ ĐÁNH GIÁ 45 vi MỤC LỤC 7.1 46 46 46 48 48 48 48 48 48 48 49 49 50 50 50 51 51 51 52 55 Chương TỔNG KẾT 8.1 Các kết đạt 8.2 Các hạn chế 8.3 Định hướng tương lai 58 59 59 59 Tài liệu tham khảo 59 Danh mục từ khoá 62 7.2 7.3 7.4 7.5 7.6 7.7 7.8 Xây dựng trả lời câu hỏi 7.1.1 Mơ hình trả lời câu hỏi áp dụng BERT 7.1.2 Hệ thống truy vấn đoạn văn cho mơ hình trả lời câu hỏi Xây dựng phân loại tin nhắn 7.2.1 Phương pháp Pattern Matching 7.2.2 Kết Xây dựng trả lời ý định Xây dựng mơ hình ngơn ngữ 7.4.1 Môi trường huấn luyện mơ hình 7.4.2 Mơ hình ngơn ngữ dùng LSTM 7.4.3 Mơ hình GPT-2 7.4.4 Kết đánh giá Xây dựng sở liệu lưu trữ đoạn hội thoại Triển khai hệ thống chatbot 7.6.1 Thông số hệ thống 7.6.2 Sơ đồ triển khai phần mềm Kiểm thử thành phần hệ thống chatbot 7.7.1 Kiểm thử thành phần xử lý câu nói thơng thường trả lời câu hỏi 7.7.2 Kiểm thử giao diện Đánh giá người dùng CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 7.2 Xây dựng phân loại tin nhắn 7.2.1 Phương pháp Pattern Matching 48 Theo ý định định nghĩa mục 5.2.4, phân loại ý định dùng phương pháp Pattern Matching để kiểm tra từ khố ý định có xuất câu nhập người dùng hay không Câu nhập vào kiểm tra với từ khoá mức độ từ mức độ ký tự 7.2.2 Kết Kết kiểm thử phân loại ý định đạt độ xác 85% tập liệu kiểm thử gồm 100 câu 7.3 Xây dựng trả lời ý định Sau ý định xác định, câu trả lời chọn ngẫu nhiên tập câu trả lời theo ý định mô tả mục 5.2.1 7.4 Xây dựng mơ hình ngơn ngữ 7.4.1 Mơi trường huấn luyện mơ hình Các mơ hình học máy huấn luyện mơi trường có thơng số sau: • CPU: 16 nhân • RAM: 64GB • GPU: 2x NVIDIA Tesla K80 7.4.2 Mơ hình ngơn ngữ dùng LSTM Mơ hình ngơn ngữ dùng LSTM mơ hình nhất, nhóm sử dụng mơ hình để đưa đánh giá với mơ hình GPT-2 mục 7.4.3 Cụ thể thiết lập thông số cho mạng LSTM sau: • vocab size: 52000 • embedding size: 256 • sequence size: 128 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 49 • hidden size: 256 • number layer: Mơ hình huấn luyện với tập liệu mục 4.1 với tham số sau: • batch size: 16 • number iterator: 10 • learning rate: 0.01 Thời gian huấn luyện mơ hình khoảng 72 7.4.3 Mơ hình GPT-2 Mơ hình nhóm sử dụng mơ hình GPT-2 giảm thơng số để phù hợp với giới hạn tài nguyên huấn luyện sử dụng Cụ thể thông số mơ sau: • vocab size: 52000 • max length: 128 • dropout: 0.2 • embedding size: 256 • number layer: • number head: Với thiết lập mơ hình có 19 triệu tham số Và huấn luyện với tập liệu chuẩn bị mục 4.1 với tham số sau: • batch size: 32 • number steps: 100000 • learning rate: 0.001 Thời gian huấn luyện mơ hình khoảng 25 7.4.4 Kết đánh giá Hai mơ hình đánh giá dựa vào độ đo perplexity(PPL) Kết bảng 7.1: Bảng 7.2 đưa số câu sinh từ hai mơ hình Có thể thấy mơ hình GPT-2 có khả bám sát ngữ cảnh đưa câu trả lời phù hợp so với mơ hình LSTM Đồng thời mơ hình GPT-2 cịn cho khả huấn luyện nhanh nhiều so với mơ hình LSTM truyền thống 50 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ LSTM GPT-2 PPL 59.7 12.9 Bảng 7.1: Đánh giá PPL hai mơ hình LSTM GPT-2 Câu nhập vào hơm chán LSTM Chúng ta nói chuyện anh có gì? có nhiều người khác làm có.IA.Hmm làm mệt thi xong chơi cảm thấy khơng khoẻ cậu tuổi rồi? có khơng có người khác IAaron? khơng biết anh Chúng người làm gì? lên? Có đi, cậu đâu vậy? chào tạm biệt nhé! hẹn gặp lại GPT-2 Rồi sao? Đâu có mệt q đâu Tơi khơng thích Có lẽ cậu nên xem lại thân Hai Tớ Đợi đã, chờ Tạm biệt Bảng 7.2: Một số câu hai mơ hình sinh 7.5 Xây dựng sở liệu lưu trữ đoạn hội thoại Bảng 7.3 mô tả cấu trúc đoạn hội thoại lưu trữ Các hội thoại lưu trữ nhằm đánh giá độ ổn định mô hình Dữ liệu lưu trữ hệ sở liệu MongoDB đặt https://cloud.mongodb.com Tên trường id history Kiểu liệu string List of string Bảng 7.3: Cấu trúc liệu đoạn hội thoại 7.6 Triển khai hệ thống chatbot 7.6.1 Thông số hệ thống Ứng dụng thành phần chatbot đóng gói triển khai môi trường ảo Docker Máy chủ nhóm dùng để chạy mơi trường ảo dùng từ hệ thống Amazon Web Service có thơng số cấu sau: • instance: t3a.xlarge • RAM: 16GB • vCPUs: CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 51 • GPU: Khơng 7.6.2 Sơ đồ triển khai phần mềm Hình 7.2: Sơ đồ triển khai thành phần hệ thống chatbot Hình 7.2 mơ tả phần hệ thống chatbot sau triển khai Các thành phần tách biệt để dễ dàng nâng cấp thêm tính cho chatbot 7.7 Kiểm thử thành phần hệ thống chatbot Kiểm thử cơng đoạn quan trọng q trình phát triển phần mềm nhằm phát sớm lỗi xảy hoạt động với yêu cầu đặt Trong giới hạn đề tài luận văn này, nhóm thực phép kiểm thử hệ thống để đảm bảo tính xác phần mềm 7.7.1 Kiểm thử thành phần xử lý câu nói thơng thường trả lời câu hỏi Đối với xử lý tin nhắn thông thường trả lời câu hỏi, nhóm tiến hành nhập số câu từ người dùng so sánh với kết mong muốn để đảm bảo thành phần hoạt động ổn định Kết đánh giá nhóm tổng hợp hình 7.3 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 52 Hình 7.3: Kết kiểm thử thành phần xử lý câu nói thơng thường trả lời câu hỏi 7.7.2 Kiểm thử giao diện Giao diện nhóm kiểm thử chức phần mềm mơ tả chi tiết hình 7.4 Hình 7.4: Kết kiểm thử thành phần xử lý câu nói thơng thường trả lời câu hỏi Một số ảnh chụp giao diện chat: Hình 7.5: Giao diện máy tính CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ Hình 7.6: Giao diện điện thoại 53 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ Hình 7.7: Giao diện máy tính bảng 54 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ 7.8 55 Đánh giá người dùng Sau triển khai phần mềm, nhóm tiến hành thu thập đánh giá 40 bạn sinh viên dùng thử thu kết sau Hình 7.8: Kết đánh giá độ hài lịng người dùng câu trả lời chatbot Từ hình 7.8, 90% người dùng hài lịng với câu trả lời chatbot Cịn số câu trả lời khơng thoả mãn người dùng, mơ hình sinh ngơn ngữ chưa nắm bắt tồn ngữ cảnh đưa câu trả lời không phù hợp với câu trước Hình 7.9 cho thấy gần 90% người dùng hài lòng thời gian phản hồi chatbot Tuy nhiên hệ thống trả lời câu hỏi chậm số người dùng khơng hài lịng Về giao diện, đa số người dùng đánh độ thẩm mỹ tính tương thích giao diện mức trung bình CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ Hình 7.9: Kết đánh giá người dùng thời gian phản hồi chatbot Hình 7.10: Kết đánh giá người dùng giao diện 56 CHƯƠNG THÍ NGHIỆM VÀ ĐÁNH GIÁ Hình 7.11: Kết đánh giá người dùng tương thích giao diện 57 TỔNG KẾT Trong chương này, nhóm tổng kết q trình thực hoàn thiện luận văn tốt nghiệp, bao gồm kết đạt được, hạn chế đề tài hướng phát triển tương lai Mục lục 8.1 Các kết đạt 59 8.2 Các hạn chế 59 8.3 Định hướng tương lai 59 CHƯƠNG TỔNG KẾT 8.1 59 Các kết đạt Những cơng việc mà nhóm hồn thành q trình hồn thiện luận văn: • Xây dựng trả lời câu hỏi hệ thống thu thập đoạn văn để trả lời câu hỏi • Xây dựng nhận diện ý định người dùng gồm ý định thông thường câu hỏi người • Tiến hành huấn luyện đánh giá hai mơ hình ngơn ngữ LSTM GPT-2 tập liệu OpenSubtitles • Kết hợp thành phần thành hệ thống nhiều tầng giúp chatbot xử lý tốt trường hợp chưa định nghĩa • Triển khai hệ thống dùng thử cho người dùng thu nhận phản hồi đánh giá 8.2 Các hạn chế • Bộ trả lời câu hỏi trả lời tên riêng người • Bộ nhận diện ý định dựa vào từ khoá nên trường hợp câu chứa nhiều từ khoá nhiều ý định dẫn đến nhận diện sai • Dữ liệu hội thoại cho tiếng Việt cịn nên mơ hình sinh chưa tổng qt • Mơ hình sinh ngơn ngữ đơi không thống ngữ cảnh câu sinh trước 8.3 Định hướng tương lai Sau trình triển khai hệ thống thử nghiệm thu số nhận xét từ người dùng, nhóm dự định tương lai khắc phục hạn chế nêu ý kiến đóng góp từ người dùng sau: • Cải thiện khả phân loại ý định người dùng việc thu thập huấn luyện từ liệu thực tế • Huấn luyện thêm mơ hình trả lời câu hỏi để trả lời nhiều loại câu hỏi • Tiến hành xây dựng sở liệu để lưu trữ câu hỏi câu trả lời để tăng tốc độ trả lời câu hỏi • Tìm thêm phương pháp để huấn luyện mơ hình sinh ngơn ngữ bám sát ngữ cảnh • Tích hợp hệ thống chatbot vào tảng trò chuyện trực tuyến khác Messenger, Telegram, Zalo, TÀI LIỆU THAM KHẢO [1] J Weizenbaum, “Eliza—a computer program for the study of natural language communication between man and machine,” Communications of the ACM, vol 9, pp 36–45, Jan 1966 DOI: 10.1145/365153.365168 [Online] Available: https://dl.acm org/doi/10.1145/365153.365168 [2] K M Colby, “Human-computer conversation in a cognitive therapy program,” Machine Conversations, vol 511, pp 9–19, 1999 DOI: 10 1007 / 978 - - 4757 - 5687 - _ (visited on 07/11/2021) [3] Ask.com - what’s your question? Uk.ask.com [Online] Available: https://uk.ask com/ (visited on 07/11/2021) [4] S Hussain, O Ameri Sianaki, and N Ababneh, “A survey on conversational agents/chatbots classification and design techniques,” Advances in Intelligent Systems and Computing, pp 946–956, 2019 DOI: 10 1007 / 978 - - 030 - 15035 - _ 93 (visited on 10/22/2020) [5] Z S Harris, “Distributional structure,” WORD, vol 10, no 2-3, pp 146–162, Aug 1954 DOI : 10.1080/00437956.1954.11659520 [Online] Available: https://doi.org/ 10.1080/00437956.1954.11659520 [6] T Mikolov, K Chen, G Corrado, and J Dean, “Efficient estimation of word representations in vector space,” 2013 eprint: arXiv:1301.3781 [7] K Shiruru, “An introduction to artificial neural network,” International Journal of Advance Research and Innovative Ideas in Education, vol 1, pp 27–30, Sep 2016 [8] V H Tiệp (2017) “Multi-layer perceptron backpropagation,” [Online] Available: https://machinelearningcoban.com/2017/02/24/mlp/ [9] Wikipedia, Activation function [Online] Available: https : / / en wikipedia org / wiki/Activation_function [10] D E Rumelhart, G E Hinton, and R J Williams, “Learning representations by backpropagating errors,” Nature, vol 323, no 6088, pp 533–536, Oct 1986 DOI: 10.1038/ 323533a0 [Online] Available: https://doi.org/10.1038/323533a0 [11] D Britz (2015) “Recurrent neural networks tutorial, part – introduction to rnns,” [Online] Available: http : / / www wildml com / 2015 / 09 / recurrent - neural networks-tutorial-part-1-introduction-to-rnns/ [12] S Amidi, Recurrent neural networks cheatsheet [Online] Available: https://stanford edu/~shervine/teaching/cs-230/cheatsheet-recurrent-neural-networks [13] C Olah (2015) “Understanding lstm networks,” [Online] Available: http://colah github.io/posts/2015-08-Understanding-LSTMs/ CHƯƠNG TÀI LIỆU THAM KHẢO 61 [14] I Sutskever, O Vinyals, and Q V Le, “Sequence to sequence learning with neural networks,” 2014 eprint: arXiv:1409.3215 [15] S Kostadinov (2019) “Understanding encoder-decoder sequence to sequence model,” [Online] Available: https://towardsdatascience.com/understanding-encoderdecoder-sequence-to-sequence-model-679e04af4346 [16] D Bahdanau, K Cho, and Y Bengio, “Neural machine translation by jointly learning to align and translate,” 2016 arXiv: 1409.0473 [cs.CL] [17] A Vaswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, A N Gomez, L Kaiser, and I Polosukhin, “Attention is all you need,” 2017 eprint: arXiv:1706.03762 [18] K He, X Zhang, S Ren, and J Sun, Deep residual learning for image recognition, 2015 arXiv: 1512.03385 [cs.CV] [19] J L Ba, J R Kiros, and G E Hinton, “Layer normalization,” 2016 eprint: 1607.06450 [20] A Radford, J Wu, R Child, D Luan, D Amodei, and I Sutskever, “Language models are unsupervised multitask learners,” 2019 [21] J Devlin, M.-W Chang, K Lee, and K Toutanova, “Bert: Pre-training of deep bidirectional transformers for language understanding,” arXiv preprint arXiv:1810.04805, 2018 [22] T Nguyen and M Shcherbakov, “A neural network based vietnamese chatbot,” 2018 International Conference on System Modeling & Advancement in Research Trends (SMART), Nov 2018 DOI: 10.1109/sysmart.2018.8746962 [23] P Lison and J Tiedemann, Opensubtitles2016: Extracting large parallel corpora from movie and tv subtitles, 2016 [Online] Available: http : / / www lrec - conf org / proceedings/lrec2016/pdf/947_Paper.pdf (visited on 07/06/2021) [24] J Tiedemann, Finding alternative translations in a large corpus of movie subtitles, 2016 [Online] Available: http://www.lrec- conf.org/proceedings/lrec2016/pdf/ 62_Paper.pdf (visited on 07/06/2021) [25] J Daniel and J Martin, Speech and language processing, 2020 [Online] Available: https://web.stanford.edu/~jurafsky/slp3/23.pdf DANH MỤC TỪ KHỐ Danh sách liệt kê từ khố đề cập nội dung luận văn theo thứ tự bảng chữ A Activation Function 12 Attention 2, 19, 21, 22 B BERT 24, 46 C CBOW 9, 10 Chatbot 2, D Deep Learning E ELIZA F Fully Connected 11 G Generative-based model GPT 2, 23 GPT-2 23, 49 L LSTM 17, 49 M Machine Translation 16 MLP 10 O One-hot vector P PPL 49 R Retrieval-based model S Sequence to Sequence 18 Sequence-to-Sequence .2 Skip-gram 9, 10 T Transformer 21 I Information Retrieval Internet W Word Embedding ... 39 CHƯƠNG ĐẶC TẢ VÀ HIỆN THỰC HỆ THỐNG 5.1 Thiết kế hệ thống 5.1.1 Tổng quan kiến trúc hệ thống chức 32 Hình 5.1: Kiến trúc tổng quan hệ thống Hệ thống chatbot thiết kế gồm hai thành phần... Triển khai hệ thống chatbot 7.6.1 Thông số hệ thống 7.6.2 Sơ đồ triển khai phần mềm Kiểm thử thành phần hệ thống chatbot. .. tài luận văn này, nhóm xây dựng hệ thống chatbot trị chuyện với người dùng để giải trí Hệ thống thiết kế gồm nhiều tầng áp dụng nhiều mơ hình học máy khác để trị chuyện trả lời số câu hỏi người