Xây dựng hệ thống chatbot chăm sóc khách hàng của cảng hàng không

ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HỮU ÁNH XÂY DỰNG HỆ THỐNG CHATBOT CHĂM SĨC KHÁCH HÀNG CỦA CẢNG HÀNG KHƠNG Chun ngành: KỸ THUẬT VIỄN THÔNG Mã số: 8.52.02.08 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 ĐẠI HỌC QUỐC GIA TP HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN HỮU ÁNH XÂY DỰNG HỆ THỐNG CHATBOT CHĂM SÓC KHÁCH HÀNG CỦA CẢNG HÀNG KHÔNG Chuyên ngành: KỸ THUẬT VIỄN THÔNG Mã số: 8.52.02.08 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2020 Cơng trình hồn thành tại: Trường Đại học Bách Khoa – ĐHQG-HCM Cán hướng dẫn khoa học: (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày 27 tháng năm 2020 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: GS.TS Lê Tiến Thường Thư ký: PGS.TS Võ Nguyên Quốc Bảo Phản biện 1: TS Võ Quế Sơn Phản biện 2: TS Mai Linh Ủy viên: PGS.TS Đỗ Hồng Tuấn Xác nhận Chủ tịch Hội đồng đánh giá LV trưởng khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Hữu Ánh MSHV:1870397 Ngày, tháng, năm sinh: 18/01/1994 Nơi sinh: Quảng Trị Chuyên ngành: Kỹ thuật viễn thông Mã số : 8.52.02.08 I TÊN ĐỀ TÀI (Tiếng Việt Tiếng Anh): Tiếng Việt : Xây dựng hệ thống chatbot chăm sóc khách hàng cảng hàng không Tiếng Anh : Build chatbot system for customer care for airlines II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu tổng quan hệ thống chatbot Phát triển giải thuật tối ưu hóa để tối ưu độ xác, hiệu suất, thời gian xử lý tính khả thi hệ thống chatbot Xây dựng phần mềm ứng dụng thực tế III NGÀY GIAO NHIỆM VỤ : (Ghi theo QĐ giao đề tài) 07/2019 IV NGÀY HOÀN THÀNH NHIỆM VỤ: (Ghi theo QĐ giao đề tài) 08/2020 V CÁN BỘ HƯỚNG DẪN (Ghi rõ học hàm, học vị, họ, tên): TS Võ Tuấn Kiệt Hướng dẫn PGS.TS Hà Hồng Kha Hướng dẫn phụ Tp HCM, ngày 27 tháng 08 năm 2020 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) Ghi chú: Học viên phải đóng tờ nhiệm vụ vào trang tập thuyết minh LV LỜI CẢM ƠN Đầu tiên, em xin gửi lời cảm ơn đến Ban giám hiệu trường đại học Bách Khoa Tp.HCM tạo cho em môi trường tốt để em tiếp tục học tập tiếp thu kiến thức quý báu năm qua Đặc biệt, em xin gửi lời chân thành cảm ơn thầy hướng dẫn: TS.Võ Tuấn Kiệt PGS.TS.Hà Hoàng Kha quan tâm, giúp đỡ, hướng dẫn để em hồn thành luận văn Bên cạnh đó, em xin gửi lời cảm ơn đến gia đình bạn bè, người hỗ trợ động viên để em hội hồn thành luận văn cách tốt Tuy nhiên, dù cố gắng để hồn thiện luận văn khơng tránh khỏi thiếu sót, em mong nhận đóng góp ý kiến lời khuyên thầy để đề tài cải thiện phát triển nhiều tương lai Em xin chân thành cảm ơn! Tp Hồ Chí Minh, ngày 27 tháng năm 2020 Nguyễn Hữu Ánh TÓM TẮT LUẬN VĂN Trong năm gần đây, với phát triển bùng nổ “Cách mạng công nghiệp 4.0”, nhiều chương trình dựa trí thơng minh nhân tạo (AI) biểu nhiều dạng hình ảnh, âm giọng nói, làm nhiều thứ người có khả thay người, chẳng hạn chương trình, hệ thống tự động trả lời, nhận diện khn mặt…Trong hệ thống chatbot ngày được cải thiện ứng dụng rộng rãi vào đời sống nhiều lĩnh vực khác bán hàng, quản lý tài chính… Từ quan sát trên, luận văn đặt mục tiêu thiết kế hệ thống chatbot, mà cụ thể chăm sóc khách hàng cho cảng hàng khơng Đầu tiên, luận văn trình bày phương pháp, thuật tốn dùng để xây dựng chatbot dựa ngôn ngữ tiếng Việt, bao gồm: - Thuật tốn xử lý ngơn ngữ tự nhiên (SVM, RNN, LSTM…) Các phương pháp tách từ tiếng Việt Cách tính độ tương đồng văn tiếng Việt Từ đó, đưa lựa chọn phương pháp phù hợp để thiết kế hệ thống chatbot chăm sóc khách hàng cho cảng hàng khơng ABSTRACT In recent years, with the explosive development of "Industry Revolution 4.0", many programs based on artificial intelligence (AI) have manifested in many forms such as images, sound and voice, can many things like humans and have the ability to replace people, such as programs, automatic answering systems, face recognition In which the chatbot system is increasingly being improved and Widely applied to life in many different fields such as sales, financial management From the above observation, the thesis sets the goal is to design the chatbot system, in particular here is customer care for airports First, the thesis presents methods and algorithms used to build chatbots based on Vietnamese language, including: - Algorithm of Natural Language Processing (SVM, RNN, LSTM…) Methods of separating words in Vietnamese How to calculate the similarity of Vietnamese document After that, we make a selection of the most appropriate methods to design the chatbot customer care system for airports LỜI CAM ĐOAN Tơi xin cam đoan, kiến thước trình bày luận văn tơi tìm hiểu, nghiên cứu trình bày lại Trong trình làm luận văn tơi có có tham khảo tài liệu có liên quan ghi rõ nguồn tài liệu tham khảo Những kết luận văn riêng tôi, không chép từ cơng trình khác Nếu có điều khơng trung thực, tơi xin hồn tồn chịu trách nhiệm Tp Hồ Chí Minh, ngày 27 tháng năm 2020 Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha MỤC LỤC MỤC LỤC II DANH MỤC CÁC TỪ VIẾT TẮT IV DANH MỤC CÁC HÌNH ẢNH V MỞ ĐẦU 1 GIỚI THIỆU TỔNG QUAN 1.1 Xu hướng trong, nước vấn đề đặt 1.2 Tổng quan phát triển chatbot 1.3 Các nghiên cứu liên quan CƠ SỞ LÝ THUYẾT 2.1 Chatbot NLP (Natural Language Processing) 2.1.1 Chatbot 2.1.2 NLP (Natural Language Processing) 2.2 Word embedding 2.2.1 Word embedding 2.2.2 Count Vector 2.2.3 TF-IDF vector 10 2.2.4 Co-occurrence Matrix 11 2.2.5 GloVe (Global vectors for Word Representation) 13 2.2.6 Word2vec 14 2.3 Phương pháp tính độ tương đồng văn 18 2.3.1 Khoảng cách Jaro 19 2.3.2 Mơ hình độ tương phản(Contrast model) 19 2.3.3 Hệ số Jaccard 19 2.3.4 Độ tương đồng cosine 20 2.3.5 Khoảng cách Euclide 20 2.3.6 WMD (Word Mover Distance) 21 Mục lục ii HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot 2.4 GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha Các phương pháp tách từ tiếng việt 22 2.4.1 So khớp từ dài (Longest Matching) 22 2.4.2 So khớp cực đại (Maximum Matching) 22 2.4.3 Mơ hình ngơn ngữ (language model) 22 2.4.4 Phương pháp sử dụng mơ hình Markov ẩn 23 2.4.5 Phương pháp tách từ sử dụng mơ hình xác suất có điều kiện độ hỗ loạn cực đại 24 2.4.6 2.5 Phương pháp tách từ sử dụng mơ hình Pointwise 24 Các phương pháp phân loại văn 25 2.5.1 Naïve Bayes Classification 25 2.5.2 Support Vector Machine 26 2.5.3 RNN (Recurrent Neural Network) 28 2.5.4 LSTM (Long Short Term Memory) 30 2.5.5 GRU (Gated Recurrent Units) 33 2.5.6 Bidirectional LSTM 33 2.5.7 Transformer 34 2.5.8 BERT (Bidirectional Encoder Representation from Transformers) 36 PHÂN TÍCH VÀ THIẾT KẾ HỆ THỐNG CHATBOT 42 3.1 Phân tích hệ thống chatbot 42 3.1.1 Mơ hình hoạt động chatbot 42 3.1.2 Xây dựng liệu chatbot 43 3.1.3 Quá trình huấn luyện liệu 44 3.1.4 Những vấn đề liệu đầu vào ảnh hưởng đến chatbot 46 3.2 Thiết kế hệ thống chatbot 47 KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ ỨNG DỤNG 49 4.1 Kết 49 4.2 Nhận xét đánh giá ứng dụng 52 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 54 5.1 Kết luận 54 5.2 Hướng phát triển 54 Mục lục iii HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha nước” tạo từ hai âm tiết “đất” “nước” có nghĩa đứng riêng biệt, ghép lại mang nghĩa khác Vì vậy, trình tách từ trở thành tiền đề cho ứng dụng xử lý ngôn ngữ tự nhiên Sau tách từ, ta tiến hành xóa dấu (vì ta quan tâm đến từ) Từ đó, ta tạo vector ma trận từ vựng (word embedded) dựa vào word2vec model Với ưu skip-gram model nêu mục 2.2.6, ta sử dụng model Quá trình huấn luyện liệu: Hình 3.4 Kiến trúc BERT [34] Traning model BERT model với đầu vào question thu thập trang web hãng hang không vietjet air token Phương pháp tính tốn tỷ lệ xác liệu đầu liệu đầu vào cách tính toán trọng số cho kết nối từ lần lặp lặp lại trình huấn luyện (xem bước mục 2.5.7 Transformer) Mỗi bước trình huấn luyện liệu sửa đổi trọng số để liệu đầu có độ xác cao Đầu từ q trình encoder layer qua Linear and Softmax function để dự đoán phân loại văn Softmax function có cơng thức sau: – Phân tích thiết kế hệ thống chatbot 45 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha 𝑆(𝑧) ≜ 𝑒 ∑ (3.1) 𝑒 Trong đó: w vector trọng số cho kết nối softmax layer layer phía trước(linear), m kích thước đầu softmax layer (số lượng lớp intent) Hàm softmax có tính chất: (3.2) 𝑆(𝑧) = Điều hữu ích trường hợp dự kiến phân loại ý định đưa vector xác suất với dự đốn 3.1.4 Những vấn đề liệu đầu vào ảnh hưởng đến chatbot Dữ liệu đầu vào (input) giọng nói văn Chúng ta có hai vấn đề cần giải sau: - Câu đầu vào câu không dấu Câu đầu vào viết bị sai tả, khơng ngữ pháp Để giải hai vấn đề trên, ta có tốn thêm dấu câu toán làm rõ ý định người dùng (clarifying user intent) viết bị sai tả, khơng ngữ pháp Bài toán thêm dấu câu: Với ưu vượt trội, ta chọn phương pháp sử dụng Transformer model để giải vấn đề (xem mục 2.5.7 để biết ưu, nhược điểm phương pháp này) Dữ liệu huấn luyện lấy từ nội dung viết trang vietjet air, sau loại bỏ dấu để tạo liệu input, liệu output câu tiếng việt có dấu Sau đó, ta đưa liệu vào transformer model để huấn luyện (dịch câu tiếng việt không dấu qua câu tiếng việt có dấu) Bài tốn làm rõ ý định người dùng: Nhiệm vụ cụ thể làm rõ ý định người dùng, đòi hỏi chatbot phải chủ động đặt câu hỏi cho người dùng tạo hội cho người dùng làm rõ ý họ Để làm điều này, ta cần tính độ tương đồng câu đầu vào(input) sau xóa dấu so với mẫu câu tập liệu câu hỏi Ta sử dụng phương pháp khoảng cách Word Movie Distance Nếu mức độ tương đồng lớn ngưỡng cho phép, ta lấy câu thêm dấu (sử dụng transformer model) Nếu nằm ngưỡng “chấp nhận được” đến ngưỡng cho phép, ta hỏi lại người sử dụng (user) xem thử vấn có user muốn hỏi hay khơng Cịn trường hợp ngưỡng “chấp nhận được”, ta phản hồi cho user “những thơng tin khơng cung cấp, vui lịng liên hệ với tổng đài chăm sóc khách hàng để hỗ trợ trược tiếp” Tóm lại, quy trình hoạt động chatbot sau: – Phân tích thiết kế hệ thống chatbot 46 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot - - - GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hồng Kha Câu đầu vào (input) xóa dấu (nếu có dấu), sau đem so sánh với mẫu câu hỏi có tập liệu nhằm xem thử độ tương đồng so với mẫu câu hỏi (sử dụng phương pháp khoảng cách WMD) Nếu mức độ tương đồng lớn ngưỡng cho phép, ta lấy câu thêm dấu (sử dụng transformer model) Nếu nằm ngưỡng “chấp nhận được” đến ngưỡng cho phép, ta hỏi lại người sử dụng (user) xem thử vấn có user muốn hỏi hay khơng Cịn trường hợp ngưỡng “chấp nhận được”, ta phản hồi cho user “Những thông tin quý khách cần không cung cấp, vui lòng liên hệ với tổng đài chăm sóc khách hàng để hỗ trợ trược tiếp” trực tiếp đưa gợi ý khác cho người dùng Sau biết ý định user muốn hỏi tiến hành trình tiền xử lý Sau mơ hình phân lớp đưa dự đốn mẫu câu có xác suất cao Sau đưa câu trả lời cho người sử dụng (có thể truy cập vào database khơng) 3.2 Thiết kế hệ thống chatbot Mơ hình hệ thống chatbot mô tả mục 3.1 Giao diện đồ họa thiết kế dựa phần mềm QT sau: Hình 3.5 Giao diện chatbot Giao diện gồm ba phần bao gồm: Cửa sổ thơng tin, nhập liệu văn nhập liệu giọng nói Cửa sổ thơng tin: nằm chiếm diện tích lớn nhất, dùng để chứa đoạn hội thoại user bot Nhập liệu văn bản: nằm góc bên trái nút send, dùng để nhập liệu đầu vào (input) text – Phân tích thiết kế hệ thống chatbot 47 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha Nhập liệu giọng nói: nút nằm ngồi góc bên phải, dùng để nhập liệu (input) giọng nói Ưu điểm thiết kế giao diện dựa QT hỗ trợ trình biên dịch khác nhau, bao gồm trình biên dịch GCC, C++…và có hỗ trợ quốc tế hóa rộng rãi Ngồi ra, cịn hỗ trợ ứng dụng chạy đa tảng máy tính để bàn hồ hết tảng di động nhúng Dữ liệu hội thoại liệu khác lưu trữ dạng JSON MySQL JSON nơi lưu trữ liệu hội thoại bao gồm câu hỏi trả lời, MySQL nơi lưu trữ liệu dạng bảng (table) giá vé, thông tin chuyến bay, thơng tin đặt chỗ… Ngồi ra, thư viện Keras sử dụng để xây dựng mạng Neural Network, viết ngôn ngữ Python Ưu điểm Keras dễ sử dụng, dùng đơn giản Tensor, xây dựng model nhanh; chạy CPU GPU; build model đơn giản, dễ nắm bắt thư viện khác – Phân tích thiết kế hệ thống chatbot 48 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha KẾT QUẢ, NHẬN XÉT VÀ ĐÁNH GIÁ ỨNG DỤNG 4.1 Kết “Hệ thống chatbot hỗ trợ chăm sóc khách hàng cho cảng hàng khơng” hệ thống nhằm cung cấp chức chatbot lĩnh vực chăm sóc hỗ trợ thơng tin cần thiết cho khách hàng, phạm vi giới hạn cho Vietjet Air Các liệu phân tích, trích lọc xây dựng tập huấn luyện, kịch nội dung với 5000 câu hội thoại, chủ yếu hỏi thông tin chuyến bay, thông tin dịch vụ, tìm kiếm vé máy bay… Kết phương pháp tính độ tương đồng văn bản: Hình 4.1 Kết mơ tính độ tương đồng văn Với kết thực nghiệm, độ tương đồng ngưỡng cho phép 0.6, độ tương đồng ngưỡng “chấp nhận được” 0.58 Kết thử nghiệm cho toán thêm dấu: – Kết quả, nhận xét đánh giá ứng dụng 49 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hồng Kha Hình 4.2 Kết mơ thêm dấu câu cho tiếng Việt Kết thử nghiệm cho tốn phân lớp ý định người dùng: Hình 4.3 Kết phân lớp ý định người dùng Kết đạt chạy thử nghiệm giao diện: Hình 4.4 Kết chạy ứng dụng chatbot – Kết quả, nhận xét đánh giá ứng dụng 50 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha Kết sau chạy thử nghiệm hội thoại chatbot: User BOT Ghi Thong tin Xin quý khách vui lịng cho biết Trường hợp khơng dấu cần thơng tin cụ thể Ví dụ: Thơng tin chuyến bay, thông tin đặt chỗ, địa điểm bán vé máy bay, lịch bay, dịch vụ Thng tin Xin quý khách vui lịng cho biết cần thơng tin cụ thể Ví dụ: Thơng tin chuyến bay, thơng tin đặt chỗ, địa điểm bán vé máy bay, lịch bay, dịch vụ Trong trường hợp viết sai tả, độ tương đồng “thông tin” “thng tin” > 0.65 lớn ngưỡng cho phép Toi can tra cuu lich Để biết thêm thông tin lịch bay, Trường hợp khơng dấu bay q khách vui lịng nhập thơng tin sau: Điểm khởi hành: Hà Nội Điểm đến: ho chi minh Ngày bay (dd/mm/yyyy): 30/7/2020 Thông tin lịch bay cần tìm: … Q khách có muốn tìm kiếm lịch bay khác khơng (có/khơng): Khơng Nếu bạn muốn tìm kiếm thông tin khác, cho biết Lịch b Có phải bạn muốn hỏi: lịch bay Trường hợp này, độ (Đúng/Không)? tương đồng “lịch b” “lịch bay” nằm khoảng 0.58 đến 0.6 nên cần xác định lại ý định người dùng Khong Quý khách nhập lại thơng tin mà muốn hỗ trợ abcsd dfsdf Những thông tin quý khách cần Trường hợp độ tương không cung cấp, vui đồng “abcsd dfsdf” lịng liên hệ với tổng đài chăm sóc so với liệu nhỏ 0.5 nên hệ thống – Kết quả, nhận xét đánh giá ứng dụng 51 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha khách hàng để hỗ trợ trược đưa câu trả tiếp lời phù hợp mà cần có can thiệp người Kích thước hành Kích thước hành lý ký gửi lý ký gửi bao không quá: 119cm x 119cm x nhiêu? 81cm Tơi liên hệ với Có phải bạn muốn hỏi: tơi cần làm bị vé vé máy bay không? (Đúng/Không)? Đúng Nếu bị vé máy bay giấy bạn cịn mã code, SMS… cần check chúng giải vấn đề… Giá vé máy bay trẻ Khi bay chuyến bay em hãng hàng không vietjet air, bé 02 tuổi miễn phí vé máy bay, trẻ từ 02 tuổi đến 12 tuổi áp dụng mức giá vé máy bay với người lớn giảm phí sân bay Bảng 4.1 Kết mô hội thoại chatbot Kết sau thử nghiệm lần thực nghiệm: Lần thực nghiệm Số lượng câu Số câu trả lời Độ xác Lần 150 128 85.33% Lần 140 113 80.71% Lần 140 122 87.14% Bảng 4.2 Kết thực nghiệm 4.2 Nhận xét đánh giá ứng dụng Hệ thống chatbot xây dựng với mục đích ban đầu đáp ứng yêu cầu hệ thống hỗ trợ chăm sóc khách hàng cho hãng hàng không, tập trung vào hãng hàng không vietjet air Hệ thống hoạt động tốt, giao diện chatbot thân thiện, dễ sử dụng, nhiên đơn giản, cần tích hợp thêm kí tự biểu cảm… – Kết quả, nhận xét đánh giá ứng dụng 52 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha Đã hỗ trợ hội thoại văn âm thanh, nhiên hệ thống âm chưa đạt số yêu cầu ngắt khoảng thời gian định Ngữ cảnh hội thoại gần gũi, phù hợp, nhiên sở tri thức thu thập cịn hạn chế, dẫn đến q trình hội thoại chưa thơng suốt, nên có nhiều trả lời khơng theo u cầu Q trình hội thoại thực có dấu khơng dấu Hệ thống chatbot sử dụng model (transformer, BERT) với kĩ thuật attention để giải cho toán khác luận văn Những model tối ưu so với mạng neural nhân tạo (RNN, LSTM, GRU ): không phụ thuộc vào giả thiết quan hệ thời gian toàn liệu, liệu đầu tính tốn song song thay theo chuỗi học phụ thuộc dài hạn So sánh Hệ thống chatbot hỗ Hệ thống chatbot hỗ Hệ thống chatbot chăm trợ người dùng trợ tư vấn du lịch sóc khách hàng ngân hàng [35] Quảng Bình [36] cảng hàng khơng Mơ hình - Hệ thống sử dụng -Hệ thống sử dụng huấn mơ hình Rasa với mơ hình Rasa với luyện mạng neural nhân tạo mạng neural nhân tạo liệu Các vấn - Chưa xử lý toán đề khác không dấu -Hệ thống sử dụng mô hình transformer BERT với kĩ thuật attention - Đã xử lý toán - Đã xử lý tốn khơng dấu khơng dấu - Chưa hỗ trợ speech - Chưa hỗ trợ speech - Hỗ trợ speech to text, to text, text to speech to text, text to speech text to speech cho hệ cho hệ thống chatbot cho hệ thống chatbot thống chatbot Bảng 4.3 So sánh hệ thống chatbot thiết kế Luận văn phần đóng góp vào q trình ứng dụng lĩnh vực trí tuệ nhân tạo vào thực tiễn đời sống đưa giải pháp để triển khai ứng dụng trí tuệ nhân tạo vào lĩnh vực cụ thể sống – Kết quả, nhận xét đánh giá ứng dụng 53 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Kết đạt Hệ thống chatbot xây dựng với mục đích ban đầu đáp ứng yêu cầu hệ thống chăm sóc khách hàng cung cấp thông tin cần thiết hãng hàng khơng Q trình hội thoại dùng tiếng việt có dấu khơng dấu, đưa dự đốn người dùng (user) viết khơng tả, sai ngữ pháp…Lựa chọn giải pháp phù hợp cho việc ứng dụng hệ thống chatbot theo thực tiễn Hệ thống chatbot đáp ứng yêu cầu đặt ban đầu với chức hỗ trợ chăm sóc khách hàng cung cấp thơng tin cần thiết Ưu điểm Trong trình nghiên cứu xây dựng hệ thống chatbot hỗ trợ chăm sóc khách hàng cho hãng hàng không, luận văn đạt số nội dung sau: - - Luận văn nghiên cứu tìm hiểu phương pháp học máy, phương pháp tính độ tương đồng văn bản, phương pháp biểu diễn vector từ (word embedding), phân loại văn bản… Tìm hiểu tảng phát triển chatbot, thuật tốn để xây dựng chatbot với ngơn ngữ tiếng việt Đề xuất mơ hình phù hợp cho chatbot Chạy thực nghiệm thành công liệu cụ thể hệ thống Có thể thay đổi bổ sung chủ đề, hội thoại để đưa kết phù hợp Nhược điểm - Dữ liệu huấn luyện cịn ít, kịch chatbot chưa đủ lớn, dẫn đến q trình hội thoại khơng thông suốt Hệ thống chưa thể tự động huấn luyện lại mà phải dựa vào người Hạn chế mặt xử lý lúc nhiều yêu cầu Thời gian sử dụng speech to text chưa thực tốt Phạm vi ứng dụng Hệ thống chatbot chăm sóc khách hàng xậy dựng để ứng dụng việc hỗ trợ tư vấn khách hàng thông tin cần thiết máy bay 5.2 Hướng phát triển Mở rộng ứng dụng hệ thống điện thoại di động, web – Kết luận hướng phát triển 54 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha Mở rộng khả hỗ trợ chăm sóc khách hàng cho tất cảng hàng khơng Nâng cấp hệ thống để tự động sinh câu trả lời theo Generative models – Kết luận hướng phát triển 55 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha TÀI LIỆU THAM KHẢO [1] https://www.grandviewresearch.com/industry-analysis/chatbot-market, 2017 [2] Hiền Trang, "Thị trường chatbot nhiều triển vọng năm 2020", https://startup.vnexpress.net/tin-tuc/xu-huong/thi-truong-chatbot-nhieu-trienvong-trong-nam-2020-4014601.html, 2019 [3] Mầu Hà Quang, "Tất bạn cần biết chatbot", https://viblo.asia/p/tat-ca-nhung-gi-ban-can-biet-ve-chatbot-Az45bnNg5xY, 2018 [4] Hoàng Đức Thịnh, "Ứng dụng mã nguồn mở AIML xây dựng hệ thống chatbot trợ giúp phương pháp học tập cho sinh viên ngành kỹ thuật", 2011 [5] Bùi Đức Anh, "Nghiên cứu mơ hình PCFGs ngôn ngữ AIML xây dựng chatbot hỗ trợ học tiếng Anh", 2017 [6] Richárd Krisztián Csáky,"Deep Learning Based Chatbot Model", Scientific Students' Associations Report, 2017 [7] Peters Florian, "Design and implementation of a chatbot in the context of customer", Master thesis, 2017-2018 [8] Huyen Nguyen, David Morales, Tessera Chin, "A Neural Chatbot with Personality", Computer Science Department, Standford University [9] Mai Vũ Xuân Trường, Nguyễn Thanh Tân, Xây dựng hệ thống chatbot tự động, trường đại học sư phạm kỹ thuật Tp.HCM [10] Winnie, "Natural Language Processing chatbot", https://insights.magestore.com/posts/natural-language-processing-chatbot, 2020 [11] Ngo Xuan Bach, "Xử lý ngôn ngữ tự nhiên - Những điều cần biết", https://techinsight.com.vn/xu-li-ngon-ngu-tu-nhien-nhung-dieu-can-biet/, 2016 [12] Cao Chánh Dương, "Sơ lược word embedding", https://viblo.asia/p/so-luocword-embedding-gDVK2RAeKLj, 2019 [13] Thor Pham, "Tìm hiểu Word2vec", https://thorpham.github.io/blog/2018/04/24/word2vec/, 2018 Tài liệu tham khảo 56 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hồng Kha [14] Phạm Hữu Quang, "Xây dựng mơ hình khơng gian vector cho Tiếng Việt", https://viblo.asia/p/xay-dung-mo-hinh-khong-gian-vector-cho-tieng-vietGrLZDXr2Zk0, 2018 [15] Phan Huy Hoang, "Ứng dụng mơ hình Word2vec", https://viblo.asia/p/machine-learning-ung-dung-mo-hinh-word2vec-cho-baitoan-session-based-recommender-system-Qbq5Q4YJlD8 [16] Vũ Tuấn Anh,"Tìm mối liên hệ tag với Word Embedding", https://pixta.vn/tim-moi-lien-he-giua-cac-tag-voi-nhau-bang-wordembedding/ [17] Nguyễn Kim Anh, Trịnh Thị Ngọc Hương, "Nghiên cứu kĩ thuật đánh giá độ tương đồng văn ứng dụng so sánh văn tiếng Việt", khoa công nghệ thông tin, trường đại học hàng hải, 2016 [18] Matt Kusner et al, "From Embeddings To Document Distances", 2015 [19] http://viet.jnlp.org/kien-thuc-co-ban-ve-xu-ly-ngon-ngu-tu-nhien/thuat-toantach-tu-tokenizer/thuat-toan-tach-tu [20] Phạm Nguyên Khang, Trần Nguyễn Minh Thư, Phạm Thế Phi, Đỗ Thanh Nghị, "Sự ảnh hưởng phương pháp tách từ tốn phân lớp văn tiếng Việt", khoa cơng nghệ truyền thông, trường đại học Cần Thơ [21] Christopher D Manning, Prabhakar Raghavan & Hinrich Schütze, "Introduction to Information Retrieval", Cambridge University Press, 2008 [22] KUMIN242, "Thuật toán Support Vector Machine - SVM", https://neralnetwork.wordpress.com/2018/05/11/thuat-toan-support-vectormachine-svm/, 2018 [23] https://www.saedsayad.com/support_vector_machine.htm [24] Phạm Quang Nhật Minh, "Kĩ thuật Attention mơ hình Sequence-toSequence ứng dụng sử lý ngôn ngữ tự nhiên", https://techinsight.com.vn/ky-thuat-attention-trong-mo-hinh-sequencesequence-va-ung-dung-trong-xu-ly-ngon-ngu-tu-nhien/, 2017 [25] Minh Hoang Bui, "Hướng dẫn chi tiết chế LSTM GRU NLP", https://blog.chappiebot.com/h%C6%B0%E1%BB%9Bngd%E1%BA%ABn-chi-ti%E1%BA%BFt-v%E1%BB%81-c%C6%A1ch%E1%BA%BF-c%E1%BB%A7a-lstm-v%C3%A0-gru-trong-nlpa1bd9346b209, 2018 Tài liệu tham khảo 57 HV: Nguyễn Hữu Ánh Xây dựng hệ thống chatbot GVHD: TS Võ Tuấn Kiệt, PGS.TS Hà Hoàng Kha [26] Louis WEHENKEL, "Design and implementation of a chatbot in the context of customer support", University of Liège, 2017-2018 [27] http://www.gabormelli.com/RKB/Bidirectional_LSTM_(biLSTM)_Model [28] Pham Dinh Khanh, "Bài - Attention is all you need", https://phamdinhkhanh.github.io/2019/06/18/AttentionLayer.html, 2019 [29] Chí Thanh, "10 câu hỏi google BERT", https://www.huongnghiepaau.com/10-cau-hoi-ve-google-bert [30] Phạm Hữu Quang, "Hiểu BERT: Bước nhảy lớn Google", https://viblo.asia/p/hieu-hon-ve-bert-buoc-nhay-lon-cua-googleeW65GANOZDO, 2018 [31] Pham Dinh Khanh, "Bài 36 - BERT model", https://phamdinhkhanh.github.io/2020/05/23/BERTModel.html, 2020 [32] David Mráz, "Text classification with transformers in Tensorflow: BERT", https://medium.com/atheros/text-classification-with-transformers-intensorflow-2-bert-2f4f16eff5ad, 2020 [33] Phạm Quang Nhật Minh, "3 vấn đề NLP phát triển hệ thống chatbot số phương pháp giải điển hình", https://techinsight.com.vn/3-van-de-nlp-co-ban-khi-phat-trien-mot-thongchatbot-va-mot-phuong-phap-giai-quyet-dien-hinh/, 2017 [34] Sumit Chandak, "BERT for Multi-class text classification", https://medium.com/@chandaksumit29_15695/bert-for-multi-class-textclassification-12b66a1fc01c, 2019 [35] Nguyễn Tất Tiến, "Nghiên cứu xây dựng chatbot hỗ trợ người dùng ngân hàng", trường đại học Công Nghệ Hà Nội, 2019 [36] Nông Văn Tùng, "Nghiên cứu xây dựng chatbot hỗ trợ tư vấn du lịch Quảng Bình", đại học Bách Khoa Đà Nẵng, 2019 Tài liệu tham khảo 58 HV: Nguyễn Hữu Ánh LÝ LỊCH TRÍCH NGANG Họ tên: Nguyễn Hữu Ánh Ngày, tháng, năm sinh: 18/01/1994 Nơi sinh: Quảng Trị Dân tộc: Kinh E-mail liên lạc: huuanh180194@gmail.com QUÁ TRÌNH ĐÀO TẠO a ĐẠI HỌC Nơi đào tạo: Trường ĐH Bách Khoa – ĐHQG TP HCM Ngành học: Điện tử - viễn thơng Loại hình đào tạo: Chương trình chất lượng cao Việt Pháp (PFIEV) Thời gian đào tạo: 8/2012 đến 2018 b SAU ĐẠI HỌC Nơi đào tạo: Trường ĐH Bách Khoa – ĐHQG TP HCM Ngành học: Kỹ thuật viễn thông Thời gian đào tạo: 10/2018 – 8/2020 ... Việt : Xây dựng hệ thống chatbot chăm sóc khách hàng cảng hàng không Tiếng Anh : Build chatbot system for customer care for airlines II NHIỆM VỤ VÀ NỘI DUNG: Nghiên cứu tổng quan hệ thống chatbot. .. lĩnh vực chăm sóc khách hàng, tra cứu liệu y tế, chăm sóc sức khỏe Với mong muốn tạo chatbot có khả hỗ trợ chăm sóc khách hàng nhằm tối ưu hóa xuất, giảm thiểu chi phí…cho cảng hàng hàng khơng,... luận văn đặt mục tiêu thiết kế hệ thống chatbot, mà cụ thể chăm sóc khách hàng cho cảng hàng khơng Đầu tiên, luận văn trình bày phương pháp, thuật tốn dùng để xây dựng chatbot dựa ngơn ngữ tiếng