BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MÔ HÌNH SINH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG[.]
BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN HÀN LÂM KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH Chun ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN CÁN BỘ HƯỚNG DẪN KHOA HỌC TS Nguyễn Việt Anh Hà Nội – 2020 LỜI CAM ĐOAN Tơi Đỗ Viết Mạnh, học viên khóa 2018A, ngành Công nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tôi xin cam đoan luận văn “Xây dựng Chatbot bán hàng dựa mơ hình sinh” tơi nghiên cứu, tìm hiểu phát triển hướng dẫn TS Nguyễn Việt Anh, chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2020 Tác giả Đỗ Viết Mạnh LỜI CẢM ƠN Lời cảm ơn trân trọng em muốn dành tới thầy cô Học viện khoa học công nghệ Việt Nam, Viện công nghệ thông tin, Viện Hàn lâm khoa học cơng nghệ Việt Nam nói chung thầy môn Hệ thống thông tin khoa Cơng nghệ thơng tin nói riêng tận tình giảng dạy truyền đạt kiến thức quý báu suốt khố cao học vừa qua, giúp em có kiến thức chuyên môn tảng để làm sở lý luận khoa học cho luận văn Đặc biệt em xin chân thành cảm ơn thầy TS Nguyễn Việt Anh dìu dắt hướng dẫn em suốt trình làm luận văn, bảo định hướng thầy giúp em tự tin nghiên cứu vấn đề giải toán cách khoa học Em xin trân trọng cảm ơn Ban giám hiệu Học viện khoa học công nghệ Việt Nam - Viện Hàn lâm khoa học công nghệ Việt Nam tạo điều kiện cho em học tập làm luận văn cách thuận lợi Mặc dù cố gắng nhiều, chắn trình học tập luận văn khơng khỏi thiết sót Em mong thơng cảm bảo tận tình thầy bạn Hà Nội, ngày tháng năm 2020 Tác giả Đỗ Viết Mạnh MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ 10 MỞ ĐẦU 1 Động lực nghiên cứu 2 Mục tiêu luận văn 3 Cấu trúc luận văn CHƯƠNG : TỔNG QUAN CÁC HỆ THỐNG CHATBOT 1.1 Giới thiệu 1.2 Các mơ hình chatbot bán hàng tiêu biểu hỗ trợ Tiếng Việt 1.2.1 Chatbot theo kịch (menu/button) 1.2.2 Chatbot nhận dạng từ khoá 1.2.3 Mơ hình Chatbot bán hàng mà luận văn nghiên cứu 1.3 Cấu trúc thành phần hệ thống Chatbot 1.4 Hiểu ngôn ngữ tự nhiên (NLU) 10 1.4.1 Xác định ý định người dùng 13 1.5 Quản lý hội thoại (DM) 15 1.5.1 Mơ hình máy trạng thái hữu hạn FSA 16 1.5.2 Mơ hình Frame-based 17 1.6 Mơ hình sinh ngôn ngữ (NLG) 18 1.6.1 Template-based NLG 18 1.6.2 Plan-based NLG 19 1.6.3 Class-based NLG 19 1.7 Kết luận chương 20 CHƯƠNG 2: CÁC KỸ THUẬT SỬ DỤNG TRONG CHATBOT 21 2.1 Kiến trúc mạng nơ-ron nhân tạo 21 2.2 Mạng nơ-ron hồi quy RNN 23 2.2.1 Vấn đề phụ thuộc dài 26 2.2.2 Kiến trúc mạng LSTM 27 2.2.3 Phân tích mơ hình LSTM 29 2.3 Word embeddings 32 2.3.1 Word2vec 32 2.3.2 Glove 34 2.4 Ứng dụng RNN vào quản lý hội thoại 35 2.4.1 Mơ hình word-based DST 35 2.4.2 Mơ hình Global-Locally Self-Attentive DST (GLAD) 37 2.5 Mơ hình CRF 38 2.5.1 Định nghĩa CRF 38 2.5.2 Huấn luyện CRF 40 2.5.3 Suy diễn CRF 42 2.6 Giải thuật phân loại văn Starspace 43 2.7 Kết luận chương 44 CHƯƠNG 3: XÂY DỰNG CHATBOT BÁN HÀNG 45 3.1 Bài toán 45 3.2 Xây dựng Chatbot hỗ trợ nghiệp vụ bán hàng 45 3.3 Ứng dụng RASA xây dựng Chatbot 47 3.4 Xây dựng liệu Chatbot 49 3.4.1 Xây dựng ý định 50 3.4.2 Xây dựng entity 51 3.4.3 Xây dựng câu trả lời cho bot 52 3.4.4 Xây dựng khung kịch (history) 53 3.5 Thử nghiệm 54 3.5.1 Dữ liệu thử nghiệm 54 3.5.2 Môi trường công cụ sử dụng thực nghiệm 55 3.5.3 Thiết kế chương trình thử nghiệm 55 3.5.4 Thử nghiệm 56 3.6 Đánh giá 62 CHƯƠNG 4: KẾT LUẬN 63 TÀI LIỆU THAM KHẢO PHỤ LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Từ chuẩn Diễn giải Trí tuệ nhân tạo AI Artificial Intelligence ANN Artificial Nerual Network Mạng nơ-ron nhân tạo CBOW Continuous Bag of Words CNN Convolution Neural Network Mạng nơ-ron tích chập CRF Conditional Random Fields Mơ hình xác xuất trường điều kiện ngẫu nhiên DM Dialogue Management Quản lý hội thoại DNN Deep Neural Networks Mô hình học sâu DTS Dialogue State Tracking Theo dõi trạng thái hội thoại FSA Finite State Automata Mơ hình dựa máy trạng thái hữu hạn FSM Finite State Machine Máy trạng thái hữu hạn GLAD Global-Locally SelfAttentive Dialogue State Tracker HMM Hiden Markov Models Mơ hình Markov ẩn LSTM Long short-term memory Mạng cải tiến để giải vấn đề phụ thuộc dài NLG Natural Language Generation Thành phần sinh ngôn ngữ Xử lý ngôn ngữ tự nhiên NLP Natural Language Processing NLU Natural Language Hiểu ngôn ngữ tự nhiên Understanding ML Machine Learning Học máy, máy có khả học tập POS Part Of Speech Gán nhãn từ loại RNN Recurrent Neural Network Mạng nơ-ron hồi quy SVM Vector Support Machine Máy vector hỗ trợ DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1: Ví dụ dạng Chatbot (menu/button) Hình 2: Ví dụ Chatbot nhận dạng từ khố Hình 3: Cấu trúc thành phần hệ thống Chatbot [12] Hình 4: Mơ hình thành phần xử lý Chatbot [1] 10 Hình 5: Các bước xử lý pipeline NLU [1] 11 Hình 6: Các bước xử lý NLU [2] 11 Hình 7: Mơ hình bước xác định ý định 13 Hình 8: Mơ hình quản lý trạng thái định action hội thoại [2] 15 Hình 9: Quản lý hội thoại theo mơ hình máy trạng thái hữu hạn FSA 16 Hình 10: Frame cho Chatbot hỏi thông tin khách hàng 17 Hình 11: Phương pháp sinh ngơn ngữ dựa tập mẫu câu trả lời [1] 18 Hình 12: Phương pháp sinh ngôn ngữ Plan-based [1] 19 Hình 13: Phương pháp sinh ngơn ngữ class-based [1] 19 Hình 14: Kiến trúc mạng nơ-ron nhân tạo [15] 21 Hình 15: Quá trình xử lý thông tin mạng nơ-ron nhân tạo [15] 22 Hình 16: Mạng RNN [15] 24 Hình 17: Mạng RNN chiều [15] 25 Hình 18: Mạng RNN nhiều tầng [15] 26 Hình 19: RNN phụ thuộc short-term [17] 27 Hình 20: RNN phụ thuộc long-term [17] 27 Hình 21: Các mơ-đun lặp mạng RNN chứa layer [17] 28 Hình 22: Các mơ-đun lặp mạng LSTM chứa bốn layer [17] 28 Hình 23: Tế bào trạng thái LSTM giống băng truyền [17] 29 Hình 24: Cổng trạng thái LSTM [17] 30 Hình 25: LSTM focus f [17] 30 Hình 26: LSTM focus I [17] 31 Hình 27: LSTM focus c [17] 31 Hình 28: LSTM focus o [17] 32 Hình 29: Mơ hình từ nhúng [16] 33 Hình 30: Mơ hình CBOW Skip-Ngram [16] 33 Hình 31: Xác xuất từ k ngữ cảnh từ i j [16] 34 - Nhược điểm: Tốn thời gian định nghĩa luật, không mang tính tự nhiên câu trả lời Đối với hệ thống lớn khó kiểm sốt luật dẫn đến hệ thống khó phát triển trì 1.6.2 Plan-based NLG Hình 12: Phương pháp sinh ngơn ngữ Plan-based [1] - Ưu điểm: Có thể mơ hình hóa cấu trúc ngơn ngữ phức tạp - Nhược điểm: Thiết kế nặng nề, đòi hỏi phải rõ miền kiến thức 1.6.3 Class-based NLG Hình 13: Phương pháp sinh ngơn ngữ class-based [1] 19 Phương pháp dựa việc cho bot học câu trả lời đầu vào gán nhãn Ứng với hành động (action) thơng tin (slot) từ quản lý hội thoại bot đưa câu trả lời gần dựa tập liệu trả lời đào tạo trước - Ưu điểm: Dễ dàng thực thi - Nhược điểm: Phụ thuộc vào liệu trả lời gán nhãn đào tạo trước Bên cạnh việc tính tốn điểm số khơng hiệu dẫn đến việc sinh câu trả lời sai 1.7 Kết luận chương Chương trình bày giới thiệu kiến thức tổng quan hệ thống Chatbot, phân tích ưu nhược điểm mơ hình Chatbot bán hàng từ định hướng mơ hình Chatbot mà luận văn nghiên cứu xây dựng, đưa giới thiệu chi tiết thành phần cấu trúc vấn đề gặp phải xây dựng hệ thống Chatbot 20 CHƯƠNG 2: CÁC KỸ THUẬT SỬ DỤNG TRONG CHATBOT Chương giới thiệu số kiến thức tảng mạng nơ-ron nhân tạo, cách thức hoạt động mạng nơ-ron số kỹ thuật ứng dụng việc xử lý ngôn ngữ tự nhiên nói riêng hay xây dựng Chatbot nói chung 2.1 Kiến trúc mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network – ANN) mơ phịng xử lý thông tin hay thường gọi ngắn gọn mạng nơ-ron, nghiên cứu dựa hệ thống thần kinh sinh vật, giống não người để xử lý thông tin ANN bao gồm số lượng lớn mối gắn kết để xử lý yếu tố làm việc mối quan hệ giải vấn đề rõ ràng ANN giới thiệu năm 1943 nhà thần kinh học Warren McCulloch nhà logic học Walter Pits, hoạt động giống hoạt động não người, học hỏi kinh nghiệm thông qua việc đào tạo, huấn luyện, có khả lưu giữ tri thức sử dụng tri thức việc phán đoán liệu mới, chưa biết (unseen data) Processing Elements (PE) ANN gọi nơ-ron, nhận liệu vào (inputs) xử lý chúng cho kết (output) Kết xử lý nơ-ron làm input cho nơ-ron khác Hình 14: Kiến trúc mạng nơ-ron nhân tạo [15] Kiến trúc chung ANN gồm thành phần input layer, hidden layer output layer Trong đó, lớp ẩn (hidden layer) gồm nơ-ron, nhận liệu 21 input từ nơ-ron lớp trước chuyển đổi input cho lớp xử lý Q trình xử lý thơng tin ANN sau: Hình 15: Q trình xử lý thơng tin mạng nơ-ron nhân tạo [15] Trong đó, input tương ứng với thuộc tính liệu Ví dụ ứng dụng ngân hàng xem xét có chấp nhận cho khách hàng vay tiền hay khơng input thuộc tính khách hàng thu nhập, nghề nghiệp, tuổi, số con…Output giải pháp cho vấn đề, ví dụ với toán xem xét chấp nhận cho khách hàng vay tiền hay khơng output yes - cho vay no - không cho vay Trọng số liên kết (Connection Weights) thành phần quan trọng ANN, thể mức độ quan trọng hay hiểu độ mạnh liệu đầu vào q trình xử lý thơng tin, chuyển đổi liệu từ layer sang layer khác Quá trình học (Learning Processing) ANN thực trình điều chỉnh trọng số (Weight) input data để có kết mong muốn Hàm tổng (Summation Function) cho phép tính tổng trọng số tất input đưa vào nơ-ron Hàm tổng nơ-ron n input tính theo công thức sau: 𝑛 𝑌 = ∑ 𝑋𝑖 𝑊𝑖 (2.1) 𝑖=1 Kết cho biết khả kích hoạt nơ-ron Các nơ-ron sinh output khơng ANN, hay nói cách khác output nơ-ron chuyển đến layer tiếp mạng nơ-ron không ảnh hưởng hàm chuyển đổi (Transfer Function) Việc lựa chọn Transfer Function có tác động lớn đến kết ANN Vì kết xử lý nơ-ron hàm tính tổng nên đơi lớn, nên transfer function sử dụng để 22 xử lý output trước chuyển đến layer Hàm chuyển đổi phi tuyến sử dụng phổ biến ANN sigmoid (logical activation) function 𝑌𝑇 = 1 + 𝑒 −𝑌 (2.2) Kết Sigmoid Function thuộc khoảng [0, 1] nên cịn gọi hàm chuẩn hóa (Normalized Function) Đơi thay sử dụng hàm chuyển đổi, ta sử dụng giá trị ngưỡng (Threshold value) để kiểm soát output nơ-ron layer trước chuyển output đến layer Nếu output nơ-ron nhỏ Threshold khơng chuyển đến Layer Ứng dụng thực tế mạng nơ-ron thường sử dụng toán nhận dạng mẫu nhận dạng chữ quang học (Optical character recognition), nhận dạng chữ viết tay, nhận dạng tiếng nói, nhận dang khuôn mặt 2.2 Mạng nơ-ron hồi quy RNN Mạng nơ-ron hồi quy (RNN) mô hình Deep Learning đánh giá có nhiều lợi tác vụ xử lý ngôn ngữ tự nhiên (NLP) Ý tưởng RNN thiết kế mạng lưới thần kinh có khả xử lý thơng tin giống chuỗi câu hỏi Lặp lại có nghĩa thực nhiệm vụ lặp lặp lại cho yếu tố chuỗi Cụ thể, đầu thời điểm phụ thuộc vào kết tính tốn thành phần thời điểm trước Nói cách khác, RNN mơ hình có nhớ, nhớ thơng tin tính tốn trước đó, khơng giống mạng thần kinh truyền thống thơng tin đầu vào hồn tồn độc lập với thông tin đầu Về mặt lý thuyết, RNN nhớ thơng tin chuỗi có độ dài bất kỳ, thực tế mơ hình nhớ thơng tin từ vài bước trước Các ứng dụng RNN đa dạng lĩnh vực mơ hình ngơn ngữ tạo văn (Generating text) Mơ hình ngơn ngữ cho biết xác suất câu ngôn ngữ Đây vấn đề dự đốn xác suất từ câu định Từ vấn đề này, mở rộng sang vấn đề tạo văn (generative model/generating text) Mô hình cho phép chúng tơi tạo văn dựa liệu đào tạo Ví dụ, đào tạo mơ hình với liệu tư vấn bán hàng, tạo câu trả lời cho câu hỏi liên quan đến thương mại điện tử Tùy thuộc vào loại liệu đào tạo, có nhiều loại ứng dụng khác Trong mơ hình ngôn ngữ, đầu vào chuỗi từ (được mã 23 hóa thành one-hot vector [13]), đầu chuỗi từ dự đốn từ mơ hình Một lĩnh vực khác RNN Dịch máy Vấn đề dịch máy tương tự mơ hình ngơn ngữ Cụ thể, đầu vào chuỗi từ ngơn ngữ nguồn (ví dụ: tiếng Việt), đầu chuỗi từ ngơn ngữ đích (ví dụ: tiếng Anh) Sự khác biệt đầu dự đốn đầu vào phân tích hồn tồn Điều từ dịch phải chứa tất thông tin từ từ trước Hoặc RNN áp dụng cho vấn đề tốn học mơ tả cho hình ảnh Generating Image Descriptions) RNN kết hợp với Convolution Neural Netwokrs tạo văn mơ tả cho hình ảnh Mơ hình hoạt động cách tạo câu mơ tả từ tính trích xuất hình ảnh Đào tạo RNN tương tự đào tạo ANN truyền thống Giá trị đầu không phụ thuộc vào kết tính tốn bước mà cịn phụ thuộc vào kết tính tốn bước trước Hình 16: Mạng RNN [15] RNN có khả biểu diễn mối quan hệ phụ thuộc thành phần chuỗi Ví dụ, chuỗi đầu vào câu có từ RNN unfold (dàn ra) thành RNN có layer, layer tương ứng với từ, số từ đánh từ tới Trong hình vẽ trên, 𝑥𝑡 input (one-hot vector) thời điểm thứ t 𝑆𝑡 hidden state (memory) thời điểm thứ t, tính dựa hidden state trước kết hợp với input thời điểm với công thức: 𝑆𝑡 = tanh(𝑈𝑥𝑡 + 𝑊𝑆𝑡−1 ) (2.3) 𝑆𝑡−1 hidden state khởi tạo vector không 𝑂𝑡 output thời điểm thứ t, vector chứa xác suất toàn từ từ điển 24 𝑂𝑡 = 𝑠𝑜𝑓𝑡𝑚𝑎𝑥(𝑉𝑆𝑡 ) (2.4) Không giống ANN truyền thống, lớp cần sử dụng tham số khác, RNN sử dụng tham số (U, V, W) cho tất bước Về mặt lý thuyết, RNN xử lý lưu trữ thông tin chuỗi liệu có độ dài Tuy nhiên, thực tế, RNN hiệu chuỗi liệu có độ dài khơng q dài (short-term memory hay gọi long-term dependency problem) Nguyên nhân vấn đề vấn đề độ dốc biến (gradient sử dụng để cập nhật giá trị weight matrix RNN có giá trị nhỏ dần theo layer thực back propagation) Khi độ dốc trở nên nhỏ (với giá trị gần 0), giá trị ma trận trọng số khơng cập nhật đó, mạng nơ-ron ngừng học lớp Đây lý RNN lưu trữ thông tin dấu thời gian chuỗi liệu dài Trong vài năm qua, nhà khoa học nghiên cứu phát triển nhiều RNN ngày tinh vi để giải hạn chế RNN Bidirectinal RNN (2 chiều): dựa ý tưởng đầu thời điểm t không phụ thuộc vào thành phần trước mà phụ thuộc vào thành phần tương lai Ví dụ, để dự đốn từ cịn thiếu chuỗi, cần xem xét từ trái phải xung quanh từ Mơ hình bao gồm hai RNN chồng chéo Cụ thể, trạng thái ẩn tính tốn dựa hai thành phần bên trái bên phải mạng Hình 17: Mạng RNN chiều [15] Deep RNN: tương tự Bidirectional RNN, khác biệt mơ hình bao gồm nhiều lớp RNN hai chiều thời điểm Mơ hình cho khả thực tính tốn nâng cao yêu cầu đào tạo phải đủ lớn 25 Hình 18: Mạng RNN nhiều tầng [15] Long short-term memory network (LSTM): mơ hình có cấu trúc giống mạng RNN có cách tính khác cho trạng thái ẩn Bộ nhớ LSTM gọi tế bào Chúng ta thấy hộp đen nhận thông tin đầu vào bao gồm trạng thái giá trị ẩn Trong hạt nhân này, họ xác định thông tin lưu trữ thơng tin cần xóa, để mơ hình lưu trữ thông tin dài hạn 2.2.1 Vấn đề phụ thuộc dài Ý tưởng ban đầu RNN liên kết thơng tin trước để hỗ trợ quy trình Nhưng đơi khi, cần dựa vào số thông tin gần để thực nhiệm vụ Ví dụ, mơ hình hóa ngơn ngữ, chúng tơi cố gắng dự đốn từ dựa từ trước Nếu dự đoán từ cuối câu "mây bay bầu trời", khơng cần phải tìm kiếm q nhiều từ trước đó, đốn từ "bầu trời" Trong trường hợp này, khoảng cách đến thông tin liên quan rút ngắn, nạng RNN tìm hiểu sử dụng thơng tin q khứ 26 Hình 19: RNN phụ thuộc short-term [17] Nhưng có trường hợp cần thêm thơng tin, phụ thuộc vào ngữ cảnh Chẳng hạn, dự đoán từ cuối đoạn "Tôi sinh lớn lên Việt Nam tơi nói tiếng Việt trơi chảy" Từ thông tin cho thấy từ tên ngôn ngữ, muốn biết ngôn ngữ cụ thể, cần quay lại khứ xa hơn, để tìm bối cảnh Việt Nam Và đó, RRN phải tìm thông tin liên quan số điểm trở nên lớn Thật bất ngờ, RNN học cách kết nối thơng tin lại với nhau: Hình 20: RNN phụ thuộc long-term [17] Về mặt lý thuyết, RNN hoàn toàn có khả xử lý "các phụ thuộc dài hạn", nghĩa thông tin thu chuỗi thơng tin trước Đáng buồn thay, thực tế, RNN dường khơng có khả Vấn đề đặt Hochreiter (1991) [German] và công đặt thách thức cho mơ hình RNN 2.2.2 Kiến trúc mạng LSTM Long Short Term Memory network (LSTM) trường hợp đặc biệt RNN, có khả học phụ thuộc dài hạn Mơ hình giới thiệu Hochreiter & Schmidhuber (1997), cải tiến lần Sau đó, mơ hình 27 dần trở nên phổ biến nhờ cơng trình nghiên cứu gần Mơ hình tương thích với nhiều vấn đề, sử dụng rộng rãi ngành liên quan LSTM thiết kế để loại bỏ vấn đề phụ thuộc q dài Nhìn vào mơ hình RNN bên dưới, lớp kết nối với thành mô đun mạng thần kinh Trong RNN tiêu chuẩn, mô-đun lặp lại có cấu trúc đơn giản bao gồm lớp đơn giản layer Hình 21: Các mơ-đun lặp mạng RNN chứa layer [17] LSTM có cấu trúc liên kết, mô-đun lặp lại có cấu trúc khác Thay có lớp mạng thần kinh, LSTM có tới bốn lớp, tương tác với theo cấu trúc cụ thể Hình 22: Các mô-đun lặp mạng LSTM chứa bốn layer [17] Trong đó, ký hiệu sử dụng mạng LSTM giải nghĩa sau: 28 Là lớp ẩn mạng nơ-ron Toán tử Pointwise, biểu diễn phép toán cộng, nhân vector Vector đầu vào đầu nút Biểu thị phép nối toán hạng Biểu thị cho chép từ vị trí sang vị trí khác 2.2.3 Phân tích mơ hình LSTM Mấu chốt LSTM trạng thái ơ, đường ngang chạy dọc theo đỉnh sơ đồ Trạng thái tế bào giống băng chuyền Nó chạy thẳng qua toàn chuỗi, vài tương tác tuyến tính nhỏ thực Điều làm cho thơng tin có khả thay đổi suốt trình lan truyền Hình 23: Tế bào trạng thái LSTM giống băng truyền [17] LSTM có khả thêm bớt thông tin vào cell state, quy định cách cẩn thận cấu trúc gọi cổng (gate) Các cổng cách 29 (tuỳ chọn) để định nghĩa thông tin băng qua Chúng tạo hàm sigmoid toán tử nhân pointwise LSTM có khả thêm xóa thơng tin trạng thái tế bào, điều chỉnh cẩn thận cấu trúc gọi cổng (gate) Các cổng cách (tùy chọn) để xác định thông tin truyền qua Chúng tạo hàm sigmoid tốn tử pointwise Hình 24: Cổng trạng thái LSTM [17] Hàm kích hoạt Sigmoid có giá trị từ [0 – 1], mô tả độ lớn thông tin phép truyền qua lớp mạng Nếu ta thu điều có nghĩa “khơng cho qua”, ngược lại thu giá trị có nghĩa “cho phép thứ qua” Một LSTM có ba cổng để bảo vệ điều khiển cell state Quá trình hoạt động LSTM thông qua bước sau: Bước mơ hình LSTM định thơng tin cần xóa khỏi trạng thái tế bào Quá trình thực thông qua lớp sigmoid gọi "lớp cổng chặn" - cổng chặn Đầu vào ℎ𝑡−1 𝑥𝑡 , đầu giá trị phạm vi [0, 1] cho trạng thái ô 𝐶𝑡−1 tương đương với "lưu giữ thơng tin", tương đương với "xóa thơng tin" Hình 25: LSTM focus f [17] 30 Bước tiếp theo, ta cần định thông tin cần lưu lại cell state Ta có hai phần Một, single sigmoid layer gọi “input gate layer” định giá trị cập nhật Tiếp theo, 𝑡𝑎𝑛ℎ layer tạo vector ứng viên mới, Ct thêm vào ô trạng thái Trong bước tiếp theo, cần định thông tin cần lưu trữ trạng thái tế bào Chúng tơi có hai phần Một, lớp sigmoid gọi "lớp cổng đầu vào" xác định giá trị cập nhật Tiếp theo, lớp creates tạo vectơ ứng cử viên mới, Ct thêm vào hộp trạng thái Hình 26: LSTM focus I [17] Ở bước tiếp theo, ta kết hợp hai thành phần lại để cập nhật vào cell state Lúc cập nhật vào cell state cũ, 𝐶𝑡−1 , vào cell state 𝐶𝑡 Ta đưa state cũ hàm ff, để quên trước Sau đó, ta them 𝑖𝑡 ∗ 𝐶̃𝑡 Đây giá trị ứng viên mới, co giãn (scale) số lượng giá trị mà ta muốn cập nhật cho state Tải FULL (83 trang): https://bit.ly/3GzDuXa Dự phịng: fb.com/TaiHo123doc.net Hình 27: LSTM focus c [17] Cuối cùng, ta cần định xem thông tin output Output cần dựa cell state chúng ta, lọc bớt thông tin Đầu tiên, ta áp dụng single sigmoid layer để định xem phần cell state 31 dự định output Sau đó, ta đẩy cell state qua giá trị khoảng [-1 1] nhân với output sigmoid gate, để giữ lại phần ta muốn output ngồi Hình 28: LSTM focus o [17] Ví dụ mơ hình ngơn ngữ, cần nhìn vào chủ đề cung cấp thơng tin trạng từ theo sau Ví dụ: đầu chủ ngữ số số nhiều biết dạng trạng từ theo sau 2.3 Word embeddings Biểu diễn ngơn ngữ vector hóa từ thành phần quan trọng để giúp máy tính hiểu ngơn ngữ từ văn sang dạng số Đó đưa văn dạng text vào không gian gọi embbding space (không gian từ nhúng) Word embeddings (tập nhúng từ) phương pháp ánh xạ từ vào không gian thực đa chiều nhỏ nhiều so với kích thước từ điển.Word embbding có model tiếng word2vec Glove [16] 2.3.1 Word2vec Tải FULL (83 trang): https://bit.ly/3GzDuXa Dự phòng: fb.com/TaiHo123doc.net Word2vec tạo vào năm 2013 kỹ sư google có tên Tomas Mikolov Về mặt toán học, Word2Vec ánh xạ từ từ tập hợp từ vựng vào không gian vectơ, từ biểu thị n số thực Mỗi từ tương ứng với vector cố định Sau đào tạo mơ hình thuật tốn backprobagation, trọng lượng vectơ từ cập nhật liên tục Từ đó, thực phép tính khoảng cách từ từ "gần" thường từ xuất ngữ cảnh, từ đồng nghĩa 32 Hình 29: Mơ hình từ nhúng [16] Word2vec có hai word vector skip-gram Continuous Bag-of-Words (Cbow) Hình 30: Mơ hình CBOW Skip-Ngram [16] CBoW: Dự đoán từ dựa ngữ cảnh từ trước ✓ Cho từ ngữ cảnh ✓ Đoán xác suất từ đích Skip-gram: Dự đốn từ xung quanh cho từ 33 8066097 ... VÀ CÔNG NGHỆ VIỆT NAM HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM Đỗ Viết Mạnh XÂY DỰNG CHATBOT BÁN HÀNG DỰA TRÊN MƠ HÌNH SINH Chun ngành: Hệ thống thông tin Mã số: 8480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ... loại chatbot dịch vụ bán hàng, ship đồ ăn,…vv 1.2.3 Mơ hình Chatbot bán hàng mà luận văn nghiên cứu Từ phân tích ưu nhược điểm mơ hình Chatbot dựa menu/button nhận dạng từ khố, tơi lựa chọn xây dựng. .. RASA xây dựng Chatbot 47 3.4 Xây dựng liệu Chatbot 49 3.4.1 Xây dựng ý định 50 3.4.2 Xây dựng entity 51 3.4.3 Xây dựng câu trả lời cho bot 52 3.4.4 Xây