Đang tải... (xem toàn văn)
Việc xây dựng giải pháp Chatbot bán hàng tự động trên miền Tiếng Việt nhằm tăng hiệu quả bán hàng, chăm sóc khách hàng đang thu hút rất nhiều sự quan tâm. Các mô hình Chatbot bán hàng hiện nay thường áp dụng hai mô hình truyền thống, theo kịch bản MenuButton và nhận dạng từ khoá. Hai mô hình truyền thống này còn tồn tại rất nhiều những hạn chế như người sử dụng sẽ bị động, phụ thuộc theo sự cung cấp các nút lựa chọn, không phát hiện được các từ đồng nghĩa với từ khoá, không nắm được ngữ cảnh, dẫn đến sự không hài lòng của khách hàng. Bài báo này chúng tôi xây dựng giải pháp Chatbot bán hàng tự động iBotsale dựa trên thuật toán StartSpace để phân loại ý định và Conditional Random Fields (CRF) để trích chọn thông tin nhằm phân tích câu nói của người dùng trên miền Tiếng Việt. Các ý định chính được phân loại trong thực nghiệm bao gồm: chào hỏi, giá, số lượng, kích thước, chất liệu, vận chuyển, thanh toán, đánh giá, chính sách. Các thông tin trích chọn bao gồm: mã sản phẩm, địa chỉ, cân nặng, chiều cao, kích thước. Hiệu quả của mô hình khi tiến hành thực nghiệm đạt độ chính xác hơn 90% trên tập dữ liệu kiểm tra
See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/345467799 Xây dựng giải pháp Chatbot bán hàng tự động iBotsale miền Tiếng Việt dựa trích trọn thơng tin phân loại ý định Conference Paper · November 2020 CITATIONS READS 3,051 authors, including: Đỗ Viết Mạnh Duc-Nghia Tran Vietnamese Academy of Science and Technology Institute of Information Technol… Vietnam Academy of Science and Technology 11 PUBLICATIONS 3 CITATIONS 56 PUBLICATIONS 236 CITATIONS SEE PROFILE Some of the authors of this publication are also working on these related projects: ML applications on wearable devices View project Cow Monitoring View project All content following this page was uploaded by Duc-Nghia Tran on 08 November 2020 The user has requested enhancement of the downloaded file SEE PROFILE Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 Xây dựng giải pháp Chatbot bán hàng tự động iBotsale miền Tiếng Việt dựa trích trọn thông tin phân loại ý định Đỗ Viết Mạnh*, Trần Đức Nghĩa Nguyễn Việt Anh Phòng Tin học Quản lý Viên Công nghệ Thông tin (IOIT-VAST) Hà Nội, Việt Nam e-mail: manhdv@ioit.ac.vn Phòng Khoa học liệu Ứng dụng Viên Công nghệ Thông tin (IOIT-VAST) Hà Nội, Việt Nam Hà Thị Hồng Vân Viện nghiên cứu, phát triển KTNV kiểm định an ninh thiết bị kỹ thuật, Cục Kỹ thuật nghiệp vụ, BCA Tóm tắt—Việc xây dựng giải pháp Chatbot bán hàng tự động miền Tiếng Việt nhằm tăng hiệu bán hàng, chăm sóc khách hàng thu hút nhiều quan tâm Các mơ hình Chatbot bán hàng thường áp dụng hai mơ hình truyền thống, theo kịch Menu/Button nhận dạng từ khố Hai mơ hình truyền thống tồn nhiều hạn chế người sử dụng bị động, phụ thuộc theo cung cấp nút lựa chọn, không phát từ đồng nghĩa với từ khố, khơng nắm ngữ cảnh, dẫn đến khơng hài lịng khách hàng Bài báo xây dựng giải pháp Chatbot bán hàng tự động iBotsale dựa thuật toán StartSpace để phân loại ý định Conditional Random Fields (CRF) để trích chọn thơng tin nhằm phân tích câu nói người dùng miền Tiếng Việt Các ý định phân loại thực nghiệm bao gồm: chào hỏi, giá, số lượng, kích thước, chất liệu, vận chuyển, tốn, đánh giá, sách Các thơng tin trích chọn bao gồm: mã sản phẩm, địa chỉ, cân nặng, chiều cao, kích thước Hiệu mơ hình tiến hành thực nghiệm đạt độ xác 90% tập liệu kiểm tra Từ khoá: Chatbot NLP; Chatbot bán hàng; phân loại ý định, trích chọn thơng tin; học máy I GIỚI THIỆU Trong năm gần đây, số Chatbot thiết kế để tương tác với người, với phát triển xử lý ngơn ngữ tự nhiên giúp cho trị chuyện với người cách tự nhiên Ví dụ, Roshan Khan đề xuất kiến trúc chung để thiết https://messnow.com https://botbanhang.vn/ kế triển khai Chatbot cá nhân hóa cho vấn đề khác nhau[1] Mạng xã hội ngày phát triển, đặc biệt thương mại điện tử trở thành xu thế, khơng doanh nghiệp mà cá nhân bán hàng trực tiếp thông qua internet Chatbot xây dựng nhằm hỗ trợ tư vấn bán hàng, chăm sóc khách hàng giúp giảm chi phí, tăng hiệu bán hàng Theo báo cáo Business Insider 2017 [2], Mỹ hàng năm tiết kiệm 12 tỷ USD chi phí tiền lương cho ngành bán bảo hiểm, 15 tỷ cho dịch vụ tài chính, bán hàng 23 tỷ cho dịch vụ khách hàng Các mơ hình Chatbot bán hàng chủ yếu áp dụng mơ hình truyền thống Loại thứ nhất: mơ hình Chatbot theo kịch Menu/Button hệ thống phân cấp định trình bày cho người dùng dạng nút (buttons), số Chatbot sử dụng mơ hình như: Chatbot Messnow1, Botbanhang2,…vv Loại thứ hai: mơ hình Chatbot nhận dạng từ khố như: Chatbot Harafunnel3,…,vv Ưu điểm mơ hình xây dựng dễ dàng, độ xác cao người dùng đưa yêu cầu dựa nút xây dựng trước, nhiên người dùng bị động trước mong muốn mình, mà phải https://harafunnel.com/ Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 phụ thuộc vào cung cấp nút lựa chọn Chatbot Tuy mơ hình thứ hai có ưu điểm so với mơ hình người dùng chủ động việc đưa yêu cầu, tồn hạn chế người dùng sử dụng từ đồng nghĩa với từ khố Chatbot phát để trả lời phù hợp, nắm bắt ngữ cảnh trị truyện Ngồi kỹ thuật phát triển chatbot truyền thống, nhiều chatbot ngày sử dụng kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) tiên tiến, kỹ thuật học sâu Deep Reinforcement Learning (DRL) Deep Neural Network ( DNN) [3] Gần đây, cộng đồng xử lý ngôn ngữ tự nhiên (NLP) đạt nhiều đột phá việc nhúng phụ thuộc vào ngữ cảnh mơ hình ngơn ngữ hai chiều ELMo, OpenAI, GPT, BERT, RoBERTa, DistilBERT, XLM, XLNet [413] Đặc biệt, mơ hình BERT (Devlin cộng sự, 2019 [14]) trở thành đường sở xử lý ngôn ngữ tự nhiên bao gồm phân loại câu, câu hỏi an-swering, …vv Trên miền liệu Tiếng Việt vấn đề bóc tách từ ghép có nhiều nghiên cứu giải tốt vấn đề này, ví dụ thư viện tác giả Vu Anh [15], bên cạnh vấn đề chuẩn hố lỗi sai tả, viết tắt cịn hạn chế gây ảnh hưởng lớn đến độ xác mơ hình Mục đích nghiên cứu xây dựng giải pháp Chatbot iBotsale cho nghiệp vụ bán hàng dựa thuật toán StartSpace [16] để phân loại ý định Conditional Random Fields (CRF) [17] để trích chọn thơng tin nhằm phân tích câu nói người dùng miền Tiếng Việt Mấu chốt giải pháp hướng tới cần phải hiểu xác ý định từ câu nói khách hàng, có nhiều thuật tốn để thực hiên công việc này, nghiên cứu Muhammad Yusril Helmi Setyawan [18] cộng phân loại ý định Chatbot dựa thuật toán Naive Bayes hồi quy logistic cho số kết định Ở nhóm nghiên cứu khác Amber Nigam, Prashik Sahare, Kushagra Pandya [19] phân loại ý định Chatbot miền đóng đạt hiệu suất với độ xác 75,07% Hiệu giải pháp tiến hành thực nghiệm đạt độ xác 90% tập liệu kiểm tra II GIẢI PHÁP XÂY DỰNG A Tổng quan thành phần xử lý là: Chatbot Chatbot bán hàng có ba thành phần Hình 1: Kiến trúc mơ hình tổng quan thành phần xử lý Chatbot Mỗi thành phần Chatbot có vai trị riêng biệt: NLU: bao gồm việc xử lý ngơn ngữ tự nhiên (NLP) có nhiệm vụ xác định ý định câu hỏi người dùng trích chọn thơng tin, chi tiết bước xử lý hình DM: Quản lý hội thoại có nhiệm vụ xác định hành động (action) dựa vào trạng thái hành động trước ngữ cảnh hội thoại NLG: thành phần sinh ngôn ngữ dựa vào hành động xác định DM Hình 2: Các bước xử lý NLU Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 B Mơ hình StartSpace phân loại ý định Mơ hình StartSpace Facebook phát triển cơng bố năm 2017 Mơ hình đạt độ xác tương đương tốt so với mô hình tiếng khác fastText [20] Mơ hình StartSpace bao gồm việc học thực thể Mỗi thực thể mơ tả tập hợp tính riêng biệt Mục tiêu học ma trận có kích thước 𝐷 × 𝑑, 𝐷 số lượng đặc trưng 𝑑 chiều dài vectơ embedding Một thực thể a biểu diễn dạng ∑! ∈ $ 𝐹! , 𝐹! , hàng thứ i (có kích thước d) ma trận embedding Hàm loss sau cực tiểu hóa q trình huấn luyện: ! (",!) ∈ - ! !" ∈ - " 𝐿!"#$% (𝑠𝑖𝑚(𝑎, 𝑏), 𝑠𝑖𝑚(𝑎, 𝑏), … , 𝑠𝑖𝑚(𝑎, 𝑏&' )) (1) Trong đó, việc tạo cặp thực thể dương (a,b) thuộc 𝐸 % thực thể âm 𝑏 & thuộc 𝐸 & (phương pháp lấy mẫu k - âm (tương tự word2vec) sử dụng để lấy mẫu cho 𝑏!& ) phụ thuộc vào tứng ứng dụng cụ thể mơ hình Hàm 𝑠𝑖𝑚( , ) hàm tương tự, mơ hình đề xuất, triển khai hai phương pháp tính tương tự cosine (cosine similarity) tích (inner product), sau đó, để mơ hình tự lựa chọn phương pháp phù hợp q trình huấn luyện Thơng thường, phương pháp hoạt động tốt số lượng nhãn nhỏ, nhiên tập nhãn kích thước lớn, hàm cosine cho kết tốt Hàm loss 𝐿'()*+ so sánh cặp thực thể dương (a, b) với cặp thực thể âm (a, 𝑏!& ) với i=1, ,k Q trình huấn luyện tối ưu hóa dựa vào giải thuật Stochastic gradient descent (SGD) [21] Sau huấn luyện xong, hàm sim( , ) sử dụng Đối với toán phân loại ý định, cặp thực thể dương (a, b) lấy trực tiếp từ tập huấn luyện, đó, a nhóm từ đầu vào b nhãn ý định tương ứng tập huấn luyện Các thực thể âm 𝑏 & nhãn ý định lại tập huấn luyện Mơ hình học cách cực đại hóa 𝑠𝑖𝑚(a, b) cực tiểu hóa 𝑠𝑖𝑚(a, 𝑏!& ) C Mơ hình CRF CRF mơ hình trạng thái tuyến tính vơ hướng (máy trạng thái hữu hạn huấn luyện có điều kiện), tuân theo tính chất Markov thứ Mơ hình chứng minh thành cơng cho toán gán nhãn cho chuỗi từ, xác định thực thể, gán nhãn cụm từ, nhãn danh từ…vv Gọi 𝑜 = (𝑜, , 𝑜- , … , 𝑜 ) chuỗi liệu quan sát cần gán nhãn Gọi S tập trạng thái, trạng thái liên kết với nhãn 𝑙 𝜖 𝐿 Đặt 𝑠 = ( 𝑠, , 𝑠- , … , 𝑠 ) chuỗi trạng thái, CRFs xác định xác suất điều kiện chuỗi trạng thái biết chuỗi quan sát sau: ) 𝑝! (𝑠|𝑜) = 𝑒𝑥𝑝 ,- - 𝜆% 𝑓% (𝑠&'( , 𝑠& , 𝑜, 𝑡)3 𝑍(#) &*( (2) % Gọi 𝑍(") = ∑$ ! 𝑒𝑥𝑝[∑)&*( ∑% 𝜆% 𝑓% (𝑠&'( , 𝑠& , 𝑜, 𝑡)] thừa số chuẩn hố tồn chuỗi nhẵn 𝑓/ xác định hàm đặc trưng 𝜆/ trọng số liên kết với đặc trưng 𝑓/ Mục đích việc học máy CRFs ước lượng trọng số Ở đây, ta có hai đặc trưng 𝑓/ : đặc trưng trạng thái (per-state) đặc trưng chuyển (transition) (+,-'.&/&,) 𝑓% (&-/0.1&1#0) 𝑓% (𝑠& , 𝑜, 𝑡) = 𝛿(𝑠& , 𝑙)𝑥% (𝑜, 𝑡) (3) (𝑠&'( , 𝑠& , 𝑡) = 𝛿(𝑠&'( , 𝑙)𝛿(𝑠& , 𝑙) (4) Ở 𝛿 kronecker- 𝛿 Mỗi đặc trưng trạng thái (3) kết hợp với nhãn 𝑙 trạng thái thại 𝑠) vị từ ngữ cảnh – hàm nhị phân 𝑥/ (𝑜, 𝑡) xác định ngữ cảnh quan trọng quan sát 𝑜 vị trí 𝑡 Một đặc trưng chuyển (4) biểu diễn phụ thuộc chuỗi cách kết hợp nhãn 𝑙 trạng thái trước 𝑠)&, nhãn 𝑙 trạng thái 𝑠) Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 Huấn luyện CRFs cách làm cực đại hoá hàm likelihood theo liệu huấn luyện sử dụng kĩ thuật tối ưu L-BFGS D Lấy mẫu liệu tiền xử lý thực thể: mã sản phẩm, địa chỉ, cân nặng, chiều cao, kích thước Sau qua bước tiền xử lý gán nhãn thủ công, liệu huấn luyện có dạng hình sau: Trong nghiên cứu thử nghiệm để phân loại ý định trích chọn thơng tin mơ tả bảng sau đây: Bảng 1: Mô tả ý định cần phân loại Intent Mô tả ý định liên quan đến chào Ask_hello hỏi ý định liên quan đến hỏi Product_price giá sản phẩm ý định hỏi số lượng sản Product_num phẩm ý định hỏi chất liệu sản Product_quality phẩm ý định hỏi dịch vụ vận Product_ship chuyển sản phẩm ý định hỏi phương thức Product_payment toán ý định phản hồi, đánh giá Product_feedback sản phẩm Bảng 2: Mô tả thơng tin cần trích chọn Entity Mơ tả Product_name Thơng tin mã sản phẩm Thơng tin vị trí vận Location chuyển hàng Thông tin chiều cao Height khách hàng Thông tin cân nặng Kilogam khách hàng Thơng tin kích thước sản Size phẩm Nguồn liệu xây dựng để huấn luyện Chatbot bán hàng thu thập tham khảo qua số Fanpage Facebook bán hàng Từ đoạn hội thoại lọc câu nói khách hàng bao gồm 300 ghi Trong nghiên cứu sử dụng thư viện Underthesea tác giả Vũ Anh để tách từ Tiếng Việt cách chuẩn xác bao gồm việc tách từ ghép Trong tập liệu thu nhiều từ viết tắt, sai tả, cần phải chuẩn hố việc xây dựng từ điển để xử lý vấn đề Thực gán nhãn ý định: chào hỏi, giá, số lượng, kích thước, chất liệu, vận chuyển, toán, đánh giá nhãn Hình 3: Dữ liệu huấn luyện Trong hình nhãn ý định giá sản phẩm gán với câu nói khách hàng hỏi giá sản phẩm họ quan tâm với intent: ask_product_price Các thông tin mã sản phẩm “sp1”, “sp2” gán nhãn thực thể product_name E Phép đánh giá Để sâu vào tìm hiểu tính hiệu thuật tốn học máy, biểu diễn kết phân loại dạng ma trận chồng chéo, với phép thử tính sau: 𝑇𝑃 + 𝑇𝑁 𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁 + 𝑇𝑁 𝑇𝑃 𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 = 𝑇𝑃 + 𝐹𝑁 𝑇𝑃 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 = 𝑇𝑃 + 𝐹𝑃 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 × 𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 𝑓1 = × 𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 + 𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑦 𝑎𝑐𝑐𝑢𝑟𝑎𝑐𝑦 = (5) (6) (7) (8) Trong đó: - TP (True Positive): Số lượng ý định gắn nhãn so với quan sát - FN (False Negative): Số lượng ý định bị gắn nhãn sai thành ý định khác - FP (False Positive): Số lượng ý định khác bị gắn nhãn sai thành ý định xem xét - TN (True Negative): Số lượng ý định khác gắn nhãn so với quan sát III KẾT QUẢ VÀ THẢO LUẬN Chúng tiến hành hai thử nghiệm tập liệu, đó, thử nghiệm 1, liệu đưa qua khâu tiền xử lý tách từ theo khoảng trắng Trong thử nghiệm 2, Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 liệu tiền xử lý chuẩn hoá từ viết tắt, sai tả tách từ theo chuẩn Tiếng Việt (tách từ ghép) trước vào mơ hình Kết thu phân loại ý định từ câu đầu vào trích chọn thơng tin quan trọng Mơ hình tổng thể trình thử nghiệm xây dựng sau: Bảng 4:Hiệu suất trích chọn thơng tin Kết Entities precision sensitivity f1 support product_name 0.75 0.667 0.706 location 1.0 0.75 0.857 kilogam 1.0 0.667 0.7 height 1.0 0.75 0.857 size 0.909 0.69 0.784 Từ kết thu từ bảng 4, nhận thấy việc áp dụng mơ hình CRF cho trích chọn thơng tin đạt độ xác cao Qua q trình huấn luyện thấy việc huấn luyện nhiều liệu độ xác trích xuất cao với mơ hình CRF Bảng 5: Hiệu suất thuật toán StartSpace cho tất ý định: Hình 4: Mơ hình thử nghiệm Với phương pháp trình bày trên, chúng tơi tiến hành lập trình thử nghiệm dựa tảng framework Rasa [22] để phân loại ý định trích chọn thơng tin Chúng tơi tiến hành thử nghiệm thấy độ xác đạt thử nghiệm tốt so với thử nghiệm Bảng 3: Kết xử với thử nghiệm Thử nghiệm Độ xác Thử nghiệm 68.1% Thử nghiệm 96.89% Từ thử nghiệm nhận thấy rằng, việc xây dựng giải pháp miền liệu Tiếng Việt, đặc biệt nghiệp vụ bán hàng vấn đề tiền xử lý từ, chuẩn hố từ sai tả, từ viết tắt ảnh hướng nhiều đến độ xác, thử nghiệm sử dụng thư viện Underthesea tác giả Vũ Anh để tách từ theo chuẩn Tiếng Việt xây dựng từ điển để chuẩn hố từ sai tả, viết tắt Tuy nhiên từ điển chưa hoàn thiện trường hợp xảy Một số kết chi tiết thử nghiệm sau: Ý định Kết Accuracy Sensitivity Precision ask_hello 100% 100% 100% product_feedback 97.06% 100% 75% product_num 89.19% 66.67% 85.71% product_payment 100% 100% 100% product_price 97.06% 83.33% 100% product_quality 97.06% 75% 100% product_ship 100% 100% 100% product_size 91.67% 100% 62.5% product_warranty 100% 100% 100% Trung bình 96.89% 91.67% 91.47% Tỷ lệ phân loại ý định thực thao tác phân loại tập liệu thử nghiệm liệt kê bảng 5, độ xác trung bình đạt mức 96.89% Độ xác tốt đạt với ý định chào hỏi (100%), giá (97.06%), số lượng (89.19%), kích thước (91.67%), chất liệu (97.01%), vận chuyển (100%), toán (100%), đánh giá (97.06%), sách (100%) So sánh nghiên cứu Muhammad Yusril Helmi Setyawan cộng phân loại ý định Hội thảo quốc gia lần thứ XXIII: Một số vấn đề chọn lọc Công nghệ thông tin truyền thông – Quảng Ninh, 5-6/11/2020 Chatbot dựa thuật toán Naive Bayes với hiệu suất 0.636 hồi quy logistic 0.727 Cũng nghiên cứu Amber Nigam, Prashik Sahare, Kushagra Pandya phân loại ý định Chatbot miền đóng đạt hiệu suất với độ xác 75,07% IV KẾT LUẬN Kết thử nghiệm cho thấy tính khả thi giải pháp độ xác cao tương đương tốt cách tiếp cận truyền thống Tuy nhiên tồn hạn chế xử lý lỗi tả, viết tắt số trường hợp, câu nói khách hàng nhập nhằng ngữ nghĩa hay vấn đề có nhiều ý định câu nói Với định hướng nghiên cứu tiếp tục xử lý vấn đề cịn hạn chế xử lý lỗi tả, viết tắt dựa thuật toán học máy, nhằm tăng hiệu suất giải pháp LỜI CẢM ƠN Cán trẻ Đỗ Viết Mạnh hỗ trợ Viện Công nghệ thông tin, Viện Hàn lâm Khoa học Công nghệ Việt Nam (VAST), mã đề tài CS20.04 [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] View publication stats Khan, R., Standardized Architecture for Conversational Agents a.k.a ChatBots International Journal of Computer Trends and Technology, 50(2), 114–121 https://doi.org/10.14445/22312803/ijctt-v50p120, 2017 Darius Zumstein, Sophie Hundertmark, “CHATBOTS – AN INTERACTIVE TECHNOLOGY FOR PERSONALIZED COMMUNICATION, TRANSACTIONS AND SERVICES”, IADIS International Journal on WWW/Internet, November 2017 Delhi, “REVIEW OF CHATBOT DESIGN AND TRENDS”, Artificial Intelligence and Speech Technology, 2019 Dai, A M and Le, Q V Semi-supervised sequence learning.InIn Proceedings of Advances in Neural InformationProcessing Systems 28, pp 3079–3087 2015 Peters, M., Ammar, W., Bhagavatula, C., and Power, R.Semi-supervised sequence tagging with bidirectional language models InProceedings of the 55th ACL, pp 1756– 1765, Vancouver, Canada, July 2017 Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K BERT:Pre-training of deep bidirectional transformers for lan-guage understanding InProceedings of the 2019 Conference of the NACL, Vol 1, pp 4171–4186, June 2019 [19] [20] [21] [22] Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark, C.,Lee, K., and Zettlemoyer, L Deep contextualized wordrepresentations InProceedings of the 2018 Conferenceof the NAACL, pp 2227–2237, New Orleans, Louisiana,June 2018a Lample, G and Conneau, A Cross-lingual language modelpretraining.CoRR, abs/1901.07291, 2019 Peters, M E., Neumann, M., Zettlemoyer, L., and Yih, W.Dissecting contextual word embeddings: Architectureand representation.CoRR, abs/1808.08949, 2018b Howard, J and Ruder, S Universal language model finetuning for text classification InProceedings of the 56thAnnual Meeting of the ACL, pp 328–339, Melbourne,Australia, July 2018 Yang, Z., Dai, Z., Yang, Y., Carbonell, J G., Salakhut-dinov, R., and Le, Q V Xlnet: Generalized autore-gressive pretraining for language understanding.CoRR,abs/1906.08237, 2019 Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy,O., Lewis, M., Zettlemoyer, L., and Stoyanov, V Roberta:A robustly optimized BERT pretraining approach.CoRR,abs/1907.11692, 2019 Tang, R., Lu, Y., Liu, L., Mou, L., Vechtomova, O., and Lin,J Distilling task-specific knowledge from BERT intosimple neural networks.CoRR, abs/1903.12136, 2019 Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K BERT:Pre-training of deep bidirectional transformers for lan-guage understanding InProceedings of the 2019 Conference of the NACL, Vol 1, pp 4171–4186, June 2019 Vu Anh, “Underthesea - Vietnamese NLP Toolkit” , Jul 2019 Ledell Wu, Adam Fisch, Sumit Chopra, Keith Adams, Antoine Bordes and Jason Weston, “StartSpace: Embed All The Things!”, Computation and Language , 21 Nov 2017 Sutton, Charles; McCallum, Andre, "An Introduction to Conditional Random Fields", arXiv:1011.4088v1 (2010) Muhammad Yusril Helmi Setyawan, Rolly Maulana Awangga, Safif Rafi Efendi, “Comparison Of Multinomial Naive Bayes Algorithm And Logistic Regression For Intent Classification In Chatbot ”, International Conference on Applied Engineering (ICAE) , October 2018 Amber Nigam, Prashik Sahare, Kushagra Pandya, “Intent Detection and Slots Prompt in a Closed-Domain Chatbot”, , 10 Jan 2019 Bojanowski, P.; Grave, E.; Joulin, A.; and Mikolov, T, “Enriching word vectors with subword information”, Transactions of the Association for Computational Linguistics5:135–146, 2017 Feng Niu, Benjamin Recht, Christopher R´e, Stephen J Wright, “Hogwild: A lock-free approach to parallelizing stochastic gradient descent”, In Advances in neural information processing systems, June 2011 Tom Bocklisch, Joey Faulkner, Nick Pawlowski, Alan Nichol, “Rasa: Open Source Language Understanding and Dialogue Management”, arXiv:1712.05181v2 [cs.CL] 15 Dec 2017