Xây dựng mô hình bán hàng tự động trên internet

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  NGUYỄN VĂN QUYỀN XÂY DỰNG MƠ HÌNH BÁN HÀNG TỰ ĐỘNG TRÊN INTERNET LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ  NGUYỄN VĂN QUYỀN XÂY DỰNG MƠ HÌNH BÁN HÀNG TỰ ĐỘNG TRÊN INTERNET Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC: TS Nguyễn Văn Nam HÀ NỘI – 2016 LỜI CAM ĐOAN Tơi Nguyễn Văn Quyền, học viên khóa K21, ngành Công nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tơi xin cam đoan luận văn “Xây dựng mơ hình bán hàng tự động Internet” nghiên cứu, tìm hiểu phát triển dƣới hƣớng dẫn TS Nguyễn Văn Nam, chép từ tài liệu, cơng trình nghiên cứu ngƣời khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm MỤC LỤC TÓM TẮT NỘI DUNG 1 CHƢƠNG 1: GIỚI THIỆU CHUNG .2 CHƢƠNG 2: TỔNG QUAN BÁN HÀNG TỰ ĐỘNG 2.1 Các mơ hình trả lời bán hàng tiêu biểu 2.2 Các vấn đề cần giải cải tiến 11 CHƢƠNG 3: MẠNG NƠ-RON VÀ PHƢƠNG PHÁP SEQ2SEQ .14 3.1 Kiến thức tổng quan 14 3.2 Framework TensorFlow 18 3.3 Lý thuyết mạng nơ-ron 19 3.3.1 Mạng nơ-ron nhân tạo ANN 19 3.3.2 Mạng nơ-ron tái phát RNN 22 3.3.3 Mạng Long Short Term Memory LSTM 24 3.4 Phương pháp học chuỗi Seq2Seq 30 CHƢƠNG 4: GIẢI PHÁP VÀ XÂY DỰNG MƠ HÌNH ĐỀ XUẤT ISALES .37 4.1 Giải pháp đề xuất 37 4.2 Nguồn liệu huấn luyện 40 4.2.1 Facebook 40 4.2.2 GraphAPI 41 4.3 Xây dựng mơ hình iSales 43 4.3.1 Pha thu thập liệu 43 4.3.2 Pha tiền xử lý liệu 45 4.3.3 Pha phân mảnh liệu 47 4.3.4 Pha huấn luyện liệu 49 4.3.5 Pha sinh câu trả lời 52 CHƢƠNG 5: THỬ NGHIỆM, ĐÁNH GIÁ KẾT QUẢ 55 5.1 Phát biểu usecase 55 5.2 Thử nghiệm iSales 56 5.3 Đánh giá kết 61 KẾT LUẬN 63 TÀI LIỆU THAM KHẢO 64 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt Chatbot Page Post Comment NLP ANN RNN LSTM Seq2Seq Từ chuẩn Diễn giải Chatbot Page Post Comment Hệ thống trả lời tự động Khái niệm trang thông tin facebook Khái niệm viết facebook Khái niệm bình luận facebook Natural Languague Processing Artificial Nerual Network Recurrent Neural Network Long short-term memory Xử lý ngôn ngữ tự nhiên Mạng nơ ron nhân tạo Mạng nơ ron tái phát Mạng cải tiến để giải vấn đề phụ thuộc dài sequence to sequence Phƣơng pháp học chuỗi liên tiếp DeepLearning DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 2.1: Luồng tƣơng tác mơ hình bán hàng sử dụng Messenger Hình 2.2: Mơ hình bán hàng sử dụng Messenger Hình 2.3: Từ điển sử dụng chatbot Skype Hình 2.4: Mơ hình bán hàng sử dụng chatbot Skype Hình 2.5: Mơ hình bán hàng sử dụng chatbot Skype Hình 2.6: Mơ hình bán hàng sử dụng uhChat 10 Hình 2.7: Mơ hình bán hàng sử dụng Subiz 11 Hình 3.1: Các bƣớc chung mơ hình tự động 16 Hình 3.2: Mơ hình bán hàng tự động 17 Hình 3.3: Kiến trúc mạng nơ-ron nhân tạo ANN 20 Hình 3.4: Q trình xử lý thơng tin nơ-ron j mạng ANN 20 Hình 3.5: Q trình xử lý thơng tin mạng RNN 23 Hình 3.6: RNN phụ thuộc short-term .25 Hình 3.7: RNN phụ thuộc long-term 25 Hình 3.8: Các module lặp mạng RNN chứa layer 26 Hình 3.9: Các mơ-đun lặp mạng LSTM chứa bốn layer 26 Hình 3.10: Cell state LSTM giống nhƣ băng truyền 27 Hình 3.11: Cổng trạng thái LSTM 27 Hình 3.12: LSTM focus f 28 Hình 3.13: LSTM focus i 28 Hình 3.14: LSTM focus c 29 Hình 3.15: LSTM focus o 29 Hình 3.16: Mơ hình phát sinh văn 30 Hình 3.17: Quá trình huấn luyện phát sinh văn 31 Hình 3.18: Mơ hình chuỗi liên tiếp Seq2Seq 32 Hình 3.19: Mơ hình đối thoại seq2seq 33 Hình 3.20: Bộ mã hóa giải mã seq2seq .34 Hình 4.1: Các pha mơ hình bán hàng tự động .37 Hình 4.2: Sơ đồ quy trình mơ hình đề xuất 38 Hình 4.3: Mơ hình giao tiếp sử dụng graphAPI Facebook 41 Hình 4.4: Sử dụng graphAPI v2.6 để thu thập liệu page 42 Hình 4.5: Luồng nghiệp vụ pha thu thập liệu 44 Hình 4.6: Mã nguồn sample pha thu thập liệu 44 Hình 4.7: Kết sample pha thu thập liệu 45 Hình 4.8: Luồng nghiệp vụ pha tiền xử lý liệu 46 Hình 4.9: Kết sample pha tiền xử lý liệu 46 Hình 4.10: Luồng nghiệp vụ pha phân mảnh liệu 48 Hình 4.11: Kết sample pha phân mảnh liệu 48 Hình 4.12: Luồng nghiệp vụ pha huấn luyện liệu 50 Hình 4.13: Biểu đồ pha huấn luyện liệu .51 Hình 4.14: Mã nguồn sample cho huấn luyện liệu 52 Hình 4.15: Luồng nghiệp vụ pha sinh câu trả lời 53 Hình 4.16: Mã nguồn sample cho pha sinh câu trả lời 54 Hình 5.1: Quy trình bán hàng tự động iSales 56 DANH MỤC BẢNG BIỂU Bảng 2.1 Bảng phân loại mơ hình bán hàng 12 Bảng 4.1 Các cơng cụ xây dựng mơ hình iSales 39 Bảng 4.2 Các phiên graphAPI Facebook 41 Bảng 4.3 Bảng nội dung làm liệu .45 Bảng 4.4 Danh sách cấu phần xử lý pha huấn luyện .51 Bảng 5.1 Danh sách page facebook thu thập liệu 57 Bảng 5.2 Bảng kết huấn luyện liệu 58 Bảng 5.3 Danh sách câu hỏi thử nghiệm .58 Bảng 5.4 Thử nghiệm sinh câu trả lời trƣờng hợp 59 Bảng 5.5 Thử nghiệm sinh câu trả lời trƣờng hợp 60 Bảng 5.6 Thử nghiệm sinh câu trả lời trƣờng hợp 61 TÓM TẮT NỘI DUNG Trong năm gần đây, thƣơng mại điện tử bùng nổ mạnh, kèm theo nhu cầu giải đáp mua hàng tăng cao Điều dẫn tới cần có mơ hình bán hàng, hỗ trợ ngƣời bán đƣa câu trả lời tự động, giảm thiểu công sức tƣ vấn nhƣ tăng khả tƣơng tác ngƣời dùng website thƣơng mại điện tử Bên cạnh đó, trí tuệ nhân tạo ngày phát triển, dần vào lĩnh vực ứng dụng đời sống hàng ngày Với mục đích nghiên cứu nhánh công nghệ học máy, đề xuất đƣợc phép nghiên cứu đề tài “xây dựng mơ hình bán hàng tự động Internet” Hiện tại, mơ hình iSales đƣợc thiết kế dựa mạng nơ-ron, kết hợp phƣơng pháp học chuỗi liên tiếp seq2seq, có khả hiểu Tiếng Việt, tự học từ đoạn đối thoại đƣợc thu thập mạng cung cấp ngƣời bán hàng sinh câu trả lời tự động Mặc dù nghiên cứu chƣa thể đáp ứng cho sản phẩm thƣơng mại nhƣng iSales có số kết định, đặc biệt ý nghĩa việc áp dụng phƣơng pháp học máy CHƢƠNG 1: GIỚI THIỆU CHUNG Mạng xã hội ngày phát triển, ngƣời bán hàng trực tiếp thơng qua internet Ngƣời bán hàng quảng cáo sản phẩm họ, ngƣời mua hàng cần nắm thông tin nhƣ mức giá sản phẩm Giữa hai bên cần có đối thoại để tìm hiểu đến kết luận phiên tƣ vấn Bài toán đƣợc đặt nay, nhu cầu giới thiệu sản phẩm, ngƣời bán hàng cần thêm mơ hình tƣ vấn tự động cho website Vậy mơ hình bán hàng tự động gì? Tại lại cần mơ hình nhƣ vậy? Những lợi ích thuận tiện đạt đƣợc sử dụng mơ hình gì? Để giải đáp cho câu hỏi trên, ta lấy ba ví dụ cụ thể website bán giày da, website bán đồ thời trang online mạng, website bán hàng mỹ phẩm, ba website tích hợp ứng dụng chat Ở ví dụ đầu tiên, cửa hàng bán giày da bình thƣờng khách Buổi sáng khơng có u cầu tƣ vấn sản phẩm, buổi trƣa nhân viên bán hàng ăn trƣa Đầu chiều, quay lại, nhân viên bán hàng phát có khách hàng hỏi sản phẩm lúc ngồi Do khơng có phản hồi tƣ vấn, khách hàng rời Website bán giày da khách hàng tiềm Ngƣợc lại, website bán đồ thời trang online, số lƣợng khách hàng hỏi sản phẩm nhiều Hai nhân viên bán hàng vừa hỗ trợ khách mua hàng shop, vừa tƣ vấn online qua ứng dụng chat Công việc nhiều, nhân viên đảm đƣơng hết trọng trách, khách hàng online cảm thấy khơng thỏa mái khơng đƣợc tƣ vấn rời Website bán đồ thời trang online lợi nhuận không nhỏ Ở website cuối cùng, nữ nhân viên bán hàng mỹ phẩm liên tục phải trả lời thắc mắc gần nhƣ giống khách hàng mẫu sản phẩm Ứng dụng chat tích hợp sẵn website không cho phép đƣa câu trả lời cho câu hỏi tƣơng tự nhƣ Những vấn đề nêu trên, chứng minh lúc đủ thời gian nguồn nhân lực để sẵn sàng kết nối, tƣ vấn với khách hàng Do đó, cần có mơ hình trả lời bán hàng tự động Tự động học liệu từ đoạn đối thoại mẫu, tự động sinh câu trả lời dựa câu hỏi đầu hỏi Microsoft đƣa lời giải cho nhánh nhỏ tốn, xây dựng mơ hình bán pizza tự động có tên chatbot Skype Mơ hình xây dựng phƣơng pháp trích xuất câu trả lời, cho phép ngƣời mua hàng đặt hàng pizza cách trả lời thông tin đƣợc hỏi từ chatbot Tuy nhiên, lời giải chƣa hỗ trợ Tiếng Việt, khơng có kết ngƣời mua hàng không thực 50 Bắt đầu pha huấn luyện liệu Tìm kiếm file Tokenizer.txt ? Tìm thấy Phân tích tham số đầu vào: độ dài câu hỏi/trả lời (maxLength) tham số lưu trữ kết số lần huấn luyện liệu (numEpoch) Khơng tìm thấy Đọc liệu file huấn luyện Lọc bỏ câu có độ dài > tham số maxLength Phân tách word2Id Khởi tạo dataset Lưu trữ dataset Báo lỗi Số lần huấn luyện > numEpoch Sai Đúng Huấn luyện mơ hình Lưu trữ kết huấn luyện (model.ckpt) Kết thúc pha huấn luyện liệu Hình 4.12: Luồng nghiệp vụ pha huấn luyện liệu Với luồng nghiệp vụ nhƣ trên, đề xuất sử dụng ngơn ngữ lập trình python, thƣ viện gồm có NLTK - cơng cụ xử lý ngơn ngữ tự nhiên mã nguồn mở, cho phép xử lý tách văn Framework học máy Tensor Flow, phạm vi luận văn, sử dụng phiên v0.9.0 đƣợc phát hành ngày 22 tháng năm 2016 Kiến trúc phần mềm pha huấn luyện gồm lớp chính: 51 Bảng 4.4 Danh sách cấu phần xử lý pha huấn luyện Tên lớp Main.py Mục đích Phân tích liệu đầu vào Huấn luyện mơ hình theo số lần u cầu Cornelldata.py Textdata.py Lƣu trữ mơ hình Đọc liệu từ file đầu vào, lƣu trữ thành câu hội thoại Biến đổi tập câu hội thoại thành cặp mơ hình đối thoại seq2seq Sử dụng nltk phân tách câu hội thoại thành mã Lƣu trữ dataset Từ quy trình nghiệp vụ pha, kết hợp với danh mục cấu phần xử lý, có biểu đồ nhƣ sau: Main.py Textdata.py Cornelldata.py args corpusDir (data/cornell) loadVNConversation() conversations extractConversation() saveDataset() dataset trainingModel() saveModel() Hình 4.13: Biểu đồ pha huấn luyện liệu Trong loadVNConversation, hàm đọc liệu từ file kết tokenizer.txt từ pha phân mảnh liệu Hàm đọc dòng đƣa vào mảng conversations ExtractConversation hàm thao tác xử lý mảng conversations nhằm tạo tập trainingSamples chứa mẫu đối thoại seq2seq, loại bỏ dòng 52 cuối (do để dòng cuối câu hỏi khơng có câu trả lời), ghép cặp câu liền kề thành mơ hình đối thoại seq2seq, lƣu trữ mơ hình đối thoại vào mảng thƣ viện huấn luyện (trainingSamples) SaveDataset, hàm thao tác lƣu trữ dataset phục vụ huấn luyện Các thơng tin có dataset gồm có word2id - object mapping từ sang mã, id2word - object mapping mã sang từ, trainingSamples - chứa mẫu đối thoại seq2seq Hàm cuối cùng, quan trọng trainingModel: hàm thao tác huấn luyện dựa dataset Với tham số truyền vào numEpochs, hàm thực tƣơng ứng số lần huấn luyện mơ hình Trong lần huấn luyện, dataset đƣợc xáo trộn để tăng tính xác cuối Sau trình huấn luyện, hàm tiến hành lƣu trữ model Hình 4.14: Mã nguồn sample cho huấn luyện liệu Output pha dataset đƣợc tạo từ liệu thu thập mơ hình iSales qua huấn luyện Mơ hình giải vấn đề xây dựng mơ hình hiểu đƣợc ngôn ngữ tiếng Việt Ở hàm extractConversation, nltk đƣợc sử dụng để tách từ thành mã (word2id) Các từ đƣợc tách thành mã không phân biệt ngôn ngữ tiếng Anh hay tiếng Việt Hơn nữa, pha phân mảnh liệu đảm bảo từ tách hồn tồn dễ hiểu đứng 4.3.5 Pha sinh câu trả lời Dựa mơ hình đƣợc xây dựng qua bƣớc huấn luyện liệu, ứng dụng mơ hình liệu để dùng cho việc sinh câu trả lời tƣ vấn cho câu hỏi đầu vào Khi câu hỏi đƣợc đặt ra, hệ thống phân tách câu hỏi từ, 53 mapping theo dataset đƣợc tạo pha trƣớc Từ sử dụng Encoder Decoder để sinh câu trả lời phù hợp với ngữ cảnh Bắt đầu pha sinh câu trả lời Tìm kiếm file ? model.ckpt dataset Tìm thấy Khơng tìm thấy Encoder câu hỏi đầu vào model Decoder câu đáp án Báo lỗi Kết thúc pha sinh câu trả lời Hình 4.15: Luồng nghiệp vụ pha sinh câu trả lời Dựa hình trên, ta mơ tả luồng nghiệp vụ nhƣ sau Bƣớc 1, kiểm tra file đầu vào (model.ckpt/dataset), khơng có báo lỗi Bƣớc 2, dựa model/dataset từ pha trƣớc, tái kiến trúc lại LSTM Bƣớc 3, sử dụng encoder để encode câu hỏi Bƣớc 4, đƣa kết encode vào LSTM nêu Bƣớc 5, sử dụng decoder LSTM để sinh câu trả lời hợp lý Ta xây dựng hàm ứng dụng cụ thể nhƣ sau: 54 Hình 4.16: Mã nguồn sample cho pha sinh câu trả lời Output pha câu trả lời đƣợc tạo từ mơ hình liệu qua huấn luyện Rõ ràng, pha này, LSTM giúp giải vấn đề phát sinh câu hỏi nằm “tập liệu mẫu”: việc huấn luyện mơ hình với phƣơng pháp LSTM cho phép mơ hình có khả hiểu ngữ cảnh, sinh câu trả lời dựa tri thức học đƣợc Một vấn đề khác đƣợc xử lý câu hỏi dài phức tạp, mạng LSTM giải đƣợc tốn trí nhớ dài hạn Bên cạnh đó, huấn luyện mơ hình Tensorflow cho phép tham số đầu vào độ dài câu hỏi/trả lời học Đó lời giải thích đáng cho vấn đề iSales giải pháp đề xuất để giải tốn mơ hình bán hàng tự động Mơ hình có tổng thể pha, đƣợc xây dựng dựa phƣơng pháp học chuỗi seq2seq mạng nơ-ron Trên lý thuyết, iSales đáp ứng yêu cầu ban đầu, có khả tự học liệu ngƣời dùng, tự sinh câu trả lời phạm vi thƣơng mại điện tử mà khơng gặp khó khăn với câu hỏi dài Và để có đánh giá khách quan nhất, tơi thử nghiệm iSales với liệu thực tế mạng, với danh sách câu hỏi chƣơng 55 CHƢƠNG 5: THỬ NGHIỆM, ĐÁNH GIÁ KẾT QUẢ Ở Chƣơng này, thực thử nghiệm iSales usecase cụ thể Kết thử nghiệm đƣợc minh họa thơng qua mơ hình thực nghiệm, với liệu facebook danh sách loạt câu hỏi Môi trƣờng thử nghiệm hoạt động máy tính cá nhân, cài đặt tất pha hoạt động 5.1 Phát biểu usecase Chƣơng đƣa giải pháp xây dựng mô hình đề xuất iSales Để đánh giá khách quan cho mơ hình, cần có usecase áp dụng cụ thể Sau q trình khảo sát, tìm hiểu, tơi xin đƣa đƣợc quy trình nghiệp vụ việc bán hàng tự động Internet nhƣ sau: - Bƣớc 1: Ngƣời mua hàng truy cập vào đƣờng link website bán hàng - Bƣớc 2: Ngƣời mua hàng xem mặt hàng cần mua, đặt câu hỏi tƣ vấn - Bƣớc 3: Câu hỏi đƣợc gửi đến iSales, iSales phân tích trả lời câu hỏi cách tự động Ngƣời mua hàng nhận đƣợc câu trả lời, không thỏa mãn, đặt câu hỏi tiếp theo, iSales tiếp tục công việc tƣ vấn Phiên tƣ vấn diễn liên tục ngƣời mua hàng đồng ý mua hàng rời khỏi hệ thống - Bƣớc 4: Ngƣời bán hàng nhận kết tƣ vấn iSales ngƣời mua hàng Hoặc xử lý đơn hàng, bỏ qua tùy thuộc vào kết tƣ vấn - Bƣớc 5: Ngƣời bán hàng thực sàng lọc, chuyển liệu tƣ vấn vào kho liệu cho iSales tự động học tiếp 56 Người mua hàng Mơ hình bán hàng tự động iSales Bắt đầu (Đăng nhập website) Tự huấn luyện tạo mơ hình Đặt câu hỏi Câu hỏi Người bán hàng Kho liệu người dùng Phân tích Sinh câu trả lời Chuyển liệu tới kho cho mơ hình học tiếp Kết thúc phiên tư vấn Thực dựa kết tư vấn Câu trả lời Không đồng ý Quyết định dừng tư vấn ? (Mua hàng/thốt) Đồng ý Kết thúc Hình 5.1: Quy trình bán hàng tự động iSales Usecase đƣợc đề xuất ngƣời mua hàng muốn tƣ vấn đề sản phẩm “áo sơ mi” Kịch đặt ngƣời mua truy cập iSales, đƣa câu hỏi áo sơ mi, đặt câu hỏi tình liên quan đến màu sắc, cỡ, giá áo, tiếp định mua áo yêu cầu ship địa nhà riêng Yêu cầu đặt hệ thống cần thực đầy đủ pha, phiên tƣ vấn cần 10 câu hỏi Trên lý thuyết, phƣơng pháp đánh giá cho mơ hình sử dụng trí tuệ nhân tạo phép thử Turing [15], kiểm tra đánh giá mang tính chất cảm tính Tuy nhiên, việc đánh giá cảm tính dựa hợp lý kết mà iSales cung cấp Ngoài ra, đứng dƣới phƣơng diện ngƣời dùng, so sánh kết iSales chatbot Skype để đƣa thêm số nhận xét 5.2 Thử nghiệm iSales Thử nghiệm mơ hình iSales máy tính cá nhân với pha: thu thập liệu, tiền xử lý, phân mảnh, huấn luyện liệu sinh câu trả lời Usecase đặt phần 5.1 yêu cầu thực đầy đủ cần 10 câu hỏi Tuy nhiên, khả trả lời câu hỏi iSales nhƣ đa phần ứng dụng trí tuệ nhân tạo khác, bị ảnh hƣởng liệu huấn luyện, thời gian huấn luyện thuật 57 tốn sử dụng Để có kết chi tiết hơn, áp dụng usecase với kết huấn luyện khác thời gian Với mong muốn đảm bảo lƣợng liệu tạm chấp nhận cho q trình huấn luyện, tơi thực pha thu thập liệu hệ điều hành window với danh sách 10 page bán hàng nhƣ sau Bảng 5.1 Danh sách page facebook thu thập liệu Tên page cuahangcongnghecom laroseshop1990 Hilheoshop96 92wear banhangtructuyen360 ChilloutVillage.vn ChoNinhHiep.net T.Shirt.Pro adoredressdesign cloud.cuckoo.shop Mô tả Trang bán hàng công nghệ Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Trang bán hàng quần áo Kết pha file collection.txt với số lƣợng dòng comment thu đƣợc 5683 dòng Nhận xét chung liệu xấu, có dịng trống, có comment khơng có ý nghĩa, xuất dịng lặp liền kề Thực tiếp pha tiền xử lý liệu, kết thu đƣợc file preprocess.txt với 5148 dịng liệu tạm ổn, khơng cịn dịng trống, dịng lặp bị xóa, comment khơng có ý nghĩa bị loại bỏ Output pha phân mảnh liệu tokenizer.txt, với số dịng liệu khơng thay đổi, nhiên liệu khơng cịn dịng trống, dịng lặp bị xóa, comment khơng có ý nghĩa bị loại bỏ, từ đƣợc tách theo chuẩn Tiếng Việt Mặc dù cịn có số câu tách chƣa chuẩn nhƣ “Dạ giá 850k_ạ”…nhƣng đánh giá sơ kết áp dụng cho huấn luyện liệu Hai pha cuối huấn luyện liệu sinh câu trả lời đƣợc thử nghiệm VMware giả lập Ubuntu 14.04 Do khác biệt môi trƣờng nên cần chuyển file kết pha phân mảnh liệu (tokenizer.txt) sang thƣ mục /Home/Desktop/GR/DeepQA/data/cornell môi trƣờng giả lập Ubuntu 58 Theo nhƣ mở đầu phần, để có đánh giá tốt hơn, tơi thực huấn luyện liệu với trƣờng hợp sau Trƣờng hợp 1, chấp nhận hỏi với độ dài hội thoại với số vòng huấn luyện 10 Trƣờng hợp 2, nâng độ dài hội thoại lên 10, nâng số vòng huấn luyện lên 20 Trƣờng hợp 3, nâng độ dài hội thoại lên 15, nâng số vòng huấn luyện lên 30 Kết huấn luyện liệt kê nhƣ bảng sau Rõ ràng, khối liệu nhƣ nhau, tăng tham số huấn luyện lên kéo theo thời gian huấn luyện tăng lên Bảng 5.2 Bảng kết huấn luyện liệu Trƣờng hợp Trƣờng hợp Trƣờng hợp Tham số huấn luyện maxlength = maxlength = 10 maxlength = 15 numEpochs=10 numEpochs=20 numEpochs=30 Dữ liệu huấn luyện 4460 từ 4460 từ 4460 từ 3896 cặp tƣ vấn 3896 cặp tƣ vấn 3896 cặp tƣ vấn Thời gian huấn luyện ~32 phút ~ 14 phút ~ 20 phút Thực sinh câu trả lời với danh sách gồm 15 câu hỏi usecase mua áo sơ mi, gồm câu hỏi liên quan đến màu sắc, cỡ, giá áo, yêu cầu thông tin ship địa phƣơng Các câu hỏi đƣợc đặt cách ngẫu nhiên Bảng 5.3 Danh sách câu hỏi thử nghiệm Câu hỏi thử nghiệm xin chào muốn mua áo sơ mi có màu trắng khơng cịn màu đen khơng cịn màu khác khơng cỡ áo l cịn khơng cỡ áo s hết bạn áo trắng bn giá màu đen giá màu trắng tự phải mua ko hàng Mơ tả Câu chào hỏi Câu mơ tả mục đích Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn màu sắc Yêu cầu tƣ vấn kích cỡ Yêu cầu tƣ vấn kích cỡ Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn giá Yêu cầu tƣ vấn địa điểm Yêu cầu tƣ vấn địa điểm 59 ship tỉnh khác thêm khoảng Yêu cầu tƣ vấn địa điểm bạn Yêu cầu tƣ vấn địa điểm ship vĩnh phúc hết chuyển qua bình xuyên, vĩnh phúc bạn Yêu cầu tƣ vấn địa điểm nha Kết sinh câu trả lời khơng đƣợc tốt Với trƣờng hợp test có maxLength nhỏ, iSales khơng trả lời Những câu khác trả lời đƣợc nhƣng câu trả lời không hợp lý Bảng 5.4 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case01): yeah Human: muốn mua áo sơ mi iSales (case01) : Human: có màu trắng khơng iSales (case01): giá Human: cịn màu đen khơng iSales (case01): ok Human: cịn màu khác khơng iSales (case01): ok Human: cỡ áo l cịn khơng iSales (case01): 40 Human: cỡ áo s hết bạn iSales (case01): Human: áo trắng bn iSales (case01): mũ 180k Human: giá màu đen iSales (case01): Áo 180k bn nha Human: giá màu trắng iSales (case01): Human: tự phải mua ko iSales (case01): Human: hàng iSales (case01): Human: ship tỉnh khác thêm khoảng bạn iSales (case01): Human: ship vĩnh phúc hết iSales (case01): Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case01): 60 Bảng 5.5 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case02): vy ngoc Human: muốn mua áo sơ mi iSales (case02) : khơng Human: có màu trắng khơng iSales (case02): có Human: cịn màu đen khơng iSales (case02): bn bn shop Human: cịn màu khác khơng iSales (case02): ok Human: cỡ áo l cịn khơng iSales (case02): hiccc Human: cỡ áo s hết bạn iSales (case02): hiccc Human: áo trắng bn iSales (case02): mũ 180k Human: giá màu đen iSales (case02): chất riêng Human: giá màu trắng iSales (case02): giá Human: tự phải mua ko iSales (case02): 40 Human: hàng iSales (case02): yeah Human: ship tỉnh khác thêm khoảng bạn iSales (case02): Human: ship vĩnh phúc hết iSales (case02): giá 550k Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case02): không 61 Bảng 5.6 Thử nghiệm sinh câu trả lời trường hợp Human: xin chào iSales (case03): đẹp Human: muốn mua áo sơ mi iSales (case03) : ok a Human: có màu trắng khơng iSales (case03): láng ah Human: cịn màu đen khơng iSales (case03): ok Human: cịn màu khác khơng iSales (case03): ok Human: cỡ áo l cịn khơng iSales (case03): b Human: cỡ áo s hết bạn iSales (case03): hiccc Human: áo trắng bn iSales (case03): mũ 80k Human: giá màu đen iSales (case03): sỉ Human: giá màu trắng iSales (case03): 40 Human: tự phải mua ko iSales (case03): 40 Human: hàng iSales (case03): yeah Human: ship tỉnh khác thêm khoảng bạn iSales (case03): Human: ship vĩnh phúc hết iSales (case03): giá 550k Human: chuyển qua bình xuyên, vĩnh phúc bạn nha iSales (case03): không 5.3 Đánh giá kết Sau thực thử nghiệm mơ hình iSales usecase mua áo sơ mi, kết thu đƣợc đặt câu hỏi cho iSales tỷ lệ đáp án chấp nhận đƣợc thấp < 10% Tuy nhiên, iSales giải đƣợc số vấn đề: - Vấn đề phát sinh câu hỏi nằm “tập liệu mẫu”, phần câu hỏi đặt hồn tồn mang tính chất khách quan Tuy nhiên thấy, iSales tự đƣa câu trả lời đƣợc với tất câu hỏi phù hợp 62 - Vấn đề xây dựng mơ hình hiểu đƣợc ngơn ngữ tiếng Việt, iSales hiểu đƣợc câu hỏi tiếng Việt, trả lời tiếng Việt - Vấn đề câu hỏi dài phức tạp, tùy thuộc vào tham số độ dài huấn luyện, iSales thể nhƣ trƣờng hợp Huấn luyện với tham số độ dài cao, độ dài câu mà iSales có khả đƣa câu trả lời - Vấn đề “tự động”, iSales làm đƣợc điều này, nhƣng đáp án đƣa chƣa tốt, cần cải thiện nhiều Rõ ràng, với kết tại, iSales chƣa thể trở thành ứng dụng thị trƣờng Luận văn thành công phƣơng diện phƣơng án xây dựng phƣơng pháp mới, nhƣng chƣa đảm bảo đƣợc kết tốt Nếu so sánh với chatbot Skype dƣới mắt ngƣời dùng, chatbot Skype tốt hơn, hồn thành đƣợc phiên giao dịch ngƣời mua hàng làm theo dẫn Tuy nhiên, iSales thử thách hay lĩnh vực ứng dụng mạng nơ-ron nói riêng ngành vực trí tuệ nhân tạo nói chung 63 KẾT LUẬN Luận văn tập trung tìm hiểu thực trạng mơ hình bán hàng giới Việt Nam, đƣa nhƣợc điểm, thành phần cần cải tiến, từ đề xuất giải pháp, xây dựng mơ hình bán hàng iSales có tính tự động, khơng phụ thuộc vào ngƣời bán hàng q trình tƣ vấn dịch vụ Mơ hình iSales tại, chƣa thể đƣa thành ứng dụng thƣơng mại Tuy đáp ứng đƣợc yêu cầu có khả hiểu Tiếng Việt sinh câu trả lời tự động với độ dài câu hỏi không giới hạn, nhƣng kết tƣ vấn iSales đƣa cịn ngơ nghê, khó hiểu Hƣớng nghiên cứu luận văn tập trung vào việc cải thiện chất lƣợng câu trả lời iSales - Mở rộng khả thu thập tiền xử lý liệu làm cho liệu thu thập đƣợc nhiều hơn, Phƣơng án đƣa sử dụng BigData để quản lý liệu cho phép tìm kiếm, lọc liệu nhanh [12], lựa chọn nguồn liệu nhƣ liệu sau tƣ vấn đƣợc lƣu trữ doanh nghiệp - Cải tiến pha huấn luyện liệu để giảm thời gian huấn luyện tăng hiệu đầu mơ hình Đồng thời, tơi muốn phối hợp nghiên cứu triển khai ứng dụng với đơn vị bên ngoài, đầu tƣ mở rộng phần cứng để giảm thời gian huấn luyện Những hƣớng phát triển nhằm hƣớng tới mục đích chung phát triển hệ thống iSales có tầm Từ đóng góp, phát triển trí tuệ nhân tạo giới nói chung Việt Nam nói riêng 64 TÀI LIỆU THAM KHẢO [1] Facebook Messenger, September 2016, “Facebook Messenger” [2] Microsoft, 31 Mar 2016, “Build 2016: Microsoft Skype bots preview announced” [3] Martín Abadi, 14 Mar 2016, “TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems” [4] Google Blog, 09 November 2015, “TensorFlow - Google’s latest machine learning system, open sourced for everyone” [5] S.M Al-Alawi, H.A Al-Hinai, May–August 1998, “An ANN-based approach for predicting global radiation in locations with no direct measurement instrumentation” [6] Ondřej Dušek, Filip Jurčíček, 17 Jun 2016, “Sequence-to-Sequence Generation for Spoken Dialogue via Deep Syntax Trees and Strings” [7] Razvan Pascanu, Tomas Mikolov, Yoshua Bengio, May 2013, “On the difficulty of training recurrent neural networks” [8] James Ryan, September 2016, “Translating Player Dialogue into Meaning Representations Using LSTMs” [9] Jay Parikh, August 2012, “Facebook processes more than 500 TB of data daily” [10] Facebook, August 2016, “The Graph API” [11] Lƣu Tuấn Anh, Yamamoto Kazuhide, 16 Feb 2013, “Pointwise for Vietnamese Word Segmentation” [12] Xue-Wen Chen, Xiaotong Lin, 16 May 2014, “Big Data Deep Learning: Challenges and Perspectives” [13] Francois Chaubard, Rohit Mundra, Richard Socher, Spring 2015, “CS 224D: Deep Learning for NLP” [14] Sepp Hochreiter; Jürgen Schmidhuber, 1997, "Long short-term memory" [15] Feigenbaum, Edward A 2003, “Some challenges and grand challenges for computational intelligence” ... mua hàng, ứng dụng hỗ trợ tƣ vấn, ngƣời bán hàng câu tƣ vấn Trong giới hạn luận văn, việc xây dựng mơ hình bán hàng tự động đồng nghĩa với việc xây dựng ứng dụng tƣ vấn có khả tự động trả lời bán. .. mơ hình usecase thực tế, đánh giá kết so sánh với mơ hình chatbotSkype - Kết luận Đƣa kết luận trình nghiên cứu xây dựng “mơ hình bán hàng tự động Internet? ?? 4 CHƢƠNG 2: TỔNG QUAN BÁN HÀNG TỰ ĐỘNG... Hình 2.5: Mơ hình bán hàng sử dụng chatbot Skype Hình 2.6: Mơ hình bán hàng sử dụng uhChat 10 Hình 2.7: Mơ hình bán hàng sử dụng Subiz 11 Hình 3.1: Các bƣớc chung mơ hình