Xây dựng mô hình đối thoại cho tiếng việt trên miền mở dựa vào phương pháp học chuỗi liên tiếp

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  NHỮ BẢO VŨ XÂY DỰNG MƠ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT TRÊN MIỀN MỞ DỰA VÀO PHƯƠNG PHÁP HỌC CHUỖI LIÊN TIẾP LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2016 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  NHỮ BẢO VŨ XÂY DỰNG MƠ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT TRÊN MIỀN MỞ DỰA VÀO PHƯƠNG PHÁP HỌC CHUỖI LIÊN TIẾP Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Nguyễn Văn Nam HÀ NỘI – 2016 LỜI CAM ĐOAN Tơi Nhữ Bảo Vũ, học viên khóa K21, ngành Công nghệ thông tin, chuyên ngành Hệ Thống Thông Tin Tơi xin cam đoan luận văn “Xây dựng mơ hình đối thoại cho tiếng Việt miền mở dựa vào phương pháp học chuỗi liên tiếp” nghiên cứu, tìm hiểu phát triển hướng dẫn TS Nguyễn Văn Nam Luận văn chép từ tài liệu, cơng trình nghiên cứu người khác mà không ghi rõ tài liệu tham khảo Tôi xin chịu trách nhiệm lời cam đoan Hà Nội, ngày tháng năm 2016 LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn tới thầy cô Trường Đại học Công nghệ, Đại học Quốc Gia Hà Nội tận tình giảng dạy truyền đạt kiến thức suốt khóa học cao học vừa qua Tôi xin gửi lời cảm ơn đến thầy cô Bộ môn Hệ thống thông tin Khoa công nghệ thông tin mang lại cho kiến thức vô quý giá bổ ích q trình học tập trường Đặc biệt xin chân thành cảm ơn thầy giáo, TS Nguyễn Văn Nam, người định hướng, giúp đỡ, trực tiếp hướng dẫn tận tình bảo tơi suốt q trình nghiên cứu, xây dựng hồn thiện luận văn Tôi xin cảm ơn tới gia đình, người thân, đồng nghiệp bạn bè thường xuyên quan tâm, động viên, chia sẻ kinh nghiệm, cung cấp tài liệu hữu ích thời gian học tập, nghiên cứu suốt trình thực luận văn tốt nghiệp Hà Nội, ngày tháng năm 2016 MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN MỤC LỤC DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ TÓM TẮT GIỚI THIỆU CHUNG CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG 1.1 Hệ thống đối thoại người máy 1.2 Tình hình nghiên cứu ngồi nước 1.3 Phân loại mơ hình trả lời tự động 1.3.1 Phân loại theo 1.3.2 Phân loại theo 1.3.3 Phân loại theo 1.3.4 Phân loại theo CHƯƠNG 2: CƠ SỞ MẠNG NƠ RON NHÂN TẠO 2.1 Kiến trúc mạng nơ ron nhân tạo 2.2 Hoạt động mạng nơ-ron nhân tạo 2.3 Mạng nơ-ron tái phát ứng dụng 2.3.1 Mạng nơ-ron 2.3.2 Các ứng dụng 2.3.3 Huấn luyện m 2.3.4 Các phiên mở rộng RNN 2.4 Mạng Long Short Term Memory 2.4.1 Vấn đề phụ th 2.4.2 Kiến trúc mạn 2.4.3 Phân tích mơ CHƯƠNG 3: MƠ HÌNH ĐỐI THOẠI VỚI MẠNG NƠ-RON 3.1 Mơ hình ngơn ngữ phát sinh văn 3.2 Mơ hình chuỗi liên tiếp seq2seq 3.3 Mơ hình đối thoại seq2seq 41 3.4 Những thách thức chung xây dựng mơ hình đối thoại 41 3.4.1 Phụ thuộc bối cảnh 42 3.4.2 Kết hợp tính cách 42 CHƯƠNG 4: XÂY DỰNG MƠ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT 43 4.1 Kiến trúc ứng dụng 43 4.2 Cài đặt mơ hình 45 4.3 Các vấn đề giải pháp khắc phục 46 CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ MƠ HÌNH .50 4.1 Dữ liệu công cụ thực nghiệm 50 4.2 Tách từ tập liệu tiếng Việt 52 4.3 Khung làm việc Tensorflow 52 4.4 Kết thực nghiệm 53 KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 60 DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT Từ viết tắt AI ML ANN RNN CNN LSTM NLP Artifi Mach Artifi Recur Convo Netwo Long NLTK Natur Proce Vietna Toolk Natur Python Pytho SDK CPU GPU Suppo Centra Graph API Appli Interf Quest Biling Under VNTK QA BLEU DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ Hình 1.1: Mơ hình chuỗi sinh sản 18 Hình 2.1: Kiến trúc mạng nơ-ron nhân tạo 21 Hình 2.2: Quá trình xử lý thông tin mạng nơ-ron nhân tạo 22 Hình 2.3: Ứng dụng RNN máy dịch 26 Hình 2.4: Ứng dụng RNN phát sinh mô tả cho ảnh 27 Hình 2.5: Mạng RNN hai chiều 28 Hình 2.6: Mạng RNN nhiều tầng 29 Hình 2.7: RNN phụ thuộc short-term 30 Hình 2.8: RNN phụ thuộc long-term 30 Hình 2.9: Các mô-đun lặp mạng RNN chứa layer 31 Hình 2.10: Các mơ-đun lặp mạng LSTM chứa bốn layer 32 Hình 2.11: Các kí hiệu sử dụng mạng LSTM 32 Hình 2.12: Tế bào trạng thái LSTM giống băng truyền 33 Hình 2.13: Cổng trạng thái LSTM 33 Hình 2.14: LSTM focus f 34 Hình 2.15: LSTM focus i 34 Hình 2.16: LSTM focus c 35 Hình 2.17: LSTM focus o 35 Hình 3.1: Mơ hình phát sinh văn 37 Hình 3.2: Quá trình huấn luyện phát sinh văn .37 Hình 3.3: Mơ hình chuỗi liên tiếp (chuỗi sang chuỗi) seq2seq 40 Hình 3.4: Mơ hình đối thoại seq2seq 41 Hình 3.6: Vấn đề phụ thuộc bối cảnh tính cách 42 Hình 4.1: Kiến trúc mơ hình đối thoại cho tiếng Việt .44 TÓM TẮT Con người máy móc ln có mối quan hệ chặt chẽ với Chúng ta tham gia vào thay đổi văn hóa lớn vài năm qua, người vốn sinh vật chịu trách nhiệm hành động, máy móc thiết bị an tồn số tình khơng mong muốn Tuy nhiên, vai trị đảo ngược, máy móc thường phụ trách công việc người đơn giản giám sát, theo dõi Mơ hình hóa đối thoại nhiệm vụ quan trọng tốn hiểu ngơn ngữ tự nhiên, máy học thông minh Các phương pháp tiếp cận trước thường giới hạn lĩnh vực cụ thể, ví dụ đặt vé trực tuyến, tư vấn ghi danh trực tuyến, tìm kiếm thơng tin y tế, … yêu cầu phải thiết kế luật học tay, nhiều công sức mà hiệu đạt khơng cao, khó mở rộng mơ hình ứng dụng có liên quan Trong đề tài này, nghiên cứu, xây dựng mơ hình đối thoại cho tiếng Việt, dựa phương pháp học chuỗi liên tiếp, sequence-tosequence, để sinh câu trả lời từ chuỗi đầu vào tương ứng Lợi phương pháp mơ hình huấn luyện end-to-end tập liệu có sẵn, u cầu luật tay Kết chúng tơi đạt mơ hình đối thoại sử dụng mạng học sâu để sinh câu trả lời tiếng Việt, tương ứng với câu hỏi chuỗi đầu vào Mơ hình ban đầu cho kết tính cực, giải vấn đề ngữ nghĩa, ngữ cảnh tính cách riêng hệ thống đối thoại GIỚI THIỆU CHUNG Máy học (ML) trí tuệ nhân tạo (AI) nhanh chóng đưa vào ứng dụng sản phẩm công nghiệp, thúc đẩy tính dân chủ trí thơng minh, điều tri thức bậc thấp Bởi mặt, lượng lớn dịch vụ, công cụ sẵn sàng cho người dùng cuối, mặt khác, quyền lực thực tập trung vào tay ông lớn với liệu lớn sẵn có tài ngun tính tốn thực để khai thác AI/ML đến mức độ cao cấp Động lực nghiên cứu tính cấp thiết toán thực tế Trong bối cảnh mạng xã hội trở nên phổ biến nay, người kết nối với người thông qua mạng xã hội, thời gian nơi đâu Sẽ thật tốt có hệ thống tự động thông minh hỗ trợ người cách trị chuyện, có khả nhắc nhở, làm trợ lý cơng việc theo dõi tình trạng sức khỏe cá nhân lúc, nơi Khái niệm Trợ lý ảo, Chatbot, hay Hệ thống trả lời tự động chủ đề nóng từ đầu năm 2016, thức cơng ty lớn Microsoft (Cortana), Google (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv), WeChat, Slack giới thiệu trợ lý ảo mình, hệ thống trả lời tự động Chính thức đặt cược lớn vào chơi chatbot, với mong muốn tạo trợ lý ảo thực thông minh tồn hệ sinh thái sản phẩm Khơng ơng lớn! Một sóng khởi nghiệp cố gắng tạo dịch vụ nhằm thay đổi cách khách hàng tương tác dịch vụ trợ lý ảo Nhằm trợ giúp người dùng, khách hàng có trải nghiệm tốt sản phẩm cách dịch vụ cung cấp Nổi bật phải kể đến ứng dụng tích hợp trợ lý ảo operator.com, x.ai, reply.ai, tảng dịch vụ Chatfuel Gần Microsoft tạo framework cho phép nhà phát triển tạo chatbot tảng Web, hay Facebook phát hành F8 SDK cho phép nhà phát triển tích hợp vào Messenger Ở nước, số công ty Quản lý Hồ sơ y tế điện tử ERM.,JSC Vietcare phát triển tạo hệ thống trả lời tự động kiến thức y khoa, hỏi đáp sức khỏe thông tin y tế, hay RiveHub, Subiz, … cố gắng tạo cho hệ thống hỗ trợ, chăm sóc khách hàng bán hàng tự động 51  ex: Biến đổi bảng mã Unicode tổ hợp dạng unicode dựng sẵn,  Loại bỏ cặp câu ý nghĩa, ex: Phụ_đề dịch Unknow Subteam 2pi, Công cụ sử dụng: Trong luận văn để thử nghiệm mơ hình chúng tơi kết hợp sử dụng thư viện mã nguồn mở công cụ tự xây dựng để xử lý liệu, huấn luyện mơ hình dự báo  NLTK: Cơng cụ xử lý ngôn ngữ tự nhiên mã nguồn mở dành riêng cho NLP tích hợp vào Python Nó ngày hồn thiện tích hợp cơng cụ hàng ngàn lập trình viên cộng tác viên khắp giới NLTK bao gồm thư viện hàm, cơng cụ phân tích, corpus, wordnet, … giúp đơn giản hoá, tiết kiệm thời gian cơng sức cho lập trình viên  VNTK: Vietnamese languague toolkit, xây dựng phát triển để xử lý vấn đề tiếng Việt, như: Tách câu, tách từ, làm văn bản,  Subsent: Cơng cụ hỗ trợ bóc tách liệu từ file phụ đề, xây dựng phát triển  Dongdu: Thư viện hỗ trợ tách từ tiếng Việt [11], tác giả Lưu Tuấn Anh  Tensorflow: Một khung làm việc mã nguồn mở, Google phát hành, sử dụng để xây dựng mơ hình học máy, tạo mơi trường nghiên cứu, thực thử nghiệm cách nhanh chóng dễ dàng, đặc biệt có khả chuyển đổi thiết kế prototype tới ứng dụng sản xuất  Python: Ngơn ngữ lập trình để xây dựng mơ hình đối thoại tiếng Việt 52 4.2 Tách từ tập liệu tiếng Việt Tách từ q trình xử lý nhằm mục đích xác định ranh giới từ câu văn, hiểu đơn giản tách từ q trình xác định từ đơn, từ ghép… có câu Đối với xử lý ngơn ngữ, để xác định cấu trúc ngữ pháp câu, xác định từ loại từ câu, yêu cầu thiết đặt phải xác định đâu từ câu Vấn đề tưởng chừng đơn giản với người máy tính, tốn khó giải Chính lý tách từ xem bước xử lý quan trọng hệ thống Xử Lý Ngôn Ngữ Tự Nhiên, đặc biệt ngôn ngữ thuộc vùng Đơng Á theo loại hình ngơn ngữ đơn lập, ví dụ: tiếng Trung Quốc, tiếng Nhật, tiếng Thái, tiếng Việt Với ngôn ngữ thuộc loại hình này, ranh giới từ khơng đơn giản khoảng trắng ngôn ngữ thuộc loại hình hịa kết tiếng Anh…, mà có liên hệ chặt chẽ tiếng với nhau, từ cấu tạo nhiều tiếng Vì ngôn ngữ thuộc vùng Đông Á, vấn đề toán tách từ khử nhập nhằng ranh giới từ Bởi lý trên, trước đưa vào mơ hình huấn luyện trả lời câu hỏi thực tách từ tiếng Việt sử dụng công cụ DongDu tác giả Lưu Tuấn Anh [11] với độ xác tới 98% tính theo từ Kết sau làm liệu, tiền xử lý, tách từ, lựa chọn tập liệu học thu liệu, sau:    4.3 120,885 words 362,655 tokens 1,824,063 QA Khung làm việc Tensorflow TensorFlow ™ thư viện phần mềm nguồn mở cho tính tốn số sử dụng biểu đồ luồng liệu TensorFlow ban đầu phát triển nhà nghiên cứu kỹ sư làm việc nhóm Brain Google tổ chức nghiên cứu máy tình báo Google nhằm mục đích tiến hành học máy sâu nghiên cứu mạng nơ-ron thần kinh, hệ thống đủ nói chung áp dụng loạt lĩnh vực khác tốt 53 TensorFlow ™ hệ thống học máy hoạt động quy mô lớn môi trường phức tạp TensorFlow [46, 47] sử dụng đồ thị luồng liệu Dataflow để đại diện cho tính tốn, chia sẻ trạng thái, hoạt động biến đổi trạng thái Nó ánh xạ nút đồ thị dataflow nhiều máy cluster, bên máy nhiều thiết bị tính tốn, bao gồm CPU, GPU đa lõi, chíp ASIC tùy biến gọi tenxơ Processing Units (TPUs) Kiến trúc linh hoạt cho phép cho nhà phát triển ứng dụng: trước "tham số máy chủ" thiết kế quản lý chia sẻ trạng thái (shared state) xây dựng sẵn hệ thống, TensorFlow cho phép nhà phát triển để thử nghiệm tối ưu hoá thuật toán huấn luyện TensorFlow hỗ trợ loạt ứng dụng, với hỗ trợ đặc biệt mạnh mẽ cho việc huấn luyện suy luận mạng học sâu Deep Learning [47] Google phát hành TensorFlow dự án mã nguồn mở, trở thành sử dụng rộng rãi cho nghiên cứu học máy Trong luận văn này, sử dụng TensorFlow để huấn luyện tạo mơ hình đối thoại cho tiếng Việt, kết khả quan sử dụng TensorFlow chúng tơi đạt mơ hình có chất lượng tốt 4.4 Kết thực nghiệm Do liệu thu thập lớn, chia làm tập nhỏ tập 500,000 câu đối thoại phụ đề phim tiếng Việt Và thử nghiệm tập liệu với tham số khác nhau, gồm:  Profile 1: o 26,746 words o 74,870 QA o Max length o Thời gian huấn luyện: 25 o RAM: 4GB o CPU: Core x4 @ 2.4GHz  Profile 2: o 37,693 words o 180,700 QA o Max length 54 o o o Thời gian huấn luyện: 125 RAM: 4GB CPU: Core x4 @ 2.4GHz  Profile 3: o 40,348 words o 320,419 QA o 10 Max length o Thời gian huấn luyện: 270 o RAM: 4GB o CPU: Core x4 @ 2.4GHz  Profile 4: o 43,033 words o 381,474 QA o 12 Max length o Thời gian huấn luyện: 1,000 o RAM: 4GB o CPU: Core x4 @ 2.4GHz Trong lần thử nghiệm huấn luyện mơ hình mạng sử dụng hai lớp mạng LSTM (kích thước lớp ẩn 256) kích thước embeding 25 Kết sử dụng huấn luyện với profile 1, tức mẫu hỏi / câu trả lời có độ dài tối đa Và mạng cho kết tốt ! Human: Xin chào Machine: chào Human: Xin chào ! Machine: xin chào ! Human: Chào Machine: chào Human: Chào bạn Machine: ward ! Human: Anh ? Machine: Human: Ồ Machine: mà Human: Thật không ? Machine: thật Human: Có tin khơng ? Machine: uh Human: Ai ? Machine: anh st Human: Anh đâu ? Machine: tư_gia Một số trường hợp fail, kết chưa tốt profile Human: Hôm_nay Machine: okay Human: Anh Machine: em ổn Human: Anh Machine: chào anh gray Human: Con chó Machine: thanh_tra montgomery Human: Tên anh Machine: jonesy_._jonesy Human: Anh Machine: kyle , tương_lai Các thử nghiệm khác với câu dài so với input huấn luyện Kết sử dụng huấn luyện với profile 2, tức mẫu hỏi / câu trả lời có độ dài tối đa với liệu 37,693 words 180,700 QA Kết có chút tiến khả quan so với profile Human: Xin chào Machine: chào Human: Xin chào Machine: xin chào ! Human: Chào Machine: chào Human: Chào bạn Machine: gracie Human: Anh ? Machine: đương_nhiên Human: Ồ Machine: cám_ơn Human: Thật không ? Machine: thật Human: Có tin khơng ? Machine: tốt thơi Human: Ai ? Machine: doug Human: Anh Machine: nhà_ga Thử nghiệm với trường hợp fail profile Chúng ta thấy kết khả quan nhiều bám sát ý nghĩa câu hỏi Nhưng số kết chưa thỏa mãn Human: Hôm_nay Machine: bà không Human: Anh Machine: biết Human: Anh Machine: vẫn_khỏe Human: Con chó Machine: chó ! Human: Tên anh Machine: tên anh ? Human: Anh cịn Machine: có Kết sử dụng huấn luyện với profile 3, tức mẫu hỏi / câu trả lời có độ dài tối đa 10 với liệu 40,348 words 320,419 QA Đúng mong đợi, kết cho lần huấn luyện đạt tốt mặt ngữ nghĩa Các câu trả lời sát nghĩa hơn, bám sát với ý câu hỏi, với cặp hội thoại đưa vào kiểm nghiệm với kết sau: Human: Xin chào Machine: chào Human: Xin chào ! Machine: xin chào ! Human: Chào Machine: chào Human: Chào bạn Machine: chào Human: Anh ? Machine: yeah Human: Ồ Machine: phải Human: Thật khơng ? Machine: thật Human: Có tin Machine: không Human: Ai Machine: Human: Anh đâu ? Machine: Một số kết fail profile 1, có chất lượng cải thiện đáng kể bảng đây, thay phớt lờ thơng tin trả lời cách thẳng thắn câu „Tôi không biết“ Human: Hôm_nay Machine: Human: Anh Machine: anh Human: Anh Machine: vẫ Human: Con Machine: mẹ cháu đâu ? ch Human: Tên Machine: an Human: Anh Machine: không cò 58 Một số kết khác, tức câu trả lời chưa làm thỏa mãn với câu hỏi người hỏi, test với mạng này: Human: Khi Machine: khơng Human: Vậy_thì khơng ? Machine: không Human: Khi Machine: cảm_ơn Human: Về đến nhà thông_báo cho người biết Machine: khơng biết Human: Anh có ăn bánh mỳ không ? Machine: Như vậy, nhận thấy mạng trả lời học với chất lượng khả quan, phụ thuộc vào chất lượng liệu hỏi đáp Với câu hỏi khó, chưa học mạng có câu trả lời từ chối „Tơi khơng biết“ Với mơ hình thử nghiệm Profile 4, thời gian huấn luyện lâu với liệu lớn Nên chúng tơi chưa có kết cập nhật luận văn Nhưng rõ ràng, thấy tín hiệu cải thiện chất lượng đáng kể Mơ hình ngày trở nên trung thực hơn, bám sát ngữ nghĩa hơn! 59 KẾT LUẬN Luận văn đưa lý thuyết vấn đề trình thiết lập, huấn luyện xây dựng hệ thống đối thoại cho tiếng Việt miền mở Từ đó, xây dựng mơ hình đối thoại tự động cho tiếng Việt miền liệu mở lấy từ kho phụ đề mã mở OpenSubtitles2016 [1] Kết ban đầu đạt tiền đề để tạo trợ lý ảo, xây dựng ứng dụng thông minh hiểu ngơn ngữ tiếng Việt Có khả áp dụng vào toán thực tế, ví dụ hệ thống hỗ trợ hỏi đáp y khoa, tư vấn mua hàng, hỗ trợ giải đáp kỹ thuật cho khách hàng, dịch vụ khác, … Đặc biệt, tạo trợ lý ảo mà theo dõi sức khỏe tương tác với cá nhân mà hướng tới Từ kết thực nghiệm luận văn này, chúng tơi có số nhận xét: Với chuỗi câu dài mạng huấn luyện nhiều thời gian Sau khoảng 300,000 lần lặp với độ dài 10 từ mạng cung cấp câu trả lời lảng tránh, phớt lờ câu hỏi (bằng việc trả lời câu “Tơi khơng biết”, hiểu cần tích hợp số ngữ nghĩa Bằng việc thay đổi mơ hình cách điều chỉnh độ dài mạng tối ưu cục cặp câu hỏi-đáp cho kết với chất lượng tốt nhiều, bám sát ngữ nghĩa Qua kết đạt ban đầu, chúng nhận thấy nhiều việc phải làm, cần phải tối ưu Nhưng cách tiếp cận ban đầu cho kết tích cực đắn, giải vấn đề ngữ nghĩa, ngữ cảnh tính cách hệ thống đối thoại Định hướng nghiên cứu tiếp theo, tiếp tục làm mượt liệu, để tạo mơ hình có khả trả lời sát với ngữ cảnh, đạt chất lượng cao hơn, giảm khả lảng tránh đưa tính cá nhân vào đoạn hội thoại 60 TÀI LIỆU THAM KHẢO Pierre Lison and Jörg Tiedemann, 2016, “OpenSubtitles2016: Extracting Large Parallel Corpora from Movie and TV Subtitles” In Proceedings of the 10th International Conference on Language Resources and Evaluation (LREC 2016) Ryan Lowe, Nissan Pow, Iulian Serban, Joelle Pineau, Feb 2016 “The Ubuntu Dialogue Corpus: A Large Dataset for Research in Unstructured Multi-Turn Dialogue Systems” Iulian V Serban, Alessandro Sordoni, Yoshua Bengio, Aaron Courville, Joelle Pineau, Apr 2016 “Building End-To-End Dialogue Systems Using Generative Hierarchical Neural Network Models” Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals, 19 Feb 2015 “Recurrent Neural Network Regularization” Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio, Sep 2014 “Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation” Oriol Vinyals, Quoc Le, 22 Jul 2015 “A Neural Conversational Model” Ilya Sutskever, Oriol Vinyals, Quoc V Le, 14 Dec 2014 “Sequence to Sequence Learning with Neural Networks” pp 1–9 Lifeng Shang, Zhengdong Lu, Hang Li, 27 Apr 2015 “Neural Responding Machine for Short-Text Conversation” Alessandro Sordoni, Michel Galley, Michael Auli, Chris Brockett, Yangfeng Ji, Margaret Mitchell, Jian-Yun Nie, Jianfeng Gao, Bill Dolan, 22 Jun 2015 “A Neural Network Approach to Context-Sensitive Generation of Conversational Responses” 10 Jiwei Li, Michel Galley, Chris Brockett, Georgios P Spithourakis, Jianfeng Gao, Bill Dolan, Jun 2016 “A Persona-Based Neural Conversation Model” 11 Lưu Tuấn Anh, Yamamoto Kazuhide, 16 Feb 2013 “Pointwise for Vietnamese Word Segmentation” 12 S Hochreiter and J Schmidhuber, 1997 “Long Short-Term Memory” Neural Computation, vol 9, pp 1735–1780 61 13 S Sukhbaatar, A Szlam, J Weston, and R Fergus, 31 Mar 2015 “End-To-End Memory Networks” pp 1–11 14 Christopher Olah, 27 Aug 2015 “Understanding LSTM Networks” 15 Kaisheng Yao, Geoffrey Zweig, Baolin Peng, 29 Oct 2015 “Attention with Intention for a Neural Network Conversation Model” 16 Jacob Andreas, Marcus Rohrbach, Trevor Darrell, Dan Klein, Jan 2016 “Learning to Compose Neural Networks for Question Answering” 17 Young, M Gasic, B Thomson, and J D Williams, 2013 “POMDPbased statistical spoken dialog systems: A review Proceedings of the IEEE”, 101(5):1160–1179 18 Williams, A Raux, D Ramachandran, and A Black The dialog state tracking challenge In Special Interest Group on Discourse and Dialogue (SIGDIAL), 2013 19 S Kim, L F DHaro, R E Banchs, J Williams, and M Henderson Dialog state tracking challenge 2015 20 Wen, M Gasic, D Kim, N Mrksic, P Su, D Vandyke, and S Young Stochastic language generation in dialogue using recurrent neural networks with convolutional sentence reranking Special Interest Group on Discourse and Dialogue (SIGDIAL), 2015 21 Russell, S., Dewey, D., Tegmark, M (2015) “Research Priorities for Robust and Beneficial Artificial Intelligence” AI Magazine, 36 (4):105– 114 22 Walter S Lasecki, Ece Kamar, Dan Bohus, January 2013 “Conversations in the Crowd: Collecting Data for Task-Oriented Dialog Learning”, pp1-10 23 Rami Al-Rfou, Marc Pickett, Javier Snaider, Yun-hsuan Sung, Brian Strope, Ray Kurzweil, Jun 2016 “Conversational Contextual Cues: The Case of Personalization and History for Response Ranking”, p1-10 24 Alan M Turing 1950 “Computing machinery and intelligence” Mind, 59(236):433–460 25 Joseph Weizenbaum 1966 “Elizaa computer program for the study of natural language communication between man and machine” Communications of the ACM, 9(1):36–45 26 Roger C Parkinson, Kenneth Mark Colby, and William S Faught 1977 “Conversational language comprehension using integrated patternmatching and parsing” Artificial Intelligence, 9(2):111–134 62 27 Richard S Wallace 2009 “The anatomy of ALICE” Springer 28 Jurgen Schmidhuber 2015 “Deep learning in neural networks: An overview Neural Networks”, 61:85–117 29 Yann LeCun, Yoshua Bengio, and Geoffrey Hinton 2015 Deep learning Nature, 521(7553):436–444 30 Alan Ritter, Colin Cherry, and Bill Dolan 2010 “Unsupervised modeling of twitter conversations” In Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics, HLT ’10, pages 172–180, Stroudsburg, PA, USA Association for Computational Linguistics 31 Rafael E Banchs and Haizhou Li 2012 “Iris: a chat-oriented dialogue system based on the vector space model” In Proceedings of the ACL 2012 System Demonstrations, pages 37–42, Jeju Island, Korea, July Association for Computational Linguistics 32 Karthik Narasimhan, Tejas Kulkarni, and Regina Barzilay 2015 “Language understanding for text-based games using deep reinforcement learning” In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pages 1–11, Lisbon, Portugal, September Association for Computational Linguistics 33 T.-H Wen, D Vandyke, N Mrksic, M Gasic, L M Rojas-Barahona, P.-H Su, S Ultes, and S Young 2016 A Network-based End-to-End Trainable Task-oriented Dialogue System ArXiv eprints, April 34 Heriberto Cuayahuitl 2016 Simpleds: “A simple deep reinforcement learning dialogue system” CoRR, abs/1601.04574 35 Marilyn Walker, Grace Lin, and Jennifer Sawyer 2012 “An annotated corpus of film dialogue for learning and characterizing character style” In Nicoletta Calzolari, Khalid Choukri, Thierry Declerck, Mehmet Ugur Do ˘ gan, Bente Maegaard, Joseph ˘ Mariani, Jan Odijk, and Stelios Piperidis, editors, Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC-2012), pages 1373–1378, Istanbul, Turkey, May European Language Resources Association (ELRA) ACL Anthology Identifier: L12-1657 36 Francesca Bonin, Jose San Pedro, and Nuria Oliver 2014 “A contextaware nlp approach for noteworthiness detection in cellphone conversations” In COLING, pages 25–36 63 37 Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan 2015 A diversitypromoting objective function for neural conversation models arXiv preprint arXiv:1510.03055 38 Michel Galley, Chris Brockett, Alessandro Sordoni, Yangfeng Ji, Michael Auli, Chris Quirk, Margaret Mitchell, Jianfeng Gao, and Bill Dolan 2015 “deltableu: A discriminative metric for generation tasks with intrinsically diverse targets” In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 2: Short Papers), pages 445–450, Beijing, China, July Association for Computational Linguistics 39 Lifeng Shang, Zhengdong Lu, and Hang Li 2015 “Neural responding machine for shorttext conversation” arXiv preprint arXiv:1503.02364 40 T Mikolov, M Karafiát, L Burget, J Cernockỳ, and S Khudanpur, 2010 “Recurrent neural network based language model” In INTERSPEECH, pages 1045–1048 41 M Sundermeyer, R Schluter, and H Ney, 2010 “LSTM neural networks for language modeling” In INTERSPEECH 42 P Werbos, 1990 “Backpropagation through time: what it does and how to it” Proceedings of IEEE 43 D Rumelhart, G E Hinton, and R J Williams, 1986 “Learning representations by back-propagating errors” Nature, 323(6088):533–536 44 Y Bengio, P Simard, and P Frasconi, 1994 “Learning long-term dependencies with gradient descent is difficult” IEEE Transactions on Neural Networks, 5(2):157–166 45 A Graves, Jun 2014 “Generating sequences with recurrent neural networks” In Arxiv preprint arXiv:1308.0850 46 Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen, …, 31 May 2016 “TensorFlow: A system for large-scale machine learning” In Arxiv preprint arXiv:1605.08695 47 Martín Abadi, Ashish Agarwal, Paul Barham, Eugene Brevdo, Zhifeng Chen, …, 16 Mar 2016 “TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems” In Arxiv preprint arXiv:1603.04467 48 Andrej Karpathy, Li Fei-Fei, 2015 “Deep Visual-Semantic Alignments for Generating Image Descriptions” 64 49 Lester, J., Branting, K., and Mott, B, 2004 “Conversational agents In Handbook of Internet Computing Chapman & Hall” 50 Will, T, 2007 “Creating a Dynamic Speech Dialogue” VDM Verlag Dr 51 Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, Sep 2013 “Efficient Estimation of Word Representations in Vector Space” In Arxiv preprint arXiv:1301.378 ...ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ  NHỮ BẢO VŨ XÂY DỰNG MƠ HÌNH ĐỐI THOẠI CHO TIẾNG VIỆT TRÊN MIỀN MỞ DỰA VÀO PHƯƠNG PHÁP HỌC CHUỖI LIÊN TIẾP Ngành: Công nghệ... phải xây dựng mơ hình đối thoại CHƯƠNG 4: Xây dựng mơ hình đối thoại cho tiếng Việt; Áp dụng kết nghiên cứu được, đề xuất xây dựng mơ hình đối thoại cho tiếng Việt Liệt kê vấn đề giải pháp khắc... luật học tay, nhiều công sức mà hiệu đạt không cao, khó mở rộng mơ hình ứng dụng có liên quan Trong đề tài này, nghiên cứu, xây dựng mơ hình đối thoại cho tiếng Việt, dựa phương pháp học chuỗi liên