(Luận văn) xây dựng hệ thống trả lời tự động tư vấn tuyển sinh tại trường cao đẳng bình định

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN ĐINH THỊ BẢO CHÂU lu an n va XÂY DỰNG HỆ THỐNG TẠI TRƢỜNG CAO ĐẲNG BÌNH ĐỊNH p ie gh tn to TRẢ LỜI TỰ ĐỘNG TƢ VẤN TUYỂN SINH d oa nl w Chuyên ngành: KHOA HỌC MÁY TÍNH lu nf va an Mã số:8480101 z at nh oi lm ul Người hướng dẫn: TS TRẦN THIÊN THÀNH z m co l gm @ an Lu n va ac th si LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn hoàn toàn trung thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận văn trích dẫn đầy đủ ghi rõ nguồn gốc Quy Nhơn, ngày tháng năm 2020 Người thực lu an n va Đinh Thị Bảo Châu p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn đến Ban giám hiệu Trường Đại học Quy Nhơn cán bộ, nhân viên Phòng Sau đại học tạo điều kiện giúp đỡ tơi tận tình suốt khóa cao học vừa qua Tôi xin gửi lời cảm ơn đến quý thầy, cô môn khoa Công Nghệ Thông Tin mang lại cho kiến thức vô quý giá bổ ích q trình học tập trường lu Đặc biệt xin chân thành cảm ơn thầy TS Trần Thiên Thành, người an n va định hướng, giúp đỡ, trực tiếp hướng dẫn tận tình bảo suốt Tôi xin cảm ơn tới gia đình, người thân, đồng gh tn to q trình nghiên cứu, xây dựng hồn thiện luận văn p ie nghiệp bạn bè thường xuyên quan tâm, động viên, chia sẻ kinh nghiệm, cung cấp tài liệu hữu ích thời gian học tập, nghiên cứu oa nl w suốt trình thực luận văn tốt nghiệp d Trân trọng an lu nf va Quy Nhơn, ngày tháng năm 2020 z at nh oi lm ul Người thực Đinh Thị Bảo Châu z m co l gm @ an Lu n va ac th si MỤC LỤC PHẦN MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chƣơng TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG lu 1.1 Hệ thống trả lời tự động an va 1.1.1 Hệ thống trả lời tự động gì? n 1.1.2 Lịch sử phát triển hệ thống trả lời tự động gh tn to 1.1.3 Một số hệ thống trả lời tự động tiêu biểu p ie 1.1.4 Tiêu chuẩn cho hệ thống trả lời tự động w 1.2 Kiến trúc hệ thống trả lời tự động 10 oa nl 1.3 Phân loại câu hỏi dựa phương pháp tiếp cận 12 d 1.3.1 Phương pháp tiếp cận ngôn ngữ 12 lu an 1.3.2 Phương pháp thống kê 12 nf va 1.3.3 Phương pháp đối sánh mẫu 13 lm ul 1.4 Các kỹ thuật sử dụng hệ thống trả lời tự động 13 z at nh oi 1.4.1 Kỹ thuật phân tích câu hỏi 13 1.4.1.1 Tiền xử lý văn 15 1.4.1.2 Trích xuất đặc trưng vectơ hóa văn 15 z gm @ 1.4.1.3 Thuật tốn huấn luyện mơ hình phân lớp 16 l 1.4.2 Kỹ thuật xử lý liệu 17 m co 1.4.3 Kỹ thuật đưa câu trả lời 17 an Lu 1.5 Bài toán phân lớp liệu 18 1.6 Thuật toán phân lớp sử dụng mạng Nơron 19 n va ac th si 1.6.1 Kiến trúc mạng ANN 19 1.6.2 Quá trình học (Learning Processing) ANN 23 1.6.3 Nguyên tắc huấn luyện (Training protocols) 23 1.7 Xử lý ngôn ngữ tự nhiên cho toán hỏi đáp tự động 24 1.7.1 Tách từ (word segmentation) 24 1.7.2 Xử lý từ gõ sai tả 24 1.7.3 Xác định từ loại (POS Tagging) 26 1.8 Bài tốn trích chọn đặc trưng 27 lu 1.8.1 Phương pháp Bag-of-words 27 an 1.8.1.1 Bag-of-words 27 va n 1.8.1.2 Mơ hình Bag-of-words 28 gh tn to 1.8.2 Phương pháp tf-idf features 28 ie 1.8.2 Phương pháp word2vec 29 p 1.9 Trích xuất thơng tin 31 nl w Chƣơng XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƢ VẤN d oa TUYỂN SINH 34 an lu 2.1 Giới thiệu toán tư vấn tuyển sinh 34 nf va 2.1.1 Tuyển sinh 34 lm ul 2.1.2 Tư vấn tuyển sinh 34 z at nh oi 2.1.3 Sự cần thiết tư vấn tuyển sinh 36 2.1.4 Thực trạng tư vấn tuyển sinh 36 2.1.4.1 Thực trạng 36 z @ 2.1.4.2 Nguyên nhân 39 l gm 2.1.4.3 Hướng khắc phục 39 co 2.1.5 Bài toán tư vấn tuyển sinh 40 m 2.2 Xây dựng mơ hình học máy cho hệ thống hỏi đáp tự động 41 an Lu 2.2.1 Chuẩn bị liệu 41 n va ac th si 2.2.2 Xây dựng mơ hình phân lớp câu hỏi 46 2.2.4 Lựa chọn câu trả lời 46 Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ 48 3.1 Chương trình thực nghiệm 48 3.1.1 Dữ liệu thử nghiệm 48 3.1.2 Xây dựng mơ hình phân lớp câu hỏi 50 3.1.3 Độ xác 56 3.2 Kết 56 lu 3.3 Nhận xét 57 an KẾT LUẬN 59 va n TÀI LIỆU THAM KHẢO 61 p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si DANH MỤC TỪ VIẾT TẮT Viết đầy đủ TREC Text Retrieval Conference IR Information Retrieval QA Question Answering systems Q&A Question and Answering AI Artificial intelligence BI Business Intelligence NLP Natural Language Processing NLU Natural Language Understanding ANN Artifficial Neural Network FSA Finite-state automaton ASR Automatic Speech Recognition QC Query Classifier OE OpenEphyra lu Từ viết tắt an n va p ie gh tn to NLG Natural Language Generation RNN Recurrent Neural Network oa Random Forest classifier d nl w CRF NLTK CSDL Long Short-Term Memory Processing Elements z at nh oi PE Deep Neural Networks lm ul LSTM nf va an lu DNNs Natural Language Toolkit Cơ sở liệu Term Frequency CNTT Công nghệ thông tin TF-IDF Term Frequency – Inverse Document Frequency z TF m co l gm @ an Lu n va ac th si DANH MỤC HÌNH ẢNH Hình 1.1 : Lĩnh vực trả lời tự động Hình 1.2: Lịch sử hình thành phát triển Chatbot Hình 1.3: Sơ đồ hệ thống trả lời tự động 11 Hình 1.4: Hệ thống trả lời tự động tiêu biểu 11 Hình 1.5: Mơ hình phân lớp 14 Hình 1.6: Hệ thống tạo phản hồi 18 lu Hình 1.7: Kiến trúc tổng quát ANN 20 an n va Hình 1.8: Skip-gram model 30 Hình 1.10: Mơ hình quản lý trạng thái định action hội thoại 33 gh tn to Hình 1.9: Các bước xử lý pipeline NLU 31 p ie Hình 2.1: Tỉ lệ tuyển sinh vào ngành giai đoạn 2018 – 2019 39 d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si DANH MỤC CÁC BẢNG Bảng 2-1: Phân lớp câu hỏi 43 Bảng 2-2: Dữ liệu cho học máy 43 Bảng 3-1: Kết thử nghiệm 56 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si PHẦN MỞ ĐẦU Lý chọn đề tài Sự phát triển trí thơng minh nhân tạo vượt xa người tưởng tượng trước Nổi bật sóng tiến ấy, chatbot khẳng định vai trò quan trọng nhiều lĩnh vực sống Khái niệm chatbot hay chatbox hay hệ thống trả lời tự động bắt đầu sôi lu động kể từ 2016 công ty lớn Microsoft (Cortana), Google an (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv), WeChat, va n Slack giới thiệu trợ lý ảo mình, hệ thống trả lời tự động tn to Chính thức đặt cược lớn vào chơi chatbot, với mong muốn tạo trợ Kết hợp đoạn hội thoại thiết lập sẵn dựa vào mạng thần p ie gh lý ảo thực thông minh tồn hệ sinh thái sản phẩm mình[1] nl w kinh có khả học, chatbot dự đoán, đưa câu trả lời phù d oa hợp, xác câu hỏi hay phát biểu người dùng theo cách lược bỏ bớt an lu từ rườm rà câu hoàn chỉnh, để bắt chước theo văn nói ngắn nf va gọn thơng thường Theo đó, ứng dụng vào lĩnh vực dịch vụ lm ul thương mại điện tử, dự báo thời tiết, Theo ghi nhận thực tế, tùy thuộc vào cách chương trình cụ thể z at nh oi lập trình, chia thành hai nhóm lớn: Thực cơng việc theo lệnh lập trình trước (simple chatbox) thực công việc z @ cách đào tạo (smart chatbox) l gm Chatbot xuất chìa khóa giải vấn đề cho doanh nghiệp, đặc biệt hoạt động giao tiếp kết nối với khách hàng co m Chatbox trực tuyến giúp tiết kiệm thời gian, công sức cách hỗ trợ người an Lu dùng cách hoàn toàn tự động n va ac th si 49 làm cho SV không ạ? "], "Traloi": ["Phục vụ trường mầm non sở ngồi cơng lập", " Trường giới thiệu cơng ty có nhu cầu tuyển dụng để sinh viên ứng tuyển Đồng thời trình đạo tạo nhà trường ln tổ chức khóa huấn luyện nâng cao kỹ ứng xử vấn Điều quan trọng trình vấn sinh viên phải thể kiến thức kỹ nhà tuyển dụng u cầu để thành cơng.", "CĐBĐ có Trung tâm Quan hệ hợp tác doanh nghiệp hỗ trợ giới thiệu việc làm cho em em có nhu cầu Hàng tháng, trường lu an tổ chức buổi hội thảo, tọa đàm kỹ xin việc vấn va giới thiệu việc làm đến với bạn sinh viên trường n Ngoài nhà trường có quan hệ tốt với doanh nghiệp khu vực tn to miền Trung, đối tác cung cấp nguồn nhân lực cho nhiều công ty khác ie gh địa bàn TP.Đà Nẵng tỉnh lân cận Do tỷ lệ sinh p viên tốt nghiệp hàng năm tìm việc làm phù hợp đạt w 80%."] oa nl }, {"Lop": "Supham", d an lu "Cauhoi": ["Hiện em quan tâm đến ngành Ngôn ngữ Anh Vậy hội việc làm ngành có cao khơng?", " Em thích nf va ngành Ngơn ngữ Anh học tiếng Anh mức trung bình, có lm ul thể vào học ngành khơng?", "Ngồi Tiếng Anh học z at nh oi ngành Ngơn ngữ Anh em có phải bắt buộc học thêm ngoại ngữ khác khơng? Có u cầu chuẩn đầu không? "], z "Traloi": ["Cơ hội việc làm ngành tương đối cao @ gm sinh viên ngành Ngơn ngữ Anh có lợi tiếng Anh, nên l công ty, doanh nghiệp ưa chuộng.", "Ngành Ngơn Ngữ Anh thích hợp co cho bạn thích việc giao lưu, học hỏi, làm việc với nhiều m văn hóa khác Mỗi sinh viên người kết nối xun an Lu ngơn ngữ văn hóa Qua yếu tố cho thấy em thật n va ac th si 50 yêu thích, đam mê cộng với cố gắng rèn luyện hỗ trợ giảng dạy từ phía nhà trường em hồn tồn theo học ngành Ngôn ngữ Anh trường ", " Đối với ngành Ngôn ngữ Anh sinh viên bắt buộc chọn học ngoại ngữ Pháp/Trung/Nhật/Hàn có yêu cầu chuẩn đầu cụ thể tùy theo ngoại ngữ "] }, } 3.1.2 Xây dựng mơ hình phân lớp câu hỏi lu an Để xây dựng mơ hình phân lớp câu hỏi, luận văn sử dụng cơng cụ n va mơ hình sau đây: - Công cụ học máy: Tensorflow gh tn to - Ngơn ngữ lập trình: Python p ie - Thư viện xử lý ngôn ngữ tự nhiên: nltk - Bộ phân tích từ tiếng Việt: pyvi w oa nl - Danh sách stopwords Van-Duyet Le d - Mô hình phân lớp câu hỏi: Mạng nơ ron nhân tạo lu ứng dụng là: nf va an Import thư viện vấn đề cần thiết, thư viện sử dụng z at nh oi lm ul import nltk from nltk.stem.lancaster import LancasterStemmer stemmer = LancasterStemmer() m an Lu from pyvi import ViTokenizer co import pyvi l import random gm import tensorflow as tf @ import tflearn z import numpy as np n va ac th si 51 from pyvi import ViUtils import npm from npm import vietnamese-stopwords Xử lý liệu trƣớc đƣa vào mơ hình học máy: Nạp liệu học từ file Dulieu.json: import json with open('Dulieu.json') as json_data: lu duLieu = json.load(json_data) an stop_words=[] va with open(‘stopwords.txt’, 'r', encoding='utf8') as fp: n tn to for line in fp.readlines(): stop_words.append(line.strip()) p ie gh Tiếp theo để tiến hành tiền xử lý liệu tách từ, phân đoạn từ, xóa d oa việc này: nl w bỏ stopword gán nhãn từ loại… khối câu lệnh sau giúp ta làm documents = [] lm ul classes = [] nf va an lu words = [] z at nh oi for noidung in duLieu['Dulieu']: for cauhoi in noidung['Cauhoi']: w = ViTokenizer.word_tokenize(cauhoi) z @ words.extend(w) if noidung['Lop'] not in classes: classes.append(noidung['Lop']) m co l gm documents.append((w, noidung['Lop'])) stop_words] an Lu words = [stemmer.stem(w.lower()) for w in words if w not in n va ac th si 52 words = sorted(list(set(words))) classes = sorted(list(set(classes))) Sau liệu mã hóa từ dạng chữ dạng số, cách thực sau: # Tạo liệu đầu vào training = [] output = [] lu output_empty = [0] * len(classes) an va # Xử lý liệu cho câu n tn to for doc in documents: bag = [] gh p ie pattern_words = doc[0] pattern_words = [stemmer.stem(word.lower()) for word in oa nl w pattern_words] d # Tạo véc tơ số cho câu hỏi lu nf va an for w in words: bag.append(1) if w in pattern_words else bag.append(0) lm ul output_row = list(output_empty) output_row[classes.index(doc[1])] = z at nh oi training.append([bag, output_row]) random.shuffle(training) z # Ma trận trọng số an Lu # Xây dựng mô hình m train_y = list(training[:,1]) co train_x = list(training[:,0]) l gm @ training = np.array(training) n va ac th si 53 # khởi tạo đồ thị tensorflow tf.reset_default_graph() # Xây dựng mạng nơ ron net = tflearn.input_data(shape=[None, len(train_x[0])]) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, len(train_y[0]), activation='softmax') net = tflearn.regression(net) lu an # Định nghĩa mơ hình setup tensorboard va model = tflearn.DNN(net, tensorboard_dir='tflearn_logs') n # Bắt đầu học to tn model.fit(train_x, train_y, n_epoch=1000, batch_size=8, # Lưu mơ hình p ie gh show_metric=True) oa nl w model.save('model.tflearn') # Lưu liệu d an lu import pickle pickle.dump( {'words':words, 'classes':classes, nf va 'train_x':train_x, 'train_y':train_y}, open( "training_data", z at nh oi lm ul "wb" )) Áp dụng mơ hình phân lớp câu hỏi: z gm import pickle @ # Lấy liệu mơ hình training bước words = data['words'] an Lu train_x = data['train_x'] m classes = data['classes'] co l data = pickle.load(open( "training_data", "rb" ) ) n va ac th si 54 train_y = data['train_y'] # Nạp liệu để lấy câu trả lời import json with open('DuLieu.json') as json_data: duLieu = json.load(json_data) # Nạp mơ hình phân lớp model.load('./model.tflearn') lu Lựa chọn câu trả lời: an n va Khi người dùng nhập câu hỏi vào hệ thống tiến hành xử lý tn to thông qua bước đề cập phần tiền xử lý, tokenizer, hay p ie gh chuyển sang bag-of-words để hệ thống hiểu phân loại lớp: w # Tách từ oa nl def clean_up_sentence(sentence): sentence_words = ViTokenizer.word_tokenize(sentence) d sentence_words] nf va an lu sentence_words = [stemmer.stem(word.lower()) for word in return sentence_words z at nh oi lm ul # Tạo túi từ def bow(sentence, words): sentence_words = clean_up_sentence(sentence) z @ an Lu if w == s: m for i,w in enumerate(words): co for s in sentence_words: l bag = [0]*len(words) gm # Tăng trọng số từ từ có thư viện (túi từ) n va ac th si 55 bag[i] = return(np.array(bag)) Sau xử lý xong tiến hành phân lớp so khớp câu hỏi để trả câu trả lời phù hợp cho người dùng, cụ thể sau: ERROR_THRESHOLD = 0.25 def classify(sentence): # xử lý câu hỏi lu an results = model.predict([bow(sentence, words)])[0] va results = [[i,r] for i,r in enumerate(results) if n r>ERROR_THRESHOLD] to tn results.sort(key=lambda x: x[1], reverse=True) p ie gh return_list = [] for r in results: w return_list.append((classes[r[0]], r[1])) d oa nl return return_list an lu def response(sentence): results = classify(sentence) nf va if results: lm ul while results: for i in duLieu['Dulieu']: z at nh oi if i['Lop'] == results[0][0]: max=0 z for j,t in i[‘Cauhoi’], i[‘Traloi’]: if k>max: an Lu results.pop(0) m return print(str) co str=t l max=k gm @ k=countWord(sentence, j) n va ac th si 56 3.1.3 Độ xác Tiến hành thử nghiệm ngẫu nhiên với lần 100 câu kết đạt sau: Bảng 3-1: Kết thử nghiệm Số câu Số câu sai Độ xác 55/100 45/100 55% 70/100 30/100 70% 68/100 32/100 68% 78/100 22/100 78% 83/100 17/100 83% lu Thử nghiệm an n va tn to Lần 1: Có câu chưa huấn luyện nên dẫn đến trả lời sai Kết p ie gh Đánh giá kết thực nghiệm giải thích sau: nl w đạt thấp d oa Lần 2: Những câu hỏi huấn luyện nên người hỏi an lu trả lời ý người dùng Kết đạt tăng lên nf va Lần 3: Hỏi nội dung khác câu hỏi phức tạp hạn chế z at nh oi lm ul chưa huấn luyện nội dung nên trả lời cịn sai Kết đạt Lần 4: Do huấn luyện tiếp cho câu lần nên độ xác tăng Kết đạt mức z Lần 5: Dữ liệu qua nhiều lần huấn luyện khả xuất câu @ 3.2 Kết co l gm hỏi thấp nên trả lời cao Độ xác tăng m Trình bày ví dụ câu hỏi người dùng, truy vấn tương an Lu ứng câu trả lời hệ thống Q&A tạo Nói chung minh họa cách mô- n va ac th si 57 đun QFM (Query Formulation Module) giữ lại đặc trưng quan trọng giảm bớt từ dừng Các câu trả lời đưa ra, thường cung cấp thông tin cần thiết liên quan đến câu hỏi 3.3 Nhận xét Sau thực thử nghiệm Chatbot kết thu đặt câu hỏi tỷ lệ đáp án chấp nhận chưa cao, nhiên ứng dựng giải vấn đề sau: - Vấn đề phát sinh câu hỏi nằm tập liệu huấn lu luyện Chatbot tự đưa câu trả lời tương đối phù hợp với câu an hỏi người dùng va n - Xây dựng mơ hình hiểu ngơn ngữ tiếng việt (hỏi/đáp) to gh tn - Đối với trường hợp câu hỏi dài phức tạp, ứng dụng phân - Trả lời tự động ứng dụng có thời gian huấn luyện p ie thành lớp trích xuất câu trả lời phù hợp nl w chưa lâu tập liệu huấn luyện hạn chế nên việc trả lời khía cạnh d oa khơng thể nên đưa câu trả lời cách khách quan an lu Với vấn đề gặp phải kết đạt nf va Chatbot chưa đưa để áp dụng rộng rãi nên cần thêm lm ul thời gian để hồn thiện ứng dụng mặt ý tưởng tập liệu z at nh oi Ý tưởng phát triển Chatbot: - Nâng cấp giao diện người dùng - Bổ sung thêm liệu huấn luyện liệu tiếng việt không dấu z - Nâng cấp huấn luyện để Chatbot trở thành trợ lý ảo thực @ l gm - Đề xuất xây dựng module gợi ý câu hỏi có liên quan co trả lời trước để thí sinh có thêm thơng tin hỗ trợ định m - Ngồi người dùng thí sinh (người đặt câu hỏi), hệ thống quản lý hai đối an Lu tượng người dùng khác chuyên gia (cán bộ) quản trị/điều phối viên n va ac th si 58 Kết thu sau q trình nghiên cứu hồn thiện luận văn: - Tìm hiểu cấu trúc hệ thống trợ lý ảo - Hiểu thành phần cấu tạo, vận hành thuật tốn để xây dựng ứng dụng Chatbot riêng - Hiểu cách huấn luyện liệu Chatbot để xây dựng ứng dụng nhiều lĩnh vực khác Kết luận chƣơng Một hệ thống hỏi đáp tốt hệ thống có khả đưa câu trả lời lu xác trả lời nhiều câu hỏi Theo thực nghiệm an n va chúng tơi nhận thấy, độ xác (số lượng câu trả lời số câu trả lời số câu hỏi đưa vào) hệ thống có kết tương đối cao Hệ thống hoạt động tốt với câu hỏi đơn giản hỏi đưa câu p ie gh tn to hệ thống đưa ra) khả đưa câu trả lời (số lượng câu trả lời tổng trả lời có độ tin cậy cao Việc học mẫu tốt, xác, thể oa nl w xác hệ thống Chúng tơi đánh giá hệ thống có khả mở rộng dễ dàng d Chỉ cần làm tay số seed ban đầu cho quan hệ quan tâm hệ thống có an lu thể tự học mẫu để trả lời cho câu hỏi liên quan nf va Tuy nhiên hạn chế hệ thống trả lời câu hỏi liên lm ul quan đến quan hệ có hệ thống Để đáp ứng nhu cầu thực z at nh oi người dùng, hệ thống cần phải mở rộng thêm nhiều liệu z m co l gm @ an Lu n va ac th si 59 KẾT LUẬN Hệ thống trợ lý ảo lĩnh vực mà công ty công nghệ tập trung đầu tư nghiên cứu mạnh mẽ ngày phát triển Ứng dụng hệ thống trợ lý ảo dần đưa vào đời sống, tích hợp từ hệ thống chatbot tích hợp vào hệ thống phức tạp y tế, dạy học Qua luận văn, em đạt kết định Đầu tiên tìm hiểu mơ hình hệ thống trợ lý ảo, cấu trúc hệ thống lu Từ mô hình hệ thống trợ lý ảo giúp em hiểu cấu tạo, thuật tốn ứng an dụng mơ hình Từ giúp em sâu nghiên cứu mô va n đun hệ thống ứng dụng thực tiễn xây dựng hệ thống trợ lý ảo Thứ hai từ việc huấn luyện chatbot giúp em có kiến thức, độ ie gh tn to phù hợp với mục đích p hiểu biết sâu mạng nơ ron, cách xây dựng mơ hình học máy, xây nl w dựng liệu huấn luyện Từ đúc kết kiến thức để ứng dụng d oa thực tế cơng việc mục đích huấn luyện hệ thống trợ lý ảo an lu Thứ ba từ việc xây dựng mơ hình chatbot, em xây dựng nhiều nf va mơ hình chatbot với nhiều mục đích khác ví dụ chatbot cho hệ lm ul thống thực phẩm, cho y tế hay dạy học…Tuỳ theo yêu cầu mục đích thực tiễn xây dựng hệ thống trợ lý ảo đáp ứng yêu cầu người z at nh oi dùng Qua kết đạt đu ợc ban đầu, em nhạ n thấy nhiều z viẹ c phải làm, cần phải tối u u Nhu ng cách tiếp cạ n ban đầu @ thống đối thoại co l vấn đề xây dựng tính tốn hẹ gm cho kết tích cực đắn, giải đu ợc m Định hu ớng nghiên cứu tiếp theo, em tiếp tục làm mu ợt liẹ u, an Lu để tạo mơ hình có khả na ng trả lời sát với ngữ cảnh, đạt chất n va ac th si 60 lu ợng cao ho n, giảm khả na ng lảng tránh đu a tính cá nhân vào đoạn họ i thoại Từ áp dụng cho nhiều hệ thống trợ lý ảo với yêu cầu mục đích xây dựng khác lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si 61 TÀI LIỆU THAM KHẢO Phan Thị Tươi (2012), Xử lý ngôn ngữ tự nhiên NXB Đại học quốc gia [1] Tp HCM Vũ Hữu Tiệp (2018), Machine Learning bản, NXB Khoa học Kỹ [2] thuật [3] Steven Bird, Ewan Klein and Edward Loper (2009), Natural Language Processing with Python, O'Reilly [4] Yoav Goldberg , Graeme Hirst (2017), Neural Network Methods in lu an Natural Language Processing, Morgan & Claypool Publishers Sebastian Raschka, Vahid Mirjalili (2017), Python Machine Learning: n va [5] tn to Machine Learning and Deep Learning with Python, scikit-learn, and [6] Sumit Raj (2018), Building Chatbots with Python: Using Natural p ie gh TensorFlow, 2nd Edition, Packt Publishing Language Processing and Machine Learning, Apress nl w Sanjay K Dwivedi and Vaishali Singh, "Research and reviews in question answering d oa [7] system," in International Conference on an lu Computational Intelligence: Modeling Techniques and Applications nf va (CIMTA), 2013, pp 417-424 doi: 10.1016/j.protcy.2013.12.378 Abraham lm ul [8] Ittycheriah, Martin Franz, Wei-Jing Zhu, Adwait z at nh oi Ratnaparkhi, and Richard J Mammone, "IBM's Statistical Question Answering System," in Proceedings of the Text Retrieval Conference @ Natural Language Annotation for Machine Learning – James gm [9] z TREC-9, 2000 co l Pustejovsky and Amber Stubbs, O’Reilly Publishers 2012 [10] WebAnno: A Flexible, Web-based and Visually Supported System for m an Lu Distributed Annotations – Seid Muhie Yimam, Iryna Gurevych, Richard Eckart de Castilho, and Chris Biemann 2013 In Proceedings n va ac th si 62 of the 51st Annual Meeting of the Association for Computational Linguistics (System Demonstrations) (ACL 2013), pages 1-6, Sofia, Bulgaria [11] Zhiheng Huang, Marcus Thint and Zengchang Qin Question Classification using Head Words and their Hypernyms Proceedings of the 2008 Conference on Empirical Methods in atural Languae Processing Pages 927-936, Honolulu, October 2008 [12] Michele Banko, Eric Brill, Susan Dumais, Jimmy Lin AskMSR: lu Question Answering Using the Worldwide Web Microsoft Research In an Preceedings of 2002 AAAI Spring Symposium on Mining Answers va n from Texts and Knowledge bases, Palo Alto, California, March 2002 Question Answering: Stemming or Morphological Query Expansion? p ie gh tn to [13] Matthew W Bilotti, Boris Katz, and Jimmy Lin What Works Better for ACM SIGIR'04 Workshop Information Retrieval for QA, (Jul 2004) oa nl w [14] Joachims, T (1998) Text categorization with support vector machines: Learning with many relevant features (pp 137-142) Springer Berlin d an lu Heidelberg nf va [15] Ikonomakis, M., Kotsiantis, S., & Tampakas, V (2005) Text lm ul classification using machine learning techniques WSEAS Transactions z at nh oi on Computers, 4(8), 966-974 [16] Diekema A.R, Yilmazel Ozgur, and Liddy E.D “ Evaluation of Restricted Domain Question-Answering Systems” (2004).In z Restricted Domain ,p.p 2-7, l gm @ Proceedings of the ACL2004 Workshop on Question Answering in co [17] Ellen Riloff and MichaelThelen.“A Rule Based Question Answering m System for Reading Comprehension Tests”,(2003){rioloff,thelen} an Lu [18] Green W, Chomsky C, and Laugherty K BASEBALL: An automatic n va ac th si 63 question answerer.(1961) Proceedings of the Western Joint Computer Conference, p.p 219-224 lu an n va p ie gh tn to d oa nl w nf va an lu z at nh oi lm ul z m co l gm @ an Lu n va ac th si