Xây dựng hệ thống trả lời tự động tư vấn tuyển sinh tại trường cao đẳng bình định

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN ĐINH THỊ BẢO CHÂU XÂY DỰNG HỆ THỐNG •• TRẢ LỜI TỰ ĐỘNG TƯ VẤN TUYỂN SINH •• TẠI TRƯỜNG CAO ĐẲNG BÌNH ĐỊNH •• Chun ngành: KHOA HỌC MÁY TÍNH Mã số:8480101 Người hướng dẫn: TS TRẦN THIÊN THÀNH LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn hoàn toàn trung thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận văn trích dẫn đầy đủ ghi rõ nguồn gốc Quy Nhơn, ngày tháng năm 2020 Người thực Đinh Thị Bảo Châu LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn đến Ban giám hiệu Trường Đại học Quy Nhơn cán bộ, nhân viên Phòng Sau đại học tạo điều kiện giúp đỡ tơi tận tình suốt khóa cao học vừa qua Tôi xin gửi lời cảm ơn đến quý thầy, cô môn khoa Công Nghệ Thông Tin mang lại cho kiến thức vơ q giá bổ ích trình học tập trường Đặc biệt xin chân thành cảm ơn thầy TS Trần Thiên Thành, người định hướng, giúp đỡ, trực tiếp hướng dẫn tận tình bảo tơi suốt q trình nghiên cứu, xây dựng hồn thiện luận văn Tơi xin cảm ơn tới gia đình, người thân, đồng nghiệp bạn bè thường xuyên quan tâm, động viên, chia sẻ kinh nghiệm, cung cấp tài liệu hữu ích thời gian học tập, nghiên cứu suốt trình thực luận văn tốt nghiệp Trân trọng Quy Nhơn, ngày tháng năm 2020 Người thực Đinh Thị Bảo Châu MỤC LỤC •• DANH MỤC TỪ VIẾT TẮT Từ viết tắt Viết đầy đủ TREC Text Retrieval Conference IR Information Retrieval QA Question Answering systems Q&A Question and Answering AI Artificial intelligence BI Business Intelligence NLP Natural Language Processing NLU Natural Language Understanding ANN Artifficial Neural Network FSA Finite-state automaton ASR Automatic Speech Recognition QC Query Classifier OE OpenEphyra CRF Random Forest classifier NLG Natural Language Generation RNN Recurrent Neural Network DNNs Deep Neural Networks LSTM Long Short-Term Memory PE Processing Elements NLTK Natural Language Toolkit CSDL Cơ sở liệu TF Term Frequency CNTT Công nghệ thông tin TF-IDF Term Frequency - Inverse Document Frequency DANH MỤC HÌNH ẢNH DANH MỤC CÁC BẢNG • PHẦN MỞ ĐẦU Lý chọn đề tài Sự phát triển trí thơng minh nhân tạo vượt xa người tưởng tượng trước Nổi bật sóng tiến ấy, chatbot khẳng định vai trò quan trọng nhiều lĩnh vực sống Khái niệm chatbot hay chatbox hay hệ thống trả lời tự động bắt đầu sôi động kể từ 2016 công ty lớn Microsoft (Cortana), Google (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv), WeChat, Slack giới thiệu trợ lý ảo mình, hệ thống trả lời tự động Chính thức đặt cược lớn vào chơi chatbot, với mong muốn tạo trợ lý ảo thực thông minh tồn hệ sinh thái sản phẩm mình[1] Kết hợp đoạn hội thoại thiết lập sẵn dựa vào mạng thần kinh có khả học, chatbot dự đoán, đưa câu trả lời phù hợp, xác câu hỏi hay phát biểu người dùng theo cách lược bỏ bớt từ rườm rà câu hoàn chỉnh, để bắt chước theo văn nói ngắn gọn thơng thường Theo đó, ứng dụng vào lĩnh vực dịch vụ thương mại điện tử, dự báo thời tiết, Theo ghi nhận thực tế, tùy thuộc vào cách chương trình cụ thể lập trình, chia thành hai nhóm lớn: Thực cơng việc theo lệnh lập trình trước (simple chatbox) thực công việc cách đào tạo (smart chatbox) Chatbot xuất chìa khóa giải vấn đề cho doanh nghiệp, đặc biệt hoạt động giao tiếp kết nối với khách hàng Chatbox trực tuyến giúp tiết kiệm thời gian, công sức cách hỗ trợ người dùng cách hoàn toàn tự động Với sức mạnh trợ lý ảo chatbot, ứng dụng vào thực tế để nâng cao chất lượng phục vụ khách hàng, giảm chi phí vận hành, gia tăng lợi cạnh tranh thích ứng nhanh thời kỳ hậu ứng dụng, đón đầu cách mạng cơng nghiệp 4.0 Trường Cao đẳng Bình Định đơn vị đào tạo đa ngành nghề, đáp ứng nhu cầu giáo dục địa phương, tỉnh miền Trung Tây Nguyên Nhà trường thức vào hoạt động vào năm 1965, đến cuối năm 2009 trả qua giai đoạn phát triển cung cấp hàng nghìn nhân lực tri thức sư phạm sư phạm Tuy nhiên số, lượng tuyển sinh trường giảm mạnh năm gần gây khó khăn cho nhiều hoạt động Trường Mặt khác, theo định UBND tỉnh Bình Định từ ngày 01/01/2019 Trường Trung cấp địa bàn tỉnh sáp nhập vào Trường Cao đẳng Bình Định Do đó, nhà trường có gồm 75 ngành nghề đào tạo trình độ trung cấp cao đẳng (gồm sư phạm) gần 30 ngành nghề đào tạo trình độ sơ cấp Vì vậy, việc sử dụng nhân tư vấn tuyển sinh gặp nhiều khó khăn khơng nắm hết nội dung tư vấn như: trình độ đào tạo, chương trình đào tạo, thời gian khóa học, học phí nên khơng đáp ứng nhu cầu người học Trong đó, tuyển sinh đào tạo có khối lượng lớn tài liệu điện tử cho phép tìm kiếm thông tin tuyển sinh nào, thông tin tuyển sinh thường xuyên thay đổi cập nhật năm cho phù hợp với tình hình thực tế ngành Tuy nhiên, liệu chưa khai thác triệt để Trong tình hình thực tế nay, cần ứng dụng tốt công nghệ thông tin truyền thông, để công tác thông tin tuyển sinh ngày dễ tiếp cận Vì vậy, vấn đề tư vấn học sinh phụ huynh học sinh biết tất thông tin tuyển sinh Nhà trường cần thiết Với lý trên, định chọn đề tài “Xây dựng hệ thống trả 10 lời tự động tư vấn tuyển sinh Trường Cao đẳng Bình Định” nhằm giúp cho học sinh phụ huynh học sinh quan tâm có hiểu biết cơng tác tuyển sinh Bộ Giáo dục Đào tạo, Bộ Lao động thương binh Xã hội nói chung Trường Cao đẳng Bình Định nói riêng để từ có lựa chọn đắn trường ngành học tương lai Mục tiêu nhiệm vụ nghiên cứu Mục tiêu đề tài ứng dụng học máy để xây dựng hệ thống trả lời tự động nhằm ứng dụng có hiệu cho công tác tư vấn tuyển sinh Trường Cao đẳng Bình Định Để hồn thành mục tiêu cần thực nội dung sau: Nghiên cứu tổng quát hệ thống hỏi-đáp tự động, tập trung nghiên cứu phương pháp áp dụng cho ngơn ngữ tiếng Việt dựa thành xử lý ngôn ngữ tiếng Việt có Dựa nghiên cứu này, nhằm đề xuất giải pháp xây dựng hệ hỗ trợ tư vấn tự động tiếng Việt tuyển sinh đào tạo Những nghiên cứu làm sở lý thuyết thực nghiệm cho việc xây dựng hệ thống trả lời tự động (hỏi-đáp) tiếng Việt có hiệu tương lai Đối tượng phạm vi nghiên cứu J Đối tượng nghiên cứu + Học máy + Xử lý ngôn ngữ tự nhiên + Hệ thống trả lời tự động J Phạm vi nghiên cứu Hệ thống trả lời tự động dạng văn Nội dung trả lời giới hạn chủ đề liên quan đến vấn đề tuyển sinh Trường Cao đẳng Bình Định Phương pháp nghiên cứu Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ Chương trình bày kết thực nghiệm xây dựng hệ trả lời tự động tư vấn tuyển sinh cho Trường Cao đẳng Bình Định bao gồm bước: thu thập liệu; Xây dựng mơ hình phân lớp câu hỏi; Xây dựng mơ đun chọn câu trả lời phù hợp với câu hỏi phân lớp 3.1Chương trình thực nghiệm 3.1.1 Dữ liệu thử nghiệm Để thử nghiệm độ tin cậy mơ hình hỏi đáp tự động, thu thập tập liệu gồm 650 câu hỏi câu trả lời, sử dụng 500 câu hỏi/câu trả lời dùng để training liệu 150 câu dùng để test Các câu hỏi tập liệu thuộc 10 lớp trình bày Bảng 2-1, phân bố đồng đều, điều giúp tránh tình trạng cân liệu (imbalanced data) làm ảnh hưởng đến kết phân lớp Dữ liệu tổ chức lưu trữ theo dạng json file Dulieu.json minh họa đây: {"NoiDung": [ {"Lop": "Chung", "Cauhoi": ["Đối tượng tuyển sinh ngành Giáo dục mầm non ", "Phương thức xét tuyển ngành Giáo dục mầm non", " Thời gian học ngành giáo dục mầm non bao lâu?"], "Traloi": ["Học sinh tốt nghiệp THPT tương đương.", " Có phương thức xét tuyển : Xét tuyển theo kết kỳ thi THPT quốc gia năm 2018 Xét tuyển theo kết học tập THPT (học bạ), học lực năm lớp 12 xếp loại Khá trở lên.", " Thời gian đào tạo không năm"], }, {"Lop": "Vieclam", "Cauhoi": ["Học ngành giáo dục mầm non làm gì", " Trường có đảm bảo việc làm cho sinh viên sau tốt nghiệp không?", " Thưa ban tư vấn, cho em hỏi nhà trường có trung tâm hỗ trợ giới thiệu việc làm cho SV không ạ? "], "Traloi": ["Phục vụ trường mầm non sở ngồi cơng lập", " Trường giới thiệu cơng ty có nhu cầu tuyển dụng để sinh viên ứng tuyển Đồng thời trình đạo tạo nhà trường ln tổ chức khóa huấn luyện nâng cao kỹ ứng xử vấn Điều quan trọng trình vấn sinh viên phải thể kiến thức kỹ nhà tuyển dụng yêu cầu để thành công.", "CĐBĐ có Trung tâm Quan hệ hợp tác doanh nghiệp hỗ trợ giới thiệu việc làm cho em em có nhu cầu Hàng tháng, trường tổ chức buổi hội thảo, tọa đàm kỹ xin việc vấn giới thiệu việc làm đến với bạn sinh viên trường Ngoài nhà trường có quan hệ tốt với doanh nghiệp khu vực miền Trung, đối tác cung cấp nguồn nhân lực cho nhiều công ty khác địa bàn TP.Đà Nẵng tỉnh lân cận Do tỷ lệ sinh viên tốt nghiệp hàng năm tìm việc làm phù hợp đạt 80%."] }, {"Lop": "Supham", "Cauhoi": ["Hiện em quan tâm đến ngành Ngôn ngữ Anh Vậy hội việc làm ngành có cao khơng?", " Em thích ngành Ngơn ngữ Anh học tiếng Anh mức trung bình, vào học ngành khơng?", "Ngồi Tiếng Anh học ngành Ngơn ngữ Anh em có phải bắt buộc học thêm ngoại ngữ khác khơng? Có u cầu chuẩn đầu khơng? "], "Traloi": ["Cơ hội việc làm ngành tương đối cao sinh viên ngành Ngơn ngữ Anh có lợi tiếng Anh, nên công ty, doanh nghiệp ưa chuộng.", "Ngành Ngơn Ngữ Anh thích hợp cho bạn thích việc giao lưu, học hỏi, làm việc với nhiều văn hóa khác Mỗi sinh viên người kết nối xun ngơn ngữ văn hóa Qua yếu tố cho thấy em thật yêu thích, đam mê cộng với cố gắng rèn luyện hỗ trợ giảng dạy từ phía nhà trường em hồn tồn theo học ngành Ngôn ngữ Anh trường ", " Đối với ngành Ngôn ngữ Anh sinh viên bắt buộc chọn học ngoại ngữ Pháp/Trung/Nhật/Hàn có yêu cầu chuẩn đầu cụ thể tùy theo ngoại ngữ "] }, } 3.1.2 Xây dựng mơ hình phân lớp câu hỏi Để xây dựng mơ hình phân lớp câu hỏi, luận văn sử dụng cơng cụ mơ hình sau đây: - Ngơn ngữ lập trình: Python - Cơng cụ học máy: Tensorflow - Thư viện xử lý ngôn ngữ tự nhiên: nltk - Bộ phân tích từ tiếng Việt: pyvi - Danh sách stopwords Van-Duyet Le - Mơ hình phân lớp câu hỏi: Mạng nơ ron nhân tạo Import thư viện vấn đề cần thiết, thư viện sử dụng ứng dụng là: import nltk from nltk.stem.lancaster import LancasterStemmer stemmer = LancasterStemmer() import numpy as np import tflearn import tensorflow as tf import random import pyvi from pyvi import ViTokenizer from pyvi import ViUtils import npm from npm import vietnamese-stopwords Xử lý liệu trước đưa vào mơ hình học máy: Nạp liệu học từ file Dulieu.json: import json with open('Dulieu.json') as json_data: duLieu = json.load(json_data) stop_words=[] with open(‘stopwords.txt', 'r', encoding='utf8') as fp: for line in fp.readlines(): stop_words.append(line.strip()) Tiếp theo để tiến hành tiền xử lý liệu tách từ, phân đoạn từ, xóa bỏ stopword gán nhãn từ loại khối câu lệnh sau giúp ta làm việc này: words = [] classes = [] documents = [] for noidung in duLieu['Dulieu']: for cauhoi in noidung['Cauhoi']: w = ViTokenizer.word_tokenize(cauhoi) words.extend(w) documents.append((w, noidung['Lop'])) if noidung['Lop'] not in classes: classes.append(noidung['Lop']) words = [stemmer.stem(w.lower()) for w in words if w not in stop_words] words = sorted(list(set(words))) classes = sorted(list(set(classes))) Sau liệu mã hóa từ dạng chữ dạng số, cách thực sau: # Tạo liệu đầu vào training = [] output = [] output_empty = [0] * len(classes) # Xử lý liệu cho câu for doc in documents: bag = [] pattern_words = doc[0] pattern_words = [stemmer.stem(word.lower()) for word in pattern_words] # Tạo véc tơ số cho câu hỏi for w in words: bag.append(1) if w in pattern_words else bag.append(0) output_row = list(output_empty) output_row[classes.index(doc[1])] = training.append([bag, output_row]) random.shuffle(training) training = np.array(training) # Ma trận trọng số train_x = list(training[:,0]) train_y = list(training[:,1]) # Xây dựng mơ hình # khởi tạo đồ thị tensorflow tf.reset_default_graph() # Xây dựng mạng nơ ron net = tflearn.input_data(shape=[None, len(train_x[0])]) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, len(train_y[0]), activation='softmax') net = tflearn.regression(net) # Định nghĩa mơ hình setup tensorboard model = tflearn.DNN(net, tensorboard_dir='tflearn_logs') # Bắt đầu học model.fit(train_x, train_y, n_epoch=1000, batch_size=8, show_metric=True) # Lưu mơ hình model.save('model.tflearn') # Lưu liệu import pickle pickle.dump( {'words':words, 'classes':classes, 'train_x':train_x, 'train_y':train_y}, open( "training_data", "wb" )) Áp dụng mơ hình phân lớp câu hỏi: # Lấy liệu mơ hình training bước import pickle data = pickle.load(open( "training_data", "rb" ) ) words = data['words'] classes = data['classes'] train_x = data['train_x'] train_y = data['train_y'] # Nạp liệu để lấy câu trả lời import json with open('DuLieu.json') as json_data: duLieu = json.load(json_data) # Nạp mơ hình phân lớp model.load('./model.tflearn') Lựa chọn câu trả lời: Khi người dùng nhập câu hỏi vào hệ thống tiến hành xử lý thông qua bước đề cập phần tiền xử lý, tokenizer, hay chuyển sang bag-of-words để hệ thống hiểu phân loại lớp: # Tách từ def clean_up_sentence(sentence): sentence_words = ViTokenizer.word_tokenize(sentence) sentence_words = [stemmer.stem(word.lower()) for word in sentence_words] return sentence_words # Tạo túi từ def bow(sentence, words): sentence_words = clean_up_sentence(sentence) # Tăng trọng số từ từ có thư viện (túi từ) bag = [0]*len(words) for s in sentence_words: for i,w in enumerate(words): if w == s: bag[i] = return(np.array(bag)) Sau xử lý xong tiến hành phân lớp so khớp câu hỏi để trả câu trả lời phù hợp cho người dùng, cụ thể sau: ERROR_THRESHOLD = 0.25 def classify(sentence): # xử lý câu hỏi results = model.predict([bow(sentence, words)])[0] results = [[i,r] for i,r in enumerate(results) if r>ERROR_THRESHOLD] results.sort(key=lambda x: x[1], reverse=True) return_list = [] for r in results: return_list.append((classes[r[0]], r[1])) return return_list def response(sentence): results = classify(sentence) if results: while results: for i in duLieu['Dulieu']: if i['Lop'] == results[0][0]: max=0 for j,t in i[‘Cauhoi'], i[‘Traloi']: k=countWord(sentence, j) if k>max: max=k str=t return print(str) results.pop(0) 3.1.3 Độ xác Tiến hành thử nghiệm ngẫu nhiên với lần 100 câu kết đạt sau: Bảng 3-1: Kết thử nghiệm Thử nghiệm Số câu Số câu sai Độ xác 55/100 45/100 55% 70/100 30/100 70% 68/100 32/100 68% 78/100 22/100 78% 83/100 17/100 83% Đánh giá kết thực nghiệm giải thích sau: Lần 1: Có câu chưa huấn luyện nên dẫn đến trả lời sai Kết đạt thấp Lần 2: Những câu hỏi huấn luyện nên người hỏi trả lời ý người dùng Kết đạt tăng lên Lần 3: Hỏi nội dung khác câu hỏi phức tạp chưa huấn luyện nội dung nên trả lời cịn sai Kết đạt hạn chế Lần 4: Do huấn luyện tiếp cho câu lần nên độ xác tăng Kết đạt mức Lần 5: Dữ liệu qua nhiều lần huấn luyện khả xuất câu hỏi thấp nên trả lời cao Độ xác tăng 3.2Kết Trình bày ví dụ câu hỏi người dùng, truy vấn tương ứng câu trả lời hệ thống Q&A tạo Nói chung minh họa cách môđun QFM (Query Formulation Module) giữ lại đặc trưng quan trọng giảm bớt từ dừng Các câu trả lời đưa ra, thường cung cấp thông tin cần thiết liên quan đến câu hỏi 3.3Nhận xét Sau thực thử nghiệm Chatbot kết thu đặt câu hỏi tỷ lệ đáp án chấp nhận chưa cao, nhiên ứng dựng giải vấn đề sau: - Vấn đề phát sinh câu hỏi nằm tập liệu huấn luyện Chatbot tự đưa câu trả lời tương đối phù hợp với câu hỏi người dùng - Xây dựng mơ hình hiểu ngôn ngữ tiếng việt (hỏi/đáp) - Đối với trường hợp câu hỏi dài phức tạp, ứng dụng phân thành lớp trích xuất câu trả lời phù hợp - Trả lời tự động ứng dụng có thời gian huấn luyện chưa lâu tập liệu huấn luyện hạn chế nên việc trả lời khía cạnh khơng thể nên đưa câu trả lời cách khách quan Với vấn đề gặp phải kết đạt Chatbot chưa đưa để áp dụng rộng rãi nên cần thêm thời gian để hồn thiện ứng dụng mặt ý tưởng tập liệu Ý tưởng phát triển Chatbot: - Nâng cấp giao diện người dùng - Bổ sung thêm liệu huấn luyện liệu tiếng việt không dấu - Nâng cấp huấn luyện để Chatbot trở thành trợ lý ảo thực - Đề xuất xây dựng module gợi ý câu hỏi có liên quan trả lời trước để thí sinh có thêm thơng tin hỗ trợ định - Ngồi người dùng thí sinh (người đặt câu hỏi), hệ thống quản lý hai đối tượng người dùng khác chuyên gia (cán bộ) quản trị/điều phối viên Kết thu sau trình nghiên cứu hồn thiện luận văn: - Tìm hiểu cấu trúc hệ thống trợ lý ảo - Hiểu thành phần cấu tạo, vận hành thuật tốn để xây dựng ứng dụng Chatbot riêng - Hiểu cách huấn luyện liệu Chatbot để xây dựng ứng dụng nhiều lĩnh vực khác Kết luận chương Một hệ thống hỏi đáp tốt hệ thống có khả đưa câu trả lời xác trả lời nhiều câu hỏi Theo thực nghiệm chúng tơi nhận thấy, độ xác (số lượng câu trả lời số câu trả lời hệ thống đưa ra) khả đưa câu trả lời (số lượng câu trả lời tổng số câu hỏi đưa vào) hệ thống có kết tương đối cao Hệ thống hoạt động tốt với câu hỏi đơn giản hỏi đưa câu trả lời có độ tin cậy cao Việc học mẫu tốt, xác, thể xác hệ thống Chúng tơi đánh giá hệ thống có khả mở rộng dễ dàng Chỉ cần làm tay số seed ban đầu cho quan hệ quan tâm hệ thống tự học mẫu để trả lời cho câu hỏi liên quan Tuy nhiên hạn chế hệ thống trả lời câu hỏi liên quan đến quan hệ có hệ thống Để đáp ứng nhu cầu thực người dùng, hệ thống cần phải mở rộng thêm nhiều liệu KẾT LUẬN Hệ thống trợ lý ảo lĩnh vực mà công ty công nghệ tập trung đầu tư nghiên cứu mạnh mẽ ngày phát triển Ứng dụng hệ thống trợ lý ảo dần đưa vào đời sống, tích hợp từ hệ thống chatbot tích hợp vào hệ thống phức tạp y tế, dạy học Qua luận văn, em đạt kết định Đầu tiên tìm hiểu mơ hình hệ thống trợ lý ảo, cấu trúc hệ thống Từ mơ hình hệ thống trợ lý ảo giúp em hiểu cấu tạo, thuật tốn ứng dụng mơ hình Từ giúp em sâu nghiên cứu mơ đun hệ thống ứng dụng thực tiễn xây dựng hệ thống trợ lý ảo phù hợp với mục đích Thứ hai từ việc huấn luyện chatbot giúp em có kiến thức, độ hiểu biết sâu mạng nơ ron, cách xây dựng mơ hình học máy, xây dựng liệu huấn luyện Từ đúc kết kiến thức để ứng dụng thực tế cơng việc mục đích huấn luyện hệ thống trợ lý ảo Thứ ba từ việc xây dựng mơ hình chatbot, em xây dựng nhiều mơ hình chatbot với nhiều mục đích khác ví dụ chatbot cho hệ thống thực phẩm, cho y tế hay dạy học Tuỳ theo yêu cầu mục đích thực tiễn xây dựng hệ thống trợ lý ảo đáp ứng yêu cầu người dùng Qua kết đạt đu ợc ban đầu, em nhạ n thấy nhiều viẹ c phải làm, cần phải tối u u Nhu ng cách tiếp cạ n ban đầu cho kết tích cực đắn, giải đu ợc vấn đề xây dựng tính tốn hẹ thống đối thoại Định hu ớng nghiên cứu tiếp theo, em tiếp tục làm mu ợt liẹ u, để tạo mơ hình có khả na ng trả lời sát với ngữ cảnh, đạt chất lu ợng cao ho n, giảm khả na ng lảng tránh đu a tính cá nhân vào đoạn họ i thoại Từ áp dụng cho nhiều hệ thống trợ lý ảo với yêu cầu mục đích xây dựng khác TÀI LIỆU THAM KHẢO [1] Phan Thị Tươi (2012), Xử lý ngôn ngữ tự nhiên NXB Đại học quốc gia Tp HCM [2] Vũ Hữu Tiệp (2018), Machine Learning bản, NXB Khoa học Kỹ thuật [3] Steven Bird, Ewan Klein and Edward Loper (2009), Natural Language Processing with Python, O'Reilly [4] Yoav Goldberg , Graeme Hirst (2017), Neural Network Methods in Natural Language Processing, Morgan & Claypool Publishers [5] Sebastian Raschka, Vahid Mirjalili (2017), Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow, 2nd Edition, Packt Publishing [6] Sumit Raj (2018), Building Chatbots with Python: Using Natural Language Processing and Machine Learning, Apress [7] Sanjay K Dwivedi and Vaishali Singh, "Research and reviews in question answering system," in International Conference on Computational Intelligence: Modeling Techniques and Applications (CIMTA), 2013, pp 417-424 doi: 10.1016/j.protcy.2013.12.378 [8] Abraham Ittycheriah, Martin Franz, Wei-Jing Zhu, Adwait Ratnaparkhi, and Richard J Mammone, "IBM's Statistical Question Answering System," in Proceedings of the Text Retrieval Conference TREC-9, 2000 [9] Natural Language Annotation for Machine Learning - James Pustejovsky and Amber Stubbs, O'Reilly Publishers 2012 [10] WebAnno: A Flexible, Web-based and Visually Supported System for Distributed Annotations - Seid Muhie Yimam, Iryna Gurevych, Richard Eckart de Castilho, and Chris Biemann 2013 In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (System Demonstrations) (ACL 2013), pages 1-6, Sofia, Bulgaria [11] Zhiheng Huang, Marcus Thint and Zengchang Qin Question CClassification using Head Words and their Hypernyms Proceedings of the 2008 Conference on Empirical Methods in atural Languae Processing Pages 927-936, Honolulu, October 2008 [12] Michele Banko, Eric Brill, Susan Dumais, Jimmy Lin AskMSR: Question Answering Using the Worldwide Web Microsoft Research In Preceedings of 2002 AAAI Spring Symposium on Mining Answers from Texts and Knowledge bases, Palo Alto, California, March 2002 [13] Matthew W Bilotti, Boris Katz, and Jimmy Lin What Works Better for Question Answering: Stemming or Morphological Query Expansion? ACM SIGIR'04 Workshop Information Retrieval for QA, (Jul 2004) [14] Joachims, T (1998) Text categorization with support vector machines: Learning with many relevant features (pp 137-142) Springer Berlin Heidelberg [15] Ikonomakis, M., Kotsiantis, S., & Tampakas, V (2005) Text classification using machine learning techniques WSEAS Transactions on Computers, 4(8), 966-974 [16] Diekema A.R, Yilmazel Ozgur, and Liddy E.D “ Evaluation of Restricted Domain Question-Answering Systems” (2004) In Proceedings of the ACL2004 Workshop on Question Answering in Restricted Domain ,p.p 2-7, [17] Ellen Riloff and MichaelThelen.“A Rule Based Question Answering System for Reading Comprehension Tests”,(2003){rioloff,thelen} [18] Green W, Chomsky C, and Laugherty K BASEBALL: An automatic question answerer.(1961) Proceedings of the Western Joint Computer Conference, p.p 219-224 ... tự nhiên thường dùng hệ thống trả lời tự động 1. 1Hệ thống trả lời tự động 1.1.1 Hệ thống trả lời tự động gì? Hệ thống trả lời tự động hệ thống xây dựng để thực việc tìm kiếm tự động câu trả lời. .. phải giải Chương XÂY DựNG HỆ THỐNG TRẢ LỜI Tự ĐỘNG TƯ VẤN TUYỂN SINH Trong chương trình bày tốn tư vấn tuyển sinh, bước xây dựng hệ thống trả lời tự động câu hỏi tuyển sinh dựa vào mơ hình học... ngôn ngữ tự nhiên + Hệ thống trả lời tự động J Phạm vi nghiên cứu Hệ thống trả lời tự động dạng văn Nội dung trả lời giới hạn chủ đề liên quan đến vấn đề tuyển sinh Trường Cao đẳng Bình Định Phương