Xây dựng hệ thống trả lời tự động tư vấn tuyển sinh tại trường cao đẳng bình định

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC QUY NHƠN ĐINH THỊ BẢO CHÂU XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƢ VẤN TUYỂN SINH TẠI TRƢỜNG CAO ĐẲNG BÌNH ĐỊNH Chun ngành: KHOA HỌC MÁY TÍNH Mã số:8480101 Người hướng dẫn: TS TRẦN THIÊN THÀNH LỜI CAM ĐOAN Tôi xin cam đoan số liệu kết nghiên cứu luận văn hoàn toàn trung thực Tất giúp đỡ cho việc xây dựng sở lý luận cho luận văn trích dẫn đầy đủ ghi rõ nguồn gốc Quy Nhơn, ngày tháng năm 2020 Người thực Đinh Thị Bảo Châu LỜI CẢM ƠN Đầu tiên xin gửi lời cảm ơn đến Ban giám hiệu Trường Đại học Quy Nhơn cán bộ, nhân viên Phòng Sau đại học tạo điều kiện giúp đỡ tận tình suốt khóa cao học vừa qua Tơi xin gửi lời cảm ơn đến quý thầy, cô môn khoa Công Nghệ Thông Tin mang lại cho kiến thức vô q giá bổ ích q trình học tập trường Đặc biệt xin chân thành cảm ơn thầy TS Trần Thiên Thành, người định hướng, giúp đỡ, trực tiếp hướng dẫn tận tình bảo tơi suốt q trình nghiên cứu, xây dựng hồn thiện luận văn Tơi xin cảm ơn tới gia đình, người thân, đồng nghiệp bạn bè thường xuyên quan tâm, động viên, chia sẻ kinh nghiệm, cung cấp tài liệu hữu ích thời gian học tập, nghiên cứu suốt trình thực luận văn tốt nghiệp Trân trọng Quy Nhơn, ngày tháng năm 2020 Người thực Đinh Thị Bảo Châu MỤC LỤC PHẦN MỞ ĐẦU 1 Lý chọn đề tài Mục tiêu nhiệm vụ nghiên cứu 3 Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu Chƣơng TỔNG QUAN VỀ HỆ THỐNG TRẢ LỜI TỰ ĐỘNG 1.1 Hệ thống trả lời tự động 1.1.1 Hệ thống trả lời tự động gì? 1.1.2 Lịch sử phát triển hệ thống trả lời tự động 1.1.3 Một số hệ thống trả lời tự động tiêu biểu 1.1.4 Tiêu chuẩn cho hệ thống trả lời tự động 1.2 Kiến trúc hệ thống trả lời tự động 10 1.3 Phân loại câu hỏi dựa phương pháp tiếp cận 12 1.3.1 Phương pháp tiếp cận ngôn ngữ 12 1.3.2 Phương pháp thống kê 12 1.3.3 Phương pháp đối sánh mẫu 13 1.4 Các kỹ thuật sử dụng hệ thống trả lời tự động 13 1.4.1 Kỹ thuật phân tích câu hỏi 13 1.4.1.1 Tiền xử lý văn 15 1.4.1.2 Trích xuất đặc trưng vectơ hóa văn 15 1.4.1.3 Thuật tốn huấn luyện mơ hình phân lớp 16 1.4.2 Kỹ thuật xử lý liệu 17 1.4.3 Kỹ thuật đưa câu trả lời 17 1.5 Bài toán phân lớp liệu 18 1.6 Thuật toán phân lớp sử dụng mạng Nơron 19 1.6.1 Kiến trúc mạng ANN 19 1.6.2 Quá trình học (Learning Processing) ANN 23 1.6.3 Nguyên tắc huấn luyện (Training protocols) 23 1.7 Xử lý ngôn ngữ tự nhiên cho toán hỏi đáp tự động 24 1.7.1 Tách từ (word segmentation) 24 1.7.2 Xử lý từ gõ sai tả 24 1.7.3 Xác định từ loại (POS Tagging) 26 1.8 Bài toán trích chọn đặc trưng 27 1.8.1 Phương pháp Bag-of-words 27 1.8.1.1 Bag-of-words 27 1.8.1.2 Mơ hình Bag-of-words 28 1.8.2 Phương pháp tf-idf features 28 1.8.2 Phương pháp word2vec 29 1.9 Trích xuất thơng tin 31 Chƣơng XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƢ VẤN TUYỂN SINH 34 2.1 Giới thiệu toán tư vấn tuyển sinh 34 2.1.1 Tuyển sinh 34 2.1.2 Tư vấn tuyển sinh 34 2.1.3 Sự cần thiết tư vấn tuyển sinh 36 2.1.4 Thực trạng tư vấn tuyển sinh 36 2.1.4.1 Thực trạng 36 2.1.4.2 Nguyên nhân 39 2.1.4.3 Hướng khắc phục 39 2.1.5 Bài toán tư vấn tuyển sinh 40 2.2 Xây dựng mơ hình học máy cho hệ thống hỏi đáp tự động 41 2.2.1 Chuẩn bị liệu 41 2.2.2 Xây dựng mơ hình phân lớp câu hỏi 46 2.2.4 Lựa chọn câu trả lời 46 Chƣơng THỰC NGHIỆM VÀ ĐÁNH GIÁ 48 3.1 Chương trình thực nghiệm 48 3.1.1 Dữ liệu thử nghiệm 48 3.1.2 Xây dựng mơ hình phân lớp câu hỏi 50 3.1.3 Độ xác 56 3.2 Kết 56 3.3 Nhận xét 57 KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 61 DANH MỤC TỪ VIẾT TẮT Từ viết tắt Viết đầy đủ TREC Text Retrieval Conference IR Information Retrieval QA Question Answering systems Q&A Question and Answering AI Artificial intelligence BI Business Intelligence NLP Natural Language Processing NLU Natural Language Understanding ANN Artifficial Neural Network FSA Finite-state automaton ASR Automatic Speech Recognition QC Query Classifier OE OpenEphyra CRF Random Forest classifier NLG Natural Language Generation RNN Recurrent Neural Network DNNs Deep Neural Networks LSTM Long Short-Term Memory PE Processing Elements NLTK Natural Language Toolkit CSDL Cơ sở liệu TF Term Frequency CNTT Công nghệ thông tin TF-IDF Term Frequency – Inverse Document Frequency DANH MỤC HÌNH ẢNH Hình 1.1 : Lĩnh vực trả lời tự động Hình 1.2: Lịch sử hình thành phát triển Chatbot Hình 1.3: Sơ đồ hệ thống trả lời tự động 11 Hình 1.4: Hệ thống trả lời tự động tiêu biểu 11 Hình 1.5: Mơ hình phân lớp 14 Hình 1.6: Hệ thống tạo phản hồi 18 Hình 1.7: Kiến trúc tổng quát ANN 20 Hình 1.8: Skip-gram model 30 Hình 1.9: Các bước xử lý pipeline NLU 31 Hình 1.10: Mơ hình quản lý trạng thái định action hội thoại 33 Hình 2.1: Tỉ lệ tuyển sinh vào ngành giai đoạn 2018 – 2019 39 DANH MỤC CÁC BẢNG Bảng 2-1: Phân lớp câu hỏi 43 Bảng 2-2: Dữ liệu cho học máy 43 Bảng 3-1: Kết thử nghiệm 56 PHẦN MỞ ĐẦU Lý chọn đề tài Sự phát triển trí thơng minh nhân tạo vượt xa người tưởng tượng trước Nổi bật sóng tiến ấy, chatbot khẳng định vai trị quan trọng nhiều lĩnh vực sống Khái niệm chatbot hay chatbox hay hệ thống trả lời tự động bắt đầu sôi động kể từ 2016 công ty lớn Microsoft (Cortana), Google (Google Assistant), Facebook (M), Apple (Siri), Samsung (Viv), WeChat, Slack giới thiệu trợ lý ảo mình, hệ thống trả lời tự động Chính thức đặt cược lớn vào chơi chatbot, với mong muốn tạo trợ lý ảo thực thông minh tồn hệ sinh thái sản phẩm mình[1] Kết hợp đoạn hội thoại thiết lập sẵn dựa vào mạng thần kinh có khả học, chatbot dự đốn, đưa câu trả lời phù hợp, xác câu hỏi hay phát biểu người dùng theo cách lược bỏ bớt từ rườm rà câu hoàn chỉnh, để bắt chước theo văn nói ngắn gọn thơng thường Theo đó, ứng dụng vào lĩnh vực dịch vụ thương mại điện tử, dự báo thời tiết, Theo ghi nhận thực tế, tùy thuộc vào cách chương trình cụ thể lập trình, chia thành hai nhóm lớn: Thực cơng việc theo lệnh lập trình trước (simple chatbox) thực công việc cách đào tạo (smart chatbox) Chatbot xuất chìa khóa giải vấn đề cho doanh nghiệp, đặc biệt hoạt động giao tiếp kết nối với khách hàng Chatbox trực tuyến giúp tiết kiệm thời gian, công sức cách hỗ trợ người dùng cách hoàn toàn tự động 49 làm cho SV không ạ? "], "Traloi": ["Phục vụ trường mầm non sở ngồi cơng lập", " Trường giới thiệu cơng ty có nhu cầu tuyển dụng để sinh viên ứng tuyển Đồng thời trình đạo tạo nhà trường ln tổ chức khóa huấn luyện nâng cao kỹ ứng xử vấn Điều quan trọng trình vấn sinh viên phải thể kiến thức kỹ nhà tuyển dụng u cầu để thành cơng.", "CĐBĐ có Trung tâm Quan hệ hợp tác doanh nghiệp hỗ trợ giới thiệu việc làm cho em em có nhu cầu Hàng tháng, trường tổ chức buổi hội thảo, tọa đàm kỹ xin việc vấn giới thiệu việc làm đến với bạn sinh viên trường Ngoài nhà trường có quan hệ tốt với doanh nghiệp khu vực miền Trung, đối tác cung cấp nguồn nhân lực cho nhiều công ty khác địa bàn TP.Đà Nẵng tỉnh lân cận Do tỷ lệ sinh viên tốt nghiệp hàng năm tìm việc làm phù hợp đạt 80%."] }, {"Lop": "Supham", "Cauhoi": ["Hiện em quan tâm đến ngành Ngôn ngữ Anh Vậy hội việc làm ngành có cao khơng?", " Em thích ngành Ngơn ngữ Anh học tiếng Anh mức trung bình, vào học ngành khơng?", "Ngồi Tiếng Anh học ngành Ngơn ngữ Anh em có phải bắt buộc học thêm ngoại ngữ khác khơng? Có u cầu chuẩn đầu khơng? "], "Traloi": ["Cơ hội việc làm ngành tương đối cao sinh viên ngành Ngơn ngữ Anh có lợi tiếng Anh, nên công ty, doanh nghiệp ưa chuộng.", "Ngành Ngơn Ngữ Anh thích hợp cho bạn thích việc giao lưu, học hỏi, làm việc với nhiều văn hóa khác Mỗi sinh viên người kết nối xun ngơn ngữ văn hóa Qua yếu tố cho thấy em thật 50 yêu thích, đam mê cộng với cố gắng rèn luyện hỗ trợ giảng dạy từ phía nhà trường em hồn tồn theo học ngành Ngôn ngữ Anh trường ", " Đối với ngành Ngôn ngữ Anh sinh viên bắt buộc chọn học ngoại ngữ Pháp/Trung/Nhật/Hàn có yêu cầu chuẩn đầu cụ thể tùy theo ngoại ngữ "] }, } 3.1.2 Xây dựng mơ hình phân lớp câu hỏi Để xây dựng mơ hình phân lớp câu hỏi, luận văn sử dụng cơng cụ mơ hình sau đây: - Ngơn ngữ lập trình: Python - Cơng cụ học máy: Tensorflow - Thư viện xử lý ngôn ngữ tự nhiên: nltk - Bộ phân tích từ tiếng Việt: pyvi - Danh sách stopwords Van-Duyet Le - Mơ hình phân lớp câu hỏi: Mạng nơ ron nhân tạo Import thư viện vấn đề cần thiết, thư viện sử dụng ứng dụng là: import nltk from nltk.stem.lancaster import LancasterStemmer stemmer = LancasterStemmer() import numpy as np import tflearn import tensorflow as tf import random import pyvi from pyvi import ViTokenizer 51 from pyvi import ViUtils import npm from npm import vietnamese-stopwords Xử lý liệu trƣớc đƣa vào mơ hình học máy: Nạp liệu học từ file Dulieu.json: import json with open('Dulieu.json') as json_data: duLieu = json.load(json_data) stop_words=[] with open(‘stopwords.txt’, 'r', encoding='utf8') as fp: for line in fp.readlines(): stop_words.append(line.strip()) Tiếp theo để tiến hành tiền xử lý liệu tách từ, phân đoạn từ, xóa bỏ stopword gán nhãn từ loại… khối câu lệnh sau giúp ta làm việc này: words = [] classes = [] documents = [] for noidung in duLieu['Dulieu']: for cauhoi in noidung['Cauhoi']: w = ViTokenizer.word_tokenize(cauhoi) words.extend(w) documents.append((w, noidung['Lop'])) if noidung['Lop'] not in classes: classes.append(noidung['Lop']) words = [stemmer.stem(w.lower()) for w in words if w not in stop_words] 52 words = sorted(list(set(words))) classes = sorted(list(set(classes))) Sau liệu mã hóa từ dạng chữ dạng số, cách thực sau: # Tạo liệu đầu vào training = [] output = [] output_empty = [0] * len(classes) # Xử lý liệu cho câu for doc in documents: bag = [] pattern_words = doc[0] pattern_words = [stemmer.stem(word.lower()) for word in pattern_words] # Tạo véc tơ số cho câu hỏi for w in words: bag.append(1) if w in pattern_words else bag.append(0) output_row = list(output_empty) output_row[classes.index(doc[1])] = training.append([bag, output_row]) random.shuffle(training) training = np.array(training) # Ma trận trọng số train_x = list(training[:,0]) train_y = list(training[:,1]) # Xây dựng mơ hình 53 # khởi tạo đồ thị tensorflow tf.reset_default_graph() # Xây dựng mạng nơ ron net = tflearn.input_data(shape=[None, len(train_x[0])]) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, 8) net = tflearn.fully_connected(net, len(train_y[0]), activation='softmax') net = tflearn.regression(net) # Định nghĩa mơ hình setup tensorboard model = tflearn.DNN(net, tensorboard_dir='tflearn_logs') # Bắt đầu học model.fit(train_x, train_y, n_epoch=1000, batch_size=8, show_metric=True) # Lưu mơ hình model.save('model.tflearn') # Lưu liệu import pickle pickle.dump( {'words':words, 'classes':classes, 'train_x':train_x, 'train_y':train_y}, open( "training_data", "wb" )) Áp dụng mơ hình phân lớp câu hỏi: # Lấy liệu mơ hình training bước import pickle data = pickle.load(open( "training_data", "rb" ) ) words = data['words'] classes = data['classes'] train_x = data['train_x'] 54 train_y = data['train_y'] # Nạp liệu để lấy câu trả lời import json with open('DuLieu.json') as json_data: duLieu = json.load(json_data) # Nạp mô hình phân lớp model.load('./model.tflearn') Lựa chọn câu trả lời: Khi người dùng nhập câu hỏi vào hệ thống tiến hành xử lý thông qua bước đề cập phần tiền xử lý, tokenizer, hay chuyển sang bag-of-words để hệ thống hiểu phân loại lớp: # Tách từ def clean_up_sentence(sentence): sentence_words = ViTokenizer.word_tokenize(sentence) sentence_words = [stemmer.stem(word.lower()) for word in sentence_words] return sentence_words # Tạo túi từ def bow(sentence, words): sentence_words = clean_up_sentence(sentence) # Tăng trọng số từ từ có thư viện (túi từ) bag = [0]*len(words) for s in sentence_words: for i,w in enumerate(words): if w == s: 55 bag[i] = return(np.array(bag)) Sau xử lý xong tiến hành phân lớp so khớp câu hỏi để trả câu trả lời phù hợp cho người dùng, cụ thể sau: ERROR_THRESHOLD = 0.25 def classify(sentence): # xử lý câu hỏi results = model.predict([bow(sentence, words)])[0] results = [[i,r] for i,r in enumerate(results) if r>ERROR_THRESHOLD] results.sort(key=lambda x: x[1], reverse=True) return_list = [] for r in results: return_list.append((classes[r[0]], r[1])) return return_list def response(sentence): results = classify(sentence) if results: while results: for i in duLieu['Dulieu']: if i['Lop'] == results[0][0]: max=0 for j,t in i[‘Cauhoi’], i[‘Traloi’]: k=countWord(sentence, j) if k>max: max=k str=t return print(str) results.pop(0) 56 3.1.3 Độ xác Tiến hành thử nghiệm ngẫu nhiên với lần 100 câu kết đạt sau: Bảng 3-1: Kết thử nghiệm Thử nghiệm Số câu Số câu sai Độ xác 55/100 45/100 55% 70/100 30/100 70% 68/100 32/100 68% 78/100 22/100 78% 83/100 17/100 83% Đánh giá kết thực nghiệm giải thích sau: Lần 1: Có câu chưa huấn luyện nên dẫn đến trả lời sai Kết đạt thấp Lần 2: Những câu hỏi huấn luyện nên người hỏi trả lời ý người dùng Kết đạt tăng lên Lần 3: Hỏi nội dung khác câu hỏi phức tạp chưa huấn luyện nội dung nên trả lời sai Kết đạt hạn chế Lần 4: Do huấn luyện tiếp cho câu lần nên độ xác tăng Kết đạt mức Lần 5: Dữ liệu qua nhiều lần huấn luyện khả xuất câu hỏi thấp nên trả lời cao Độ xác tăng 3.2 Kết Trình bày ví dụ câu hỏi người dùng, truy vấn tương ứng câu trả lời hệ thống Q&A tạo Nói chung minh họa cách mô- 57 đun QFM (Query Formulation Module) giữ lại đặc trưng quan trọng giảm bớt từ dừng Các câu trả lời đưa ra, thường cung cấp thông tin cần thiết liên quan đến câu hỏi 3.3 Nhận xét Sau thực thử nghiệm Chatbot kết thu đặt câu hỏi tỷ lệ đáp án chấp nhận chưa cao, nhiên ứng dựng giải vấn đề sau: - Vấn đề phát sinh câu hỏi nằm tập liệu huấn luyện Chatbot tự đưa câu trả lời tương đối phù hợp với câu hỏi người dùng - Xây dựng mơ hình hiểu ngôn ngữ tiếng việt (hỏi/đáp) - Đối với trường hợp câu hỏi dài phức tạp, ứng dụng phân thành lớp trích xuất câu trả lời phù hợp - Trả lời tự động ứng dụng có thời gian huấn luyện chưa lâu tập liệu huấn luyện hạn chế nên việc trả lời khía cạnh nên đưa câu trả lời cách khách quan Với vấn đề gặp phải kết đạt Chatbot chưa đưa để áp dụng rộng rãi nên cần thêm thời gian để hồn thiện ứng dụng mặt ý tưởng tập liệu Ý tưởng phát triển Chatbot: - Nâng cấp giao diện người dùng - Bổ sung thêm liệu huấn luyện liệu tiếng việt không dấu - Nâng cấp huấn luyện để Chatbot trở thành trợ lý ảo thực - Đề xuất xây dựng module gợi ý câu hỏi có liên quan trả lời trước để thí sinh có thêm thơng tin hỗ trợ định - Ngồi người dùng thí sinh (người đặt câu hỏi), hệ thống quản lý hai đối tượng người dùng khác chuyên gia (cán bộ) quản trị/điều phối viên 58 Kết thu sau q trình nghiên cứu hồn thiện luận văn: - Tìm hiểu cấu trúc hệ thống trợ lý ảo - Hiểu thành phần cấu tạo, vận hành thuật tốn để xây dựng ứng dụng Chatbot riêng - Hiểu cách huấn luyện liệu Chatbot để xây dựng ứng dụng nhiều lĩnh vực khác Kết luận chƣơng Một hệ thống hỏi đáp tốt hệ thống có khả đưa câu trả lời xác trả lời nhiều câu hỏi Theo thực nghiệm nhận thấy, độ xác (số lượng câu trả lời số câu trả lời hệ thống đưa ra) khả đưa câu trả lời (số lượng câu trả lời tổng số câu hỏi đưa vào) hệ thống có kết tương đối cao Hệ thống hoạt động tốt với câu hỏi đơn giản hỏi đưa câu trả lời có độ tin cậy cao Việc học mẫu tốt, xác, thể xác hệ thống Chúng tơi đánh giá hệ thống có khả mở rộng dễ dàng Chỉ cần làm tay số seed ban đầu cho quan hệ quan tâm hệ thống tự học mẫu để trả lời cho câu hỏi liên quan Tuy nhiên hạn chế hệ thống trả lời câu hỏi liên quan đến quan hệ có hệ thống Để đáp ứng nhu cầu thực người dùng, hệ thống cần phải mở rộng thêm nhiều liệu 59 KẾT LUẬN Hệ thống trợ lý ảo lĩnh vực mà công ty công nghệ tập trung đầu tư nghiên cứu mạnh mẽ ngày phát triển Ứng dụng hệ thống trợ lý ảo dần đưa vào đời sống, tích hợp từ hệ thống chatbot tích hợp vào hệ thống phức tạp y tế, dạy học Qua luận văn, em đạt kết định Đầu tiên tìm hiểu mơ hình hệ thống trợ lý ảo, cấu trúc hệ thống Từ mơ hình hệ thống trợ lý ảo giúp em hiểu cấu tạo, thuật toán ứng dụng mơ hình Từ giúp em sâu nghiên cứu mô đun hệ thống ứng dụng thực tiễn xây dựng hệ thống trợ lý ảo phù hợp với mục đích Thứ hai từ việc huấn luyện chatbot giúp em có kiến thức, độ hiểu biết sâu mạng nơ ron, cách xây dựng mơ hình học máy, xây dựng liệu huấn luyện Từ đúc kết kiến thức để ứng dụng thực tế cơng việc mục đích huấn luyện hệ thống trợ lý ảo Thứ ba từ việc xây dựng mơ hình chatbot, em xây dựng nhiều mơ hình chatbot với nhiều mục đích khác ví dụ chatbot cho hệ thống thực phẩm, cho y tế hay dạy học…Tuỳ theo yêu cầu mục đích thực tiễn xây dựng hệ thống trợ lý ảo đáp ứng yêu cầu người dùng Qua kết đạt đu ợc ban đầu, em nhạ n thấy nhiều viẹ c phải làm, cần phải tối u u Nhu ng cách tiếp cạ n ban đầu cho kết tích cực đắn, giải đu ợc vấn đề xây dựng tính tốn hẹ thống đối thoại Định hu ớng nghiên cứu tiếp theo, em tiếp tục làm mu ợt liẹ u, để tạo mơ hình có khả na ng trả lời sát với ngữ cảnh, đạt chất 60 lu ợng cao ho n, giảm khả na ng lảng tránh đu a tính cá nhân vào đoạn họ i thoại Từ áp dụng cho nhiều hệ thống trợ lý ảo với yêu cầu mục đích xây dựng khác 61 TÀI LIỆU THAM KHẢO [1] Phan Thị Tươi (2012), Xử lý ngôn ngữ tự nhiên NXB Đại học quốc gia Tp HCM [2] Vũ Hữu Tiệp (2018), Machine Learning bản, NXB Khoa học Kỹ thuật [3] Steven Bird, Ewan Klein and Edward Loper (2009), Natural Language Processing with Python, O'Reilly [4] Yoav Goldberg , Graeme Hirst (2017), Neural Network Methods in Natural Language Processing, Morgan & Claypool Publishers [5] Sebastian Raschka, Vahid Mirjalili (2017), Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow, 2nd Edition, Packt Publishing [6] Sumit Raj (2018), Building Chatbots with Python: Using Natural Language Processing and Machine Learning, Apress [7] Sanjay K Dwivedi and Vaishali Singh, "Research and reviews in question answering system," in International Conference on Computational Intelligence: Modeling Techniques and Applications (CIMTA), 2013, pp 417-424 doi: 10.1016/j.protcy.2013.12.378 [8] Abraham Ittycheriah, Martin Franz, Wei-Jing Zhu, Adwait Ratnaparkhi, and Richard J Mammone, "IBM's Statistical Question Answering System," in Proceedings of the Text Retrieval Conference TREC-9, 2000 [9] Natural Language Annotation for Machine Learning – James Pustejovsky and Amber Stubbs, O’Reilly Publishers 2012 [10] WebAnno: A Flexible, Web-based and Visually Supported System for Distributed Annotations – Seid Muhie Yimam, Iryna Gurevych, Richard Eckart de Castilho, and Chris Biemann 2013 In Proceedings 62 of the 51st Annual Meeting of the Association for Computational Linguistics (System Demonstrations) (ACL 2013), pages 1-6, Sofia, Bulgaria [11] Zhiheng Huang, Marcus Thint and Zengchang Qin Question Classification using Head Words and their Hypernyms Proceedings of the 2008 Conference on Empirical Methods in atural Languae Processing Pages 927-936, Honolulu, October 2008 [12] Michele Banko, Eric Brill, Susan Dumais, Jimmy Lin AskMSR: Question Answering Using the Worldwide Web Microsoft Research In Preceedings of 2002 AAAI Spring Symposium on Mining Answers from Texts and Knowledge bases, Palo Alto, California, March 2002 [13] Matthew W Bilotti, Boris Katz, and Jimmy Lin What Works Better for Question Answering: Stemming or Morphological Query Expansion? ACM SIGIR'04 Workshop Information Retrieval for QA, (Jul 2004) [14] Joachims, T (1998) Text categorization with support vector machines: Learning with many relevant features (pp 137-142) Springer Berlin Heidelberg [15] Ikonomakis, M., Kotsiantis, S., & Tampakas, V (2005) Text classification using machine learning techniques WSEAS Transactions on Computers, 4(8), 966-974 [16] Diekema A.R, Yilmazel Ozgur, and Liddy E.D “ Evaluation of Restricted Domain Question-Answering Systems” (2004).In Proceedings of the ACL2004 Workshop on Question Answering in Restricted Domain ,p.p 2-7, [17] Ellen Riloff and MichaelThelen.“A Rule Based Question Answering System for Reading Comprehension Tests”,(2003){rioloff,thelen} [18] Green W, Chomsky C, and Laugherty K BASEBALL: An automatic 63 question answerer.(1961) Proceedings of the Western Joint Computer Conference, p.p 219-224 ... hệ thống trả lời tự động số kỹ thuật học máy, xử lý ngôn ngữ tự nhiên thường dùng hệ thống trả lời tự động 1.1 Hệ thống trả lời tự động 1.1.1 Hệ thống trả lời tự động gì? Hệ thống trả lời tự động. .. phát triển hệ thống trả lời tự động 1.1.3 Một số hệ thống trả lời tự động tiêu biểu 1.1.4 Tiêu chuẩn cho hệ thống trả lời tự động 1.2 Kiến trúc hệ thống trả lời tự động 10... phải giải 34 Chƣơng XÂY DỰNG HỆ THỐNG TRẢ LỜI TỰ ĐỘNG TƢ VẤN TUYỂN SINH Trong chương trình bày toán tư vấn tuyển sinh, bước xây dựng hệ thống trả lời tự động câu hỏi tuyển sinh dựa vào mơ hình học