Xếp hạng câu trả lời trong hỏi đáp cộng đồng (tt)

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - PHẠM MINH LUẬN XẾP HẠNG CÂU TRẢ LỜI TRONG HỎI ĐÁP CỘNG ĐỒNG CHUYÊN NGÀNH : KHOA HỌC MÁY TÍNH MÃ SỐ : 8.48.01.01 TÓM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2018 Luận văn hồn thành tại: HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG Người hướng dẫn khoa học: TS NGƠ XUÂN BÁCH Phản biện 1: PGS.TS TRẦN ĐĂNG HƯNG Phản biện 2: PGS.TS PHẠM VĂN CƯỜNG Luận văn bảo vệ trước Hội đồng chấm luận văn thạc sĩ Học viện Cơng nghệ Bưu Viễn thơng Vào lúc: 09 45 phút, ngày 14 tháng 07 năm 2018 Có thể tìm hiểu luận văn tại: - Thư viện Học viện Cơng nghệ Bưu Viễn thơng LỜI MỞ ĐẦU Trong đời sống nay, cách mạng cộng nghệ thông tin ngày bùng nổ Công nghệ thông tin phát triển mạnh mẽ tác động lớn đến phát triển toàn giới Tuy nhiên lĩnh vực sống, người sử dụng ngày yêu cầu ứng dụng thông minh, hỗ trợ nhiều công việc Mặc dù tồn khoảng cách lớn người máy tính, trở ngại lớn vấn đề ngôn ngữ Ngôn ngữ tự nhiên người ngơn ngữ máy tính có nhiều khác biệt Chính khác cho đời lĩnh vực nghiên cứu xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên lĩnh vực đạt nhiều bước tiến quan trọng năm gần Giúp máy tính hiểu ngơn ngữ người qua hướng dẫn máy tính thực giúp đỡ người cơng việc có liên quan đến ngơn ngữ, phân tích liệu văn bản, tìm kiếm thơng tin, dịch thuật, v.v [5] Vấn đề hỏi đáp thu hút nhiều ý năm qua Đặc biệt hỏi đáp cộng đồng có chứa lượng lớn thơng tin hỏi – đáp có giá trị sinh người sử dụng Người dùng gửi câu hỏi, trả lời câu hỏi người khác, cung cấp thông tin phản hồi cho câu hỏi/câu trả lời Tuy nhiên với lượng thông tin lớn từ liệu hỏi đáp cộng đồng có nhiều thơng tin xác thơng tin khơng xác Bài tồn đặt là, làm tìm câu trả lời thích hợp cho câu hỏi Và để làm điều việc xếp hạng câu trả lời mà cộng đồng cung cấp theo độ liên quan đến câu hỏi cần thiêt [1] Tuy nhiên nghiên cứu hỏi – đáp giới chủ yếu tập trung vào việc tìm câu trả lời xác cho câu hỏi đưa tài liệu liên quan (câu hỏi factoid) Các đánh giá tiếng nhiệm vụ hỏi – đáp factoid hội nghị truy hồi văn (Text REtrieval Conference - TREC) Các câu hỏi câu trả lời phát hành TREC trở thành nguồn liệu cho nhà nghiên cứu xây dựng hệ thống hỏi đáp tự động Nhưng phải đối mặt với câu hỏi câu hỏi lý sao, nào, (câu hỏi non-factoid) khơng có hệ thống hỏi đáp tự động làm việc tốt [1] Các câu hỏi câu trả lời người dùng tạo chắn quan trọng để giải vấn đề trả lời câu hỏi non-factoid Và câu hỏi câu trả lời tự nhiên thường tạo trình giao tiếp người với người thông qua phương tiện truyền thông xã hội internet, em đặc biệt quan tâm đến liệu hỏi đáp cộng đồng Dữ liệu mà cộng đồng cung cấp liệu quan trọng để phục vụ cho nghiên cứu sau Vì hướng dẫn TS Ngô Xuân Bách em định chọn đề tài “Xếp hạng câu trả lời hỏi đáp cộng đồng” Mục đích giúp người dùng câu trả lời tốt, có liên quan đến câu hỏi liệu ngồn liệu hữu ích để phát triển hệ thống hỏi đáp tự động tốt Để xây dựng hệ thống xếp hạng câu trả lời hỏi đáp cộng đồng, em sử dụng tập liệu cung cấp SemEval 2016 thực nghiệm [3] Em tiến hành đánh giá thực nghiệm rộng rãi để chứng minh tính hiệu phương pháp tiếp cận em Input: Một câu hỏi nhiều câu trả lời Output: Danh sách câu trả lời xếp giảm dần theo mức độ liên quan so với câu hỏi Ví dụ: Input: Câu hỏi: “Where is the best place to catch fish in Qatar?” (Đâu nơi tốt để bắt cá Qutar) Câu trả lời 1: “I think the best place is Fish Market Guys dont get angry Just kidding” (Mình nghĩ nơi tốt chợ cá Bạn đừng tức giận Chỉ đùa thôi) Câu trả lời 2: “What you use for bait?” (Bạn dùng để làm mồi) Câu trả lời 3: “Around sofitel hotel” (Xung quanh khách sạn sofitel) Output: Là danh sách câu trả lời xếp theo thứ tự: Câu trả lời 3, Câu trả lời 1, Câu trả lời Luận văn làm rõ giải vấn đề đây: - Nghiên cứu phương pháp học máy phù hợp cho toàn xếp hạng câu trả lời hỏi đáp cộng đồng - Nghiên cứu đặc trưng ngôn ngữ phù hợp với tốn xếp hạng câu trả lời - Tìm phương pháp trính chọn phù hợp qua thực nghiệm - Tiến hành thực nghiệm phất tích kết - Nghiên cứu với nguồn liệu tiếng anh Để xây dựng chương trình xếp hạng câu trả lời, luận văn đưa phương pháp xếp hạng có trước thuật toán SVM_Rank thực thêm hai thuật toán ListNet, ListMLE để cài thiện kế thu Nội dung luận văn chia làm phần: Chương 1: Luận văn giới thiệu lĩnh vực xử lý ngôn ngữ tự nhiên, giới thiệu hỏi đáp cộng đồng, phát biểu toán xếp hạng câu trả lời hỏi đáp cộng đồng, trình bày phương pháp nghiên cứu liên quan Chương 2: Luận văn trình bày phương pháp học máy đặc trưng cho toán xếp hạng câu trả lời hỏi đáp cộng đồng Trình bày thuật tốn xếp hạng bao gồm: Ranking SVMs, ListNet, ListMLE Chương 3: Luận văn trình bày kết thực nghiệm thuật tốn để cuối đưa kết so sánh, phân tích, đánh giá kết thu đưa kết luận Phần kết luận: Tổng kết thành nghiên cứu phương hướng mở rộng 4 Chương TỔNG QUAN VỀ XẾP HẠNG CÂU TRẢ LỜI Chương luận văn trình bày ba nội dung là: Trình bày lĩnh vực xử lý ngôn ngữ tự nhiên, giới thiệu hỏi đáp tự động, giới thiệu hỏi đáp cộng đồng, tổng quan xếp hạng học máy, trình bày tốn xếp hạng hỏi đáp cộng đồng 1.1 Giới thiệu xử lý ngôn ngữ tự nhiên Xử lý ngôn ngữ tự nhiên (Natural language processing - NPL) nhánh trí tuệ nhân tạo tập trung vào ứng dụng ngôn ngữ người Trong trí tuệ nhân tạo xử lý ngôn ngữ tự nhiên phần khó liên quan đến việc phải hiểu ý nghĩa ngơn ngữ, cơng cụ hồn hảo tư giao tiếp [4] NPL lĩnh vực liên ngành nghiên cứu tương tác người máy qua ngôn ngữ tự nhiên người Mục tiêu làm cho máy tính thực hiệu nhiệm vụ liên quan đến ngôn ngữ người giao tiếp người máyhoặc đơn giản nâng cao hiệu xử lý văn lời nói 1.2 Giới thiệu hỏi đáp tự động Hệ thống hỏi đáp tự động hệ thống thơng minh xây dựng với mục đích tìm kiếm câu trả lời cho câu hỏi người dùng từ tập liệu xác nhanh gọn Ba lĩnh vực lớn liên quan đến hỏi đáp tự động xử lý ngôn ngữ tự nhiên, tìm kiếm thơng tin, truy xuất thơng tin Đầu vào hệ thống hỏi đáp tự động câu hỏi dạng ngôn ngữ tự nhiên đâu đoạn văn trả lời cho câu hỏi Các phương pháp xây dựng hệ thống hỏi đạp tự động chia thành hai loại là: truy xuất thơng tin dựa tri thức 1.3 Giới thiệu hỏi đáp cộng đồng Hỏi đáp cộng đồng việc thành viên đưa câu hỏi cộng đồng mạng tham gia việc trả lời câu hỏi thơng qua hiểu biết người trả lời, quy tắc rõ ràng thành văn Đây điểm khác biệt lớn hỏi đáp cộng đồng hỏi đáp tự động Hỏi đáp tự động trước giải toán với câu trả lời theo luật, có logic theo quy tắc tài liệu văn Còn hỏi đáp cộng đồng với lượng câu trả lời vô lớn từ cộng đồng mạng giải hầu hết vấn đề hỏi đáp đặc biệt câu hỏi Đây ngồn liệu vô bổ ích để cải thiện tốt cho hệ thống hỏi đáp tự động sau Hình 1.4: Yahoo website hỏi đáp cộng đồng  Các toàn hỏi đáp cộng đồng - Sự giống câu hỏi bình luận (Question – Comment Similarity): Đầu vào câu hỏi câu bình luận câu hỏi Nhiệm vụ phải xếp câu bình luận Sao cho câu bình luận liên quan đến câu hỏi đứng câu không liên quan đến câu hỏi phía - Sự giống câu hỏi câu hỏi (Question – Question Similariy): Đầu vào câu hỏi (hay gọi câu hỏi gốc) tập hợp câu hỏi liên quan đến câu hỏi gốc (được tìm kiếm cơng cụ tìm kiếm) Nhiệm vụ xếp câu hỏi cho câu hỏi liên quan đến câu hỏi gốc bên câu hỏi không liên quan đến câu hỏi gốc nằm phía - Sự giống câu hỏi bên ngồi bình luận (Question – External Comment Similarity): Đầu vào câu hỏi (hay gọi câu hỏi gốc) tập hợp câu hỏi liên quan đến câu hỏi gốc (được tìm kiếm cơng cụ tìm kiếm), câu liên kết với thích xuất tập Luận văn tập trung nghiên cứu giải toán Question – Comment Similarity So sánh bình luận (hay câu trả lời) xếp chúng so với độ liên quan câu hỏi 1.4 Giới thiệu toán xếp hạng Xếp hạng nói chung hiểu xếp Nhiều ứng dụng, phần mềm có xếp, đơn giản MS Excel, MS Dos, xếp theo chiều tang hay giảm theo “khóa” liệu Hay phức tạp hơn, máy tìm kiếm, xếp kết trả cho phù hợp [2] Sự phát triển bùng nổ thông tin giới Website dẫn đến tràn ngập thông tin internet Số lượng tài liệu tăng lên ngày nhanh chóng Việc trao đổi người với người vấn đề rào cản địa lý bị xóa bỏ Nhưng lượng thơng tin lớn dẫn đến người dùng thông thường khó tìm kiếm thơng tin mà họ mong muốn cách nhanh xác Vì việc tìm trích xuất thơng tin trở nên quan trọng, cơng cụ tìm kiếm dần trở thành công cụ thiết yếu người dùng internet Có nhiều mơ hình xếp hạng ta chia thành mơ hình xếp hạng dựa độ liên quan xếp hạng dựa độ quan trọng 7 1.4.1 Xếp hạng dựa độ liên quan Mục tiêu tạo danh sách tài liệu xếp hạng theo mức độ liên quan tài liệu truy vấn Sau xếp theo thứ tự giảm dần mức độ liên quan chúng Độ đo liên quan mơ hình không gian vector Tài liệu truy vấn định nghĩa vector không gian Euclid, tích vector sử dụng để độ liên quan truy vấn tài liệu Để tạo vector có kết tốt nhát term khơng gian vector có trọng số 1.4.2 Xếp hạng dựa độ quan trọng Có nhiều mơ hình xếp hạng dựa độ quan trọng Mộ mơ hình tiếng PageRank, mơ hình áp dụng phổ biến Website sử dụng cấu trúc siêu liên kết để xếp hạng Hình 1.6: Minh họa thuật tốn PageRank [26] 1.5 Giới thiệu toán Việc xếp hạng câu trả lời cho câu hỏi hỏi đáp cộng đồng nhằm tìm câu trả lời có ý nghĩa cho câu hỏi tương ứng tập lớn luồng hỏi đáp Vì luận văn em coi việc xếp hạng câu hỏi câu trả lời vấn đề phân loại cặp câu hỏi câu trả lời phát biểu sau: Cho tập Q câu hỏi, câu hỏi { , ,…, có tập câu trả lời } (n = 1, 2,…) Việc xếp hạng câu trả lời cho câu hỏi nhãn cho câu trả lời { , ,…, } nhãn tương ứng { gán , ,…, } = “Good” “PotentiallyUseful” câu trả lời hợp lý, có liên quan đến câu hỏi , câu trả lời có độ liên quan đến câu hỏi thấp hơn, chưa câu trả lời cho câu hỏi có chứa thơng tin trả lời câu hỏi = “Bad” = câu trả lời không liên quan đến câu hỏi , Đến có nhiều thuật toán xếp hạng như: Ranking SVMs, LisNet, ListMLE, RankRLS, SoftRank, CRR,… Trong luận văn này, em áp dụng thuật toán Ranking SVMs, ListNet, ListMLE cho toán xếp hạng câu trả lời hỏi đáp cộng đồng 1.6 Tổng quan học máy xếp hạng 1.6.1 Nền tảng học máy Học máy bao gồm thánh phần chính:  Khơng gian đầu vào: Chứa đối tượng cần nghiên cứu, thường biểu diễn vector đặc trưng trích xuất từ liệu ban đầu  Khơng gian đầu ra: Chứa mơ hình liệu tính tốn từ liệu đầu vào  Không gian theo giả thuyết: định nghĩa hàm chuyển đổi đầu vào đầu Hoạt động dựa vào vector đặc trưng không gian đầu vào dự đốn khơng gian đầu  Bộ huấn luyện: chưa nhãn thực Cho liệu đầu vào kết trình học máy từ liệu đầu vào 1.6.2 Nền tảng học máy xếp hạng Sử dụng phương pháp học xếp hạng để xây dựng mơ hình tính hạng, cần xây dựng tập liệu huấn luyện đầu vào q trình học Có ba hướng tiếp cận cho mơ hình học máy hướng tiếp cận pairwise, pairwise pointwise 1.7 Các nghiên cứu liên quan Các nghiên cứu gần việc đánh giá câu trả lời cung cấp cộng đồng thường thông qua đặc trưng biểu diễn văn câu hỏi câu trả lời độ dài câu hỏi, tỷ lệ độ dài câu hỏi câu trả lời, có độ đo tương tự câu hỏi câu trả lời [19, 20, 21] Sử dụng độ đo phổ biến tương tác xác hội [22] chẳng hạn số lượng câu trả lời người trả lời Kết hợp biểu diễn cho câu hỏi câu trả lời qua đặc trưng văn phi văn đầu vào mơ hình [23] Đề xuất xếp hạng câu trả lời lấy từ trang web hỏi đáp cộng đồng Yahoo! Answers chọn câu trả lời có thứ hạng cao xem câu trả lời tốt cho câu hỏi [24] Trước có số nghiên cứu chủ đề xếp hạng xếp hạng dòng cập nhật mạng xã hội Twitter [16] 1.8 Kết chương Trong chương 1, luận văn giới thiệu khái quát lĩnh vực xử lý ngơn ngữ tự nhiên, trình bày tổng quan hỏi đáp cộng đồng, giới thiệu tổng quan toán xếp hạng, tổng quan học máy Giới thiệu toán xếp hạng câu trả lời hỏi đáp cộng đồng phương pháp áp dụng Chương tiếp theo, em trình bày cụ thể phương pháp học máy, đặc trưng cho toán xếp hạng câu trả lời hỏi đáp cộng đồng Trình bày chi tiết thuật tốn sử dụng 10 Chương XẾP HẠNG CÂU TRẢ LỜI DỰA TRÊN HỌC MÁY Chương vào trình bày toán giải pháp tổng thể, phương pháp học máy đặc trưng cho toán xếp hạng câu trả lời hỏi đáp cộng đồng 2.1 Bài toán giải pháp tổng thể Bài toán dựa vào liệu huấn luyện liệu kiểm tra lấy từ liệu website [3]: http://alt.qcri.org/semeval2016/task3 Hình 2.1: Giải pháp tổng thể toán 11 2.2 Các đặc trưng xếp hạng câu trả lời 2.2.1 Đặc trưng N-gram Đặc trưng N-gram biết đến mơ hình ngơn ngữ N-gram Nó cho biết xác xuất cho chuỗi m phần tử (thường từ) tức cho phép dự đoán khả chuỗi từ xuất ngơn ngữ Để trích rút đặc trưng n-gram, n từ liên tiếp cặp câu hỏi câu trả lời đề coi đặc trưng 2.2.2 Đặc trưng chồng chéo n-gram từ câu hỏi câu trả lời Khi trả lời câu hỏi đó, người trả lời thường có xu hướng sử dụng lại số từ câu hỏi câu trả lời Vì câu trả lời có chứa từ cụm từ câu hỏi câu trả lời có khả câu trả lời liên quan đến câu hỏi Để tính tốn chồng chéo câu hỏi câu trả lời, em thực loại bỏ stopword câu hỏi, câu trả lời sau tính tốn chồng chéo từ sử dụng n-gram từ (n = 1, 2, 3) 2.2.3 Đặc trưng dựa thông tin người trả lời Số lượng câu trả lời người trả lời thơng tin tổng số câu trả lời người trả lời toàn tập liệu Em nhận thấy người thường xuyên trả lời câu hỏi người khác câu trả lời họ thường mang độ xác cao so với người trả lời Chính em dựa vào đặc trưng để phân loại cặp câu hỏi câu trả lời Đây đặc trưng vector đặc trưng giúp em xếp hạng câu trả lời hỏi đáp cộng đồng tốt 2.3 Các thuật toán xếp hạng 2.3.1 Thuật toán Ranking SVMs Xếp hạng SVM (SVM-rank) ứng dụng hỗ trợ máy vector (Support vector machine) sử dụng để giải toán xếp hạng việc sử dụng thuật toán học giám sát SVM SVM-rank Joachims công bố năm 2002 với mục đích cải thiện hiệu suất cơng cụ tìm kiếm Internet SVM-rank thuật tốn học xếp hạng theo hướng tiếp cận pairwise Chẳng hạn ta có tập thứ tự D = 12 {( ), ), ( ), cặp ( ,( , ) có cặp so sánh thứ tự ( , ) ( ) không xác định thứ tự so sánh [29] 2.3.2 Thuật toán ListNet ListNet phương pháp học dùng để tối ưu hóa chức xếp danh sách dựa vào xác suất cùng, Với mạng noron mơ hình Gradient Descent làm thuật tốn tối ưu hóa [30] 2.3.3 Thuật tốn ListMLE ListMLE thuật toán học đại, chứng minh hoạt động tốt ứng dụng Nó xác định việc phân bố xác suất dựa mơ hình Plackett-Luce theo kiểu từ xuống để tính đến vị trí thơng tin [31] 2.4 Kết chương Trong chương luận văn trình bày tốn giải pháp tổng thể nêu rõ mơ hình tốn, q trình thực mơ tar theo bước rõ ràng từ liệu đầu vào đến có kết đánh giá kết thực nghiệm Nêu đặc trưng sử dụng để xếp hạng câu trả lời hỏi đáp cộng đồng đặc trưng Unigram, Bigram, Trigram thuật toán áp dụng để thực toán xếp hạng thuật toán SVM_Rank, ListNet, ListMLE 13 Chương THỰC NGHIỆM VÀ ĐÁNH GIÁ Chương trình bày trình thực đánh giá kết thực nghiệm, luận văn tổng kết lại kết thực nghiệm phân tích, đánh giá khả ứng dụng phương pháp trình bày 3.1 Dữ liệu thực nghiệm Dữ liệc thực nghiệm em sử dụng liệu tiếng anh lấy Website [3] Nó dựa liệu từ diễn đàn Living Qutar Dữ liệu tiếng anh có chứa thích Nó bao gồm danh sách câu hỏi ban đầu mười câu trả lời liên quan Dữ liệu định dạng XML với mã hóa UTF-8 Em phân chia liệu thành loại liệu đào tạo liệu kiểm tra Tập liệu chuổi câu hỏi ban đầu (OrgQuestion), câu hỏi có chủ đề Mỗi câu hỏi có (ORGQID) để nhận dạng câu hỏi Mỗi thread có câu hỏi liên quan mười ý kiến trả lời Bảng 3.1: Bảng mô tả liệu thực nghiệm Mô tả Số lượng Số lượng câu hỏi liệu huấn luyện 2.034 câu Số lượng câu trả lời liệu huấn luyện 20.340 câu Số lượng câu hỏi liệu kiểm tra 244 câu Số lượng câu trả lời liệu kiểm tra 2.440 câu 3.2 Thiết lập thực nghiệm 3.2.1 Hướng tiếp cận thực nghiệm Sau trình nghiên cứu tìm hiểu phương pháp, luận văn đề xuất mơ hình giải tốn trình bày phần Để kiểm tra đánh giá hiểu mơ hình đề xuất, em tiến hành làm thực nghiệm Mục đích thực nghiệm kiểm tra độ khả thi, mơ hình dựa phân tích nghiên cứu liên quan, chưa có kết thực tế 14 3.2.2 Phương pháp đánh giá Em dựa vào độ đo để đánh giá kết thực nghiệm là: Mean Average Precision (MAP) Normalized Discounted Cumulative Gain (NDCG)  MAP: độ xác trung bình, có nghĩa có 1000 trường hợp, em tính tổng độ xác trường hợp chia cho 1000 Trong phương pháp đánh giá MAP phương pháp đánh giá tốt  NDCG: thiết kế cho tình khái niệm không nhị phân mức độ liên quan Giống độ xác thứ k, đánh giá số k kết tìm kiếm hàng đầu 3.3 Công cụ thực nghiệm 3.3.1 Môi trường thực nghiệm Bảng 3.2: Bảng cấu hình thơng tin phần cứng Thành phần CPU RAM Bộ nhớ (HDD) Hệ điều hành (OS) Chỉ số Intel Core I5 2.6GHz 8GB SATA 1000GB Windows 10 Professional 64bit 3.3.2 Công cụ phần mềm Bảng 3.3: Bảng công cụ phần mềm Tên công cụ Visual Studio Enterprise 2015 SVM_rank ListNet ListMLE Strawberry Perl a Học máy theo SVM_rank Mô tả IDE lập trình ngơn ngữ C# Bộ học máy xếp hạng thuật toán SVM Bộ học máy xếp hạng bẳng thuật toán ListNet Bộ học máy xếp hạng bẳng thuật toán ListMLE Tạo trường để đánh giá kết thực nghiệm với độ đo MAP DNCG 15 Định dạng liệu đầu vào: = qid: : : = = = = = Ví dụ file liệu: qid:1 1:1 2:1 3:0 4:0.2 5:0 # 1A qid:1 1:0 2:0 3:1 4:0.1 5:1 # 1B qid:1 1:0 2:1 3:0 4:0.4 5:0 # 1C qid:1 1:0 2:0 3:1 4:0.3 5:0 # 1D qid:2 1:0 2:0 3:1 4:0.2 5:0 # 2A qid:2 1:1 2:0 3:1 4:0.4 5:0 # 2B qid:2 1:0 2:0 3:1 4:0.1 5:0 # 2C qid:2 1:0 2:0 3:1 4:0.2 5:0 # 2D qid:3 1:0 2:0 3:1 4:0.1 5:1 # 3A qid:3 1:1 2:1 3:0 4:0.3 5:0 # 3B qid:3 1:1 2:0 3:0 4:0.4 5:1 # 3C qid:3 1:0 2:1 3:1 4:0.5 5:0 # 3D Dựa vào file liệu đầu vào ta tham chiếu sau: 1A>1B, 1A>1C, 1A>1D, 1B>1C, 1B>1D, 2B>2A, 2B>2C, 2B>2D, 3C>3A, 3C>3B, 3C>3D, 3B>3A, 3B>3D, 3A>3D Cú pháp học máy thuật toán  svm_rank_learn -c train.dat model Trong đó: - Train.dat file huấn luyện - Model file cấu trúc đầu huấn luyện 16  svm_rank_classify test.dat model predictions Trong đó: - Test.dat file cần kiểm tra - Model file cấu trúc tạo huấn luyện - Predictions file đánh số score với câu trả lời (Dựa vào kết ta xếp hạng câu trả lời câu hỏi) b Học máy theo ListNet Cú pháp học máy thuật toán:  learn data_train_file iteration learning_rate model_file Trong đó: - data_train_file: file huấn luyện - interation: số vòng lặp - learning_rate: tốc độ học - model_file: file cấu trúc đầu huấn luyện  test model_file data_test_file output_file Trong đó: - model_file: file cấu trúc tạo huấn luyện - data_test_file: file kiểm tra - output_file: file đánh số score với câu trả lời (Dựa vào kết ta xếp hạng câu trả lời câu hỏi) c Học máy theo ListMLE  learn data_train_file tolerance_rate learning_rate model_file Trong đó: - data_train_file: file huấn luyện - tolerance_rate: số vòng lặp - learning_rate: tốc độ học 17 - model_file: file cấu trúc đầu huấn luyện  test model_file data_test_file output_file Trong đó: - model_file: file cấu trúc tạo huấn luyện - data_test_file: file kiểm tra - output_file: file đánh số score với câu trả lời (Dựa vào kết ta xếp hạng câu trả lời câu hỏi) d Đánh giá đô đo Strawberry Cú pháp đánh giá dùng perl: perl mslr-eval-score-mslr.pl_.txt argv[1] argv[2] argv[3] argv[4] Trong đó: - mslr-eval-score-mslr.pl_.txt: file thư viện - argv[1]: file liệu test - argv[2]: file prediction (file tạo dùng thuật toán xếp hạng) - argv[3]: file kết (tạo file output gồm liệu kết độ đo MAP NDCG) - argv[4]: Là biến đầu vào Nếu biến = xuất kết cho truy vấn, biến = xuất kết trung bình (Đánh giá luận văn em dùng biến = để đo kết trung bình) 3.4 Kết thự nghiệm  Thuật toán SVM_Rank Bảng 3.4: Bảng số kết thực nghiệm với thuật toán SVM_Rank SVM_Rank Đặc trưng MAP NDCG Unigram 0.7296 0.7663 Bigram 0.6700 0.7297 Trigram 0.6737 0.7262 Unigram + Bigram + Trigram 0.7416 0.7819 18  Thuật toán ListNet Tham số sử dụng ListNet là: Interation (số vòng lặp): 20 Learning_rate (tốc độ học): 0.1 Bảng 3.5: Bảng số kết thực nghiệm với thuật toán ListNet ListNet Đặc trưng MAP NDCG Unigram 0.7336 0.7577 Bigram 0.6700 0.7298 Trigram 0.6679 0.7282 Unigram + Bigram + Trigram 0.7092 0.7631  Thuật toán ListMLE Tham số sử dụng ListMLE là: Tolerance_rate (độ chịu lỗi): 0.1 Learning_rate (tốc độ học): 0.1 Bảng 3.6: Bảng số kết thực nghiệm với thuật toán ListMLE ListMLE Đặc trưng MAP NDCG Unigram 0.7112 0.7647 Bigram 0.6693 0.7291 Trigram 0.6650 0.7257 Unigram + Bigram + Trigram 0.7205 0.7606 19 3.5 Phân tích đánh giá kết sau thực nghiệm Hình 3.1: So sánh độ xác thuật tốn với độ đo MAP Hình 3.2: So sánh độ xác thuật tốn với độ đo NDCG Em thấy kết hợp đặc trưng lại với cho ta kết tốt so với dùng đực trưng Khi dùng đặc trưng em thấy đặc trưng Trigram kết thấp tỷ lệ câu hỏi câu trả lời có từ liên tiếp giống Dùng đặc trưng Unigram cho kết khả quan hơn, dùng thuật toán ListNet với 20 đặc trưng Unigram độ đo MAP cịn cho kết cao sử dụng kết hợp đặc trưng lại với 3.6 Kết chương Nội dung chương trình bày trình thực tế hế thống xếp hạng câu trả lời hỏi đáp cộng đồng Trên sở kết thực nghiệm cở chương luận văn đưa phân tích đánh giá phương pháp thực Các kết cho thấy việc sử dụng đặc trưng riêng mang lại độ xác khơng cao Khi tăng dần việc kết hợp đặc trưng, độ xác phân lớp cải thiện Điều chứng tỏ việc trích chọn đặc trưng hợp lý quan trọng kết hợp chúng tốt quan trọng nhiều để đem lại kết cao cho toán 21 KẾT LUẬN Trong thời đại nay, đột phá công nghệ ứng dụng phục vụ đời sống người ngày phát triển mạnh mẽ Việc tìm kiếm thơng tin theo tri thức người ngày nâng cao dần nhu cầu thiết yếu người dùng internet Thì việc xếp hạng câu trả lời hỏi đáp cộng đồng giúp người giải nhiều vấn đề, nhiều tốn cách nhanh chóng, xác hiệu cao mà khơng bị dư thừa thông tin Tiếp cận chi thức cách dễ dàng Nghiên cứu xử lý ngôn ngữ tự nhiên nói chung tốn xếp hạng câu trả lời hỏi đáp cộng đồng nói riêng với em cơng nghệ mới, thời gian nghiên cứu cịn ngắn nên nhiều vấn đề chưa thực nắm bắt tốt Tuy nhiên trình nghiên cứu luận văn em thu số kết nhận vài hạn chế sau:  Kết đạt Về mặt lý thuyết: - Tìm hiểu xử lý ngôn ngữ tự nhiên, hỏi đáp cộng đồng - Nghiên cứu tốn xếp hạng, vài trị, ý nghĩa, khó khăn thách thức việc xếp hạng câu trả lời hỏi đáp cộng đồng - Trình bày hướng tiếp cận, phương pháp giải quyết, kỹ thuật liên quan Đi sâu vào phương pháp học máy SVM, ListNet, ListMLE, cách biểu diễn vector đặc trưng N-gram Về thực nghiệm: - Đề xuất mơ hình giải toán xếp hạng câu trả lời hỏi đáp cộng đồng - Tiến hành cài đặt thực nghiệm - Đưa phân tích, đánh giá kết thực nghiệm  Hạn chế: Do hạn chế mặt thời gian kiến thức nên luận văn số tồn sau: - Dữ liệu sử dụng chưa đủ lớn 22 - Dữ liệu sử dụng luận văn ngôn ngữ tiếng anh - Bài toán dùng lại mức tổng quát  Hướng phát triển: Trong thời gian tới, em tiếp tục nghiên cứu phương pháp để nâng cao chất lượng kết tốn xếp hạng Tìm hiểu sử dụng thêm nhiều đặc trưng để tăng độ xác thực nghiệm Sẽ nghiên cứu áp dụng với ngơn ngữ tiếng việt Cùng với xây dựng ứng dụng thực tế hỏi đáp để phục vụ cầu người dân Việt Nam Ngoài ra, cần phải nâng cao tốc độ xử lý, hoàn thiện hệ thống  ... toán Việc xếp hạng câu trả lời cho câu hỏi hỏi đáp cộng đồng nhằm tìm câu trả lời có ý nghĩa cho câu hỏi tương ứng tập lớn luồng hỏi đáp Vì luận văn em coi việc xếp hạng câu hỏi câu trả lời vấn... lời Vì câu trả lời có chứa từ cụm từ câu hỏi câu trả lời có khả câu trả lời liên quan đến câu hỏi Để tính tốn chồng chéo câu hỏi câu trả lời, em thực loại bỏ stopword câu hỏi, câu trả lời sau... “PotentiallyUseful” câu trả lời hợp lý, có liên quan đến câu hỏi , câu trả lời có độ liên quan đến câu hỏi thấp hơn, chưa câu trả lời cho câu hỏi có chứa thơng tin trả lời câu hỏi = “Bad” = câu trả lời không