CHƯƠNG 4 TẬP DỮ LIỆU 30
4.1 Dữ liệu phụ đề phim tiếng Việt - OpenSubtitles
Tập dữ liệu OpenSubtitles [23] [24] được xây dựng từ bộ dữ liệu phụ đề của các bộ phim được đăng tại địa chỉ:https://www.opensubtitles.orgvà đã được tiền xử lý và công bố tại địa chỉ:https://opus.nlpl.eu/OpenSubtitles-v2018.php
Bộ dữ liệu bao gồm 41.8 triệu từ và 5.1 triệu câu với mỗi câu tương ứng một dòng trong tập dữ liệu.
Dữ liệu được lọc và tiền xử lý qua các bước sau: • Loại bỏ những câu quá dài và quá ngắn.
• Xố các thành phần không quan trọng: tên nhân vật ở đầu câu, dấu đóng/mở ngoặc, dấu "-".
Tiền xử lý dữ liệu với thơng số: • Số từ ít nhất: 2
• Số từ nhiều nhất: 128
Thống kế sau khi tiền xử lý dữ liệu:
Tổng số câu 5073177 Độ dài trung bình 6.61 từ Độ lệch chuẩn 4.73 từ Độ lớn từ điển 96243 từ
Bảng 4.1:Thống kê chi tiết bộ dữ liệu OpenSubtitles đã xử lý
4.2 Tập dữ liệu trả lời câu hỏi
Dữ liệu trả lời câu hỏi có dạng SQuAD 2.0 có thể truy cập tại địa chỉhttps://github.com/ mailong25/bert-vietnamese-question-answering/tree/master/dataset. Tập dữ liệu
này có khoảng 3454 mẫu dữ liệu và có 2328 mẫu có câu trả lời. Cấu trúc của một mẫu dữ liệu bao gồm:
• context: là văn bản để tìm câu trả lời từ câu hỏi.
• qas: là một mảng các câu hỏi và câu trả lời. Với mỗi phần tử có dạng:
– answers: là câu trả lời cho câu hỏi, gồm có vị trí bắt đầu của câu trả lời và câu trả lời được lấy từ văn bản.
– question: là câu hỏi.
5
ĐẶC TẢ VÀ HIỆN THỰC HỆ THỐNG
Trong chương này, nhóm sẽ mơ tả và hiện thực hệ thống chatbot.
Mục lục 5.1 Thiết kế hệ thống . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 5.2 Chi tiết các thành phần . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 5.3 Vấn đề cần giải quyết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.4 Khó khăn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 5.5 Giải pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
CHƯƠNG 5 ĐẶC TẢ VÀ HIỆN THỰC HỆ THỐNG 32
5.1 Thiết kế hệ thống