7 Chương 5 Tập mẫu tiếng việt và giải phỏp
7.3Quỏ trỡnh xõy dựng tập mẫu tiếng việt
Như trờn đó núi xõy dựng tập mẫu là một cụng việc mất rất nhiều thời gian và cụng sức. Để tạo ra một tập mẫu với số lượng lớn cỏc văn bản, với nhiều lớp văn bản và với độ chớnh xỏc
Chỳng ta chưa cú một “nền tảng” về tập mẫu chuẩn, bởi vậy giải phỏp mà em đó đưa ra và thể hiện trong đồ ỏn là chọn những thể loại mà nhiều người biết đến nhiều nhất, vỡ vậy mà cỏc phõn lớp của em đó dựa trờn cỏc phõn lớp của bỏo điện tử vnexpress.net. đõy là tờ bỏo được đọc nhiều nhất ( đó thống kờ ) và là tờ bỏo của đảng nờn nội dung của cỏc bài cú thể được coi là chuẩn.
Việc tạo ra tập mẫu dựa trờn một nguồn cú sẵn tương đối đơn giản, nhưng để tạo ra được số lượng tập mẫu trờn 10.000 thỡ rất mất thời gian. Để tạo ra một tập mẫu thỡ chỳng ta duyệt từng bài trờn bỏo điện tử rồi down nú về.
Tuy nhiờn khụng phải chỳng ta tải những bài bỏo về một cỏch vụ thức mà chỳng ta cần phải xem xột những mặt sau :
Nội dung của bài bỏo cú phự hợp với lớp mà chỳng ta đang tạo hay khụng.
Số lượng của mỗi lớp núi chung là phải tương đối bằng nhau, tuy nhiờn với cỏc thể loại mà “độ liờn quan” của nú với cỏc thể loại khỏc tương đối lớn, thỡ chỳng ta cần phải tạo ra càng nhiều tập mẫu càng tốt cho thể loại đú. Vớ dụ thể loại “Thế giới”, trong thể loại này đó bao hàm nhiều vấn đề của thế giới
văn bản tập mẫu lớn trong thể loại này để mỏy cú thể “học” một cỏch tốt nhất.