6 Chương 4 Bài toỏn phõn loại văn bản tiếng việt và giải phỏp
6.4.1.2 Tỏch term và loại bỏ Stopword
Nội dung của văn bản thể hiện ở trong tập hợp cỏc term mà nú chứa, bước đầu tiờn của tiờn của xử lý văn bản là tỏch term. Chức năng này sẽ tỡm ra một tõp hợp cỏc term xuất hiện trong văn bản và sau đú chỉ giữ lại những term cú ý nghĩa, đấy là những term cũn lại sau khi loại bỏ stopword. Cỏc term sau khi tỏch được ra sẽ khụng khụi phục lại được văn bản gốc, song ở đõy chỳng ta khụng quan tõm đến việc khụi phục văn bản gốc.
Thuật toỏn sử dụng tỏch term như sau (tỏch từ bờn phải):
1. Trước hết chỳng ta tỏch văn bản thành nhiều cầu nhỏ hơn, để cú cỏc cõu truy vấn nhỏ hơn. Cỏc cõu được tỏch theo cỏc dấu cõu như : “.”, “, “ , “;” , “:”,”\t”,”!”…
lượt xột từng phần của truy vấn (đầu tiờn là toàn bộ), kiểm tra xem tập hợp cỏc tiếng đang xột theo thứ tự cú tạo thành một term trong từ điển khụng? Nếu khụng loại dần từng tiếng từ phớa bờn phải, nếu cú ta xỏc định một term và tiếp tục kiểm tra phần cũn lại của truy vấn xem cú term nào khụng. Cứ như vậy cho đến khi đó kiểm tra hết mọi tiếng của truy vấn
3. Lặp lại quỏ trỡnh cho mọi truy vấn của văn bản gốc cho tới khi kết thỳc văn bản. Ta thu được một tập cỏc term thụ.
Sơ đồ thuật toỏn như sau :
Hỡnh 4.11. Sơ đồ thuật toỏn tỏch term
Sau khi tỏch term ta sẽ cú một tập cỏc term ơ dạng thụ, việc tiếp theo là chỳng ta loại bỏ cỏc từ ớt cú ý nghĩa, những từ cựng một lỳc xuất hiện nhiều ở nhiều văn bản, đú là cỏc liờn tư, thục từ, hư từ… vớ dụ : “nếu”, “thỡ”, “nếu khụng thỡ”, “ hầu như là “... những stopword này chỳng ta đó cú một danh sỏch với hơn 1400 từ. Việc tạo ra một danh sỏch stopword càng nhiều với độ chớnh xỏc cao sẽ giỳp cho việc tỏch term từ văn bản chớnh xỏc hơn, cỏc term được tỏch ra sẽ cú ý nghĩa lớn hơn trong việc phõn loại văn bản sau này.