Từ một văn bản ban đầu, các từ phải được tách ra thành các thuật ngữ theo từ điển. Mỗi thuật ngữ là một từ hoặc một cụm từ (ngữ) cĩ nghĩa.
Về từ, tiếng Việt ta cĩ các từ loại sau: 1. Danh từ : nhà cửa, ...
2. Động từ : nhìn, ... 3. Tính từ : xinh đẹp, ... 4. Đại từ : tơi, ...
5. Số từ : một, hai, ... 6. Loại từ : con, cái, ... 7. Quán từ : các, những, ... 8. Trạng từ : trên, dưới, ... 9. Liên từ : và, hay, ... 10. Giới từ : cùng, với, ... 11. Phĩ từ : đã, sẽ, ... 12. Trợ từ : nhỉ, nhé, ...
13. Lai từ : súp văng tơ, gi đơng, …
Các loại từ này lại được phân loại theo cách biểu diễn:
Xây dựng hệ thống Tĩm tắt văn bản tiếng Việt sử dụng các kỹ thuật lượng giá, thống kê
Từ phức : là từ gồm hai tiếng trở lên.
Từ ghép :
o Từ ghép chính phụ : hoa hồng, bài học, ... . o Từ ghép đẳng lập : nhà cửa, đường sá, ... .
Từ láy : sạch sành sanh, linh tinh, ... .
Từ phức ngẫu kết : tắc kè, bù nhìn, ... . Về ngữ, cĩ các loại cơ bản sau:
Ngữ danh từ : ngữ cĩ danh từ là trọng tâm như ‘lớp một’.
Ngữ vị từ : ngữ cĩ động từ hoặc tính từ là trọng tâm như ’nĩng như lửa’.
Ngữ giới từ : ngữ bắt đầu là giới từ như ‘trong nhà’.
Ngồi ra tiếng Việt cịn cĩ một loại ngữ đặc biệt gọi là thành ngữ như ‘con
ơng cháu cha’.
Trong tiếng Anh hầu như khơng cĩ những từ ghép mà các thành phần của từ đĩ khơng làm nên ý nghĩa của từ đĩ, tức ý nghĩa của từ ghép do ý nghĩa của những từ đơn tạo thành. Nhưng tiếng Việt thì khác, từ ghép cĩ rất nhiều trong đĩ cĩ rất nhiều từ ghép kết hợp ngẫu nhiên, ý nghĩa khơng phải do ý nghĩa của các từ đơn hợp thành ví dụ như ‘bồ câu’.
Như vậy, ý nghĩa cơ bản của việc tách thuật ngữ là xác định được trong văn bản đâu là các từ, đâu là các ngữ chính xác, phân chia ra để từ đĩ biểu diễn văn bản.
Thuật tốn 1:
1) Vị trí hiện tại bắt đầu từ đầu văn bản.
2) Từ vị trí hiện tại, đọc vào một mảng tạm cĩ độ dài bằng từ dài nhất cĩ trong từ điển.
3) Hiệu chỉnh lại mảng tạm để mảng chứa một số nguyên từ đơn.
4) Kiểm tra mảng cĩ đang chứa một từ thuộc từ điển khơng, nếu đúng thì ta tìm được một từ.
5) Dịch vị trí hiện tại đi một khoảng bằng chiều dài của từ vừa tìm được. 6) Quay lại bước 2 đến hết văn bản.
Thuật tốn này nếu áp dụng cho tiếng Việt sẽ phân tích được thiếu thuật ngữ. Ví dụ: ‘Quần áo may rất đẹp’ sẽ tách được những thuật ngữ sau ‘quần áo,
Xây dựng hệ thống Tĩm tắt văn bản tiếng Việt sử dụng các kỹ thuật lượng giá, thống kê trên. Vậy suy ra thiếu thuật ngữ. Trên thực tế những từ ghép gây mất thuật ngữ như ‘quần áo’ cĩ rất nhiều trong tiếng Việt. Để tránh việc mất thuật ngữ người ta đã đưa ra thuật tốn 2.
Thuật tốn 2:
1) Vị trí hiện tại bắt đầu từ đầu văn bản.
2) Từ vị trí hiện tại, đọc vào một mảng tạm cĩ độ dài bằng từ dài nhất cĩ trong từ điển.
3) Hiệu chỉnh lại mảng tạm để mảng chứa một số nguyên từ đơn.
4) Kiểm tra mảng cĩ đang chứa một từ thuộc từ điển khơng, nếu đúng thì ta tìm được một từ.
5) Thực hiện loại bớt một từ đơn ở cuối mảng nếu mảng cịn chứa nhiều hơn một từ đơn, nếu mảng chỉ cịn chứa một từ đơn thì nhảy tới bước 7.
6) Quay lại bước 4.
7) Dịch vị trí hiện tại đi một khoảng bằng chiều dài của từ vừa tìm được. 8) Quay lại bước 2 đến hết văn bản.
Thuật tốn này sẽ tìm thừa thuật ngữ, tức nĩ sẽ chấp nhận cả những thuật ngữ khơng mang ý nghĩa trong câu.
Ví dụ: ‘Bồ câu là biểu tượng cho hồ bình’ theo thuật tốn phân tích thuật ngữ trên ta sẽ thu được những thuật ngữ sau ‘bồ câu, bồ, câu, là, biểu tượng, biểu, tượng, cho, hồ bình, hồ, bình’, chúng ta cĩ thể thấy rằng khá nhiều thuật ngữ thu
được khơng cĩ ý nghĩa trong câu trên như ‘bồ, câu, biểu, tượng, hồ, bình’.
Cĩ một số thuật tốn cải tiến từ thuật tốn 2 để giải quyết sai sĩt này, xong chúng đều khĩ khả thi vì cần các cơng thức tính tốn phức tạp hoặc phải sử dụng từ điển đồng nghĩa để tách thuật ngữ. Do vậy tác giả khơng đề cập đến bởi vẫn chưa cĩ từ điển đồng nghĩa cho tiếng Việt. Mặt khác các thuật tốn 1,2 cũng giải quyết cơ bản nhu cầu tách thuật ngữ với độ chính xác chấp nhận được.
Xây dựng hệ thống Tĩm tắt văn bản tiếng Việt sử dụng các kỹ thuật lượng giá, thống kê