6 Chương 4 Bài toỏn phõn loại văn bản tiếng việt và giải phỏp
6.2.4Font được sử dụng trong tiếng việt
Một trong những vấn đề đặc trưng của tiếng Việt đú chớnh là sự đa dạng húa cỏc bộ mó Font tiếng Việt tương ứng với cỏc chương trỡnh soạn thảo tiếng Việt khỏc nhau, vớ dụ: ABC, BKED, VIETRES, VIETKEY,... Tổng kết lại cú thể phõn loại 3 loại Font tiếng Việt chủ yếu sau:
Font 1 Byte: Vietkey, TCVN3 5712, VISCII, VIETWARE_F,...
Font 2 Byte: VNI-WIN, BK tp HCM2, VIETWARE_X...
Font tổ hợp (combine): Microsoft CP 1258, IBM CP 01129,...
Trong đú:
• Font 1 Byte: là Font tiếng Việt được xõy dựng dựa trờn cỏc kớ tự chuẩn đó cú
từ trước. Do khụng đủ mó mở rộng nờn nờn chữ hoa và chữ thường được thể hiện trờn 2 Font khỏc nhau.
• Font 2 Byte: là loại Font ghộp, kớ tự tiếng Việt sẽ được biểu diễn qua hai
byte: byte đầu tiờn là kớ tự trong bảng chữ cỏi tiếng Anh, byte thứ hai là kớ tự dấu. Do tiếng Việt chỉ cú 5 dấu (huyền, sắc, ngó, nặng, hỏi) nờn chỉ cần ớt mó mở rộng để thể hiện tiếng Việt. Do đú cú thể biểu diễn cả chữ hoa và chữ thường trong cựng một Font chữ.
• Font tổ hợp: tương tự như Font 2 byte tiếng Việt là tổ hợp ghộp lại giữa chữ cỏi tiếng Anh và dấu tiếng Việt, quỏ trỡnh này được thực hiện ngay lỳc gừ và được quản lý bởi cỏc chương trỡnh quản lý Font riờng biệt, hiện chỉ cài đặt trờn hệ điều hành AIX của IBM. So với Font 2 byte thỡ Font tổ hợp hoàn chỉnh hơn do chỉ dựng một mó mở rộng cho cả 5 dấu trong khi Font 2 byte dựng riờng từng dấu nờn Font 2 byte sẽ cú nhiều mó cho từng kớ tự khỏc nhau.
Cỏc đặc trưng riờng của từng loại Font chữ sẽ phải được chỳ ý trong cỏc hệ thống khai phỏ dữ liệu văn bản tiếng Việt. Vớ dụ: Font ABC thường cú định dạng “:Vn(xxxx).nf”. Font VNI: “VNI-xxx.TTF”,... Thụng thường hệ thống sẽ xõy dựng một mỏy đoỏn nhận kớ tự đầu vào để thực hiện nhận dạng Font chữ của văn bản gốc, sau đú chuyển tất cả về một mó Font chuẩn do hệ thống quy ước