Chương 3. NHẬN DẠNG CHỮ NÔM BẰNG PHƯƠNG PHÁP GỐC TỪ
3.3. Nhận dạng gốc từ
3.3.3. Nhận dạng gốc từ
Mô hình Entropy cực đại là một nền tảng cho việc tích hợp thông tin từ nhiều nguồn thông tin hỗn tạp phục vụ cho việc phân lớp. Dữ liệu cho một bài toán phân lớp được mô tả như một số lượng các đặc trưng (thường là rất lớn).
Các đặc trưng này có thể khá phức tạp và cho phép người thực nghiệm dùng các tri thức đã có để xác định loại thông tin nào đƣợc trông đợi là quan trọng cho việc phân lớp. Mỗi đặc trưng tương ứng với một ràng buộc trong mô hình.
Chúng ta sẽ chọn mô hình Entropy cực đại, mô hình với Entropy lớn nhất trong tất cả các mô hình thoả mãn ràng buộc. Điều này thoạt nhìn có vẻ nhƣ là một sai lầm, vì thường chúng ta cố gắng cực tiểu hoá Entropy của mô hình, nhưng ý tưởng ở đây là chúng ta không muốn vượt ngoài giới hạn của dữ liệu. Nếu chúng ta chọn mô hình có Entropy nhỏ hơn, chúng ta có thể thêm vào mô hình các ràng buộc thông tin mà không đƣợc điều chỉnh bằng các bằng chứng thực nghiệm.
Chọn mô hình có Entropy cực đại là do mong muốn duy trì càng nhiều khả năng không chắc chắn càng tốt [13].
Như vậy, để áp dụng phương pháp Entropy cực đại vào việc phân lớp, vấn đề trọng tâm là lựa chọn đặc trƣng và tìm cách xây dựng đƣợc phân bố xác suất thoả mãn các ràng buộc và có Entropy lớn nhất.
Gọi A: tập các nhãn (lớp). A={a 1 , a 2 , …., a n }
B: Tập các đối tƣợng cần phân loại. B={b 1 , b 2 , …, b m }
= A x B : Không gian tích Đề các của tập nhãn và tập đối tƣợng
Mỗi đối tượng b k có một tập các đặc trưng tương ứng. Mỗi đặc trưng là một hàm nhị phân mà giá trị của nó tiêu biểu cho một thuộc tính của cặp (nhãn, đối tƣợng). Tùy từng bài toán cụ thể mà ta có cách xác định đặc trƣng khác nhau, và có thể áp dụng nhiều cách xác định đặc trƣng khác nhau cho cùng một bài toán.
Với mô hình Entropy cực đại, mỗi đặc trƣng đƣợc xem là một ánh xạ từ = A x B vào {0, 1} nhƣ sau:
Với mỗi x = (a, b), a A, b B, ta có:
1 nếu b có nhãn là a và j là một thuộc tính của (a, b) fj(a,b)= 0 nếu ngƣợc lại
Việc xác định j là một thuộc tính của (a, b) nhƣ thế nào sẽ cho ta những cách xác định feature khác nhau. Trong phần tiếp theo tác giả sẽ trình bày phướng pháp xác định đặc trưng cho bài toán nhận dạng gốc từ trong chữ Nôm.
Với mỗi đặc trƣng đƣợc xác định sẽ cho ta một ràng buộc cần thỏa mãn đối với mô hình phân bố xác suất cần tìm để phân lớp là:
, f j (3.4) Trong đó, E p f j là kỳ vọng của feature f j đối với mô hình phân bố xác suất cần tìm, còn E ~ p f j là kỳ vọng của phân bố xác suất tiền nghiệm thu đƣợc từ tập training.
(3.5)
(3.6)
j p j
p f E f
E ~
x
j j
p f p x f x
E ( ) ( )
N
i j j
j
p N
x f x
f x p f
E ~ 1
) ( )
( )
~ (
Mô hình phân bố xác suất cần tìm để phân lớp cho đối tƣợng b k là P(b k ) phải thỏa mãn tất cả các ràng buộc trên và có entropy lớn nhất. Áp dụng khai triển Lagrange, chứng minh đƣợc phân bố xác suất đó sẽ có dạng:
(3.7)
Với (3.8) Để tính đƣợc các p(x), điều kiện cần và đủ là tính các j . Hiện nay có một số thuật toán đƣợc sử dụng phổ biến để tính các j nhƣ GIS, IIS, L-BFGS [13].
Thuật tuán GIS:
1. Tính d j , j=1, …, k+1
2. Khởi tạo ( j 1 ) (một giá trị bất kì, v.d, 0) 3. Lặp đến khi hội tụ
Với mỗi j
3.1 Tính E ( ) f p ( ) ( x ) f j ( x )
x n
p n j
trong đó:
Z x e
p
x f n
j k j
n
j ( )
) (
1 1
) (
) (
3.2 Cập nhật 1 (log )
) (
) ( ) 1 (
p j n i
j n
j E f
d
C n
3.3.3.2. Áp dụng mô hình Entropy cực đại nhận dạng gốc từ.
Xác định đặc trưng của gốc từ cho mô hình Entropy cực đại trong việc nhận dạng
Bài toán nhận dạng chữ cũng là một dạng của bài toán phân lớp. Các đối tƣợng cần phân lớp ở đây là các ảnh gốc từ của chữ Nôm, và các lớp là tập các gốc. Để áp dụng mô hình Entropy cực đại cho bài toán này, ta cần xác định các đặc trƣng cho các đối tƣợng cần phân lớp.
Do đối tƣợng phân lớp ở đây là ảnh, nên một cách tự nhiên, ta sẽ nghĩ tới việc xác định các đặc trƣng liên quan đến giá trị điểm ảnh. Vì đây là các ảnh chữ nên ta có thể thực hiện bước chuẩn hóa dữ liệu để đưa ảnh về dạng ảnh đen-
Z x e
p
x f j
k
j j ( )
1
) (
x
x f
k
j j j
e
Z 1
) (
trắng. Lúc này ta có thể xem các điểm ảnh nhận các giá trị nhị phân (0,1). Nhƣ vậy, 1 bức ảnh gốc từ kích thước N x N sẽ tương đương với một ma trận vuông C có N chiều với các phần tử nhận 1 trong 2 giá trị là 0 hoặc 1.
Ta trải ma trận C bằng cách đặt các hàng nối tiếp nhau từ hàng 1 đến hàng N. Ta thu được vector V tương ứng có giá trị như sau:
C(i,j)=V((i-1)*N + j-1) (với i = 1..N, j= 1..N)
Lúc này mỗi ảnh gốc từ N x N sẽ tương ứng với một vector nhị phân có độ dài N*N .
Với mỗi cặp (chữ a, ảnh b), f j (a,b) đƣợc xác định nhƣ sau:
j=(điểm ảnh thứ i bằng k, chữ w) (k {0,1})
1 nếu a=w và điểm ảnh thứ i của b bằng k f j (a,b) =
0 nếu ngƣợc lại
Như vậy với một ảnh có kích thước N x N thì số lượng đặc trưng tương ứng với nó là N*N*2*M (M là số lƣợng các gốc từ).
Hình 3.15 mô tả quá trình nhận dạng gốc từ dựa vào mô hình Entropy cực đại.
Hình 3.15. Nhận dạng gốc từ dựa trên mô hình Entropy cực đại
Trong luận văn, chúng tôi đã cài đặt và thử nghiệm phương pháp Entropy cực đại để nhận dạng gốc từ theo quy trình trong Hình 3.15. Tập đặc trƣng của gốc từ đƣợc minh họa nhƣ trong Hình 3.16. Mỗi đặc trƣng là tọa độ điểm ảnh của các gốc từ; mỗi đặc trưng được ngăn cách bằng một khoảng trống; trường cuối cùng là nhãn của gốc từ (trong trường hợp huấn luyện). Gốc từ này được tách ra từ ảnh chuẩn 100x100 của ký tự và đƣợc giữ nguyên vị trí trong ký tự.
Hình 3.18 minh họa các gốc từ đƣợc phân tách và nhận dạng từ một số chữ Nôm trong Hình 3.17.
Các thành phần gốc từ
Trích chọn đặc trƣng
Nhận dạng theo MEM
Tập gốc từ
Bắt đầu
Huấn luyện
Kết thúc
CSDL nhận dạng
Tập đặc trƣng
Hình 3.16. Biểu diễn đặc trưng của gốc từ trong chữ Nôm
Hình 3.18. Kết quả tách gốc từ