Tìm hiểu ứng dụng phương pháp nhận dạng cấu trúc văn phạm trong nhận dạng (nhận dạng chữ,…) và so sánh chất lượng và hiệu năng với phương pháp khác để nhận dạng chữ

MỞ ĐẦU Được sự phân công của ban cán sự lớp, nhóm thực hiện đề tài: Tìm hiểu ứng dụng phương pháp nhận dạng cấu trúc văn phạm trong nhận dạng nhận dạng chữ,… và so sánh chất lượng và hiệ

VIỆN ĐÀO TẠO SAU ĐẠI HỌC

GVHD: PGS.TS Nguyễn Thị Hoàng Lan

Học viên: Hoàng Văn Hải

Nguyễn Văn Dũng Trần Đình Phương

Hà nội, 12/2012

MỞ ĐẦU

Được sự phân công của ban cán sự lớp, nhóm thực hiện đề tài: Tìm hiểu ứng dụng phương pháp nhận dạng cấu trúc văn phạm trong nhận dạng (nhận dạng chữ,…) và so sánh chất lượng và hiệu năng với phương pháp khác để nhận dạng chữ (Đề 13) Trong phạm vi của tiểu luận này, với những kiến thức đã được học

cũng như tự nghiên cứu thêm tài liệu từ các giáo trình, bài giảng và mạng Internet,chúng tôi xin trình bày các nội dung sau:

Phần 1: Sơ lược về nhận dạng

Phần 2: Tìm hiểu ứng dụng phương pháp nhận dạng cấu trúc văn phạm

Phần 3: So sánh chất lượng và hiệu năng với phương pháp khác để nhận

Cho dù đã hết sức cố gắng, nhưng do điều kiện thời gian và khả năng cònnhiều hạn chế, hơn nữa nội dung tiểu luận môn học này là một lĩnh vực tri thứcrộng lớn còn đang được nghiên cứu, đa dạng và rất phức tạp nên chắc chắn khôngthể không tránh khỏi những sai sót và khiếm khuyết Rất mong nhận được sự góp

ý, phê bình, đánh giá của PGS.TS và của các bạn trong lớp để nhóm chúng tôi rútkinh nghiệm và hoàn thiện tốt hơn trong thời gian tới

Chúng tôi xin gửi lời cảm ơn chân thành đến PGS.TS Nguyễn Thị Hoàng Lan

đã giảng dạy kiến thức, cung cấp tài liệu, định hướng và hướng dẫn chúng tôi trongsuốt thời gian qua để nhóm chúng tôi hoàn thành tiểu luận này

Phân công công việc:

Phần 1: Hoàng Văn Hải

Phần 2: Hoàng Văn Hải

Phần 3: Nguyễn Văn Dũng (Phương thức đồ thị)

Phần 3: Trần Đình Phương (Phương thức xâu chuỗi)

PHẦN 1 SƠ LƯỢC VỀ NHẬN DẠNG

1.1 Không gian biểu diễn đối tượng, không gian diễn dịch

a) Không gian biểu diễn đối tượng

Các đối tượng khi quan sát hay thu thập được, thường được biểu diễn bởi tập cácđặc trưng hay đặc tính Như trong trường hợp xử lý ảnh, ảnh sau khi được tăngcường để nâng cao chất lượng, phân vùng và trích chọn đặc tính được biểu diễnbởi các đặc trưng như biên, miền đồng nhất, Người ta thường phân các đặc trưngnày theo các loại như: đặc trưng tô pô, đặc trưng hình học và đặc trưng chức năng.Việc biểu diễn ảnh theo đặc trưng nào là phụ thuộc vào ứng dụng tiếp theo

Ở đây ta đưa ra một cách hình thức việc biểu diễn các đối tượng Giả sử đốitượng X (ảnh, chữ viết, dấu vân tay, …) được biểu diễn bởi n thành phần (n đặctrưng): X = {x1, x2, , xn}; mỗi xi biểu diễn một đặc tính Không gian biểu diễn đốitượng thường gọi tắt là không gian đối tượng X được định nghĩa:

X = {X1, X2, , Xm}

trong đó mỗi Xi biểu diễn một đối tượng Không gian này có thể là vô hạn Đểtiện xem xét chúng ta chỉ xét tập X là hữu hạn

b) Không gian diễn dịch

Không gian diễn dịch là tập các tên gọi của đối tượng Kết thúc quá trình nhậndạng ta xác định được tên gọi cho các đối tượng trong tập không gian đối tượnghay nói là đã nhận dạng được đối tượng Một cách hình thức gọi  là tập tên đốitượng:

 = {w1, w2, ,wk} với wi, i = 1, 2, , k là tên các đối tượng

Quá trình nhận dạng đối tượng f là một ánh xạ f: X >  với f là tập các quy

luật để định một phần tử trong X ứng với một phần tử trong  Nếu tập các quyluật và tập tên các đối tượng là biết trước như trong nhận dạng chữ viết (có 26 lớp

từ A đến Z), người ta gọi là nhận dạng có giám sát Trường hợp thứ hai là nhậndạng không có giám sát Đương nhiên trong trường hợp này việc nhận dạng có khókhăn hơn

1.2 Nhận dạng mẫu thống kê và nhận dạng cấu trúc

Chẳng hạn một hình chữ nhật được định nghĩa gồm 4 đoạn thẳng vuông góc vớinhau từng đôi một Trong mô hình này người ta sử dụng một bộ kí hiệu kết thúc

Vt, một bộ kí hiệu không kết thúc gọi là Vn Ngoài ra có dùng một tập các luật sảnxuất để mô tả cách xây dựng các đối tượng phù hợp dựa trên các đối tượng đơngiản hơn hoặc đối tượng nguyên thuỷ (tập Vt) Trong cách tiếp cận này, ta chấpnhận một khẳng đinh là: cấu trúc một dạng là kết quả của việc áp dụng luật sảnxuất theo theo những nguyên tắc xác định bắt đầu từ một dạng gốc bắt đầu Mộtcách hình thức, ta có thể coi mô hình này tương đương một văn phạm G = (Vt, Vn,

P, S) với:

- Vt là bộ ký hiệu kết thúc,

- V là bộ ký hiệu không kết thúc,

- S là ký hiệu, biểu tượng kết thúc.

Ví dụ, đối tượng nhà gồm mái và tường, mái là một tam giác gồm 3 cạnh là 3đoạn thẳng, tường là một hình chữ nhật gồm 4 cạnh vuông góc với nhau từng đôimột sẽ được mô tả thông qua cấu trúc mô tả dựa vào văn phạm sinh như chỉ ratrong hình 1 dưới đây

Hình 1 Mô hình cấu trúc của một đối tượng nhà.

Việc xác định số lượng và mô tả cấu trúc được thực hiện chủ yếu bằng cách sửdụng:

- Ngôn ngữ hình thức

- Mô tả quan hệ (chủ yếu là đồ thị)

Bước tiếp theo, nhận dạng và phân loại được thực hiện bằng cách sử dụng:

- Phân tích cú pháp (đối với ngôn ngữ hình thức),

- Kết hợp đồ thị quan hệ (đối với mô tả quan hệ)

Trong tiểu luận này chúng tôi sẽ nghiên cứu phương pháp tiếp cận nhận dạngcấu trúc văn phạm So sánh nó với phương pháp nhận dạng chuỗi và đồ thị

PHẦN 2: TÌM HIỂU ỨNG DỤNG PHƯƠNG PHÁP NHẬN DẠNG

CẤU TRÚC VĂN PHẠM TRONG NHẬN DẠNG.

2.1 Phương thức cấu trúc văn phạm

Ngữ pháp cung cấp mô hình được chi tiết hóa làm nền tảng cho việc tạo ra tuần

tự ký tự trong chuỗi

Ví dụ, chuỗi số điện thoại có một cấu trúc chặt chẽ

Tương tự như vậy, hệ thống nhận dạng ký tự quang nhận dạng và biên dịch cácphương trình toán học có sử dụng quy tắc để sắp xếp các biểu tượng toán học.Bài toán nhận dạng, chúng tôi đưa ra một câu (một chuỗi có quy tắc) và ngữpháp (các bộ quy tắc), và xác định xem câu có được tạo ra bởi văn phạm nàykhông

- Biểu tượng gốc: Là một biến đặc biệt, là gốc cho tất cả các chuỗi

- Luật sinh: là các quy tắc sinh (hoặc viết lại quy tắc) để xác định chuyển đổimột tập hợp các biến và biểu tượng vào các biến và biểu tượng khác

Ví dụ, nếu A là biến và c là ký hiệu kết thúc, quy tắc cA -> cc nghĩa là bất kỳthời điểm nào phân khúc cA xuất hiện trong chuỗi có thể được thay thế bởi cc.Ngôn ngữ L(G) được tạo ra bởi một văn phạm G là tập hợp tất cả các chuỗi (cóthể là số vô hạn) có thể được tạo ra bởi G

Hình 2: Cây trên minh họa một câu tiếng Anh được tạo ra bởi văn phạm.

Một vài đặc điểm của phương thức nhận dạng theo cú pháp và cấu trúc nhưsau:

+ Các mẫu được phân tách thành các mẫu nhỏ dựa trên mối quan hệ

+ Các mẫu được hình thành bởi các mẫu nhỏ hơn được phân cấp

+ Các lớp khác nhau có các mẫu nhỏ khác nhau, quy luật giữa các mẫu nhỏkhác nhau có thể khác với các lớp khác nhau

Ví dụ cho một mẫu nhận dạng:

Hình 3 – Phân tích nhận dạng cú pháp một khuông nhạc

Như vậy, đối tượng cần nhận dạng X được miêu tả bởi xâu chuỗi, đồ thị hoặc văn phạm Ta có cấu trúc văn phạm G dựa trên bộ tứ G = (VN, VT, P, S), VN và VT

(VN ∩ VT = ∅)

- VN: tập các từ vựng

- VT: tập các từ vựng được coi là biến

- P là tập quy tắc sinh câu Ví dụ: α → β, α và β là các tập con của V và α ∩ VN

• xn biểu thị sự lặp lại của câu x n lần

• | x | là độ dài của câu x

• nghĩa là η trực tiếp tạo ra câu γ, nghĩa là η = ω1 α ω2, γ = ω1 β ω2, và

có tồn tại một quy tắc sinh α → β

• có nghĩa là η gián tiếp tạo ra câu γ, tức là, có tồn tại một chuỗi cáccâu ς1 , ςn để η = ς1, γ = ςn, và ςi ⇒ ςi +1, i = 1, , n - 1 Các câu ς1, , ςn đượcgọi là nguồn gốc của γ từ η

Nếu G là một cấu trúc văn phạm, khi đó

là một cụm từ có cấu trúc được tạo ra bởi văn phạm

Một ngôn ngữ có thể có nhiều cách đặc tả, do đó cũng có thể có nhiều vănphạm khác nhau sinh ra cùng một ngôn ngữ Hai văn phạm sinh ra cùng một ngônngữ thì gọi là tương đương G1 tương đương G2 <=> L(G1) = L(G2)

Nếu một chuỗi x ∈ L(G) có thể được sinh bởi nhiều cách, văn phạm G làkhông rõ ràng Trong các ứng dụng nhận dạng, một văn phạm rõ ràng là điều mongmuốn, bởi nó có thể phân tích cú pháp.

Hình 4 – Minh họa một hệ thống nhận dạng theo cấu trúc văn phạm

2.2 Ngôn ngữ hình thức

Bằng cách áp đặt một số quy tắc hạn chế trên các luật sinh, Noam Chomsky đềnghị một hệ thống phân loại các văn phạm dựa vào tính chất các luật sinh Hệthống này cho phép xây dựng các bộ nhận dạng hiệu quả và tương thích với từngloại văn phạm Ta có 4 loại văn phạm như sau:

Loại 0: (Văn phạm phi ngữ cảnh hay không hạn chế): Văn phạm không cần

thỏa mãn bất kỳ ràng buộc trên các luật sinh hay quy tắc nào

Loại 1:(văn phạm cảm ngữ cảnh CSG): Nếu văn phạm G có luật sinh dạng

αIβ Iβ β → αIβ xββ Trong đó αIβ ,β là một chuỗi bất kỳ chứa biến trung gian hoặc biểu tượng kết thúc, Iβ là biến trung gian, x là biến trung gian hoặc biểu tượng kết thúc.

Loại 2: (văn phạm phi ngữ cảnh CFG): Nếu văn phạm G có luật sinh dạng A

→ α với A là một biến trung gian và α là một chuỗi ký hiệu kết thúc hoặc biếntrung gian ∈ VT

Loại 3: (văn phạm chính quy RG): Nếu văn phạm G có luật sinh dạng tuyến

tính: αIβ → zβ hoặc αIβ → βz hoặc αIβ → z với αIβ ,β là các biến trung gian và z là chuỗi

ký hiệu kết thúc (có thể là rỗng)

Lớp của văn phạm kiểu i bao gồm tất cả văn phạm kiểu i + 1

2.3 Nhận dạng sử dụng cấu trúc văn phạm

Giả sử có một câu x được tạo bởi ngôn ngữ c có các mẫu hoặc lớp khác nhau.

Câu x được phân loại theo ngữ pháp đã sinh nó, x là một thành viên của ngôn ngữ

L(G i ).

Phân tích cú pháp là quá trinh xử lý ngược, cho x cụ thể, tìm một dẫn xuấttrong G, dẫn đến x

Phân tích cú pháp từ dưới lên bắt đầu với câu x, và tìm cách đơn giản nó, coi

nó là biểu tượng gốc Phương pháp tiếp cận cơ bản là sử dụng các luật sinh trở vềtrước, tức là tìm viết lại quy tắc bên phải của chuỗi hiện tại, và thay thế nó với mộtphân khúc

Phân tích cú pháp từ trên xuống bắt đầu với nút gốc và liên tục áp dụng luậtsinh để tìm gốc của câu x Từ đó xác định được quy tắc sinh

2.4 Ngôn ngữ mô tả hình ảnh sử dụng nhận dạng cấu trúc văn phạm

Hình 5: Sử dụng ngôn ngữ mô tả hình ảnh (PDL) để nhận dạng cấu trúc văn phạmNgôn ngữ mô tả hình ảnh (PDL) là một cách thức đầu tiên để mô tả các mẫuhình ảnh sử dụng ngôn ngữ hình thức

Trong hình trên:

Các ký hiệu (biểu tượng) kết thúc: {t, b, u, o, s, *, - , +}; + đại diện cho 2 vectornối đuôi nhau, * đại diện cho 2 vector cùng điểm bắt đầu, và - đại diện đảo ngượcvector H đại diện cho cuối vector và T đại diện cho đầu vector

Hình 6: Sử dụng PDL để mô tả ống trụ tròn

Hình 7: Sử dụng PDL hình (7b) để mô tả 4 ký tự A, C, P, F như hình (7a)Trong hình trên ta sử dụng PDL để nhận dạng 4 ký tự trên tương ứng với cácluật sinh sau:

A = u + ((u + o + -u) * o) + -u

C = -o + u + u + o

P = u + ((u + o + -u) * o)

F = u + (o * u) + o

Ta có một cấu trúc văn phạm G được sắp xếp trong 2 khối stack như sau:

V T = {table, block, +, ©} (ký hiệu kết thúc)

VN = {DESC, LEFT_STACK, RIGHT_STACK} (biến, ký hiệu không kết

thúc)

S = DESC thuộc V N (Ký hiệu gốc)

P = {DESC -> LEFT_STACK + RIGHT_STACK

DESC -> RIGHT_STACK + LEFT_STACK

LEFT_STACK -> block © block © table RIGHT_STACK -> block © block © table} (Các luật sinh)

Hình 8: Cấu trúc văn phạm biểu diễn 4 khối được sắp xếp trong 2 khối stack Hình

(8ii) biểu diễn (8i) và (8iv) biểu diễn (8iii)

Hình 9: Ví dụ cây cú pháp biểu diễn hình lập phương

Hình 10: Ví dụ cây cú pháp biểu diễn 1 ảnh nhị phân

PHẦN 3: SO SÁNH CHẤT LƯỢNG VÀ HIỆU NĂNG NHẬN DẠNG VỚI PHƯƠNG PHÁP KHÁC ĐỂ NHẬN DẠNG CHỮ.

3.1 Phương pháp suy luận

Trong nhiều ứng dụng, ngữ pháp được thiết kế bằng tay Một phương phápkhác là học ngữ pháp từ các mẫu có sẵn Việc học này được gọi là phương phápsuy luận

Dữ liệu huấn luyện thiết lập H có thể bao gồm mẫu tích cực S+ và mẫu tiêucực S-, có nghĩa là, H = {S+, S-} Mục đích là để học một ngũ pháp Glearn ngữ pháp

để mẫu trong S+ thuộc về ngôn ngữ được xác định bởi ngữ pháp, và các mẫu trong

S- thì không

Ngoài ra, các mẫu huấn luyện có thể được "ngoại suy" Nếu:

S+={ab, aabb, aaabbb, aaaabbbb}

Có thể được phát biểu rằng:

L(Glearn) ={anbn|n≥1} và P={S→ab, S→aSb}

Một văn phạm chính quy có thể được hình thành bằng cách sử dụng một dữliệu huấn luyện theo cách sau

Một điểm yếu rõ ràng về thủ tục là đặc điểm kỹ thuật của quy tắc chỉnh sửathích hợp cho P, VN, VT là khó khăn.Hơn nữa, nếu các quy định là không duy nhất,

số lượng Glearn ngữ pháp có thể phát triển nhanh chóng

3.2 Nhận dạng dựa vào đồ thị.

Một đồ thị có hướng có thể được sử dụng để đại diện cho phụ thuộc phức tạphơn giữa các nguyên thủy (biểu tượng) hơn bằng cách sử dụng các chuỗi biểutượng một chiều Như vậy, so sánh các mẫu đại diện sử dụng đồ thị có thể đượcnhìn thấy trong một cảm giác như là một sự tổng quát so sánh các chuỗi biểutượng

Xem đỉnh N của một đồ thị G = {N, R} (khác nhau) biểu tượng và R cạnhgiữa chúng phản ánh (khác nhau) quan hệ giữa chúng (được gọi là thuộc tính đồthị)

Hình 11: Một ví dụ về mẫu được biểu diễn bằng đồ thị:

Nhận dạng dựa trên so sánh giữa một đồ thị và biểu đồ nguyên mẫu của các lớpkhác nhau bằng cách sử dụng thuật toán K-láng giềng gần nhất.Đồ thị đại diện củamột mô hình quan sát không nhất thiết phải hoàn toàn phù hợp với bất kỳ đồ thịnguyên mẫu Nó có thể chỉ là một đồ thị con của một số đồ thị nguyên mẫu việc

so sánh giống nhau giữa đồ thị được dựa trên sự tương đồng giữa hai đỉnh và cáccạnh của đồ thị so sánh

Đồ thị có thể được biểu diễn bằng cách sử dụng một ma trận kề M có kíchthước p × p, trong đó p là số đỉnh: M (i, j) != 0 nếu có một đỉnh giữa i và j, nếukhông M (i, j) =0

Phép đồng cấu và đẳng cấu của đồ thị:

Đồ thị G1={N1, R1} và G2={N2, R2} được gọi là đồng cấu nếu tồn tại mộtánh xạ f : N1  N2 để nếu có một cạnh giữa đỉnh v1, w1 ∈ N2 Sao cho

(v1, w1)∈R1⇒(f(v1), f(w1))∈R2

Đồ thị được gọi là đẳng cấu nếu nó là đồng cấu và có một ánh xạ f một – mộtcho mỗi đỉnh của N2 tồn tại chính xác một đỉnh tương ứng trong N1 (song ánh),sao cho (v1, w1)∈R1⇔(f(v1), f(w1))∈R2

Nói cách khác, G2 thu được từ G1 bằng cách đánh lại chỉ số các đỉnh

Ví dụ về đồ thị đẳng cấu:

Hình 12: Một ví dụ về đẳng cấu của hai đồ thị vô hướng với p = 4

Trong thực tế đẳng cấu của đồ thị không phải là một biện pháp tốt tương tựtrong việc phân loại, bởi vì nó không cho phép bất kỳ sự khác biệt nào giữa đồthị.Vì thế, rất nhạy cảm với các sai sót trong giai đoạn khai thác tính năng Ngoài

ra, phát hiện của phép đẳng cấu giữa đồ thị tính toán rất đòi hỏi:

 Xem xét so sánh các đồ thị G1 và G2 biểu diễn bằng cách sử dụng ma trận

kề M1 và M2

 Nếu M1 = M2 đồ thị đẳng cấu Sự so sánh này cần được thực hiện cho tất cảcác yếu tố của một ma trận p × p (O (| N1 | 2))

 Nếu M1 != M2, có thể tất cả các cách khác để đánh chỉ số đỉnh M1 phảiđược cố gắng thực hiện

Thông thường, kiểm tra thất bại nếu đồ thị không đẳng cấu được sử dụng.Các

 Số đỉnh (loại nhất định).

 Số cạnh (loại nhất định)

 Số cạnh (loại nhất định) kết nối với đỉnh (của một số loại)

Có tồn tại nhiều thuật toán để cho phép so sánh sự khác biệt giữa các đồ thị.Hai cách tiếp cận điển hình là:

 Vectơ tính năng được xây dựng cho các biểu đồ và các vectơ được so sánh

 Số lượng các phép toán tối thiểu cần thiết để sửa đổi một đồ thị khác được

sử dụng như một biện pháp thay thế

o Chèn và loại bỏ các đỉnh

o Kết hợp và chia tách các đỉnh

o Thay đổi loại của các đỉnh

o Chèn và loại bỏ các cạnh

o Thay đổi các loại của cạnh

3.3 Nhận dạng dựa trên đối sánh cấu trúc xâu chuỗi

Phân tích cấu trúc của một chuỗi kí tự có nghĩa là kiểm tra cấu trúc đó có đượcchấp nhận hay không, đó là, nếu nó có thể được tạo ra bằng cách sử dụng các quytắc ngữ pháp

Cách xây dựng:

HiHình 13: Bộ nhận dạng