Bài giảng lý thuyết nhận dạng

Chức năng cơ bản của hệ nhận dạng tự động – Định nghĩa Chức năng cơ bản của hệ nhận dạng tự động là pháthiện và tách ra các dấu hiệu đặc trưng cho các dạng trong tậpdạng, đồng thời phân

Bài Giảng

Lý thuyết nhận dạng

1 Cơ sở lý luận của lý thuyết nhận dạng 6

1.1 Khái niệm cơ bản về nhận dạng 6

1.1.1 Sự ra đời của khoa học nhận dạng và hai định hướng trong khoa học nhận dạng(KHND) 6

1.1.2 Một số ví dụ về nhận dạng dẫn đến định nghĩa tổng quát về dạng 7

1.1.3 Định nghĩa tổng quát về dạng 8

1.2 Một số bài toán cơ bản làm cơ sở cho việc xây dựng hệ nhận dạng 9

1.2.1 Bài toán mã hóa dạng 9

1.2.2 Bài toán về việc xử lý sơ bộ và lựa chọn các dấu hiệu 11

1.2.3 Bài toán xây dựng hệ nhận dạng 12

1.2.4 Bài toán đánh giá tham số 12

1.2.5 Bài toán mô phỏng dạng 12

1.3 Một số nguyên tắc và phương pháp luận làm cơ sở để xây dựng hệ nhận dạng 13

1.3.1 Mội số nguyên tắc cơ bản 13

1.3.2 Một số phương pháp luận làm cơ sở cho việc xây dựng hệ nhận dạng tự động 13

1.4 Về một số phương pháp toán học xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động 14

1.4.1 Một số khái niệm cơ bản 14

1.4.2 Xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động 15

2 Các hàm quyết định phân lớp dạng 18 2.1 Hàm quyết định và các yếu tố xác định hàm quyết định 18 2.2 Nhận dạng bằng các hàm quyết định tuyến tính 21

2.3 Một số trường hợp phân lớp dạng bằng hàm quyết định tuyến tính 23

2.4 Nhận dạng bằng hàm quyết định suy rộng 282.4.1 Dạng tổng quát của các hàm suy rộng 282.4.2 Một số biến dạng quan trọng của các hàm suy rộng 292.5 Các phép lưỡng phân tập dạng 312.5.1 Khái niệm về phép lưỡng phân và có ý nghĩa của

phép lưỡng phân 312.5.2 Xác định bậc lưỡng phân bằng hàm suy rộng 342.6 Phương pháp xâu dựng hàm tuyến tính trên cơ sở xấp xỉ

bởi 1 hệ các đa thức trực giao, trực chuẩn 352.6.1 Xây dựng hệ trực giao, trực chuẩn các hàm 1 biến 352.7 Xây dựng hệ trực giao, trực chuẩn đầy đủ, các hàm nhiều

biến trên cở sở hệ trực giao, trực chuẩn đầy đủ các hàm

1 biến 392.7.1 Xây dựng một số hệ đa thức trực giao, trực chuẩn

đầy đỷ 1 biến đặc biệt và áp dụng xây dựng hệ đathức trực giao, trực chuẩn nhiều chiều 402.8 Phương pháp xây dựng các hàm quyết định dựa trên cở

sở xấp xỉ bởi hệ các đa thức trực giao, trực chuẩn 43

3 Phân lớp dạng bằng các hàm khoảng cách 453.1 Đặc trưng của việc phân lớp dạng bằng các hàm khoảng

cách 453.1.1 Khái niệm khoảng cách, hàm khoảng cách 453.1.2 Đăc trưng của việc phân lớp dạng bằng các hàm

khoảng cách 463.2 Một số phương pháp phân lớp dạng theo tiêu chuẩn cực

tiểu khoảng cách 463.2.1 Phương pháp 1 463.2.2 Phương pháp 2 493.3 Một số thuật toán phân hoạch tập dạng theo tiêu chuẩn

cực tiểu khoảng cách 523.3.1 Khái niệm độ đo đồng dạng và một số độ đo đồng

dạng tiêu biểu 523.3.2 Một số thuật toán phân hoạch dạng theo tiêu chuẩn

cực tiểu khoảng cách 55

4 Phân lớp dạng bằng các hàm xác suất 664.1 Phân lớp dạng như là một bài toán về lý thuyết các phép

giải thống kê 66

4.1.1 Xác định bài toán phân lớp dạng như là 1 trò chơi

mang đặc trưng thống kê 664.1.2 Xây dựng tiêu chuẩn nhận dạng cho việc phân lớp

dạng theo nghĩ xác suất 684.1.3 Large Xây dựng các hàm quyết định phân lớp dạng

theo quy tắc phân lớp Bayets 704.2 Phân lớp dạng theo quy tắc phân lớp Bayets trong trường

hợp các dạng tuân theo luật phân phối chuẩn 714.2.1 Nhắc lại đặc trưng của các biến ngẫu nhiên có

phân phối chuẩn 714.2.2 Xây dựng tiêu chuẩn nhận dạng, hàm quyết định

theo quy tắc phân lớp Bayets có các dạng có phânphối chuẩn 724.3 Một số đánh giá xác suất sai số của phân lớp Bayets trong

một số trường hợp đặc biệt 774.3.1 Đánh giá sai số của phân lớp Bayets trong trường

hợp phân phối chuẩn 774.3.2 Mở rộng đánh giá cho trường hợp phân lớp dạng

được thưc hiện bởi các hàm tuyến tính 804.4 Giới thiệu một số hàm mật đọ phân phối quan trọng trong

nhận dạng 814.4.1 Hàm mật độ dạng tổng quát 814.4.2 Một số hàm mật độ dạng Peason 814.5 Phương pháp xây dựng các hàm quyết định phân lớp dạng

theo quy tắc phân lớp Bayets trên cơ sở xấp xỉ các hàm

mật độ phân phốix ác suất 834.5.1 Xây dựng các công thức truy toán tính kỳ vọng,

ma trận hiệp biến của các dạng thuộc cùng 1 lớp 834.5.2 Xây dựng xấp xỉ mật độ phân phối bởi hệ hàm 854.5.3 Xây dựng các hàm quyết định phân lớp dạng theo

quy tắc phân lớp Bayets trên cơ sở xâp xỉ các hàmmật độ phân phối 88Tài liệu tham khảo 92

Lời nói đầu

Theo như yêu cầu của 1 số anh em, mình đã biên soạn xong quyểnnày, trong quá trình tang gia bối rối viết không tránh khỏi những saisót và phải nói là mệt mỏi không biết diễn tả bằng từ gì nữa =)), vì vậybạn nào có ý kiến thì vả vỡ mồm luôn :v

Cơ sở lý luận của lý thuyết nhận

dạng

1.1 Khái niệm cơ bản về nhận dạng

1.1.1 Sự ra đời của khoa học nhận dạng và hai định hướng

· Khứu giác: Nhận biết được các dạng mùi

· Vị giác: Nhận biết các dạng vị như chua, chát, thối rữa

· Xúc giác: Nhận biết dạng tròn, nhẵn, xù xì, ghồ ghề

∗ Đặc biệt, con người còn nhận được các đối tượng trừu tượngthông qua các phán đoán, lý luận, suy diễn, nhận dạng khôngchỉ một đối tượng cụ thể mà cả một lớp đối tượng có cùngtính chất đặc trưng chung

Ví dụ 1.1 Nhận dạng thời tiết của một ngày (tháng, năm)

⇒ Dạng thời tiết ngày B: Tương tự ngày A nếu các thông số

đo đạc xấp xỉ các thông số đo đạc ngày A

– KHND ra đời còn do các yêu cầu cấp bách của việc sử lý thôngtin ngày càng phát triển, gia tăng do nền văn mình của con ngườingày càng hiện đại

b Hai định hướng cơ bản trong KHND

– Định hướng 1: Nghiên cứu các khả năng ND và bản chất tựnhiên của con người và một số vật sống khác có

Hướng này liên quan đến ngành nghiên cứu:tâm lý học, sinh học,vật lý học

– Định hướng 2: Phát triển lý thuyết và các phương pháp xâydựng các thiết bị nhằm giải các bài toán nhận dạng riêng biệtcho từng lĩnh vực ứng dụng nhất định

Hướng này liên quan đến các KH công nghệ, các ứng dụng tinhọc, máy tính điện tử, khoa học máy tính, kỹ thuật học

Quán trình nhận dạng ⇒ Dạng thời tiết của ngày A.

Ngày B có các thông số xấp xỉ thông số ngày A hay với các điều kiện

mà tương tự như ngày A ⇒ Dạng thời tiết ngày B tương tự dạng thờitiết ngày A

Ví dụ 1.3 Chuẩn đoán bệnh y học là một sự nhận dạng Bệnh nhân Ađến bác sĩ, bác sĩ cần phải biết được các triệu chứng bệnh trên các dấuhiệu:

• Nhiệt độ cơ thể

• Thực hiện các xét nghiệm

– Máu

– Nước tiểu, phân

– Điện tim, não đồ

– Đo huyết áp

– Chụp X- Quang

Quá trình nhận dạng ⇒ Dạng bệnh của người A

Bệnh nhân B có triệu chứng tương tự như người A thì bệnh nhân B mắcbệnh tương tự như bệnh nhân A

1.1.3 Định nghĩa tổng quát về dạng

Tất cả các đối tượng (phần tử) có cùng chung một số tính chất đặctrưng điển hình và chỉ những đối tượng đó nhóm họp với nhau tạo thànhtừng lớp xác định Dạng là sự mô tả một phần tử bất kỳ được lấy làmđại diện cho những phần tử khác trong cùng một lớp mà được đồngnhất với phần tử đại diện (dạng mẫu) bởi các tính chất chung đó Do

đó, nhận dạng chính là đoán nhận cả một lớp dạng, phân biệt lớp dạngnày với các lớp dạng khác

a Chức năng cơ bản của hệ nhận dạng tự động

– Định nghĩa Chức năng cơ bản của hệ nhận dạng tự động là pháthiện và tách ra các dấu hiệu đặc trưng cho các dạng trong tậpdạng, đồng thời phân hoạch tập dạng thành từng lớp xác địnhsao cho mỗi lớp có ít nhật một dạng mẫu (dạng đại diện cho lớp)được lưu trữ trong bộ nhớ của hệ nhận dạng

Nhận ra các dạng mới và xếp phân lớp chúng hoăc xây dựngthêm các lớp dạng mới.

– Ví dụ minh họa cho chức năng của hệ nhận dạng Giả suwe cótập dạng gồm tất cả dạng đường cong trong mặt phẳng và hệnhận dạng tự động đã phân hoạch được chúng thành từng lớpxác định, mỗi lớp có những dạng mẫu đã được bao quản (lưutrữ) trong bộ nhớ của hệ nhận dạng Vấn đề đặt ra là nhận dạngchữ COINS Ta có sơ đồ sau:

1.2 Một số bài toán cơ bản làm cơ sở cho việc xây dựng hệ

nhận dạng

1.2.1 Bài toán mã hóa dạng

Định nghĩa

Bài toán mã hóa dạng là bài toán mà mỗi 1 đại lượng vật lý đo được

từ dạng đều được xem là 1 dấu hiệu đặc trưng cho dạng và dạng sẽ được

đồng nhất với 1 bộ các dấu hiệu đặc trưng cho chúng.

Giả sử có 1 dạng x và từ x ta xác định 1 bộ n dấu hiệu đặc trưng

x1, · · · , xn từ kết quả của n phép đo thì x đồng nhất (x1, · · · , xn)T xemnhư một véc tơ trong KG Euclid n chiều Rn nào đó Vậy 1 đường bất kỳ

có thể mã hóa được thành 1 véc tơ trong không gian KG Euclid n chiều

Rn

Một số ví dụ

Ví dụ 1.4 Mã hóa dạng chữ số 5 Trên mặt phẳng chứa chữ số 5, tadựng hệ tọa độ 0xy, sau đó vẽ 1 họ các đường thẳng song song với 0x,0y tạo thành một hệ mắt lưới hình chữ nhật phủ số 5

Giả sử có n mắt lưới phủ chữ số 5, ký hiệu:

xj =  1nếu mắt lưới thứ j ∩ 5 = φ

0nếu mắt lưới thứ j ∩ 5 6= φ

⇒ 5 ≡ (x1, · · · , xn)T trong đó xj nhận các giá trị là 0 hoặc 1 Như vậy,

1 chữ số có thể đồng nhất với 1 véc tơ nhị phân

Ví dụ 1.5 Mã hóa 1 dạng sóng âm thanh Giả sử cho một sóng âmf=f(t) như hình vẽ Giả sử tại mỗi thời điểm ti ta đo được bước sóng

f (ti) với mọi i=1,2, ,n ⇒ Sóng âm f = (f (t1, · · · , f (tn))) ∈ Rn

Ví dụ 1.6 Mã hóa 1 dạng thời tiết Để có được dạng thời tiết của 1ngày A, ta cần phải biết được (đo được) các đại lượng sao:

• Sứ gó x1

• Độ ẩm x2

• Đo mức nước thủy văn x3

• Đo nhiệt độ x4

⇒ Thời tiết ngày A=(x1, x2, x3, x4)T

1.2.2 Bài toán về việc xử lý sơ bộ và lựa chọn các dấu hiệuĐịnh nghĩa

Là bài toán tiếp sau bài toán mã hóa, mục đích nhằm lựa chọn ra cácdấu hiệu đặc trưng điển hình, loại bỏ các dấu hiệu phụ để giảm bới kíchthước của dạng, giảm mức đo phức tạp trong tính toán

Ví dụ 1.7 Đối với dạng sóng âm f=f(t) chỉ cần đo bước sóng cực đại

và các bước sóng cực tiểu cũng đủ tạo ra được 1 bộ dấu hiệu đặc trưngcho f

1.2.3 Bài toán xây dựng hệ nhận dạng

• Yêu cầu 2: Tiếp nhận dạng mới, phân lớp chúng, hoặc xây dựng lớpmới

Bài toán xây dựng hệ nhận dạng là bài toán được đặt ra sau hai bàitoán trên và bài toán được giải quyết qua hai giai đoạn

• Giai đoạn 1: Căn cứ vào các dấu hiệu đặc trưng của các dạng phânhoạch tập dạng ra thành từng lớp xác định

• Giai đoạn 2: Nhận dạng các dạng mới và xếp lớp chúng

1.2.4 Bài toán đánh giá tham số

Trong quá trình giải quyết bài toán dạng có thể nảy sinh một loạt cácthông số cần phải được xử lý 1 cách tối ưu Như vậy, ta thường có bàitoán đánh giá thông số Các thông số thường được đánh giá thông quacác công cụ của lý thuyết tối ưu

1.2.5 Bài toán mô phỏng dạng

Là bài toán liên quan đến việc sử lý thông tin chứa trong văn cảnh,lời nói hoặc chữ viết Nếu thông tin chỉ được chứa trong văn cảnh hoặc

mô tả bằng lời thì hệ nhận dạng tự động cần phải xác định ra 1 loạt cácdấu hiệu đặc trưng để trên cở sở đó mô phỏng được dạng Có thể xácđịnh được các dấu hiệu đặc trưng này nhờ các xác suất có điều kiện, cácthống kê ngôn ngữ học và các phương pháp xấp xỉ, và bộ các dấu hiệuđặc trưng thu được được gọi là ngữ pháp của dạng

1.3 Một số nguyên tắc và phương pháp luận làm cơ sở để xây

dựng hệ nhận dạng

1.3.1 Mội số nguyên tắc cơ bản

1 Nguyên tắc liệt kê bộ phận

Là nguyên tắc liệt kê các thành phần của dạng mà theo đó chỉ nhữngthành phần có tính chất đặc trưng điển hình cho dạng được giữ lại,còn sẽ được (đếu dịch được) những thành phần không cần thiết.Khi 1 dạng đã mã hóa được dựa vào hệ nhận dạng thì hệ nhận dạng

sẽ liệt kê và so sánh các dấu hiệu đặc trưng của dạng với các dấuhiệu đặc trưng của dạng mẫu đã được lưu trữ trong bộ nhớ của hệnhận dạng

2 Nguyên tắc đồng nhất các tính chất

Các dạng mới sẽ được so sánh với các dạng mẫu thuộc từng lớp xácđịnh của hệ nhận dang, hệ nhận dạng sẽ đồng nhất các dấu hiệuđặc trưng của dạng mới với các dấu hiệu đặc trưng của dạng mẫu

và tiến hành phân lớp dạng mới (nhận dạng)

3 Nguyên tắc "Classteration":

Là nguyên tắc chuyển từng lớp dạng đã được mã hóa xác định củatập dạng vào trong những tập compact tách biệt của không gianEuclid tương ứng (chẳng hạn là yêu cầu tách biệt) và được gọi lànhững "Classter" Từ những Classter tách biệt này việc phân lớpcác dạng mới được thực hiện mang tính định hướng và rõ rànghơn.(Chính xác hơn những lớp này được bao bọc trong những biểucầu tách biệt gọi là nhữn "Classter")

1.3.2 Một số phương pháp luận làm cơ sở cho việc xây dựng

hệ nhận dạng tự động

1 Phương pháp Heuristic (tìm kiếm)

Trực giác và kinh nghiệm của con người được lấy làm cơ sở củaphương pháp này, trong đó các nguyên tắc liệt kê và đồng nhất, cáctính chất được sử dụng

2 Phương pháp toán học

Thông thường có 2 phương pháp

– Phương pháp đơn hình: là phương pháp xây dựng các thuật toánlặp trong việc phân hoạch tập dạng và nhận dạng.

– Phương pháp thống kê : Là phương pháp sử dụng lý thuyết xácsuất thống kê để phân lớp dạng có mức rủi ro (tổn thất) trungbình thấp nhất

3 Phương pháp ngôn ngữ

Nếu việc mô ta các dạng được thực hiện bằng phương pháp môphỏng, thì để xây dựng hệ nhận dạng, người ta thường sử dụngphương pháp ngôn ngữ đồng thời với việc sử dụng nguyên tắc đồngnhất các tính chất, yếu tố then chốt của phương pháp này là ở việclựa chọn các phần tử mô phỏng của dạng, đồng thời kết hợp cácphần tử này với các mối tương quan của chúng tạo thành ngữ phápcủa dạng và cuối cùng thực hiện trong ngôn ngữ tương ứng quá trìnhphân tích và đón nhận

1.4 Về một số phương pháp toán học xây dựng tiêu chuẩn

nhận dạng cho hệ nhận dạng tự động

1.4.1 Một số khái niệm cơ bản

1 Khái niệm về các bộ phận cấu thành hệ nhạn dạng

a Khối cảm biến: Là 1 thiết bị dùng để biến các đặc trưng vật lýcủa dạng thành 1 bộ dấu hiệu đặng trưng cho dạng Nói cáchkhacs, khối cảm biến là thiết bị dùng để mã hóa dạng (dạng được

mã hóa thành những véc tơ)

b Khối phân lớp: Là thiết bị dùng để tiếp nhận các dạng đã được

mã hóa từ khối cảm biến phân hoạch thành từng lớp xác địnhcùng với những dạng mẫu tương ứng được lưu trữ vào bộ nhớnhận dạng mới và xếp lớp các dạng mới

2 Khái niệm về sai số trong hệ nhận dạng

Một số hệ nhận dạng được gọi là phạm sai số nếu 1 dạng thực chấtthuộc vào 1 lớp nào đó nhưng hệ nhận dạng lại xếp (phân) dạng đósang 1 lớp khác

Ví dụ: Cho 2 hệ nhận dạng R1, R2 Ta nói hệ R1 tốt hơn R2 nếuxác suất phạm sai (sai số) của hệ R1 nhỏ hơn xác suất sai số của hệ

R2 khi phân lớp dạng.

3 Một số khái niệm xác suất trên nghiệm, mật đọ phân phối xác suất(PPXS), xá suất phân lớp chúng

Giả sử 1 dạng Ω ⊂ Rn đã được phân hoạch thành m lớp xác định

Ω1, Ω2, · · · , Ωm, x là 1 dạng cần được phân lớp Khi đó, xác suấtxuất hiện dạng x trong lớp Ωi ký hiệu là p(Ωi) được gọi là xác suấttiên nghiệm (xác suất ban đầu)của Ωi với mọi i=1,2, ,m

Nếu sự xuất hiện của x trong các lớp đồng khả năng thì các xác suấttiên nghiệm p(Ωi)= 1/m với i=1,2, m

Xác suất có điều kiện p(Ωi/x) được gọi là xác suất phân lớp đúngdạng x vào lớp Ωi

Xác suất có điều kiện p(Ωi/x) là MĐPPXS dạng x vào lớp Ωi

Xác suất p(x) để chỉ xác suất xuất hiện dạng x trong tập dạng

1.4.2 Xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tựđộng

1 Xây dựng tiêu chuẩn tổng quát Giả sử tập dạng ΩØcphnhchthnhmlớp Ω1, Ω2, · · · , Ωm, x là dạng mới cần được phân lớp Để tiện lợi,

ta giới thiệu các xác suất tiên nghiệm bằng nhau, tức là

p(Ω1) = p(Ω2) = · · · = p(Ωm) (∗)Nếu x được phân lớp Ωi thi ta có xác suất phân lớp đúng

pi = p(Ωi/x) = p(xΩi)

p(x) =

p(x/Ωi)p(Ωi)p(xΩ) =

p(xΩi)p(Ωi)p(x

k=1

p(xΩk)

= mp(x/Ωi)p(Ωi)P

k=1

p(x/Ωk)p(Ωk)

(∗)

= mp(x/Ωi)P

k=1

p(x/Ωk)

> mp(x/Ωj)P

k=1

p(x/Ωk)

⇔ p(x/Ωi) > p(x/Ωj)

Từ đó người ta xây dựng được 1 tiêu chuẩn nhận dạng tổng quátDạng mới x sẽ được phân vào lớp mà có xác suất sai số đối vớilớp đó là bé x’ so với tất cả các xác suất sai số đối với các lớpcòn lại Nói các khác x được phân lớp có MĐPPXS là lớn x’ sovới tất cả các MĐPPXS đối với các lớp khác

⇒ Điều đó có nghĩa là x ∈ D nếu p(x/Ωi) > p(x/Ωj) với mọi i6= j, j =1,2, ,m Trường hợp tồn tại lớp Ωk sao cho p(x/Ωi) =p(x/Ωk), đồng thời p(x/Ωk) > p(x/Ωj) với mọi j 6= k , j 6= i thìmáy sẽ phân 1 cách tùy ý vào Ωi hoặc Ωk

2 Ví dụ về xây dựng tiêu chuẩn nhận dạng trong TH các dạng tuântheo phân phối chuẩn

a Nhắc lại định nghĩa về biến ngẫu nhiên tuân theo luật phân phốichuẩn (ppc)

Dạng x = (x1, · · · , xn) ∈ Rn xem như là 1 biến ngẫu nhiên nchiều được gọi là tuân theo luật ppc nếu hàm MĐPPXS (ppxs)của nó có dạng

Với

cij = cov(xi − xj) = E {(xi − mi)(xj − mj)}

⇒ c = E {(x − m)(x − m)0} (C- MT đối xứng xác định dấu)Giả sử Ω - tập dạng đã được phân hoạch thành M lớp Ω1, · · · , ΩMgồm các dạng tuân theo luật chuẩn

Giả sử x là 1 dạng cần được phân lớp Từ định nghĩa ⇒ MĐPPXScủa dạng x đối với lớp Ωi là:

mi = (mi1, · · · , min)0, mij = E(xj/Ωi), ∀i = 1, · · · , M

Ma trận hiệp biến : ci = (cipq)n×nvới cipq = E(xp− mi

p)(xq− mi

q)

Để tiện lý luậ ta giả giử các xác suất trên nghiệm bằng nhaup(Ωi) = 1/M, ∀i = 1, · · · , M Các ma trận hiệp biến như nhaucho tất cả các lớp, tức là

c1 = · · · = cM = cTheo tiêu chuẩn nhận dạng tổng quát, x được phân vào lớp Ωi

nếu p(x/Ωi) > p(x/Ωj), ∀i 6= j, j = 1, · · · , M

(∗) ⇔ p(x/Ωi)

p(x/Ωj) > 1 ⇔ ln

p(x/Ωi)p(x/Ωj) > 0Đặt dij(x) = ln p(x/Ωi )

dij(x) = x0c−1(mi − mj) − 1

2(mi+ mj)c

−1(mi − mj)công thức trên là tổ hợp tuyến tính của các biến

b Phát biểu tiểu chuẩn nhận dạng Dạng x được phân vào lớp Ωi (trongtrường hợp các dạng tuân theo luật chuẩn với cùng ma trân hiệp biếncho các lớp và xác suất trên nghiệm bằng nhau) nếu

dij(x) = x0c−1(mi−mj)−1

2(mi+mj)c

−1(mi−mj) > 0∀i 6= j, j = 1, · · · , MTrường hợp tồn tại lớp Ωk sao cho dik(x) = 0 còn dki > 0 với mọi

j 6= k, i, j = 1, · · · , M thì hệ nhận dạng sẽ đưa x vào Ωi hay Ωk tùyý

Các hàm quyết định phân lớp dạng

2.1 Hàm quyết định và các yếu tố xác định hàm quyết định

1 Khái niệm hàm quyết định

a Định nghĩa:

Một hàm thực n biến xác định trong không gian Euclid Rn chứa

1 tập dạng nào đó được gọi là hàm quyết định phân lớp tập dạng,nêu căn cứ vào dấu của nó có thể xác định được khả năng phân

1 dạng bất kỳ của tập dạng vào lớp nào đó trong số các lớp đãđược phân hoạch của tập dạng

Khi đó, nếu d = d(x) là 1 hàm quyết (đoạn này không dịchđược) là tập dạng thì phương trình d(x)=0 biểu dienj 1 (cái gì

đó ý cũng ko bit luôn :-)) )trong không gian Rn được goi là siêumặt quyết định phân lớp dạng (Trường hợp đặc biệt) Khi

Ω1 ⊂ claster S1 -hình tròn tập I1(a1, b1), bán kinh R1.

Ω2 ⊂ claster S2 -hình tròn tập I2(a2, b2), bán kinh R2 Giả thiết

I1I2 > R2 + R2, đường thằng trung trực của đoạn thẳng I1I2 có

quyếtđịnh phân lớp 2 lớp dạng Ω1, Ω2

d12(x) chia mặt phẳng ra làm 2 nửa

d+12 = x ∈ R2|d12(x) > 0

d−12 = x ∈ R2|d12(x) < 0

x thuộc Ω1 nếu d12(x) < 0, x thuộc Ω2 nếu d12(x) > 0

d12(x) = 0 là đường quyết định tách lớp Ω1 ra khởi Ω2

Ví dụ 2.2 Lấy lại Ví dụ ở chương I, trong trường hợp ppc và

tập dạng Ω được phân hoạch thành M lớp với các xác suất tiên

nghiệm và ma trận hiệp biến như nhau cho từng lớp thì cần tới

b Khả năng thực tế xác định các hệ số của hàm quyết định

Hệ số của hàm quyết định tức là các hằng số tham gia vào việcquyết định dạng hàm quyết định

Ví dụ 2.3 Giả sử 1 tập dạng Ω ⊂ R2 được phân hoạch thành 2 lớp

Ω1, Ω2, biết được 2 lớp này có thể tách được bởi 1 hàm quết địnhtuyến tính dạng tổng quát

∗ Chú ý 2.

Phương trình d(x)=0 biểu diễn 1 siêu phẳng trong Rn Nếud(x) là hàm quyết định tuyến tính tham gia vào việc phân lớpdạng 1 tập dạng Ω nào đó thuộc Rn thì siêu phẳng d(x)=0được gọi là siêu phẳng quyết định

Siêu phẳng quyết định d(x)=0 chia không gian Rn ra làm 2nửa

• n=2, trong không gian R2, ta được các siêu phẳng 1 chiều dạngd(x) = ω1x1 + ω2x2 + ω3 = 0 (đường thẳng thông thường)

• n=3, trong không gian R3 được các siêu phẳng 2 chiều

d(x) = ω1x1 + ω2x2 + ω3x3 + ω4 = 0(mặt phẳng thông thường)

c Tiêu chuẩn nhận dạng bởi hàm tuyến tính đối với 2 lớp dạng

Giả sử Ω1, Ω2 là 2 lớp dạng bất kỳ của 1 tập dạng Ω nào đó Khi

đó, hàm tuyến tính d = d(x) = W0x là hàm quyết định tách 2lớp Ω1, Ω2 nếu tiêu chuẩn nhận dạng sau thỏa mãn

x được phân vào lớp Ω1 nếu d(x)>0 , được phân vào lớp Ω2 nếud(x) <0 (d(x) còn được gọi là hàm quyết định đối với lớp Ωx)

2.3 Một số trường hợp phân lớp dạng bằng hàm quyếtđịnh tuyến tính

1 TH1: Mỗi lớp đều được tách ra khỏi tất cả các lớp còn lại bằng

1 siêu phẳng quyết định

Giả sử dạng Ω ⊂ Rn được phân hoạch tthanhf M lớp Ω1, · · · , ΩM

và các lớp này tách nhau theo TH1 Khi đó, tồn tại M hàmquyết định tuyến tính d1(x), · · · , dM(x) trong đó di(x) = wi0xvới wi = (ωi1, · · · , ωin+1)0 ∈ Rn+1, ∀i = 1, · · · , M sao cho di(x) làhàm quyết định đối với lớp Ωi (tách lớp Ωi ra khỏi M-1 lớp cònlại) Từ đó ⇒ tiêu chuẩn nhận dạng sau:

x ∈ Ωi nếu di(x) > 0 và dj(x) < 0 với mọi i 6= j, j = 1, · · · , M

Chú ý: Nếu các lớp dạng của Ω tách nhau theo TH1 thì đối vớilớp Ωi bất kỳ ta luôn có

dij=dij(x) = w0x, wj = (ωij1, · · · , ωijn+1), x = (x1, · · · , xn, 1)0tách lớp Ωi ra khỏi lớp Ωj, tương ứng được siêu phẳng quyết định

dij(x) = 0 là biên phân tách của 2 lớp này Đối với 2 lớp Ωi, Ωj

ta có:

x ∈ Ωi nếu dij(x) > 0 và x ∈ Ωj nếu nếu dij(x) < 0

⇒ Nếu dij là hàm quyết định tuyến tính tách Ωi ra khỏi Ωj thì

dji = dji(x) = −dij(x) lại là hàm quyết định tuyến tính tách Ωj

ra khỏi tập Ωi Từ đó để phân biệt được dạng tập Ω thì cần sửdụng CM2 hàm quyết định tuyến tính dij(x), ∀1 ≤ i < j ≤ M Tiêu chuẩn nhận dạng:Dạng x ∈ Ω được phân vào lớp Ωi nếu

dij(x) > 0∀j 6= i, ∀j = 1, · · · , M TH tồn tại Ωk (i 6= k) sao cho

dik(x) = 0 và dki(x) > 0 ∀j 6= k, j 6= i thì hệ nhận dạng tự động

sẽ phân x vào 1 trong hai lớp Ωi hoặc Ωk tùy ý

Chú ý: Trong TH này, miền Ωi ⊂

M

T

j=1,j6=i

dkij, ∀i = 1, · · · , M

Ví dụ 2.6 Giả sử tập dạng Ω ⊂ R2 được phân thành 3 lớp

Ω1, Ω2, Ω3, theo TH2 bởi 3 hàm quyết định tuyến tính

d12(x) = −x1 − x2 + 5

d13(x) = −x1 + 3

d23(x) = −x1 + x2

a Xác định các đường quyết định cho phép tách 3 lớp trên vàcác miền tương ứng chứa 3 lớp đó.

trong đó di = di(x) = w0ix, ∀i = 1, · · · , M với wi = (ωi1, · · · , ωin+1)0

là các hàm tuyến tính cho trước

Chú ý : Nếu đặt dij(x) = di(x) − dj(x), ∀1 ≤ i < j ≤ M thì tađược CM2 hàm quyết định tuyến tinh cho phép tách Ωi ra khỏi

Ωj với j 6= i và thu dược tiêu chuẩn nhận dạng như trong TH2.Tuy nhiên , TH2 không thể suy ra TH3

Ví dụ 2.7 Giả sử tập dạng Ω ⊂ R2 được phân hoạch thành 3lớp Ω1, Ω2, Ω3 theo TH3 bởi 3 hàm tuyến tính:

d12(x) = d1(x) − d2(x =) − 2x1 + 1

d13(x) = d1(x) − d3(x) = −x1 + 2x2

d23(x) = d2(x) − d3(x) = x1 + 2x2 − 1

⇒ Ω1 ⊂ d+12 ∩ d+13, Ω2 ⊂ d+12∩ d+23, Ω3 ⊂ d−13∩ d−23chú ý: Nếu tồn tại Ωk : di(x) = dk(x) > dj(x) với mọi j 6=

i, j 6= k thì x được phân vào Ωi tùy ý

1≤i≤3{di(x∗)} = max {0, 1, −1} = 1 = d2(x∗), ⇒ x ∈

Ω2)

2.4 Nhận dạng bằng hàm quyết định suy rộng

2.4.1 Dạng tổng quát của các hàm suy rộng

1 Sự cần thiết của việc xây dựng các hàm quyết định suy rộng

Trong thực tế, các hàm quyết định tuyến tính khong đủ để phân lớp

không thể táchs Ω1 ra khỏi Ω2 bằng 1 đường thẳng (hàm quyết địnhtuyến tính)

⇒ Chỉ có thể tách bằng 1 đường phi tuyến, chẳng hạn đường elipd(x) = ax21 + bx22 + c

2 Xây dựng hàm suy rộng tổng quát

Thông thường, người ta xây dựng như sau:

Trước hết chọn 1 bộ K hàm thực đơn trị nào đó {f1(x), · · · , fK(x)},sau đó xây dựng các tổ hợp tuyến tính của bộ K hàm trên, chẳnghạn:

2.4.2 Một số biến dạng quan trọng của các hàm suy rộng

1 Biến dạng tuyến tính

Nếu chọn các hàm

fi(x) = xi ⇔ fi : Rn → R

(x1, · · · , xn) → xiPhép chiếu véc tơ x xuống trục x1 K=n thì thu được hàm tuyếntính:

2 Biến dạng toàn phương (biến dạng bậc 2)

a Biến dạng toàn phương của hàm suy rộng là hàm có biểu thức

• Nếu A là ma trận đơn vị thì phương trình d(x) = 0 biểu diễn

1 siêu cầu trong Rn

• Nếu A là ma trận đối xứng xác định dương thì d(x) = 0 biểudiễn 1 siêu elipcoid trong Rn

• Nếu A là ma trận đối xứng nửa xác định dương thì d(x) = 0biểu diễn 1 siêu parobolic eliptic

• Nếu A là ma trận xác định âm thì d(x) = 0 biểu diễn 1 siêuhypebolic

3 Biến dạng đa thức hàm suy rộng thành 1 đan thức bậc n nào r nào

đó của n biến x1, · · · , xn và được cho bởi công thức truy toán sau:

Giả sử cho tập dạng Ω ⊂ Rn, khi đó 1 phép phân hoạch bất kỳ tập

Ω ra lamf2 lớp phân bietj được gọi là 1 phép lưỡng phân Mỗi mộtlớp được tách ra bởi 1 phép lưỡng phân gọi là 1 phép lưỡng phân(ứng với 1 phép lưỡng phân gọi là 1 lưỡng phân) Phép lưỡng phânđược thực hiện bởi 1 siêu phẳng quyết định gọi là 1 phép lưỡng phântuyến tính, ngược lại ta được phép lưỡng phân phi tuyến

2 Định nghĩa 2 (Khái niệm tập dạng được phân phối tốt)

Tập dạng Ω ⊂ Rn được gọi là phân phối tốt nếu bất kỳ n+1 dạngnào của Ω cũng đều không cùng thuộc 1 siêu phẳng bất kỳ n-1 chiều

Chú ý : Trong thực tiễn các tập dạng ẫu luôn được chọn sao cho nóđược phân phối tốt.

Ví dụ 2.10 Với n=1: Định nghĩa trên có nghĩa là bất kỳ 2 dạng ⊂cũng đều khôn trùng nhau

Với n=2: Ba dạng bất kỳ ⊂ Ω cũng không thẳng hàng

Với n=3: Bốn dạng bất kỳ ⊂ Ω cũng không đồng phẳng

3 Số lượng các lưỡng phân tuyến tính 1 tập dạng

Giả sử ⊂ Rn gồ N dạng, khi đó người ta chứng minh được khẳngđịnh sau:

Số lượng các lưỡng phân tuyến tính tập dạng Ω, ký hiệu là D(N, n)(số dạng, số chiều không gian) và được tính bằng công thức

D(N, n) =





2

(Giả sử 1 phép lưỡng phân bất kỳ chia Ω ra làm 2 lớp Ω1, Ω2 thì Ω_1

có thể đồng nhất với bộ (x1, · · · , xN) trong đó xi =  1 nếuxj ∈ Ω1

0 nếuxj ∈ Ω/ 1với Ω = {x1, · · · , xN} ⊂ Rn ) ⇒ Số tất cả các bộ (x1, · · · , xN) = sốtất cả các lưỡng phân Ω = 2N )

Từ đó suy ra: Nếu N>n thì không thể tách Ω bằng tất cả các phéplưỡng phân tuyến tính, vì khi đó số số các lưỡng phân phi tuyến

Số các phép lưỡng phân tuyến tính phân hoạch Ω sao cho có 1 lưỡngphân không chứa 1 dạng nào đó là 1.

Số các phép lưỡng phân tuyến tính phân hoạch sao cho 1 lưỡng phân

Số các phép lưỡng phân phân hoạch Ω sao cho 1 lưỡng phân chưađúng 2 dạng là 2

⇒ Số các lưỡng phân tuyến tính là 2(1+4+2)=14

⇒ Số các lưỡng phân phi tuyến tập Ω là 24-D(4, 2)=16-14=2 chính

là phép lưỡng phân tách Ω thành 2 lớp {x1, x3} và {x2, x4} ⇒ phảidùng hàm hi tuyến để tách

5 Ý nghĩa của phép lưỡng phân

Các phép lưỡng phân tập dạng dùng để đo khả năng phân biệt lớpdạng bằng các hàm quyết định tuyến tính Nêu số các dạng của tập

Ω (ký hiệu là |Ω| < n), thì có thể phân hoạch Ω bằng tất cả cáchàm quyết định tuyến tính Ngược lại, nếu |Ω| > n thì nó cũng cho

ta biết được khả năng dùng tối đa bao nhiêu hàm quyết định tuyếntính để phân hoạch tập dạng

n → K ≥ N = |Ω|

để tách tập Ω bằng các hàm quyết định tuyến tính

2.5.2 Xác định bậc lưỡng phân bằng hàm suy rộng

1 Thác triển tuyến tính 1 tập dạng bằng hàm suy rộng

Giả sử Ω là 1 tập dạng gồm N dạng trong Rn Giả sử d = d(x) =

Vì vậy thay cho việc xét Ω ta có thể xét Ω∗ ⊂⊂ Rk

Chú ý: Phép thác triển Rn ⊃ Ω → Ω∗ ⊂ Rk qua hàm suy rộng d làphép thác triển tuyến tính vì d đối với Ω là hàm suy rộng phi tuyến,nhưng với Ω∗, d = W0x∗, ∀x∗ ∈ Ω∗ lại là hàm tuyến tính

Việc biến tập dạng Ω ⊂ Rn thành tập Ω∗Rk qua hàm suy rộng dđược gọi là thác triển tuyến tính tập dạng Ω thành Ω∗

2 Xác định bậc lưỡng phân của Ω∗ qua hàm suy rộng d.

Theo phần trước, số lưỡng các lưỡng phân tuyến tính của Ω trong

Ví dụ 2.13 Xây dựng 1 số bậc lưỡng phân qua hàm suy rộng

Dạng hàm suy rộng Bậc lưỡng phân

1 Hàm tuyến tính (siêu phẳng) CK = 2(n + 1)

2 Hàm cầu (siêu cầu) CK = 2(2n + 1)

3 Hàm toàn phương (siêu mặt bậc 2) CK = (n + 1)(n + 2)

4 Hàm đa thức bậc r( siêu mặt đa thức) CK = 2Cn+rr

2.6 Phương pháp xâu dựng hàm tuyến tính trên cơ sở xấp xỉ

bởi 1 hệ các đa thức trực giao, trực chuẩn

2.6.1 Xây dựng hệ trực giao, trực chuẩn các hàm 1 biến

1 Tích vô hướng (TVH) theo trọng số của các hàm

a Định nghĩa 1:

Giả sử f và g là 2 hàm cùng xác dịnh trên [a, b], u = u(x) là 1

hàm xác định dương trên [a, b] Khi đó , tích phân

b

Z

a

u(x)f (x)g(x)dx

được gọi là TVH theo trọng số u của 2 hàm f, g và ký hiệu là

hf, giu Vậy theo định nghĩa

được gọi là chuẩn của hàm f theo trọng u

Đặc biệt, nếu kf ku = 1 thì ta gọi f là hàm chuẩn tắc

Nhận xét : Nếu kf ku 6= 0 thì có thể lấy g = kf kf

u

ta đượckgku =

hàm g được gọi là hàm chuẩn hóa của f Nói cách khác, bất kỳ

1 hàm nào có chuẩ khác 0 thì đều có thể chuẩn hóa được thành

hai hàm trực giao ký hiệu là f ⊥ug

Nếu f ⊥ug và kf ku = kgku = 1 thì ta nói f và g là 2 hàm trựcchuẩn theo trọng lượng u trên [a, b]

b Định nghĩa 2:

Hệ hàm Φ= { các hàm φ xác định trên [a, b]} được gọi là hệ hàmtrực giao theo trọng u trên [a, b] nếu các hàm của họ Φ trực giaovới nhau từng đôi 1 theo trọng lượng u trên [a, b]

Nếu Φ là hệ hàm trực giao, đồng thời kφku = 1, ∀φ ⊂ Φ thì tanói hệ Φ là hệ trực chuẩn theo trọng u trên [a, b]

∗ Hệ trực giao theo trọng u trên [a, b] Φ = {φj, j ∈ Γ} mà

kφjk 6= 0 luôn có thể biến đổi thành 1 hệ trực chuẩn theonghĩa thông thường bằng cách đặt φ∗j = qAu

Ai φi(x)





su(x)

Aj φj(x)

!dx

c1ϕ1(x) + · · · + cnϕn(x) ≡ 0với mọi x ∈ [a, b] thì c1 = · · · = cn = 0.

Nếu hệ Φ là 1 hệ vô hạn thì ta nói hệ độc lập tuyến tính trên(−∞, +∞) vì với mọi hệ con hữu hạn của nó có tổ hợp tuyếntính là 1 đa thức bậc hữu hạn cho nên độc lập tuyến tính trên(−∞, +∞)

Hệ {1, sin x, cos x, sin 2x, cos 2x, · · · , sin nx, cos nx, · · ·} cũng là

hệ độc lập tuyến tính trên R = (−∞, +∞)

b Định nghĩa 2:

Hệ Φ = {φj, j ∈ Γ} gồm các hàm xác định trên [a, b] được gọi

là 1 hệ đầy đủ nếu nó độc lập tuyến tính trên [a, b] đồng thờivới mọi hàm f liên tục từng khúc trên [a, b] đều có thể xấp xỉtrung bình phương khả tích theo trọng u nào đó bởi 1 hệ conhữu hạn của hệ hàm Φ

Giải thích: Giả sử f là hàm liên tục từng khúc trên [a, b],

ta nói gàm f có thể xấp xỉ được theo nghĩa trung bình bìnhphương khả tích bởi hệ hàm Φ theo trọng u trên [a, b] nếu vớimọi ε > 0 đều tồn tại 1 hệ con hữu hạn của hệ hàm Φ, kýhiệu là {Φi1, · · · , Φim} và các hằng số c1, · · · , cm sao cho

< ε

2.7 Xây dựng hệ trực giao, trực chuẩn đầy đủ, các hàm nhiều

biến trên cở sở hệ trực giao, trực chuẩn đầy đủ các hàm

1 biến

1 Xây dựng hệ trực giao, trực chuẩn các hàm 2 biến

Giả sử Φ = {φi, j ∈ Γ} là hệ trực chuẩn các hàm 1 biến trên [a, b]theo trọng số u

⇔ hΦi, Φjiu = δij, ∀i, j ∈ ΓTrên cơ sở hệ Φ, ta xây dựng 1 hệ các hàm 2 biến sau: