Bài giảng lý thuyết nhận dạng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN TOÁN ỨNG DỤNG VÀ TIN HỌC - BÀI GIẢNG LÝ THUYẾT NHẬN DẠNG ( TÀI LIỆU LƯU HÀNH NỘI BỘ ) Đếu có nhà xuất :v Bài Giảng Lý thuyết nhận dạng Mục lục Cơ sở lý luận lý thuyết nhận dạng 1.1 Khái niệm nhận dạng 1.1.1 Sự đời khoa học nhận dạng hai định hướng khoa học nhận dạng(KHND) 1.1.2 Một số ví dụ nhận dạng dẫn đến định nghĩa tổng quát dạng 1.1.3 Định nghĩa tổng quát dạng 1.2 Một số toán làm sở cho việc xây dựng hệ nhận dạng 1.2.1 Bài toán mã hóa dạng 1.2.2 Bài toán việc xử lý sơ lựa chọn dấu hiệu 1.2.3 Bài toán xây dựng hệ nhận dạng 1.2.4 Bài toán đánh giá tham số 1.2.5 Bài toán mô dạng 1.3 Một số nguyên tắc phương pháp luận làm sở để xây dựng hệ nhận dạng 1.3.1 Mội số nguyên tắc 1.3.2 Một số phương pháp luận làm sở cho việc xây dựng hệ nhận dạng tự động 1.4 Về số phương pháp toán học xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động 1.4.1 Một số khái niệm 1.4.2 Xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động Các 2.1 2.2 2.3 hàm định phân lớp dạng Hàm định yếu tố xác định hàm định Nhận dạng hàm định tuyến tính Một số trường hợp phân lớp dạng hàm định tuyến tính 6 9 11 12 12 12 13 13 13 14 14 15 18 18 21 23 Giáp Văn Hiệp - Toán Tin - K54 2.4 2.5 2.6 2.7 2.8 Nhận dạng hàm định suy rộng 2.4.1 Dạng tổng quát hàm suy rộng 2.4.2 Một số biến dạng quan trọng hàm suy rộng Các phép lưỡng phân tập dạng 2.5.1 Khái niệm phép lưỡng phân có ý nghĩa phép lưỡng phân 2.5.2 Xác định bậc lưỡng phân hàm suy rộng Phương pháp xâu dựng hàm tuyến tính sở xấp xỉ hệ đa thức trực giao, trực chuẩn 2.6.1 Xây dựng hệ trực giao, trực chuẩn hàm biến Xây dựng hệ trực giao, trực chuẩn đầy đủ, hàm nhiều biến cở sở hệ trực giao, trực chuẩn đầy đủ hàm biến 2.7.1 Xây dựng số hệ đa thức trực giao, trực chuẩn đầy đỷ biến đặc biệt áp dụng xây dựng hệ đa thức trực giao, trực chuẩn nhiều chiều Phương pháp xây dựng hàm định dựa cở sở xấp xỉ hệ đa thức trực giao, trực chuẩn 28 28 29 31 31 34 35 35 39 40 43 Phân lớp dạng hàm khoảng cách 3.1 Đặc trưng việc phân lớp dạng hàm khoảng cách 3.1.1 Khái niệm khoảng cách, hàm khoảng cách 3.1.2 Đăc trưng việc phân lớp dạng hàm khoảng cách 3.2 Một số phương pháp phân lớp dạng theo tiêu chuẩn cực tiểu khoảng cách 3.2.1 Phương pháp 3.2.2 Phương pháp 3.3 Một số thuật toán phân hoạch tập dạng theo tiêu chuẩn cực tiểu khoảng cách 3.3.1 Khái niệm độ đo đồng dạng số độ đo đồng dạng tiêu biểu 3.3.2 Một số thuật toán phân hoạch dạng theo tiêu chuẩn cực tiểu khoảng cách 45 Phân lớp dạng hàm xác suất 4.1 Phân lớp dạng toán lý thuyết phép giải thống kê 66 45 45 46 46 46 49 52 52 55 66 Giáp Văn Hiệp - Toán Tin - K54 4.1.1 4.2 4.3 4.4 4.5 Xác định toán phân lớp dạng trò chơi mang đặc trưng thống kê 4.1.2 Xây dựng tiêu chuẩn nhận dạng cho việc phân lớp dạng theo nghĩ xác suất 4.1.3 Large Xây dựng hàm định phân lớp dạng theo quy tắc phân lớp Bayets Phân lớp dạng theo quy tắc phân lớp Bayets trường hợp dạng tuân theo luật phân phối chuẩn 4.2.1 Nhắc lại đặc trưng biến ngẫu nhiên có phân phối chuẩn 4.2.2 Xây dựng tiêu chuẩn nhận dạng, hàm định theo quy tắc phân lớp Bayets có dạng có phân phối chuẩn Một số đánh giá xác suất sai số phân lớp Bayets số trường hợp đặc biệt 4.3.1 Đánh giá sai số phân lớp Bayets trường hợp phân phối chuẩn 4.3.2 Mở rộng đánh giá cho trường hợp phân lớp dạng thưc hàm tuyến tính Giới thiệu số hàm mật đọ phân phối quan trọng nhận dạng 4.4.1 Hàm mật độ dạng tổng quát 4.4.2 Một số hàm mật độ dạng Peason Phương pháp xây dựng hàm định phân lớp dạng theo quy tắc phân lớp Bayets sở xấp xỉ hàm mật độ phân phốix ác suất 4.5.1 Xây dựng công thức truy toán tính kỳ vọng, ma trận hiệp biến dạng thuộc lớp 4.5.2 Xây dựng xấp xỉ mật độ phân phối hệ hàm 4.5.3 Xây dựng hàm định phân lớp dạng theo quy tắc phân lớp Bayets sở xâp xỉ hàm mật độ phân phối Tài liệu tham khảo 66 68 70 71 71 72 77 77 80 81 81 81 83 83 85 88 92 Lời nói đầu Theo yêu cầu số anh em, biên soạn xong này, trình tang gia bối rối viết không tránh khỏi sai sót phải nói mệt mỏi diễn tả từ =)), bạn có ý kiến vả vỡ mồm :v Chương Cơ sở lý luận lý thuyết nhận dạng 1.1 Khái niệm nhận dạng 1.1.1 Sự đời khoa học nhận dạng hai định hướng khoa học nhận dạng(KHND) a Sự đời KHND Có thể giải thích đời KHND dựa hai nguyên nhân sau đây: – KHND đời bắt nguồn từ việc quan sát nhận dạng tự nhiên người số sinh vật sống khác ∗ Con người số sinh vật sống khác nhận dạng đối tượng cụ thẻ thông qua giác quan: · Thị giác: Nhận biết hình dạng to nhỏ, ví dụ ô tô, nhà cửa · Thính giác: Nhận biết (dạng) âm thanh, tiếng động tiếng sấm, động cơ, tiếng hát, cười · Khứu giác: Nhận biết dạng mùi · Vị giác: Nhận biết dạng vị chua, chát, thối rữa · Xúc giác: Nhận biết dạng tròn, nhẵn, xù xì, ghồ ghề ∗ Đặc biệt, người nhận đối tượng trừu tượng thông qua phán đoán, lý luận, suy diễn, nhận dạng không đối tượng cụ thể mà lớp đối tượng có tính chất đặc trưng chung Ví dụ 1.1 Nhận dạng thời tiết ngày (tháng, năm) Giáp Văn Hiệp - Toán Tin - K54 · Sức gió · Độ ẩm · Thủy văn ⇒ Dạng thời tiết ngày A: Sáng nhiều sương mù, trưa chiều giảm mây trời nắng ⇒ Dạng thời tiết ngày B: Tương tự ngày A thông số đo đạc xấp xỉ thông số đo đạc ngày A – KHND đời yêu cầu cấp bách việc sử lý thông tin ngày phát triển, gia tăng văn người ngày đại b Hai định hướng KHND – Định hướng 1: Nghiên cứu khả ND chất tự nhiên người số vật sống khác có Hướng liên quan đến ngành nghiên cứu:tâm lý học, sinh học, vật lý học – Định hướng 2: Phát triển lý thuyết phương pháp xây dựng thiết bị nhằm giải toán nhận dạng riêng biệt cho lĩnh vực ứng dụng định Hướng liên quan đến KH công nghệ, ứng dụng tin học, máy tính điện tử, khoa học máy tính, kỹ thuật học 1.1.2 Một số ví dụ nhận dạng dẫn đến định nghĩa tổng quát dạng Ví dụ 1.2 Dự báo thời tiết sợ nhận dạng sở liệu đầu vào Bản tin thời tiết cho ngày: • Sức gió • Độ ẩm • Mực nước thủy văn • Hình dạng mây • Nhiệt độ Giáp Văn Hiệp - Toán Tin - K54 Quán trình nhận dạng ⇒ Dạng thời tiết ngày A Ngày B có thông số xấp xỉ thông số ngày A hay với điều kiện mà tương tự ngày A ⇒ Dạng thời tiết ngày B tương tự dạng thời tiết ngày A Ví dụ 1.3 Chuẩn đoán bệnh y học nhận dạng Bệnh nhân A đến bác sĩ, bác sĩ cần phải biết triệu chứng bệnh dấu hiệu: • Nhiệt độ thể • Thực xét nghiệm – Máu – Nước tiểu, phân – Điện tim, não đồ – Đo huyết áp – Chụp X- Quang Quá trình nhận dạng ⇒ Dạng bệnh người A Bệnh nhân B có triệu chứng tương tự người A bệnh nhân B mắc bệnh tương tự bệnh nhân A 1.1.3 Định nghĩa tổng quát dạng Tất đối tượng (phần tử) có chung số tính chất đặc trưng điển hình đối tượng nhóm họp với tạo thành lớp xác định Dạng mô tả phần tử lấy làm đại diện cho phần tử khác lớp mà đồng với phần tử đại diện (dạng mẫu) tính chất chung Do đó, nhận dạng đoán nhận lớp dạng, phân biệt lớp dạng với lớp dạng khác a Chức hệ nhận dạng tự động – Định nghĩa Chức hệ nhận dạng tự động phát tách dấu hiệu đặc trưng cho dạng tập dạng, đồng thời phân hoạch tập dạng thành lớp xác định cho lớp có nhật dạng mẫu (dạng đại diện cho lớp) lưu trữ nhớ hệ nhận dạng Giáp Văn Hiệp - Toán Tin - K54 Nhận dạng xếp phân lớp chúng hoăc xây dựng thêm lớp dạng – Ví dụ minh họa cho chức hệ nhận dạng Giả suwe có tập dạng gồm tất dạng đường cong mặt phẳng hệ nhận dạng tự động phân hoạch chúng thành lớp xác định, lớp có dạng mẫu bao quản (lưu trữ) nhớ hệ nhận dạng Vấn đề đặt nhận dạng chữ COINS Ta có sơ đồ sau: 1.2 1.2.1 Một số toán làm sở cho việc xây dựng hệ nhận dạng Bài toán mã hóa dạng Định nghĩa Bài toán mã hóa dạng toán mà đại lượng vật lý đo từ dạng xem dấu hiệu đặc trưng cho dạng dạng Giáp Văn Hiệp - Toán Tin - K54 = p(uij < αij |Ωi )p(Ωi ) + p(uij > αij |Ωj )p(Ωj ) Hệ nhận dạng tự động nhận sai dạng x vào lớp Ωi , điều có nghĩa tiêu chuẩn không thỏa mãn cặp lớp (Ωi , Ωj ) Do đó, gọi e kiện phân sai x vào Ωi e = {uij < αij } Ωi + {uij > αij } Ωj ⇒ Xác suất sai số p({uij < αij } Ωi ) + p({uij > αij } Ωj ) = p(uij < αij |Ωi )p(Ωi ) + p(uij > αij |Ωj )p(Ωj ) a Tính p(uij < αij |Ωi ) uij tổ hợp tuyến tính thành phần x1 , · · · , xn ĐLNN x cs phân phối chuẩn ⇒ uij ĐLNN chiều có phân phối chuẩn ⇒ cần tính kỳ vọng phương sai uij hạn chế lớp Ωi Tính kỳ vọng Ei (uij ) (kỳ vọng uij hạn chết lớp Ωi ) Ei (uij ) = Ei x C −1 (mi − mj ) − (mi + mj ) C −1 (mi − mj ) = (Ei x )C −1 (mi − mj ) − (mi + mj ) C −1 (mi − mj ) = mi C −1 (mi − mj ) − (mi + mj ) C −1 (mi − mj ) = 12 (mi − mj ) C −1 (mi − mj ) Nếu ký hiệu rij = (mi − mj ) C −1 (mi − mj ) khoảng cách Mkhalanobis kỳ vọng lớp Ωi Ωj Ei (uij ) = 12 rij nửa khoảng cách Makhalanobis kỳ vọng Tính phương sai Di (uij ) uij hạn chế lớp Ωi Ta có Di (uij ) = Ei (uij − E(uij ))2 = Ei x C −1 (mi − mj ) − (mi + mj ) C −1 (mi + mj ) 78 Giáp Văn Hiệp - Toán Tin - K54 − (mi − mj ) C −1 (mi − mj ) 2 = Ei x C −1 (mi − mj ) − m C −1 (mi − mj ) = Ei (x − mi ) C −1 (mi − mj ) 2 = Ei (mi − mj )C −1 (x − mi )(x − mi ) C −1 (mi − mj ) = (mi − mj ) C −1 {Ei [(x − mi )(x − mi ) ]} C −1 (mi − mj ) = (mi − mj ) C −1 CC −1 (mi − mj ) = (mi − mj ) C −1 (mi − mj ) = rij (bằng khoảng cách Makhalanobis kỳ vọng) √ rij , rij ⇒ uij |Ωi ∼ ℵ(α, σ) = ℵ Từ suy αij − 12 rij p(uij < αij |Ωi ) = Φ √ rij αij − 12 rij = +L √ rij +∞ Φ(ξ) = √ 2π exp t dt = + L(ξ) −∞ với ξ L(ξ) = √ 2π exp t dt gọi hàm Laplace b Tính xác suất p(uij > α|Ωi ) Hoàn toàn tương tự câu a, ta tính Ej (uij ) = − 21 rij , Dj (uij ) = rij √ ⇒ uij |Ωi ∼ ℵ − 21 rij , rij ⇒ p(uij > α |Ωi ) = − Φ α+ 12 rij √ rij = −L α+ 21 rij √ rij Từ ta suy xác suất sai số cần tìm α − 12 rij +L p(e) = √ rij 79 α + 12 rij p(Ωi ) + −L √ rij p(Ωi ) Giáp Văn Hiệp - Toán Tin - K54 Trường hợp đặc biệt, xác suất tiên nghiệm p(Ωi ) = M1 , ∀i = 1, · · · , M công thức sai số là: = 4.3.2 M M −1r rij √ rij + L √2rijij + 12 − L √ − 2L 21 rij p(e) = Mở rộng đánh giá cho trường hợp phân lớp dạng thưc hàm tuyến tính Giả sử tập dạng Ω phân hoạch thành M lớp Ω1 , · · · , ΩM việc phân lớp dạng Ω thực hàm tuyến tính tách theo trường hợp M hàm di (x) = Wi x, ∀i = 1, · · · , M ⇒ Nhận CM hàm định dij (x) = Wi x, ≤ i < j ≤ M Khi hệ nhận dạng phân sai x vào lớp Ωi tương đương với tồn cặp lớp (Ωi , Ωj ) để sk sai số e = W ij x < Ωi + W ij x > Ωj ⇒ p(e) = p(W ij x < |Ωi )p(Ωi ) + p(W ij x > |Ωj )p(Ωj ) a Tính p(Wij x < 0|Ωi ) Ei (Wij x) = W ij mi Di (Wij x) = Ei = Ei W ij x − W ij mi W ij (x − mi ) 2 = Ei W ij (x − mi ) W ij (x − mi ) = Ei W ij (x − mi )(x − mi ) Wij = W ij Ei {(x − mi )(x − mi ) } Wij = W ij Ci Wij ⇒ W ij x ∼ ℵ(W ij mi , ⇒ p(W ij x < |Ωi ) = W ij Ci Wij W m − L √W ijC iW ij i ij Tính p(Wij x > 0|Ωj ) Tương tự   p(W ij x > |Ωj ) = 80  + L W ij mj W ij Cj Wij   Giáp Văn Hiệp - Toán Tin - K54 Vậy    1 p(e) =  − L    1   + L 4.4  W ij mi   p(Ωi )+ W ij Ci Wij  W ij mi W ij Cj Wij   p(Ωj ) Giới thiệu số hàm mật đọ phân phối quan trọng nhận dạng 4.4.1 Hàm mật độ dạng tổng quát Là hàm cho công thức p(x) = Kn |det(W )|1/2 f ((x − m) W (x − m)) (4.5) x ĐLNN n chiều, m kỳ vọng x, W ma trận đối xứng, xác định dấu, Kn số chuẩn tắc Nếu hạn chế hàm mật độ lớp Ω đó: p(x |Ω) = Kn |det(W )|1/2 f ((x − mΩ ) W (x − mΩ )) Nếu x tuân theo luật phân phối chuẩn, hàm mật độ p(x) thỏa mãn công thức (4.5) p(x) = Kn |det(W )|1/2 f ((x − m) W (x − m)) Kn = 4.4.2 n/2 , (2π) W = C −1 , f = exp(− 21 ) Một số hàm mật độ dạng Peason Hàm mật độ Peason loại Là hàm dạng (4.5), đối xứng cho công thức p(x) = h(x) x ∈ R (|W | = det(W )) x∈ / R W đối xứng, xác định dương 81 Giáp Văn Hiệp - Toán Tin - K54 Γ 21 n + k + −k h(x) = n/2 |W |1/2 [1 − (x − m) W (x − m)] π Γ(k + 1) R miền siêu elipcoid (x − m) W (x − m) = Γ hàm Gamma: +∞ Γ(p) = e−x xp−1 dx W = n+2(k+1) C −1 , (k > 0) C − ma trận hiệp biến x Hàm mật độ Peason loại Là hàm mật độ có dạng p(x) = Γ(k) n −k 1/2 |W | [1 + (x − m) W (x − m)] , k > +1 n an/2 Γ(k − ) Ma trận W xác định công thức n C −1 , (k > + 1) W = 2k − (n + 2) C ma trận hiệp biến x Chú ý : Với k đủ lớn, mật độ p(x) tiệm cận đến mật độ phân phối chuẩn Ví dụ áp dụng mật độ phân phối Peason Giả sử tập dạng Ω ⊂ Rn gồm dạng có phân phối Peason loại phân hoạch thành lớp Ω1 , Ω2 với thông số k Xác định hàm định mặt định phân lớp dạng Ω Lời giải: Theo giả thiết với x ∈ Ω dạng cần phân lớp, suy p(x |Ω1 ) = p(x |Ω2 ) = Γ(k) |W1 |1/2 [1 π 1/2 Γ(k− π2 ) Γ(k) |W2 |1/2 [1 π 1/2 Γ(k− π2 ) + (x − m1 ) W1 (x − m1 )]−k + (x − m2 ) W2 (x − m2 )]−k Xem xác suất tiên nghiệm p(Ω1 ) = p(Ω2 ) = 0.5 Theo quy tắc phân lớp Bayets, ta lập hàm d1 (x) = p(x |Ω1 )p(Ω1 ), d2 (x) = p(x |Ω2 )p(Ω2 ) 82 Giáp Văn Hiệp - Toán Tin - K54 Khi x ∈ Ω1 d1 (x) > d2 (x) x ∈ Ω2 d1 (x) < d2 (x) Trường hợp d1 (x) = d2 (x) x phân vào lớp tùy ý Xét d1 (x) > d2 (x) ⇔ p(x |Ω1 )p(Ω1 ) > p(x |Ω2 )p(Ω2 ) ⇔ p(x |Ω1 ) > p(x |Ω2 ) ⇔ |W1 |1/2 [1 + (x − m1 ) W1 (x − m1 )]−k > |W2 |1/2 [1 + (x − m2 ) W2 (x − m2 )]−k ⇔ [1 + (x − m2 ) W2 (x − m2 )]k |W1 |1/2k > [1 + (x − m1 ) W1 (x − m1 )]k |W2 |1/2k ⇔ αk + (x − m2 ) αk W2 (x − m2 ) > βk + (x − m1 ) βk W1 (x − m1 ) ⇔ x (αk W2 − βk W1 )x − 2x (αk W2 m2 − βk W1 m1 )+ m2 αk W2 m2 − m1 βk W1 m1 + αk − βk > Từ suy hàm định cho phép phân lớp dạng Ω hàm d12 (x) = x (αk W2 − βk W1 )x − 2x (αk W2 m2 − βk W1 m1 )+ m2 αk W2 m2 − m1 βk W1 m1 + αk − βk > d12 (x) hàm đa thức bậc ⇒ Siêu mặt định cho phép phân lớp Ω siêu mặt bậc 2: d12 (x) = 4.5 Phương pháp xây dựng hàm định phân lớp dạng theo quy tắc phân lớp Bayets sở xấp xỉ hàm mật độ phân phốix ác suất 4.5.1 Xây dựng công thức truy toán tính kỳ vọng, ma trận hiệp biến dạng thuộc lớp Xây dựng công thức tính kỳ vọng Giả sử Ω = {x1 , · · · , xN } dạng gồm N dạng không gian dạng n chiều, x dạng phân vào Ω Theo quy tắc đồng tính chất suy x = xj tương ứng với xác suất 83 Giáp Văn Hiệp - Toán Tin - K54 N , ∀j = 1, · · · , N , suy xem x ĐLNN rời rạc nhận ffl N giá trị xj ↔ p(xj ) N , ∀j = 1, · · · , N Suy x có bảng phân phối xác suất x x1 x2 · · · xN p(x = xj ) N1 N1 · · · N1 ⇒ Kỳ vọng m(x |Ω) = N N xj j=1 Ký hiệu: m(x|Ω) = m(N ), xem x dạng thứ N + Ω, tưc x = xN +1 Giả sử lại có dạng x khác phân vào Ω, lý luận tương tự ta có: m(N + 1) = = N N +1 m(N ) N +1 + N +1 xj = j=1 N +1 (N m(N ) + xN +1 ) N +1 xN +1 Từ thu công thức truy toán tính kỳ vọng m(N + 1) = N m(N ) + xN +1 N +1 N +1 Xây dựng công thức tính ma trận hiệp biến Một tổng quát, ma trân hiệp biến dạng x với lớp Ω là: C(x |Ω) = E {(x − m)(x − m) } , (m = m(x |Ω)) = E {xx − 2xm + mm } = E(xx ) − 2mm + mm = E(xx ) − mm Theo (4.1), x xem ĐLNN rời rạc nhận N giá trị xj ↔ p(xj ) = N1 , ∀j = 1, · · · , N , xx ĐLNN rời rạc nhận N giá trị xj xj tương đương p(xj xj ) = 84 , ∀j = 1, · · · , M N Giáp Văn Hiệp - Toán Tin - K54 Vì N E(xx ) = N xj xj j=1 ⇒ C(x |Ω) = N N xj xj − mm j=1 Xem x = xN +1 ∈ ΩN +1 , ta có C(x|) = C(N ) ⇒ C(N + 1) = N +1 N +1 xj xj − m(N + 1)m (N + 1) j=1 N +1 N C(N ) + N m(N )m (N ) + xN +1 xN +1 N N N +1 m(N ) + N +1 xN +1 N +1 m(N ) + N +1 xN +1 N N N +1 C(N ) + N +1 m(N )m (N ) + N +1 xN +1 xN +1 N 2N 2N N +1 m(N )m (N ) − (N +1)2 m(N )m (N ) − (N +1)2 m(N )xN +1 + (N +1)2 xN x N +1 N +1 = − = − Vậy công thức truy toán là: C(N + 1) = N N +1 C(N ) + N (N +1) m(N )m (N ) − (N N (2m(N ) − xN +1 ) xN +1 +1) = = 4.5.2 N N +1 C(N ) N N +1 C(N ) + + N (N +1) N (N +1) xN +1 xN +1 − 2m(N )xN +1 + m(N )m (N ) (xN +1 − m(N )) (xN +1 + m(N )) Xây dựng xấp xỉ mật độ phân phối hệ hàm Ý nghĩa tiêu chuẩn xấp xỉ Giả sử Ω = {x1 , · · · , xN dạng không gian dạng n chiều, theo quy tắc phân lớp Bayets, để phân dạng x vào Ω cần phải biết mật độ phân phối xác suất p(x) = p(x|Ω) Trong thực tế, hàm mật độ phân phối xác suất p(x) khó xác định, nảy sinh cần tìm hàm p = p(x) cho phép xấp xỉ p(x) dùng thay cho p(x) trình phân lớp dạng Tiêu chuẩn xấp xỉ : Hàm p = p(x) gọi xấp xỉ "tốt nhất" hàm p siêu lập phương n chiều n Nếu đảm bảo cực tiểu hóa sai số trung bình bình phương khả tích hiệu p − p, có nghĩa đại lượng 85 Giáp Văn Hiệp - Toán Tin - K54 R = sai số trung bình bình phương khả tích ( theo trọng số u) ux()[p(x) − p(x)]2 dx → = n Nói cách khác p − p u = p − q q u p=p Rp = Rp p Phương pháp xây dựng hàm xấp xỉ p Giả sử ta có họ hàm độc lập tuyến tính, đầy đủ n biến ϕ n Từ hệ hàm ϕ tính m hàm (m tìm từ thực tế đòi hỏi toán), ký hiệu ϕ1 , · · · , ϕm Khi hàm p = p chọn tổ hợp tuyến tính m hàm trên, tức là: m p= c j ϕj j=1 cj số cần xác định Thay vào Rp , ta hàm m biến c1 , · · · , cm m Rp (c1 , · · · , cm ) = u(x) p(x) − n cj ϕj (x) dx j=1 Theo nguyên lý cực trị hàm m biến, số c1 , · · · , cm làm cho Rp → cần thỏa mãn phương trình đạo hàm riêng: δR = 0, ∀k = 1, · · · , m δck Ta có (4.6) tương đương với m u(x).2 p(x) − cj ϕj (x) ϕk (x)dx = 0, ∀k = 1, · · · , k j=1 n m ⇔ cj j=1 n u(x)ϕj (x)ϕk (x)dx = ϕk , ϕj u ,∀k = 1, · · · , k Ta nhận thấy u(x)ϕj (x)ϕk (x)dx = ϕk , ϕj u , ∀k, j = 1, · · · , m n 86 (4.6) Giáp Văn Hiệp - Toán Tin - K54 u(x)ϕk (x)p(x)dx n kỳ vọng ĐLNN u(x)ϕk (x) hạn chế lớp Ω, mà ta biết mục trươc,x ĐLNN rời rạc nhận N giá trị xj (j = 1, · · · , N ) với xác suất đồng khả N1 , u(x)ϕk (x) ĐLNN rời rạc nhận giá trị u(x)ϕk (x) ↔ N1 , suy N u(x)ϕk (x)p(x)dx = N u(xj )ϕk (xj ), ∀k = 1, · · · , m j=1 n Vậy hệ (4.6) tương đương với hệ phương trình tuyến tính m ϕk , ϕj u cj = N j=1 Nếu đặt A = (akj )m×n , N u(xj )ϕk (xj ), ∀k = 1, · · · , m j=1 akj = ϕk , ϕj u , ∀k, j = 1, · · · , m   c1 C =   cột ẩn c  m b1 b =   cột VP bm với bk = N m u(xj )ϕk (xj ) j=1 ta hệ phương trình tuyến tính tìm hệ số c1 , · · · , cm Ac = b u(x)[p(x) − p(x)]2 dx → p=p⇔R= n m cj ϕj (x) ⇒ hệ số cj tìm từ hệ phương trình p= j=1 Ac = b 87 Giáp Văn Hiệp - Toán Tin - K54 A = (akj )m×n , akj = ϕk , ϕj u , ∀k, j = 1, · · · , m   c1 C =   cột ẩn c  m b1 b =   cột VP bm với bk = N m u(xj )ϕk (xj ) N = |Ω| j=1 Nhận xét Trong thực tế, hệ hàm ϕ độc lập tuyến tính đầy đủ thường chọn hệ trực giao, trực chuẩn theo trọng số (xem trước), A k = ϕk ˚ k = j akj = ˚ k = j ⇒ N Ak N u(xj )ϕk (xj ), ∀k = 1, · · · , m j=1 Để cho đơn giản trình tính toán bỏ đại lượng cố định Ak hàm trọng u(x) hệ trực giao ϕ, cuối ta thu công thức xác định số ck ck = N 4.5.3 N ϕk (xj ), ∀k = 1, · · · , m j=1 Xây dựng hàm định phân lớp dạng theo quy tắc phân lớp Bayets sở xâp xỉ hàm mật độ phân phối Giả sử không gian dạng Ω ⊂ Rn phân hoạch thành M lớp Ω1 , · · · , ΩM Theo tiêu chuẩn nhận dạng tổng quát, lớp Ωi tách ta M hàm di (x) = p(x |Ωi )p(Ωi ), i = 1, · · · , M 88 Giáp Văn Hiệp - Toán Tin - K54 Theo tiêu chuẩn xấp xỉ cách xác định hàm xấp xỉ, hàm mật độ phân phối xác suất, ta có thê chọn hàm p(x |Ωi ) ≈ p(x |Ωi ), ∀i = 1, · · · , M m cik ϕk (x), ∀i = 1, · · · , M p(x |Ωi ) = k=1 với {ϕ1 , · · · , ϕm chọn từ hệ trực giao đầy đủ ϕ cik = |Ωi | ϕk (x), ∀i, k = 1, · · · , M x∈Ωi Từ xác định M hàm xấp xỉ di (x) = p(x |Ωi )p(Ωi ), ∀i = 1, · · · , M dùng để phân lớp dạng Ω thay cho M hàm di , từ thu CM hàm định phân lớp dạng: dij (x) = p(x |Ωi )p(Ωi ) − p(x |Ωj )p(Ωj ), ∀1 ≤ i < j ≤ M theo tiêu chuẩn nhận dạng x ∈ Ωi : Nếu dij (x) > 0, ∀j = i, j = 1, · · · ,, tồn Ωk : dik (x) = dkj (x) > 0, ∀j = i, j = k x phân vào lớp Ωi , Ωk Ví dụ áp dụng: Giả sử không gian dạng Ω ⊂ R2 phân thành lớp Ω1 , Ω2 lớp có số dạng mẫu sau: Ω1 = {(2, 2) , (3, 2) , (2, 3) , (3, 3) , (4, 3) , (3, 4) , (4, 4) } Ω2 = {−3, −2) , (−2, −3) , (−3, −3) , (−4, −3) , (−3, −4) , (−3, −5) } a Xác định xấp xỉ mật độ phân phối xác suất tương ứng với lớp hệ đa thức trực giao biến cở sở hệ đa thức trực giao Hermit lấy với m = b Xác định hàm định , đqđ cho phép tách lớp biết xác suất tiên nghiệm Lời giải: 89 Giáp Văn Hiệp - Toán Tin - K54 Để đơn giản ta chọn hàm H0 (x) = 1, H1 (x) = 2x làm sở xác định hàm đa thức trực giao biến, xác định sau: ϕ1 (x) = H0 (x1 )H0 (x2 ) = 1.1 = 1, x = x1 x2 ∈ R2 ϕ2 (x) = H0 (x1 )H0 (x2 ) = 2x1 ϕ3 (x) = H0 (x1 )H0 (x2 ) = 2x2 ϕ4 (x) = H1 (x1 )H1 (x2 ) = 2x1 2x2 = 4x1 x2 a Xác định hàm xấp xỉ mđppxs p(x|Ω1 ) theo công thức: c1k ϕk (x) p1 (x) = k=1 c1k = c11 c12 c13 c14 = = = = |Ω1 | ϕk (x), k = 1, · · · , x∈Ω1 (1 + · · · + 1) 2.21 = 2.21 = 260 4.65 = =1 ⇒ p1 (x) = + 12x1 + 12x2 + 1040 x1 x2 Xác định hàm xấp xỉ mđppxs p(x|Ω2 ) p2 (x) = c2k ϕk (x) k=1 c2k = |Ω2 | ϕk (x), k = 1, · · · , x∈Ω2 c21 = c22 = 61 2.(−18) = −6 c23 = 61 2.(−20) = − 20 c24 = 16 4.60 = 40 ⇒ p2 (x) = − 12x1 − 40 x2 = 160x1 x2 b Xác định hqđ,đqđ: Do xác suất tiên nghiệm (=0.5) nên chọn d1 (x) = p1 (x), d2 (x) = p2 (x) 90 Giáp Văn Hiệp - Toán Tin - K54 Suy hqđ phân lớp dạng Ω cần tìm là: d12 (x) = d1 (x) − d2 (x) = 24x1 + 12 + 40 x2 + 76 = 24x1 + x2 − 80 x1 x2 1040 − 160 x1 x2 ⇒ Đqđ tách lớp là: (d) : 6x1 + (d) đường bậc 91 19 20 x2 − x1 x2 = Tài liệu tham khảo [1] Pattern recognition - Sergios Therloridis - Konstontinos - Koutroumbas - London - NewYork - 1999 [2] Pattern recognition principles - Julius T.Ton and Rafacl C.Gonzales - London - Amsterdam - Tokyo -1974 92 [...]... dựa vào hệ nhận dạng thì hệ nhận dạng sẽ liệt kê và so sánh các dấu hiệu đặc trưng của dạng với các dấu hiệu đặc trưng của dạng mẫu đã được lưu trữ trong bộ nhớ của hệ nhận dạng 2 Nguyên tắc đồng nhất các tính chất Các dạng mới sẽ được so sánh với các dạng mẫu thuộc từng lớp xác định của hệ nhận dang, hệ nhận dạng sẽ đồng nhất các dấu hiệu đặc trưng của dạng mới với các dấu hiệu đặc trưng của dạng mẫu... hệ nhận dạng là bài toán được đặt ra sau hai bài toán trên và bài toán được giải quyết qua hai giai đoạn • Giai đoạn 1: Căn cứ vào các dấu hiệu đặc trưng của các dạng phân hoạch tập dạng ra thành từng lớp xác định • Giai đoạn 2: Nhận dạng các dạng mới và xếp lớp chúng 1.2.4 Bài toán đánh giá tham số Trong quá trình giải quyết bài toán dạng có thể nảy sinh một loạt các thông số cần phải được xử lý 1... K54 1.2.3 Bài toán xây dựng hệ nhận dạng Định nghĩa Bài toán xây duwjngj hệ nhận dạng tự động là bài toán xây dựng các thiết bị cho hệ nhận dạng sao cho các yêu cầu sau được thỏa mãn: • Yêu cầu 1: Phải phát hiện và tách ra được các dấu hiệu đặc trưng cho các dạng đồng thời phân hoạch tập dạng ra thành từng lớp xác định • Yêu cầu 2: Tiếp nhận dạng mới, phân lớp chúng, hoặc xây dựng lớp mới Bài toán xây... dạng (dạng được mã hóa thành những véc tơ) b Khối phân lớp: Là thiết bị dùng để tiếp nhận các dạng đã được mã hóa từ khối cảm biến phân hoạch thành từng lớp xác định cùng với những dạng mẫu tương ứng được lưu trữ vào bộ nhớ nhận dạng mới và xếp lớp các dạng mới 2 Khái niệm về sai số trong hệ nhận dạng Một số hệ nhận dạng được gọi là phạm sai số nếu 1 dạng thực chất thuộc vào 1 lớp nào đó nhưng hệ nhận. .. thành ngữ pháp của dạng và cuối cùng thực hiện trong ngôn ngữ tương ứng quá trình phân tích và đón nhận 1.4 Về một số phương pháp toán học xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động 1.4.1 Một số khái niệm cơ bản 1 Khái niệm về các bộ phận cấu thành hệ nhạn dạng a Khối cảm biến: Là 1 thiết bị dùng để biến các đặc trưng vật lý của dạng thành 1 bộ dấu hiệu đặng trưng cho dạng Nói cách khacs,... thường có bài toán đánh giá thông số Các thông số thường được đánh giá thông qua các công cụ của lý thuyết tối ưu 1.2.5 Bài toán mô phỏng dạng Là bài toán liên quan đến việc sử lý thông tin chứa trong văn cảnh, lời nói hoặc chữ viết Nếu thông tin chỉ được chứa trong văn cảnh hoặc mô tả bằng lời thì hệ nhận dạng tự động cần phải xác định ra 1 loạt các dấu hiệu đặc trưng để trên cở sở đó mô phỏng được dạng. .. vào lớp Ωi Xác suất có điều kiện p(Ωi /x) là MĐPPXS dạng x vào lớp Ωi Xác suất p(x) để chỉ xác suất xuất hiện dạng x trong tập dạng 1.4.2 Xây dựng tiêu chuẩn nhận dạng cho hệ nhận dạng tự động 1 Xây dựng tiêu chuẩn tổng quát Giả sử tập dạng ΩØcphnhchthnhm lớp Ω1 , Ω2 , · · · , Ωm , x là dạng mới cần được phân lớp Để tiện lợi, ta giới thiệu các xác suất tiên nghiệm bằng nhau, tức là p(Ω1 ) = p(Ω2 )... dụng lý thuyết xác suất thống kê để phân lớp dạng có mức rủi ro (tổn thất) trung bình thấp nhất 3 Phương pháp ngôn ngữ Nếu việc mô ta các dạng được thực hiện bằng phương pháp mô phỏng, thì để xây dựng hệ nhận dạng, người ta thường sử dụng phương pháp ngôn ngữ đồng thời với việc sử dụng nguyên tắc đồng nhất các tính chất, yếu tố then chốt của phương pháp này là ở việc lựa chọn các phần tử mô phỏng của dạng, ... gia vào việc quyết định dạng hàm quyết định Ví dụ 2.3 Giả sử 1 tập dạng Ω ⊂ R2 được phân hoạch thành 2 lớp Ω1 , Ω2 , biết được 2 lớp này có thể tách được bởi 1 hàm quết định tuyến tính dạng tổng quát d(x) = ω1 x1 + ω2 x2 + ω3 Bám vào dạng mẫu chứa trong Ω1 , Ω2 , căn cứ đầu tiên vào các dạng mẫu của Ω1 , Ω2 , ví dụ: Ω1 gồm 2 dạng: – x1 = (α11 , α12 ) – x2 = (α21 , α22 ) Ω2 gồm 2 dạng: – x3 = (α31 , α32... lớp dạng 1 tập dạng Ω ⊂ Rn thì được gọi là hàm quyết định suy rộng 2.4.2 Một số biến dạng quan trọng của các hàm suy rộng 1 Biến dạng tuyến tính Nếu chọn các hàm fi (x) = xi ⇔ fi : Rn → R (x1 , · · · , xn ) → xi Phép chiếu véc tơ x xuống trục x1 K=n thì thu được hàm tuyến tính: n d(x) = ωi xi + ωn+1 = W x i=1 29 Giáp Văn Hiệp - Toán Tin 2 - K54 2 Biến dạng toàn phương (biến dạng bậc 2) a Biến dạng .. .Bài Giảng Lý thuyết nhận dạng Mục lục Cơ sở lý luận lý thuyết nhận dạng 1.1 Khái niệm nhận dạng 1.1.1 Sự đời khoa học nhận dạng hai định hướng khoa học nhận dạng( KHND)... bạn có ý kiến vả vỡ mồm :v Chương Cơ sở lý luận lý thuyết nhận dạng 1.1 Khái niệm nhận dạng 1.1.1 Sự đời khoa học nhận dạng hai định hướng khoa học nhận dạng( KHND) a Sự đời KHND Có thể giải thích... dạng mã hóa dựa vào hệ nhận dạng hệ nhận dạng liệt kê so sánh dấu hiệu đặc trưng dạng với dấu hiệu đặc trưng dạng mẫu lưu trữ nhớ hệ nhận dạng Nguyên tắc đồng tính chất Các dạng so sánh với dạng