Nhập môn LÝ THUYẾT NHẬN DẠNG Introduction to Pattern Recognition Chương 2: Hàm quyết định. Giảng viên: Phạm Văn Hà

ĐẠI HỌC CƠNG NGHIỆP HÀ NỘI Khoa Cơng nghệ thơng tin Nhập môn LÝ THUYẾT NHẬN DẠNG Introduction to Pattern Recognition Chương 2: Hàm định Giảng viên: Phạm Văn Hà Hà Nội – 2013 Nội dung      ĐH Công nghiệp Hà Nội   Chương 1: Tổng quan nhận dạng Chương 2: Hàm định Chương 3: Phân loại theo khoảng cách Chương 4: Phân loại theo hàm hợp lý Chương 5: Tiếp cận perceptron Chương 6: Véc tơ hỗ trợ máy (SVM) Chương 7: Tiền xử lý lựa chọn dấu hiệu Tài liệu tham khảo    ĐH Công nghiệp Hà Nội  S Theodoridis , K Koutroumbas, Pattern Recognition, Academic Press,1999 Srihari, S.N., Covindaraju, Pattern recognition, Chapman &Hall, London, 1034-1041, 1993 Sergios Theodoridis, Konstantinos Koutroumbas , Pattern Recognition 4th ed ,Elsevier(USA)), 2009 R.O Duda, P.E Hart, and D.G Stork, Pattern Classification, New York: John Wiley, 2001 Các toán lý thuyết nhận dạng   Giả sử ta cần nhận dạng đối tượng x Tập tất lớp ký hiệu Ω={ω1,ω2,… ωm} Ví dụ: nhận dạng ký tự, x ký tự cần nhận dạng, ωi lớp ký tự Giả sử lớp khơng giao Ta có sơ đồ nhận dạng tổng quát sau:   ĐH Công nghiệp Hà Nội  Các toán lý thuyết nhận dạng  Từ sơ đồ rút toán lý thuyết nhận dạng: ĐH Công nghiệp Hà Nội Mô tả toán học đối tượng (pattern) Lựa chọn dấu hiệu mô tả đối tượng chứa thông tin đặc trưng (Trích chọn đặc trưng) Mơ tả lớp đối tượng nhận dạng Tìm giải pháp nhận dạng tối ưu Đánh giá kết nhận dạng Các toán LTND: Mơ tả tốn học đối tượng  Mơ tả tốn học cho thuận tiện nhất: dạng vector  Mỗi đối tượng x mô tả vector dạng x=(x1, x2,…,xn)T  x – thành phần không gian vector X Không gian vector gọi khơng gian dấu hiệu Thơng thường khơng gian hữu hạn đo Nếu dấu hiệu giá trị thực ta có X đẳng cấu với Rn Ngồi dạng vector đối tượng cịn mơ tả dạng khác, chẳng hạn ma trận (phổ biến nhận dạng ảnh) ĐH Công nghiệp Hà Nội   x – vector dấu xi Các tốn LTND: Trích chọn đặc trưng   ĐH Công nghiệp Hà Nội   Nhiệm vụ quan trọng hàng đầu nhận dạng tìm số lượng đặc tính nhỏ chứa đựng nhiều thông tin đối tượng cần nhận dạng Thiết lập thuộc tính tốt đơi mang tính nghệ thuật khoa học Một đầy đủ dấu hiệu đặc trưng để nhận dạng gọi “bảng chữ cái” đặc tính (alphabet features) Bộ đặc tính tối thiểu, đủ để giải lớp tốn nhận dạng đó, gọi từ điển đặc tính (feature dictionary) Hiệu nhận dạng hệ thống phụ thuộc nhiều vào việc lựa chọn alphabet features việc tìm feature dictionary 8 Các tốn LTND: Mơ tả lớp đối tượng nhận dạng ĐH Công nghiệp Hà Nội  Bài tốn mơ tả lớp đối tượng nhận dạng quy việc xác định ranh giới lớp Ranh giới lớp cho tường minh bước thiết kế hệ thống nhận dạng hệ thống phải tự tìm ranh giới q trình làm việc 9 Các tốn LTND: Tìm giải pháp nhận dạng tối ưu ĐH Cơng nghiệp Hà Nội  Tìm giải pháp nhận dạng: đưa phương pháp liệt vector dấu hiệu lớp 10 Các toán LTND: Đánh giá kết nhận dạng ĐH Công nghiệp Hà Nội  Bước đánh giá cần thiết để người (hoặc máy) tiếp nhận giải pháp liệt đối tượng vào lớp hay lớp đánh giá đại lượng mát việc phân loại sai 11 Các dạng hệ thống nhận dạng  ĐH Công nghiệp Hà Nội  Phân loại theo tính chất thơng tin dấu hiệu đặc trưng  Hệ thống xác định;  Hệ thống xác suất;  Hệ thống lôgic;  Hệ thống cấu trúc;  Hệ lai Phân loại theo lượng thông tin ban đầu đối tượng nhận dạng:  Hệ thống không cần học  Hệ thống học có giám sát  Hệ thống tự học 12 ĐH Công nghiệp Hà Nội Các dạng hệ thống nhận dạng 13 ĐH Công nghiệp Hà Nội Thiết lập toán nhận dạng Nhận dạng - tốn khơng xác  Gọi U tập đối tượng toán nhận dạng Một đối tượng riêng biệt tập ký hiệu x Mỗi đối tượng x∈U đặc trưng vơ số (thậm chí khơng đếm được) đặc tính  Ở bước xây dựng bảng chữ đặc tính phải chọn tập dấu hiệu (thường hữu hạn), gọi không gian đặc tính Ta ký hiệu tập hợp X Thơng thường khơng gian X có cấu trúc tuyến tính metric Phổ biến khơng gian tuyến tính metric hữu hạn chiều 14 Thiết lập toán nhận dạng Nhận dạng - tốn khơng xác   ĐH Công nghiệp Hà Nội   Gọi x thành phần không gian X, tương ứng với đối tượng x∈U, cịn P: U→X tốn tử biến đổi đối tượng x thành vector x Lưu ý toán tử P toán tử trực giao, tức P2=P Ngoài X=P(U) Chúng ta quan tâm đến tập U lớp đối tượng Ở toán phân loại cổ điển, giả định tập lớp Ω={ω1, ,ωm} hữu hạn, lớp hợp thành nhóm đầy đủ tập U (phân hoạch không gian đối tượng U ), tức là: với i≠j Ở toán tổng qt, số lớp vơ hạn khơng hợp thành nhóm đầy đủ tập U Trong khn khổ khóa học khơng xem xét toán tổng quát 15 Thiết lập tốn nhận dạng Nhận dạng - tốn khơng xác  Phân loại đối tượng x∈U theo lớp Ω={ω1,ω2,… ωm} nghĩa tìm hàm dẫn g:U→Y, Y={y1,y2,… ym} cho phép đặt tương ứng với đối tượng x∈U nhãn yi∈Y lớp ωi chứa đối tượng đó, nghĩa g(x)=yi x∈ωi ĐH Cơng nghiệp Hà Nội  Trên thực tế không làm việc với toàn tập đối tượng U, mà với hình chiếu X=P(U) – khơng gian đặc tính Khi ta cần tìm hàm g’:X→Y, cho g’(x)=yi x=Px∈X, x∈ωi Hàm g’ gọi hàm định (decision function) 16 Phân loại nhờ hàm định Khái niệm hàm định  Một toán nhận dạng đối tượng toán nhận dạng lớp Giả sử ta có tập (hữu hạn) lớp đối tượng Ω={ω1,ω2,… ωm}  Mỗi đối tượng x mô tả đặc tính khơng gian đặc tính – tức vector x Tồn khơng gian đặc tính X phân hoạch thành m+1 tập đơi không giao với i≠j, thỏa mãn x∈ωi x∈Xi ĐH Công nghiệp Hà Nội   Nếu x∈X0 ta xem đối tượng x rơi vào vùng không xác định Trong trường hợp ta không thực việc phân 17 Phân loại nhờ hàm định Khái niệm hàm định  Tập hợp Xi gọi tập yêu thích lớp ωi không gian X  Như ranh giới lớp nhận dạng đối tượng ranh giới vùng Xi  Việc tìm ranh giới lớp cách tự động toán lý thuyết nhận dạng Ranh giới lớp xác định nhiều cách khác nhau, chẳng hạn nhờ khái niệm hàm định ĐH Công nghiệp Hà Nội  18 Phân loại nhờ hàm định Khái niệm hàm định   ĐH Công nghiệp Hà Nội   Cho khơng gian đặc tính không gian metric n chiều Rn Trong trường hợp giả sử tồn m+1 hàm dj(x), x∈Rn (gọi hàm định hay hàm tách) cho: Mặt phẳng Sj={x∈Rn : dj(x)=0} gọi mặt phẳng chia Có thể xem đối tượng x thuộc vào lớp ωi xảy bất đẳng thức dj(x)0 Xin chân thành cảm ơn! ... ,Elsevier(USA)), 20 09 R.O Duda, P.E Hart, and D.G Stork, Pattern Classification, New York: John Wiley, 20 01 Các toán lý thuyết nhận dạng   Giả sử ta cần nhận dạng đối tượng x Tập tất lớp ký hiệu Ω={ω1,? ?2, ….. .2 Nội dung      ĐH Công nghiệp Hà Nội   Chương 1: Tổng quan nhận dạng Chương 2: Hàm định Chương 3: Phân loại theo khoảng cách Chương... nhận dạng Nhận dạng - tốn khơng xác  Phân loại đối tượng x∈U theo lớp Ω={ω1,? ?2, … ωm} nghĩa tìm hàm dẫn g:U→Y, Y={y1,y2,… ym} cho phép đặt tương ứng với đối tượng x∈U nhãn yi∈Y lớp ωi chứa đối tượng