Báo cáo khoa học: Sử dụng hàm cực đại trong bài toán nhận dạng = Using maximum function in discrimination analysis docx

TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 SỬ DỤNG HÀM CỰC ĐẠI TRONG BÀI TOÁN NHẬN DẠNG Võ Văn Tài(1), Tô Anh Dũng(2) (1) Trường Đại học Cần Thơ (2) Trường Đại học Khoa học Tự nhiên, ĐHQG-HCM (Bài nhận ngày 07 tháng 04 năm 2009, hoàn chỉnh sửa chữa ngày 17 tháng 06 năm 2009) TÓM TẮT: Dựa vào hàm cực đại hàm mật độ đưa phương pháp thuận lợi cho toán nhận dạng trường hợp khác Việc tìm hàm cực đại tính sai số Bayes khảo sát Hai chương trình viết để tính tốn cụ thể Từ khóa: Hàm cực đại, hàm mật độ xác suất, nhận dạng, sai số Bayes GIỚI THIỆU Nhận dạng phần tử thuộc tổng thể số k tổng thể cho hướng thống kê có nhiều ứng dụng thực tế, với nhiều lĩnh vực khác nhau: Nông nghiệp, y học, kinh tế, Đặc biệt với bùng nổ thông tin ứng dụng ngày trở nên đa dạng cần thiết Chính vậy, ngày có nhiều tốn học nghiên cứu đến vấn đề Bài toán nhận dạng đặt sau: Từ tập hợp gồm n phần tử mà ta biết rõ phần tử đến từ tổng thể số k tổng thể, dựa n biến quan sát từ phần tử đưa qui luật để có phần tử biết cách xếp vào tổng thể thích hợp Bài tốn nhận dạng nhiều nhà toán học quan tâm, nhiên việc giải nó, theo hiểu biết chúng tơi nhiều khía cạnh liên quan tốn chưa có lời giải cách trọn vẹn Hiện có nhiều phương pháp giải tốn phương pháp Bayes xem có nhiều ưu điểm giải toán cho tập liệu tính xác suất sai lầm nhận dạng Tuy nhiên thực tế tính tốn theo phương pháp cịn nhiều khó khăn việc xác định hàm mật độ xác suất, việc tính tích phân, việc xác định sai lầm Trong viết này, dựa phương pháp Bayes đưa phương pháp, gọi phương pháp hàm cực đại thuận lợi cho việc lập trình tính tốn PHƯƠNG PHÁP HÀM CỰC ĐẠI TRONG BÀI TOÁN NHẬN DẠNG 2.1 Phương pháp Bayes Xét hai tổng thể w1 w2 với biến quan sát x có hàm mật độ xác suất f1 ( x) , f ( x) tương ứng với hai tổng thể xác suất tiên nghiệm q1 q   q1 , phần tử với biến quan sát x0 nhận dạng sau: Nếu f1 ( x ) q  xếp x0 vào w1, ngược lại xếp vào w2 f ( x0 ) q1 Khi ta không quan tâm đến xác suất tiên nghiệm q1 = q2 = (1) (1) trở thành: Nếu f1 ( x)  f ( x) ) xếp x0 vào w1 ngược lại xếp vào w2 Bản quyền thuộc ĐHQG-HCM Trang 15 Science & Technology Development, Vol 12, No.07 - 2009 Trong trường hợp khơng quan tâm đến xác suất tiên nghiệm xác suất sai lầm phân loại phần tử vào tổng thể thứ thứ hai   P( w1 | w2 )   f x dx ,   P( w2 | w1 )  R1n  f1 x dx n R2 n Trong R1n  x | f1 ( x)  f ( x), R2  x | f1 ( x)  f ( x) Xác suất sai lầm phân loại xác định công thức: Pe1,  min f1 ( x), f ( x)     (2) Khi quan tâm đến xác suất tiên nghiệm q w1  trở thành *  trở thành * với: * =  qf1 x dx  * * R1n =  (1  q) f x dx * R2 n * * Trong R1n  x | qf1 ( x)  (1  q ) f ( x) , R2 n  x | qf1 ( x)  (1  q ) f ( x) Đặt ( q )  ( q,  q ) , sai số Bayes lúc là: ( Pe1,q )   minqf1 x , 1  q  f x    R * * (3) n Xét k tổng thể wi với xác suất tiên nghiệm qi Đặt ( q )  ( q1 , q , , q k ) , phần tử với biến quan sát x0 xếp vào wi nếu: qi f i ( x )  q j f j ( x )  f i  x0  q j  , j  i f j  x  qi (4) Xác suất sai lầm nhận dạng k k ( Pe1,q ), ,k   i 1 R n  qi f i dx     qi f i dx \ Rin i 1 (5) Rin Trong Rin miền mà phần tử xếp vào tổng thể thứ i, R n  k  Rin i 1 Xác suất sai lầm tính (2), (3) (5) chứng minh xác suất sai lầm nhỏ nhận dạng gọi sai số Bayes 2.2 Phương pháp hàm cực đại Dựa phương pháp Bayes, đề nghị nguyên tắc nhận dạng phần tử k x0 cho k tổng thể với hàm mật độ xác suất f i (x) xác suất tiên nghiệm qi , q i 1 i 1 sau: Nếu g max ( x0 )  q j f j ( x0 ) phân loại x0 vào w j (6) Trong g max ( x)  maxg1 ( x), g ( x), , g k ( x) Phương pháp nhận dạng gọi phương pháp hàm cực đại Phương pháp vừa đơn giản vừa tổng quát, đặc biệt hiệu tính tốn so với ngun tắc có Với nguyên tắc việc nhận dạng phần tử vấn đề tìm hàm cực đại hàm số Trang 16 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 q j f j (x) , tương đương với nguyên tắc Bayes việc xác định miền khác cho mục đích nhận dạng phương pháp Bayes giống việc xác định miền khác định nghĩa g max ( x) Thật vậy, với trường hợp hai tổng thể, miền khác R n nơi g max ( x) nhận giá trị qf1 ( x ) (1  q ) f ( x) việc giải bất phương trình qf1 ( x)  , hồn tồn giống phương pháp Bayes Trong trường hợp (1  q ) f ( x) hai tổng thể có phân phối chuẩn, biên nhận dạng cho phương pháp hàm cực đại phương pháp Bayes tuyến tính bậc hai Tương tự cho trường hợp hai tổng thể, có nhiều hai tổng thể việc xác định miền nơi hàm cực đại hàm mật độ xác suất g max ( x) nhận giá trị tương đương miền mà qi f i ( x )  j  i Phương pháp Bayes xếp q j f j ( x) phần tử vào tổng thể w j dựa vào bất đẳng thức Khi ta không quan tâm đến xác suất tiên nghiệm xác suất tiên nghiệm cho tổng thể nguyên tắc nhận dạng phần tử x0 (1) trở thành: Nếu f max ( x0 )  f j ( x0 ) phân loại x0 vào w j (7) Tương tự, quan tâm đến xác suất tiên nghiệm, trường hợp phương pháp hàm cực đại tương đương với phương pháp Bayes 2.3 Sai số Bayes phương pháp hàm cực đại Giả sử hai tổng thể với hàm mật độ xác suất f i (x ), i = 1, Khi không quan tâm đến xác suất tiên nghiệm sai số Bayes cho tốn phân loại nhận dạng xác định công thức: Pe1,  min f1 ( x), f ( x)    f max ( x)dx R (8) n  Xét hai tổng thể có phân phối chuẩn chiều N (  i ,  i2 ) , i = 1, Giả sử 1   Nếu    Pe1,   x1   f1 ( x)dx    x1  1   x  2       1        f ( x)dx 1      x1   2 Trong x1   ( x)  e t / dt  2 x (9) Nếu     x3  Pe1,   x2 x3 x2  f ( x)dx   f ( x)dx   f1 ( x)dx  x  2         x  2         Bản quyền thuộc ĐHQG-HCM   x  1   x  1                     Trang 17 Science & Technology Development, Vol 12, No.07 - 2009 Trong x  ( 1   2 12 )   1 ( 1   )  K    12 , (10) (     2 12 )   1 ( 1   )  K   K  2(   12 ) ln   , x3       12  1 Đặc biệt 1     Nếu    Pe1,  Nếu (11)    Pe1,    x4   x5 x5 x4 f ( x)dx   f ( x)dx   f1 ( x)dx  x     x5     x5     x     1                                Trong x4     1 E , x5     1 E với E  2    12     ln     (12)      Xét hai tổng thể biến X có phân phối chuẩn n chiều: N 1 , 1  N  ,  Giả sử 1     Đặt: U  X T  1 1     1   T  1 1    Theo Anderson (1984) X có phân phối chuẩn N 1 ,   U có phân phối 1 2   1   T  1 1    Tương tự X có phân phối chuẩn   N  ,   U có phân phối chuẩn N    ,  Khi khơng quan tâm đến   chuẩn N   ,  với   xác suất tiên nghiệm sai số Bayes xác định Pe1,     với   2     2  exp  x   dx   2     exp  x dx 2  /    xác suất sai lầm phân loại vào tổng thể thứ nhất,   2    2  exp  2 x   dx     2  /     exp  x dx   xác suất sai lầm phân loại vào tổng thể thứ hai Khi 1   việc tìm biểu thức giải tích cho khơng có ý nghĩa cho việc tính tốn cụ thể   phức tạp gần Xét k tổng thể với hàm mật độ xác suất f i (x ) xác suất tiên nghiệm qi , Trang 18 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 i = 1, 2,…, k Đặt (q )  (q1 , q , , q k ) , sai số Bayes cho tốn phân loại nhận dạng xác định:  ( Pe1,q ) ,k   i j   k   qi f i , q j f j dx    qi f i , q j f j dx j 1 j i Rin  R n j Rn j    q j f j  max q j f j      j 1  R n Rn j    k  k   k    q j f j dx    max q j f j dx   R n i 1 j 1 R n j  g max dx Rn Như sai số Bayes tính thơng qua hàm cực đại g max ( x ) công thức đơn giản sau: ( Pe1,q ), ,k    g max ( x)dx R (13) n Sai số Bayes với xác suất tiên nghiệm qi  ( k) Pe1,12/, ,k   k  f max ( x)dx k Rn (14) Việc sử dụng (13) (14) để tính sai số Bayes cho thuận lợi lớn, đặc biệt việc sử dụng phần mềm toán học để lập trình 2.4 Hàm cực đại hàm mật độ xác suất Khi biết hàm mật độ xác suất tổng thể phương pháp hàm cực đại xem giải trọn vẹn nhận dạng xác định hàm cực đại hàm mật độ xác suất Vì phần tập trung tìm hàm cực đại hàm mật độ xác suất, đặc biệt hàm mật độ xác suất thông dụng 2.4.1 Trường hợp hai hàm mật độ xác suất Xét hai tổng thể w1 w2 có hàm mật độ xác suất chiều nhiều chiều f1 ( x) f ( x) với xác suất tiên nghiệm tương ứng q 1– q Biên cho nhận dạng d ( q ) ( x)  qf1 ( x)  (1  q) f ( x) , lúc hàm cực đại xác định: (q) g max ( x) qf ( x)   (1  q) f ( x)  d ( q ) ( x)  d ( q ) ( x)  Khi không quan tâm đến xác suất tiên nghiệm biên phân loại trở thành d ( x)  f1 ( x)  f ( x) Khi hàm cực đại xác định:  f ( x) f max ( x)    f ( x) d ( x)  d ( x)  Bản quyền thuộc ĐHQG-HCM Trang 19 Science & Technology Development, Vol 12, No.07 - 2009 Trong trường hợp chiều biên cho miền hàm cực đại điểm Các điểm ranh giới cho phân loại nhận dạng Với đa số hàm mật độ xác suất chiều thường có đỉnh, nên tối đa có giao điểm hai hàm mật độ xác suất Giả sử qf1 ( x ) (1  q ) f ( x ) giao điểm với tọa độ a* (q) g max ( x) qf1 ( x) x  a *   (1  q ) f ( x) x  a *  * Tùy theo giá trị q mà a xác định, tổng quát thật khơng dễ để tìm * mối quan hệ a a - giao điểm f1(x) f2(x) Trong việc tìm hàm cực đại hàm mật độ xác suất chiều, ngồi phân phối chuẩn, chúng tơi đưa kết cụ thể cho trường hợp hàm mật độ xác suất thông dụng chiều khác phân phối Gamma, phân phối mũ phân phối Beta Cụ thể: i) f1 ( x ) f ( x) hàm mật độ xác suất chuẩn chiều: f i ( x)  i   x   i 2  , i =1, exp  2  2 i    Trong trường hợp hai trung bình khác nhau, giả sử 1   :  f1 ( x) x  x1  f ( x) x  x1 Nếu      f max ( x)    f1 ( x) x2  x  x3  f ( x) x  x2  x  x3 Nếu    f max ( x)   Khi 1   , ta có: Nếu    f max ( x )  f ( x )  f ( x )  f1 ( x) x4  x  x5  f ( x) x  x4  x  x5 Nếu    f max ( x)   Trong x1, x2, x3, x4 x5 xác định (9), (10), (11) (12) ii) f1 ( x ) f ( x) hàm mật độ xác suất chuẩn n chiều ( n  2)     1 1 1 1 T T d ( x)   x T 1     x  1 1      x  k Đặt với k  (15)    1  T T   1 1 1 1    1   ln   2       d (x) biên phân loại w1 w2 Ta có d(x) đường bậc Đặt 1 1 A   1     ta có trường hợp cụ thể đường bậc hai:   Nếu det(A) < d(x) hyperbol, Nếu det(A) = d(x) parabol, Trang 20 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 Nếu det(A) > d(x) elip,  f ( x) d ( x)  f max ( x)    f ( x) d ( x)  Trong trường hợp 1     d (x ) trở thành hàm tuyến tính: d ( x)  1      x  T 1 1   T  1 1    (16) Khi ta quan tâm đến xác suất tiên nghiệm q 1- q w1 w2 hàm nhận dạng d (x) (15) (16) trở thành:     1 q  T T d ( q ) ( x)   x T 1 1   1 x  1 1 1    1 x  k  ln  q     d ( q ) ( x)  1    1 x   1   T 1 1     ln  q   q     iii) Hai hàm mật độ xác suất có phân phối mũ 0,    : f i ( x)  bi e bi x , i  1, Giả sử b1  b2 , ta có:  b  ln   f1 ( x) x  b b1  b1     f max ( x)    f ( x) x  ln b2     b b1  b1     iv) Khi hai hàm mật độ xác suất có phân phối Beta (0; 1): f i ( x)  x  i 1 (1  x) i , i  1, B ( i ,  i ) Hàm cực đại xác định cụ thể:  f1 ( x) x k  x k 1  m  f max ( x)    f ( x) x k  x k 1  m  B ( , 1 )   Trong k  , m  A  ,   1   ,   1   , A   B ( ,  ) Trong trường hợp đặc biệt 1  1 ,    lúc hàm cực đại trở thành:  f1 ( x) x  x6 , x  x7 f max ( x)    f ( x) x6  x  x đó, x6    4m   4m x7  2 Bản quyền thuộc ĐHQG-HCM Trang 21 Science & Technology Development, Vol 12, No.07 - 2009 2.4.2 Trường hợp nhiều hai hàm mật độ xác suất Xét k tổng thể wi =1, 2,…,k, với hàm mật độ xác suất f i (x) xác suất tiên nghiệm k tương ứng qi ,  qi  i 1 Đặt (q )  (q1 , q , , q k ) , g i ( x)  qi f i ( x) ( Biên cho phân loại wi wj d ijq ) ( x)  qi f i ( x)  q j f j ( x) Trong ( d ijq ) ( x)  miền wi ngược lại miền wj Vì ta có: q q1 f1 ( x) d1(p ) ( x)    (q ( (q) g max ( x)  ql f l ( x) d lm ) ( x)   d nlq ) ( x)   (q) q k f k ( x) d qk ( x)   Trong p  2, , k ; q  1, , k  , l  2, , k  , m  l  1, , n , n  1, , l  (q) Khi f i (x ) hàm mật độ xác suất chuẩn n chiều, d ij ( x ) có dạng cụ thể:     1 x  iT  i 1   Tj  j 1 x  k  ln q j  q  ( d ijq ) ( x)   x T  i 1   j    i     T  1    T  với k  ln i i i j j   2 j      1 i  (17)  j   (q) Ở đây, d ij ( x ) đường bậc hai Đường bậc hai hyperbol, parablol hay elip phụ     1 1 det  i    j lớn 0, hay nhỏ Trong trường hợp i =  với i = 1, 2, …, k (17) trở thành: thuộc vào    ( d ijq ) ( x)   i   j  1 x   i   j   T 1 i   j   ln q j  q   i  (18) ( d ijq ) ( x) lúc hàm tuyến tính ( Khi khơng quan tâm đến xác suất tiên nghiệm hàm nhận dạng d ijq ) ( x) (17) (18) trở thành:       1 x  k 1 1 1 d ij ( x)   x T  i    j x   iT  i    T  j j 1 T 1 d ij ( x)   i   j   x   i   j    i   j       (q) Trong trường hợp k > 2, việc xác định biểu thức giải tích cụ thể fmax(x) g max ( x) cho hàm mật độ xác suất phức tạp Ngay xem xét cho hàm mật độ xác suất Trang 22 Bản quyền thuộc ĐHQG-HCM TẠP CHÍ PHÁT TRIỂN KH&CN, TẬP 12, SỐ 07 - 2009 chuẩn chiều vấn đề đơn giản Tuy nhiên, sử dụng phần mềm tốn học Maple, Mattlab,…bước đầu chúng tơi giải khó khăn SỬ DỤNG PHẦN MỀM TOÁN HỌC TRONG BÀI TOÁN NHẬN DẠNG 3.1 Chương trình nhận dạng phần tử Sử dụng nguyên tắc (6) (7), đưa thuật tốn để viết chương trình nhận dạng phần tử Sau chúng tơi minh họa chương trình viết phần mềm Maple nhận dạng phần tử tổng thể có hàm mật độ xác suất phân phối hai chiều Chương trình 1: Nhandang:=proc(L::list(algebraic)) local n,u,v,i,d,j,t,l,B,H;n:=nops(L); H:={seq(unapply(L[p],x,y),p=1 n-2)}; u:=L[n-1];v:=L[n]; for i from to n-2 d[i]:=evalf(H[i](u,v)); od; B:=d[1];t:=H[1](x); l:=f[1];[l=t]; for j from to n-1 if B evalf(H[1](f)) then p[x]:=piecewise(x