Mơ hình Nạve Bayes - (LUẬN văn THẠC sĩ) kết hợp họ- 123docz.net

Mô hình NB là mô hình phân lớp thống kê được xây dựng dựa trên định lý Bayes với giả thiết các biến độc lập với nhau ([25], [11]). Trong giải thuật NB, mỗi mẫu x được biểu diễn bởi một tập các giá trị thuộc tính, có nghĩa là

1 2 n

x = a ,a ,...,a , giá trị lớp của mẫu x là một giá trị trong tập hữu hạn

1 2 m

C = c ,c ,...,c . Ta giả sử rằng, các giá trị thuộc tính hoàn toàn độc lập với giá trị của các lớp cho trước. Mô hình NB nhằm xây dựng mô hình biểu diễn phân bố xác suất P(ci | a1,…an).

Tập dữ liệu huấn luyện D = (x ,y ),(x ,y ),...,(x ,y ) 1 1 2 2 n n là tập dữ liệu đã được gán nhãn, trong đó xi là các mẫu dữ liệu huấn luyện, yi là giá trị lớp của mẫu dữ liệu tương ứng. Trong suốt quá trình học, một giả thiết sẽ được đưa ra dựa trên nguồn dữ liệu mẫu. Quá trình đánh giá là việc tiên đoán giá trị lớp cho mẫu x được đưa ra. Với x = a ,a ,...,a1 2 n , giá trị lớp c của mẫu x cần thỏa mãn:

 

j

MAP j 1 2 n

c C

c = arg max P c | a ,a ,...,a (*) Áp dụng định lý Bayes đối với đẳng thức (*) ta có:

 

j j

1 2 n j j

MAP 1 2 n j j

c C c C

1 2 n

P(a ,a ,...,a |c )P(c )

c (x)= arg max = arg maxP(a ,a ,...,a |c )P(c ) P(a ,a ,...,a )

Với giả định các thuộc tính giá trị là độc lập với nhau, khi đó xác suất của các thuộc tính a ,a ,...,a1 2 n đối với giá trị lớp cj được tính bằng tích các xác suất thành phần của các thuộc tính, 1 2 n j n i j

i=1

P(a ,a ,...,a |c )= p(a |c ). Trong đó, các xác suất P(c )j

và P(a |c )i j được tính dựa trên tần suất xuất hiện của các giá trị trong nguồn dữ liệu huấn luyện. Ví dụ, đối với lớp c, P =c tc

t , tclà số lượng mẫu trong lớp c, còn t là tổng số lượng mẫu có trong dữ liệu huấn luyện.

Phân loại Naive Bayes Giai đoạn học:

Với mỗi lớp cj và mỗi giá trị thuộc tính ai, tính xác suất P c( )j và P a c( | )i j dựa vào tần số của chúng trong dữ liệu huấn luyện.

Giai đoạn phân loại:

Với một trường hợp mới x = <a1, a2, ...,an> sẽ được phân loại như sau:

j 

NB j i j

i=1

C = arg maxP(c ) P(a |c ) c C

Giải thuật 3.1. Phân loại Naive Bayes Ví dụ 3.1.

Cho nguồn dữ liệu về chơi thể thao dưới dạng bảng sau:

Outlook Temperature Humidity Windy Class

Sunny Hot High False N

Sunny Hot High True N

Overcast Hot High False Y

Rain Mild High False Y

Rain Cool Normal False Y

Rain Cool Normal True N

Overcast Cool Normal True Y

Sunny Mild High False N

Sunny Cool Normal False Y

Rain Mild Normal False Y

Sunny Mild Normal True Y

Overcast Mild High True Y

Overcast Hot Normal False Y

Overcast Mild High True N

Y : Play N: Do not Play

Bảng 3.1. Nguồn dữ liệu PlaySport cho phân lớp Naive Bayes

Áp dụng định lý Bayes ta có: p(C|X) với X = <x1,x2,…,xn> là xác suất để bộ X thuộc vào lớp C. Ta có P(C=N|Outlook=Sunny,Temperature=Hot, Humidity=High, Windy=False) là xác suất để bộ <Sunny,Hot,High, False> thuộc lớp N. Ý tưởng cho việc này chính là gán lớp C cho mẫu X với xác suất p(C|X) là lớn nhất. Trong đó C là một trong các lớp đã được xác định sẵn, ở đây, C {N,Y}.

Thực hiện phân lớp cho ví dụ trên.

 Ta xác định các P(xi|C). với xi là các giá trị thuộc tính. C{N,Y}.

 Ta tính xác suất cho từng giá trị của các thuộc tính Outlook, Temperature, Humidity, Windy.

 P(Y) = 9/14; P(N) = 5/14

Outlook

P(Hot|Y) = 2/9 P(Hot|N) = 2/5

P(Mild|Y) = 4/9 P(Mild| N) = 2/5

P(Cool|Y) = 3/9 P(Cool|N) = 1/5

Humidity

P(High|Y) = 3/9 P(High|N) = 4/5 P(Normal|Y) = 6/9 P(Normal|N) = 1/5 Windy

P(True|Y) = 3/9 P(True|N) = 3/5 P(False|Y) = 6/9 P(False|N) = 2/5

Với một mẫu x = <Rain,Hot,High,False>, ta cần xác định xem mẫu này thuộc lớp N hay lớp Y?

    

3 2 3 6 9

0.010582

9 9 9 9 14

    

2 2 4 2 5

0.018286

5 5 5 5 14

Như vậy, ta có thể phân X vào lớp N, nghĩa là không chơi thể thao.

3.1.2. Một số mở rộng của mơ hình Nạve Bayes

3.1.2.1. Mơ hình Tree Augmented Nạve Bayes (TAN)

Mô hình TAN ([25], [11]) là mô hình phân lớp được phát triển dựa trên mô hình NB. Nếu như mô hình NB được xây dựng với giả định rằng các thuộc tính là độc lập với nhau thì mô hình TAN lại quan tâm đến sự ảnh hưởng lẫn nhau của các thuộc tính.

Trong mô hình NB, chỉ tồn tại các cung đi từ thuộc tính nhãn lớp (class) đến các thuộc tính khác, nghĩa là các thuộc tính độc lập với nhau trong việc đánh giá thuộc tính nhãn lớp. Các thuộc tính chỉ phụ thuộc vào thuộc tính nhãn lớp. Còn trong cấu trúc tăng cường (augmented) tồn tại các cung đi thuộc tính này đến thuộc tính kia. Trong mô hình TAN, các phụ thuộc được biểu diễn trong dạng cây với mỗi đặc trưng có nhiều nhất là một đặc trưng mức cha hay có nhiều nhất một phụ thuộc vào đặc trưng khác. Điều này có nghĩa là số các tham số trong một mô hình TAN là O(n) với n là số các đặc trưng hay thuộc tính.

Hình 3.1. Mơ hình Nạve Bayes

Một cung đi từ thuộc tính Ai đến thuộc tính Aj chỉ ra rằng: ảnh hưởng của thuộc tính Aj lên việc đánh giá thuộc tính class cũng phụ thuộc vào giá trị của thuộc tính Ai. Trong hình 3.2, ta thấy rằng: ở thuộc tính A3, ngoài cung đi từ thuộc tính C đến còn tồn tại một cung đi thuộc tính A1 sang, điều đó có nghĩa là việc đánh giá thuộc tính C của thuộc tính A3 còn phụ thuộc vào giá trị của thuộc tính A1.

3.1.2.2. Mơ hình BN Augmented Nạve Bayes

Mơ hình BN Augmented Nạve Bayes (BAN) là mở rộng của mơ hình TAN ([25], [11]). Với mô hình BAN, các đặc trưng có thể có nhiều hơn một nút đặc trưng cha khác. Hay nói cách khác, mô hình BAN có thể biểu diễn sự phụ thuộc của một đặc trưng vào một số các đặc trưng khác.

Hình 3.3. Mô hình BAN

Trong ví dụ trong hình 3.3, thuộc tính A3 có hai phụ thuộc vào các thuộc tính A1 và A2.`

3.2. Kết hợp FOIL và mô hình xác suất 3.2.1. Kết hợp FOIL và mơ hình Nạve Bayes 3.2.1.1. Cách tiếp cận

Hình 3.2. Mô hình Tree Augmented NB

A3 A4

Kết hợp FOIL và mô hình NB trước đây đã được thực hiện bởi Pompe và Kononenko [48] hay Davis [15]. Các cách tiếp cận này có thể được mô tả theo 2 bước

 Sinh giả thuyết H tối ưu sử dụng các thuật toán ILP truyền thống

 Các mệnh đề trong giả thuyết H thu được sẽ được sử dụng như là các đặc trưng hay thuộc tính trong mô hình NB. Quá trình phân lớp sẽ được dựa trên mô hình NB với các đặc trưng trên.

Tuy nhiên, ở đây rõ ràng việc kết hợp được thực hiện theo 2 bước riêng rẽ và kết quả thu được không chắc chắn là kết quả tối ưu toàn cục. Trong nghiên cứu mới nhất, Landwehr, Kersting và Raedt [33] đưa ra cách tiếp cận kết hợp chặt chẽ hơn giữa mô hình NB và giả thuyết H tối ưu: các giả thuyết H được đánh giá cùng với các hệ số tối ưu trên mô hình NB, và sau đó lựa chọn ra giả thuyết H tốt nhất. Các kết quả được thống kê trong [33] cho thấy cách tiếp cận này cho kết quả vượt trội trong các thử nghiệm so với FOIL và một số các cách tiếp cận mở rộng FOIL trước đây. Do vậy, chúng tôi lựa chọn đây là nền tảng cho việc nghiên cứu và áp dụng vào bài toán phân lớp trên cơ sở dữ liệu thư viện tại Trung tâm Thông tin Lưu trữ Địa chất.

Cách tiếp cận của Landwehr, Kersting và Raedt được đưa ra dựa trên việc nghiên cứu và thay đổi hai thành phần cơ bản được sử dụng trong giải thuật FOIL là hàm đánh giá score() và hàm phủ covers():

 Trong FOIL, hàm đánh giá score(B, H  {c’}, E) = score(B, {c’}, E) vì quá trình đánh giá một mệnh đề c’ không dựa trên các mệnh đề đã được thêm vào H.

 Trong FOIL, hàm phủ covers(B, H, e) = true nếu H  B ⊨ e và covers(B, H, e) = false nếu ngược lại

Hàm covers dựa trên xác suất

Bản chất của hàm covers được thay bằng một công thức xác suất. Ký hiệu P(x) sẽ mô tả một phân bố xác suất và P(x) sẽ biểu diễn một giá trị xác suất với x là một trạng thái của x. Quan hệ phủ dựa trên xác suất theo đó được định nghĩa là khả năng xảy ra của mẫu, dựa trên điều kiện có giả thuyết và tri thức nền: cover(e, H  B) = P (e | H, B) với H là giả thuyết bao gồm tập mệnh đề định nghĩa vị từ mục tiêu p và B là tri thức nền.

Với một mẫu e  E, có dạng p(X1, … , Xn) = true hoặc p(X1, … , Xn) = false. P(e | H, B) được định nghĩa dựa trên ý tưởng các mệnh đề trong H được mô tả cùng với các mẫu e thành các câu truy vấn hay các đặc trưng/thuộc tính. Cụ thể hơn, giả sử H bao gồm một tập các mệnh đề định nghĩa vị từ p. Mỗi mệnh đề c có dạng p(X1, … , Xn)  b1, … bn Khi đó câu truy vấn qc =  b1, … bn sẽ được xem như một đặc trưng boolean hay thuộc tính. Áp dụng trên mẫu e = p, câu truy vấn sẽ có dạng qc =  b1, … bn và sẽ thành công hoặc không thành công trên tri thức nền B. Khi quan sát trên nhãn của lớp, có thể nói qc là giá trị quan sát được (boolean) của biến ngẫu nhiên qc.

Ví dụ 3.2. Xét một ví dụ về tập dữ liệu Mutagenesis [52]

atom(189,d189_1,c, 22, -0.11) bond(189,d189_1,d189_2,7) atom(189,d189_2,c, 22, -0.11) bond(189,d189_2,d189_3,7) atom(189,d189_3,c, 27, 0.02) bond(189,d189_3,d189_4,7)

…. …

atom(189,d189_26,o,40, -0.38) bond(189,d189_18,d189_26,2) và một mẫu huấn luyện khẳng định mutagenic(189).

Các giả thuyết có thể của tập dữ liệu có thể là

mutagenic(X)  atom(X,A,o,40,C),bond(X,B,A,2) mutagenic(X) 

atom(X,A,c,22,C),atom(X,B,E,22,0.02), bond(X, A, B,7) Giả sử có mệnh đề qc =  atom(X,A, o, 40, C), bond(X, B, A, 2). Với một mẫu e = mutagenic(189) với  = {X/189} khi đó ta có qc =  atom(189, A, o, 40, C), bond(189, B, A, 2). Mệnh đề hay câu truy

vấn này thành công trên tri thức nền B, ta nói biến ngẫu nhiên qc nhận giá trị qc = true với mẫu này.

Một mô hình xác suất Ht của H mô tả sự phân bố dựa trên biến ngẫu nhiên p và qc – câu truy vấn tương ứng với mệnh đề c có giá trị đúng hoặc sai. Giá trị quan sát được boolean của qc là qc. Với Ht, P(e | H,B) được định nghĩa:

P(e | H,B) = Pt( p | q1, …., qk)

( ,..., )

) ( ).

| ,..., (

1 1



k t

t k

q q P

p P p q q

 P (1)

với Hc = {q1, …, qk} và Pt(p,q1, …, qk) là phân bố được định nghĩa bởi Ht.

Với giả thiết các mệnh đề qi là độc lập với nhau, áp dụng phân lớp Nạve Bayes, ta có: Pt(q1, …, qk | p) = i Pt(qi | p). Khi đó áp dụng cho (1) ta có:

P(e | H,B) =

) ,..., (

) ( ).

| (

1 



k t

t i

q q P

p P p q

 P



Công thức trên cũng mô tả các tham số Ht của mô hình H, là các phân bố Pt(qi|p) và Pt(p).

Ví dụ 3.3. Xét dữ liệu Mutagenesis trong ví dụ 3.2, với các mệnh đề/truy vấn q1 và q2 như sau:

q1:  atom(X,A,o,40,C),bond(X,B,A,2) q2: 

atom(X,A,c,22,C),atom(X,B,E,22,0.02),bond(X,A, B,7)

và vị từ mục tiêu p = mutagenic(X). Giả sử mơ hình Nạve Bayes với các phân bố xác suất Pt(qi | p) được cho như sau:

Pt(p=true)= 0.6

Pt(q1=true | p=true)= 0.7 Pt(q2=true | p=true)= 0.2 Pt(q1=true | p=false)= 0.4 Pt(q2=true | p=false)= 0.1 và tính được

Pt(q1=true | q2=true)= 0.10 Pt(q1=false|q2=true)= 0.06 Pt(q1=true | q2=false) = 0.48 Pt(q1=false|q2=false)= 0.36

Với một mẫu khẳng định e = mutagenic(189) hay  = {X/189} ta có q1

thành công và q2 không thành công trên B: p = true, q1 = true, q2 = false.

Theo đó:

P(e | H,B)

) , (

) (

* )

| (

* )

| (

2 1



q q P

p P p q P p q P

t t

 t

= (0.7 * 0.8 * 0.6) / 0.48 = 0.7 Hàm đánh giá score

Với hàm đánh giá score(), hàm P(E | H, B) là khả năng xảy ra E trên giả thuyết H và tri thức nền B được sử dụng. Giả sử các mẫu trong E là độc lập và phân bố đều, khi đó

P(E | H,B) = 

E e

B H e

P ( | , )

Mục tiêu quá trình học lúc này trở thành cần tìm giả thuyết H để có được giá trị lớn nhất của P(E | H,B). Để đánh giá một giả thuyết Hc trong giải thuật FOIL truyền thống, hàm đánh giá score() được thay đổi theo

Score(E, Hc, B) = P(E | H, B)

Với H là giả thuyết Hc được kết hợp với mô hình xác suất tối ưu Ht. 3.2.1.2. Kết hợp FOIL và NB: giải thuật nFOIL

Mục tiêu của quá trình học là xác định giả thuyết H thỏa mãn hàm đánh giá score() đạt giá trị lớn nhất. Không gian giả thuyết H bao gồm

H = {(Hc, Ht) | Hc L, HtMc}

Với Mc là khơng gian của tất cả các mơ hình Nạve Bayes trên các mệnh đề trong Hc. Bài toán tối ưu sẽ cần xác định

H* = argmax H P(E | H,B)

= argmax Hc,Ht P(E | (Hc, Ht), B)

Giống như FOIL, giải thuật nFOIL do Landwehr, Kersting và Raedt đưa ra cũng thực hiện quá trình tìm kiếm tham lam tập các mệnh đề, và các mệnh đề được xây dựng từ tổng quát đến đặc biệt sử dụng các phép toán tinh lọc. Sự khác biệt trong quá trình tìm kiếm là FOIL có thể sử dụng phương pháp tiếp cận chia-để-trị.

Lý do là bởi mô hình cuối cùng trong FOIL là tập các mệnh đề được học (mỗi mệnh đề sẽ phủ một tập con các mẫu huấn luyện), xây dựng như sau:

 Các mẫu đã được phủ bởi mệnh đề sẽ không tham gia vào quá trình học các mệnh đề tiếp theo: Update(E,H) = E \ covered(H)

 (Không đệ quy) Các mệnh đề đã được học không được tính đến khi đánh giá các mệnh đề sau đó: Score(E,H{c’},B) = Score(E,{c’},B)

Trong đó hàm đánh giá score() có thể là một trong các đánh giá như ước lượng trọng số thông tin thu được (information gain) hay ước lượng m (m-estimate).

Trong nFOIL cách tiếp cận chia-để-trị này không thể được thực hiện bởi mọi mệnh đề đều có thể ảnh hưởng đến khả năng xảy ra của các mẫu. Theo đó, giải thuật nFOIL được phát triển dựa trên FOIL với 2 sự thay đổi cơ bản

 Tập mẫu sau mỗi bước học 1 luật là không đổi Update(E,H) = E

 Khi xét một mệnh đề mới c’ , hàm đánh giá được thực hiện dựa trên mô hình hiện tại Score(E, H  {c’}, B) = P(E | H’, B) với H’ là mô hình gồm tập mệnh đề Hc  {c’}, và tham số tối ưu Ht’.

Giải thuật nFOIL Khởi tạo H:=  Repeat

Khởi tạo mệnh đề c:= T  For all c’ p(c) do

Tính Score(E, H  {c’}, B) End for

Chọn c là c’p(c) với giá trị hàm score tốt nhất Thêm c vào H để có giả thuyết mới H:= H U {c}

Tập mẫu E vẫn giữ nguyên: Update(E,H) = E Until gặp điều kiện dừng.

Output: Giả thuyết H

Giải thuật 3.3. Giải thuật nFOIL

Ở đây, điều kiện dừng cũng được thay đổi. Trong FOIL, điều kiện dừng cơ bản nhất là khi tất cả các mẫu khẳng định đã được phủ hay giải thích hết. Trong nFOIL, điều kiện này được thay thế bằng nếu sự thay đổi trong kết quả của hàm đánh giá khi thêm vào một mệnh đề nhỏ hơn một ngưỡng cho trước. Về mặt tổng quan, điều kiện dừng cơ bản này có thể dẫn đến quá tải. Tuy nhiên, các tác giả Landwehr, Kersting và Raedt chỉ ra rằng trên thực nghiệm, điều kiện dừng đơn giản này có hiệu quả rất tốt.

Trong giải thuật nFOIL, để đánh giá một tập các mệnh đề Hc = {q1, …, qk} bởi hàm đánh giá score(E, Hc, B), trước hết cần tính được các tham số tối ưu Ht của các mô hình NB trên các biến ngẫu nhiên {q1, …, qk}.

Ht* = argmax Ht P(E | H,B)

= argmax t (  | 1,... )

 k

t p q q

P



= argmax

) ,..., (

) ( ).

| (

1 



 t k

t i

E P q q

p P p q

 P



Các tác giả Landwehr, Kersting và Raedt đã lựa chọn cách tính tham số tối ưu dựa trên giá trị khả năng xảy ra lớn nhất (maximum likelihood) có thể được xác định bởi xác suất:

Pt(qi = a | p = b) =

) (

) , (

b p n

b p a q n i



Với n(X) là số mẫu thỏa mãn câu truy vấn X thành công. Khi đó hàm đánh giá score(E, H, B) sẽ được tính theo công thức

Score(E, H, B) = P(E | H,B) =

) ,..., (

) ( ).

| (

1 



 t k

t i

E P q q

p P p q

 P



Độ phức tạp của thuật toán

Theo cách tính trên, tham số có thể được tính dựa trên phép đếm và độ phức tạp tính toán khi đánh giá một giả thuyết dựa trên tính toán trêm mỗi câu truy vấn tập mẫu mà trên nó câu truy vấn là thành công. Độ phức tạp tính toán trên một mệnh đề qk+1 là O(C *n) với C là số phân lớp và n là số mẫu huấn luyện. Theo đó, việc đánh giá một mệnh đề trong nFOIL có cùng độ phức tạp tính toán với việc đánh giá một mệnh đề trong FOIL. Tuy nhiên, do FOIL sử dụng giải thuật chia-để- trị nên số các mẫu huấn luyện còn lại sau mỗi bước giảm dần trong khi số mẫu trong nFOIL là không giảm. Hơn thế nữa, thời gian chạy thực tế còn phụ thuộc vào đường đi trong không gian tìm kiếm được thực hiện bởi thuật toán, đối với nFOIL có thể là khác FOIL vì các mệnh đề học được ở đây có thể là khác nhau. Tuy vậy, vẫn có thể thấy được độ phức tạp trong tính toán của nFOIL tương tự như độ phức tạp tính toán trong FOIL.

3.2.2. Kết hợp FOIL và BN Augmented Nạve Bayes

Trong bài toán phân lớp dữ liệu trong cơ sở dữ liệu Thư viện Địa chất, Trung tâm Thông tin Lưu trữ Địa chất, chúng tôi nhận thấy có các từ khóa có sự phụ thuộc hay liên quan đến nhau. Ví dụ một từ khóa “khoáng vật” sẽ liên quan đến các từ khóa như “khoáng vật sét”, “khoáng vật học” hay một từ khóa “khoáng vật phóng xạ” sẽ liên quan đến các từ khóa “khoáng vật” và “nguyên tố phóng xạ”. Với sự phong phú trong các phụ thuộc giữa các từ khóa, chúng tôi thấy rằng bên cạnh việc áp dụng kỹ thuật kết hợp FOIL và mô hình NB, việc nghiên cứu kết hợp FOIL và

các mô hình mở rộng của NB trong đó có cho phép sự phụ thuộc giữa các thuộc tính như TAN, BAN là điều cần thiết và đúng đắn.

Landwehr, Kersting và Raedt [33] đưa ra kết hợp FOIL và mô hình Naive Bayes cơ bản, bên cạnh đó là việc kết hợp FOIL và mô hình Naive Bayes mở rộng là TAN. Trong mô hình TAN, mỗi nút đặc trưng có thể có nhiều nhất một đặc trưng mức cha hay một phụ thuộc vào đặc trưng khác. Việc kết hợp FOIL và TAN đã được chứng minh làm việc tốt hơn mơ hình Nạve Bayes truyền thống trong nhiều trường hợp [33]. Tuy nhiên với việc mỗi đặc trưng chỉ có nhiều nhất một đặc trưng mức cha, hiệu quả của TAN có thể không thực sự tốt trong các trường hợp một đặc trưng có phụ thuộc vào nhiều hơn một đặc trưng khác, như trong trường hợp đối với cơ sở dữ liệu thư viện địa chất đang được xem xét.

Theo đó, Chúng tôi đề xuất một ý tưởng kết hợp FOIL và mở rộng của mô hình TAN là mơ hình BN Augmented Nạve Bayes (BAN) [25, 11]. Mơ hình BAN cho phép mô tả sự phụ thuộc của một đặc trưng vào nhiều hơn một đặc trưng khác, tuy nhiên ở đây, để giảm độ phức tạp tính toán, chúng tôi tập trung thử nghiệm xây dựng việc kết hợp FOIL với mô hình BAN cho phép một đặc trưng phụ thuộc tối đa vào hai đặc trưng khác (BAN với 2 phụ thuộc).

Với mô hình BAN với 2 phụ thuộc, công thức tính trong mô hình NB cơ bản Pt(q1, …, qk | p) = i Pt(qi | p) trở thành ( 1,... | ) ( i | , pa1(i), pa2(i))

i t k

t q q p P q p q q

P  với

qpa1(i), qpa2(i) là đặc trưng mức cha của nút qi trong mô hình BAN 2 phụ thuộc.

Và hàm cover() lúc này trở thành Covers(E, H, B) = P(e | H, B)

= ( ,..., )

) ( ).

, ,

| (

) ( 2 ) ( 2



k t

t i pa i pa i

t i

q q P

p P q

q p q

 P