Báo cáo tốt nghiệp nghiên cứu các thuật toán khai phá luật kết hợp có trọng số và ứng dụng

1     !"#$% 2/39  $&'( 1 ) 2 * +, / 3 4 3/39 $&'( 1 4 4/39     !"#$%   # &  ' ()*()'( +) )' ,-.+)()'/012  3)145()67)/01*8/0 1)9()')1)0- :)10'';/012 5/39   <=">?  @ A @B@  CD()(')E4 ',))F)&7)G2  H5HD(')E4H ⊆ "   H $ $5 D( )( '  /;) -01$ 2 3$ 4 353$  6  I7/45J $#K)  7/8393/35:/  *;+# < $ 2 01=/8393/36> < $ 4 01=+3;365? 6/39   &/;)H=)LD(MNO)PQ R')E4M@)SM ⊆ H2  &)L+T)1((MGG5  3NMO((MGU()VOM& D()E4()WN2  &DF!/GXDM ⇒ Y5  <';:Z5(>A[\][@!>^][\ ][ { } D TXDT Xport ⊆∈ = @ AB AB AB AB X YX YXconf ∪ =>− 7/39  !"#  _'+))'D+N)('VQR'D/EM  YM@Y ⊂ "M`Y> ∅ G)Ka&)L&DF-)Z2  BC∪DAE/  FBCDAE/F 8/39 $% &'#'  #)D'()WN)Q*8Z()'Z'R)D+)'2  $b:7))Q(XD(()WN5&D(()WN)VQR'D(XOc()WN 9/39 % (&'#'  "(5HD(/;)$@d(  e(5J'D(()WN:$2  <Ra5  2) 2 01.2G./.6  4)#'B04>) G2 H∅>IIA#!*  J*  0K.B) G2 A>LL/!  M)#'*?∈-#!*  N*  0=.B*  3A>LL,/;    O)#'*∈*  #  P II>  Q*+  R)  01∈*  @L@-@≥/6  2S*+  220∪  )  10/39 ,% -./!  3)D)QF5NDfG ⇒ )Ra)V=DO/EfgG ⇒ gh)Ra2g ⊂ @gi ∅ 2  R:=∅j  kl ∈∪ j=2 k L j / m:=1; H m = ∪ i ∈ l {i}; ( ka ∈ H m / ! )R:=R ∪ { [(l-a)  a ] };  H m := H m - {a}; H m+1 >(lH m Gj m:= m+1; m H m = ∅ or m ≥ |l|;  n/j  Rj / AB AB c als ls ≥ − [...]...2 Luật kết hợp có trọng số 4 11/39 A Ý nghĩa của trọng sô  Nhận xét:  Bài toán khai phá luật kết hợp có trọng số có ý nghĩa lớn trong thực tế  Tuy nhiên hầu hết mới chỉ tập trung khai phá luật kết hợp nhị phân, tức là chỉ xét đến sự có mặt hay không của hạng mục trong giao dịch Trong một số bài toán thì các tham số khác như tầm quan trọng hay... loại bỏ  Độ hỗ trợ có trọng số của các ứng viên còn lại tương ứng: {0.39, 0.57, 0.76, 0.86, 1.46} minsup=1 chỉ có {4, 5} là tập hạng mục lớn Thêm {4, 5} vào L2  Các tập hạng mục trong C2 sẽ được sử dụng trong pass tiếp theo 19/39 1.3 Luật kết hợp có trọng số được chuẩn hoá • Các khái niệm: - Độ hỗ trợ có trọng số được chuẩn hoá của một luật X Y  1  ∑ w j... luật thoả mãn 25/39 2.2 Phương pháp tổng quát MAXWAR Với mỗi tập phổ biến, tìm các luật kết hợp có trọng số mà thoả mãn ngưỡng độ hỗ trợ, độ tin cậy và mật độ Tạo tập phổ biến, bỏ qua trọng số 26/39 Sơ đồ giải thuật Chia thành các grid Đưa ra luật Tìm các grid dày đặc Shrink các hộp đặc 27/39 Tạo vùng dày đặc Kiểm tra sup, conf 28/39  Cho α là số các giao... 12/39 Các dạng trọng sô:  Trọng số phản ánh tầm quan trọng của hạng mục, do người sử dụng xác định, độc lập với giao dịch Ví dụ: lợi nhuận của một đơn vị hạng mục (profit)  Trọng số xác định bởi tần xuất xuất hiện hạng mục trong giao dịch Thường là số lượng hạng mục trong giao dịch  Cả 2 dạng trọng số trên (gọi là utility của hạng mục) 13/39 B Các dạng luật kết hợp có trọng. .. cho các tập hạng mục trong C2 tương ứng là {4, 4, 4, 5, 5, 6}  B[Y,k] được tính như pass I  Tất cả các tập hạng mục trong C2 sẽ giữ nguyên, bởi tất cả đều có thể là lớn trong các pass tiếp theo  Checking(Ck,D):  counts được cập nhật cho các tập hạng mục là (2, 3, 4, 5, 5, 6)  Từ các biên hỗ trợ được tính trong bước prune, {1, 2} bị loại bỏ  Độ hỗ trợ có. .. với k = số phần tử của tập (X∪Y) - Biên hỗ trợ k (k-support bound) :  w min sup  B{Y , k} = k ×T  W (Y , k )   20/39 Giải thuật MINWAL(W) 21/39 2 WAR (Weighted association rule) - Luật kết hợp với trọng số thể hiện tần xuất hạng mục trong giao dịch 22/39 Ví du Vd1: Kh1: soda: 10, snack: 5 Kh2: soda: 4, snack: 1  nếu giữa soda và snack có độ tin cậy cao thì siêu thị có thể... ∈ T: l≤ w ≤ u  T hỗ trợ tập hạng mục X nếu T hỗ trợ mọi hạng mục trong X 24/39 2.1 Các khái niệm (tiếp)  Một giao dịch T được gọi là hỗ trợ một luật kết hợp có trọng số X  Y nếu T hỗ trợ tập có trọng số X ∪Y  WAR X  Y có độ tin cậy c nếu c% giao dịch trong R hỗ trợ X cũng hỗ trợ Y  Mật độ của một WAR được định nghĩa là tỉ số của độ hỗ trợ thực của WAR và độ hỗ trợ... giao dịch  Cả 2 dạng trọng số trên (gọi là utility của hạng mục) 13/39 B Các dạng luật kết hợp có trọng sô 1 Luật kết hợp có trọng số trong CSDL nhị phân 1.1 Khái niệm  I = {i1, i2,…, in}  Gán trọng số wj cho mỗi item ij với 0≤ wj ≤ 1; j = {1, 2,…, n}  Độ hỗ trợ có trọng số của luật X→ Y    ∑ w j ( Support ( X ∪ Y ) )  i ∈( X ∪Y )  j   Tập lớn: wsupport ≥ wminsup  Luật X->Y:... Một vùng đặc (dense region) là sự hợp nhất của một tập các ô lưới đặc liền kề 29/39 Shrinkage có thứ tư  Một shrinkage: là hành động giảm span của một hộp theo 1 chiều bằng chính xác một khoảng cơ sở  Để tránh tạo thừa các hộp đặc  Chọn một hoán vị, gọi là Ω  Một shrinkage của hướng thứ k trong chuỗi thứ tự có thể thực hiện trên hộp B chỉ khi không có shrinkage của hướng sau hướng... number_found ← number_found+1;} else if (support(R)≥ s and confedence(R) ≤ c) then { newboxes ← order_shrink(R,Ω ); insert (ψ , newboxes);} return output; } 33/39 3 Trọng sô utility - mức đo lợi ích của hạng muc và giải thuật khai phá tập utility phổ biến 4 34/39 35/39 3.1 Khái niệm  u(ip, T)= f( xp, yp)=xp * yp, ip ∈ T  u(S, T)=∑ip∈ S u(ip,T)  S được gắn với 1 tập các giao dịch: 