Thuật tốn khai phá luật kết hợ p

2.1.1 Thuậ^{t tốn Apriori}

Thu_ật tốn này th_ực hi_ện theo t_ừng m_ức:

1. Cho ng_ưỡng h_ỗ tr_ợ s. L_ần duy_ệt _đầu tiên tìm các items xu_ất hi_ện ít nh_ất trong s ph_ần c_ủa gi_ỏ hàng. Cĩ t_ập L₁, các frequent items.

2. Các candidate C₂ cho l_ần duy_ệt th_ứ hai là các c_ặp items trong L₁. Các c_ặp trong C₂ cĩ s_ốđếm >= s là các c_ặp frequent pairs L₂.

3. B_ộ ba candidate C₃là nh_ững t_ập {A, B, C} mà t_ất c_ả {A, B}, {A. C} và {B, C} _đều trong L₂. L_ần duy_ệt th_ứ 3, b_ộ ba candidate trong C₃ cĩ s_ố l_ần xu_ất hi_ện >= s là các b_ộ 3 frequent, L₃.

4. Cĩ th_ể ti_ếp t_ục _đến khi các t_ập tr_ở thành r_ỗng. L_i là frequent itemsets cĩ kích th_ước i; C_i+1 là itemsets kích th_ước i+1 mà m_ỗi t_ập con kích th_ước i _đều n_ằm trong L_i.

2.1.1.1 Sinh ra Candidate củ^{a Apriori}

Hàm apriori-gen l_ấy tham s_ố L_k-1, t_ập c_ủa t_ất c_ả các large (k-1)- itemsets. Nĩ tr_ả v_ề m_ột superset c_ủa t_ập t_ất c_ả các large k-itemsets. Hàm làm vi_ệc nh_ư sau. _ðầu tiên, trong b_ước join, k_ết n_ối L_k-1 v_ới L_k-1

insert into_Ck

select_{p.item1, p.item2, …, p.itemk-1, q.itemk-1}

from _{Lk-1 p, Lk-1 q}

where_{p.item1 = q.item1, …, p.itemk-2 = q.itemk-2, p.itemk-1 < q.itemk-1;}

Ti_ếp theo, trong b_ước c_ắt t_ỉa, ta xố t_ất c_ả các itemsets c thu_ộc C_k mà các t_ập con (k-1) c_ủa c khơng n_ằm trong L_k-1:

forall itemsets_c ∈ _Ck do

forall_(k-1)-subsets_sof_cdo

if_{(s ∉ Lk-1)}then

delete_cfrom_Ck;

Ví d_ụ, Cho L₃ là { {1 2 3}, {1 2 4}, {1 3 4}, {1 3 5}, {2 3 4} }. Sau b_ước k_ết n_ối, C₄ s_ẽ là { {1 2 3 4}, {1 3 4 5}}. B_ước c_ắt t_ỉa s_ẽ xố itemsets {1 3 4 5} vì itemset {1 4 5} là khơng trong L₃. Sau _đĩ ch_ỉ cịn {1 2 3 4} trong C₄.

Tính đúng đắn – Cĩ _{Ck ⊇ Lk}. Rõ ràng b_ất k_ỳ t_ập con nào c_ủa large itemset c_ũng c_ần ph_ải cĩ _độ h_ỗ tr_ợ c_ực ti_ểu. Do v_ậy, n_ếu m_ở r_ộng m_ỗi itemset trong _Lk-1 v_ới t_ất c_ả các items cĩ th_ể và sau _đĩ xố _đi t_ất c_ả nh_ững cái mà cĩ (k-1)-subsets c_ủa nĩ khơng cĩ trong _Lk-1, ta s_ẽ cịn l_ại m_ột superset c_ủa các itemsets trong L_k.

K_ết n_ối t_ương _đương v_ới m_ở r_ộng _Lk-1 v_ới m_ỗi item trong CSDL và sau đ^{ĩ xố nh}ữ^{ng itemsets mà v}ớ^{i nĩ} (k-1) ^itemset đượ^{c t}ạ^{o b}ằ^{ng cách xố item} th_ứ(k-1) là khơng cĩ trong _Lk-1. _ði_ều ki_ện p.item_k-1 < q.item_{k-1 đơ}n gi_ản _đảm b_ảo r_ằng khơng sinh ra trùng nhau. Nh_ư v_ậy sau b_ước join, _{Ck ⊇Lk}. V_ới lý do t_ương t_ự, b_ước c_ắt t_ỉa, _{ở đ}ĩ xố kh_ỏi _Ck t_ất c_ả các itemsets mà _(k-1)-subsets

c_ủa nĩ khơng cĩ trong _Lk-1, s_ẽ khơng xố m_ất b_ất k_ỳ itemset nào cĩ th_ể cĩ trong _Lk.

2.1.1.2 Hàm Subset

Các candidate itemsets C_{k đượ}c s_ắp x_ếp trong m_ột hash-tree. M_ột node c_ủa hash-tree ho_ặc ch_ứa m_ột danh sách các itemsets (m_ột node lá) ho_ặc là m_ột hash table (m_ột node trong). M_ột node trong, m_ỗi bucket c_ủa hash table (l_ớp cĩ cùng giá tr_ị hàm b_ăm) ch_ỉ t_ới m_ột node khác. G_ốc c_ủa hash-tree _được _định ngh_ĩa là cĩ _độ sâu 1. M_ột node trong _{ở độ} sâu d ch_ỉ t_ới các node t_ại _độ sâu d+1. Các itemsets _được l_ưu trong các lá. Khi thêm m_ột itemset c, ta b_ắt _đầu t_ừ g_ốc và _đi xu_ống _đến khi g_ặp m_ột lá. T_ại m_ột node trong _{ở độ} sâu d, chúng ta quy_ết _định _đi theo nhánh nào b_ằng cách áp d_ụng hàm b_ăm (hash function) cho item th_ứ d c_ủa itemset. T_ất c_ả các nodes _được t_ạo ban _đầu nh_ư các node lá. Khi s_ố l_ượng các itemsets trong m_ột node lá v_ượt quá m_ột ng_ưỡng nào _đĩ, node lá _được chuy_ển thành node trong.

B_ắt _đầu t_ừ node g_ốc, hàm subset tìm t_ất c_ả các candidates ch_ứa trong m_ột giao d_ịch t nh_ư sau. N_ếu _ở t_ại lá, ta tìm itemset nào trong lá _được ch_ứa trong t và thêm các tham chi_ếu t_ới chúng vào t_ập tr_ả l_ời. N_ếu _ở node trong và ta _đã _đến t_ới nĩ b_ằng cách dùng hàm b_ăm cho item i, ta s_ẽ b_ăm trên m_ỗi item đế^{n sau i trong t và áp d}ụ^ng đệ ^{quy th}ủ ^tụ^{c này t}ớ^{i node trong bucket t}ươ^ng ứ^{ng. V}ớ^{i node g}ố^{c, chúng ta b}ă^{m trên m}ọ^{i item trong t.}

ðể ^biế^{t vì sao hàm subset tr}ả ^về ^tậ^{p các tham chi}ế^{u mong mu}ố^{n, xem} xét t_ại node g_ốc. V_ới b_ất k_ỳ itemset c nào ch_ứa trong giao d_ịch t, item _đầu tiên c_ủa c c_ần ph_ải cĩ trong t. T_ại g_ốc, b_ằng cách b_ăm trên m_ọi item trong t, _đảm b_ảo r_ằng ta ch_ỉ b_ỏ qua các itemsets b_ắt _đầu v_ới m_ột item khơng cĩ trong t. T_ương t_ự các tham s_ố áp d_ụng _ở các _độ sâu th_ấp h_ơn. Vì các items trong b_ất

k_ỳ itemset nào c_ũng _được s_ắp th_ứ t_ự, nên n_ếu ta _đạt _đến node hi_ện th_ời b_ằng cách b_ăm item i, thì ch_ỉ c_ần xem xét các items xu_ất hi_ện sau i trong t.

2.1.2 Thuậ^{t tốn AprioriTid}

Thu_ật tốn AprioriTid cho th_ấy trong hình 2.2, c_ũng dùng hàm apriori- gen _để xác _định các candidate itemsets tr_ước khi l_ần duy_ệt b_ắt _đầu. _ðặc _đi_ểm đ^{áng quan tâm c}ủ^{a thu}ậ^{t tốn này là CSDL D khơng} đượ^{c dùng cho vi}ệ^c đế^m độ ^hỗ ^trợ ^{sau l}ầ^{n duy}ệ^t đầ^{u tiên. T}ậ^p C_k đượ^{c dùng cho m}ụ^c đ^{ích này. M}ỗⁱ thành viên c_ủa t_ập

k

C là _ở d_ạng <TID, {X_k}>, trong _đĩ m_ỗi X_k là m_ột large k- itemset ti_ềm n_ăng bi_ểu di_ễn trong giao d_ịch v_ới TID. V_ới k=1, _C1 t_ương _ứng v_ới CSDL D, m_ặc dù v_ề khái ni_ệm m_ỗi item i _được thay th_ế b_ởi itemset {i}. V_ới k>1,

k

C đượ^{c sinh ra b}ằ^{ng thu}ậ^{t tốn (b}ướ^{c 10). Thành viên c}ủ^a C_k

t_ương _ứng v_ới giao d_ịch t là <t.TID, { c _∈ C_k | c _được ch_ứa trong t}. N_ếu m_ột giao d_ịch khơng ch_ứa b_ất k_ỳ candidate k-itemset nào, thì

k

C s_ẽ khơng cĩ m_ột entry cho giao d_ịch này. Nh_ư v_ậy s_ố l_ượng các entries trong

k

C cĩ th_ể là nh_ỏ h_ơn s_ố l_ượng các giao d_ịch trong CSDL, _đặc bi_ệt cho các giá tr_ị l_ớn c_ủa k. H_ơn n_ữa, v_ới các k giá tr_ị l_ớn, m_ỗi entry cĩ th_ể là nh_ỏ h_ơn giao d_ịch t_ương ứ^{ng vì giao d}ị^{ch cĩ th}ể ^chứ^{a r}ấ^{t ít candidates. Nh}ư^{ng, v}ớ^{i các giá tr}ị ^{k nh}ỏ^, m_ỗi entry cĩ th_ể l_ớn h_ơn giao d_ịch t_ương _ứng vì m_ột entry trong C_k bao g_ồm t_ất c_ả các candidate k-itemset cĩ trong giao d_ịch.

Hình 2.2 Thu_ật tốn AprioriTid

Ví dụ: Xem xét CSDL trong hình 3 và cho r_ằng _độ h_ỗ tr_ợ c_ực ti_ểu là 2 giao d_ịch. G_ọi apriori-gen v_ới L₁ t_ại b_ước 4 cho các candidate itemsets C₂. Trong các b_ước 6 _đến 10, chúng ta _đếm _độ h_ỗ tr_ợ c_ủa các candidates trong C₂ b_ằng cách l_ặp qua các entries trong _C1 và sinh ra _C2. Entry _đầu tiên trong _C1 là { {1} {3} {4} }, t_ương _ứng v_ới giao d_ịch 100. C_t t_ại b_ước 7 t_ương _ứng v_ới entry t này là { {1 3} }, vì {1 3} là m_ột thành viên c_ủa C₂ và c_ả hai ( {1 3} - {1}) và ( {1 3} - {3}) là các thành viên c_ủa t.set-of-itemsets.

G_ọi hàm apriori-gen v_ới L₂, cĩ _được C₃. Duy_ệt m_ột l_ần qua _C2 và C₃ t_ạo ra _C3 . Chú ý r_ằng khơng cĩ entry nào trong _C3 cho các giao d_ịch v_ới TIDs 100 và 400, vì chúng khơng ch_ứa b_ất k_ỳ t_ập itemsets trong C₃. Candidate {2 3 5} trong C₃ tr_ở thành large và là thành viên duy nh_ất c_ủa L₃. Khi sinh C₄ dùng L₃, k_ết qu_ả r_ỗng và k_ết thúc.

Hình 2.3 Ví d_ụ

2.1.3 Thuật tốn AprioriHybrid

Khơng c_ần thi_ết ph_ải dùng cùng m_ột thu_ật tốn trong t_ất c_ả các l_ần duy_ệt qua d_ữ li_ệu. Hình 2.4 cho th_ấy th_ời gian th_ực hi_ện cho Apriori và AprioriTid cho các l_ần duy_ệt khác nhau qua t_ập d_ữ li_ệu T10.I4.D100K kích th_ước 4.4MB (T10.I4.D100K cĩ T=10, I=4, D=100, T là kích th_ước trung bình c_ủa giao d_ịch, I là kích th_ước trung bình c_ủa các large itemsets, D là s_ố l_ượng các giao d_ịch). Trong các l_ần duy_ệt _đầu, Apriori làm t_ốt h_ơn AprioriTid. Nh_ưng AprioriTid l_ại h_ơn Apriori trong các l_ần duy_ệt sau. Nguyên nhân: Apriori và AprioriTid dùng cùng m_ột th_ủ t_ục sinh ra candidate và do _đĩ _đếm cùng các itemsets. Trong các l_ần duy_ệt sau, s_ố l_ượng các candidate itemsets gi_ảm. Nh_ưng, Apriori v_ẫn ki_ểm tra m_ọi giao d_ịch trong CSDL. Trong khi _đĩ, khơng duy_ệt tồn b_ộ CSDL, AprioriTid duy_ệt

k

đượ^{c s}ốđế^m độ ^hỗ ^trợ^{, và kích th}ướ^{c c}ủ^a C_k tr_ở thành nh_ỏ h_ơn kích th_ước c_ủa CSDL. Khi t_ập

k

C cĩ th_ể v_ừa v_ặn trong b_ộ nh_ớ, thì th_ậm chí cịn khơng ph_ải ch_ịu chi phí c_ủa vi_ệc ghi nĩ lên _đĩa.

Hình 2.4: Th_ời gian th_ực hi_ện cho m_ỗi l_ần duy_ệt c_ủa Apriori và AprioriTid (T10.I14.D100K, _độ h_ỗ tr_ợ c_ực ti_ểu = 0.75%)

D_ựa trên nh_ững quan sát này, ng_ười ta _đã thi_ết k_ế m_ột thu_ật tốn lai, g_ọi là AprioriHybrid: dùng Apriori trong trong các l_ần duy_ệt _đầu và chuy_ển t_ới AprioriTid khi nĩ cho r_ằng t_ập

k

C t_ại cu_ối l_ần duy_ệt s_ẽ v_ừa v_ặn trong b_ộ nh_ớ. Dùng kinh nghi_ệm sau _đây _đểđánh giá xem

k

C cĩ v_ừa v_ặn trong b_ộ nh_ớ khơng trong l_ần duy_ệt ti_ếp theo. T_ại cu_ối m_ỗi l_ần duy_ệt hi_ện th_ời, ta cĩ s_ố đế^{m các candidates trong C}k. T_ừđây, ta _ước l_ượng kích th_ước c_ủa

k

C s_ẽ là gì n_ếu nĩ _được sinh ra. Kích th_ước này, tính b_ằng words, là

_∑ support(c) + s_ố các giao d_ịch Candidates c _∈ C

N_ếu

k

C trong l_ần duy_ệt này là nh_ỏđủ v_ừa trong b_ộ nh_ớ, và cĩ các large candidates trong l_ần duy_ệt hi_ện t_ại ít h_ơn l_ần duy_ệt tr_ước, ta s_ẽ chuy_ển t_ới AprioriTid. _ði_ều ki_ện th_ứ hai _được thêm vào _để tránh chuy_ển khi

k

C trong l_ần duy_ệt hi_ện t_ại v_ừa v_ới b_ộ nh_ớ nh_ưng

k

C trong l_ần duy_ệt sau l_ại khơng v_ừa. Chuy_ển t_ừ Apriori t_ới AprioriTid khơng bao g_ồm chi phí. Gi_ả s_ử r_ằng quy_ết _định chuy_ển t_ừ Apriori t_ới AprioriTid t_ại cu_ối c_ủa l_ần duy_ệt th_ứ k. Trong l_ần duy_ệt th_ứ (k+1), sau khi tìm ra các candidate itemsets _được ch_ứa trong giao d_ịch, ta c_ũng s_ẽ ph_ải thêm IDs c_ủa chúng vào ₊₁

k

C . Nh_ư v_ậy cĩ m_ột chi phí b_ổ sung ph_ải ch_ịu trong l_ần duy_ệt này ch_ỉ liên quan t_ới vi_ệc ch_ạy Apriori. Ch_ỉ trong l_ần duy_ệt th_ứ (k+2) khi th_ực s_ự b_ắt _đầu ch_ạy AprioriTid. Nh_ư v_ậy, n_ếu khơng cĩ large (k+1)-itemsets, ho_ặc khơng cĩ (k+2)-candidates, ta s_ẽ ph_ải ch_ịu chi phí c_ủa vi_ệc chuy_ển mà khơng thu _được b_ất k_ỳ cái gì t_ừ vi_ệc dùng AprioriTid.

So sánh hi_ệu n_ăng c_ủa AprioriHybrid v_ới Apriori và AprioriTid v_ới cùng các t_ập d_ữ li_ệu: AprioriHybrid th_ực hi_ện t_ốt h_ơn Apriori trong ph_ần l_ớn các tr_ường h_ợp. V_ới tr_ường h_ợp AprioriHybrid làm t_ốt h_ơn Apriori t_ừ l_ần duy_ệt cĩ s_ự chuy_ển nh_ưng vi_ệc chuy_ển l_ại xu_ất hi_ện _ở l_ần duy_ệt cu_ối cùng; nh_ư v_ậy AprioriHybrid ch_ịu chi phí c_ủa vi_ệc chuy_ển mà khơng th_ực s_ự cĩ l_ợi ích. Nĩi chung, thu_ận l_ợi c_ủa AprioriHybrid h_ơn Apriori ph_ụ thu_ộc vào kích th_ước c_ủa t_ập

k

C suy bi_ến nh_ư th_ế nào trong các l_ần duy_ệt sau. N_ếu

k C gi_ữ nguyên large _đến g_ần cu_ối và sau _đĩ _đột ng_ột r_ớt xu_ống, thì s_ẽ khơng thu đượ^{c nhi}ề^{u t}ừ ^việ^{c dùng AprioriHybrid vì ta ch}ỉ ^{cĩ th}ể ^{dùng AprioriTid cho} m_ột chu k_ỳ th_ời gian ng_ắn sau khi chuy_ển (nh_ư v_ới t_ập d_ữ li_ệu T20.I16.D100K). Ng_ược l_ại, n_ếu cĩ m_ột s_ự suy gi_ảm d_ần trong kích th_ước c_ủa

k

C , AprioriTid cĩ th_{ể đượ}c dùng m_ột lúc sau khi chuy_ển, và ý ngh_ĩa c_ải ti_ến cĩ th_ể thu _được trong th_ời gian th_ực hi_ện.

2.2. Cả^{i ti}ế^{n hi}ệ^{u qu}ả ^thuậ^{t tốn Apriori}

Vì l_ượng c_ủa d_ữ li_ệu x_ử lý trong khai phá các frequent itemsets cĩ xu h_ướng r_ất l_ớn, nên vi_ệc phát minh ra nh_ững thu_ật tốn hi_ệu qu_{ả để} khai phá d_ữ li_ệu nh_ư v_ậy là r_ất quan tr_ọng. Thu_ật tốn Apriori c_ơ b_ản duy_ệt CSDL m_ột vài l_ần, ph_ụ thu_ộc vào kích th_ước c_ủa frequent itemset l_ớn nh_ất. M_ột vài tinh ch_ỉnh _đã _được _đưa ra t_ập trung vào vi_ệc gi_ảm s_ố l_ượng l_ần duy_ệt CSDL, s_ố l_ượng các candidate itemsets _được tính tốn trong m_ỗi l_ần duy_ệt, ho_ặc c_ả hai.

Partition-based Apriori (Apriori d_ựa trên Partition) là thu_ật tốn _địi h_ỏi ch_ỉ 2 l_ần duy_ệt CSDL giao d_ịch. CSDL _được chia thành các ph_ần (partitions) r_ời nhau, m_ỗi ph_ần _đủ nh_{ỏ để} v_ừa v_ới b_ộ nh_ớ s_ẵn cĩ. Trong l_ần duy_ệt _đầu tiên, thu_ật tốn _đọc m_ỗi partition và tính tốn các frequent itemsets đị^{a ph}ươ^{ng trong m}ỗ^{i partition. Trong l}ầ^{n duy}ệ^{t th}ứ ^{hai, thu}ậ^{t tốn tính tốn} độ ^hỗ ^trợ ^củ^{a t}ấ^{t c}ả ^{các frequent itemsets} đị^{a ph}ươ^ng đố^{i v}ớ^{i tồn b}ộ ^CSDL. N_ếu itemset là frequent v_ới tồn b_ộ CSDL, nĩ ch_ắc ch_ắn là frequent trong ít nh_ất m_ột partition. _ðĩ là kinh nghi_ệm dùng trong thu_ật tốn. Do _đĩ, l_ần duy_ệt th_ứ 2 qua CSDL _đếm superset c_ủa t_ất c_ả các frequent itemsets ti_ềm n_ăng.

Lấy mẫu: Khi kích th_ước c_ủa CSDL r_ất l_ớn, vi_ệc l_ấy m_ẫu tr_ở thành cách ti_ếp c_ận h_ấp d_ẫn v_ới vi_ệc khai phá d_ữ li_ệu. Thu_ật tốn d_ựa trên m_ẫu _đi_ển hình yêu c_ầu 2 l_ần duy_ệt CSDL. Thu_ật tốn _đầu tiên l_ấy m_ẫu t_ừ CSDL và sinh ra t_ập các candidate itemsets s_ẽ là frequent trong tồn b_ộ CSDL v_ới kh_ả n_ăng ch_ắc ch_ắn cao. Trong l_ần duy_ệt chu_ỗi con trên CSDL, thu_ật tốn tính tốn chính xác _độ h_ỗ tr_ợ c_ủa các itemsets này và _độ h_ỗ tr_ợ c_ủa ranh gi_ới negative. N_ếu khơng cĩ itemset nào trong negative border là frequent, thì thu_ật tốn _đã khám phá t_ất c_ả các frequent itemsets. M_ặt khác, m_ột vài superset c_ủa m_ột itemset trong negative border cĩ th_ể là frequent, nh_ưng _độ h_ỗ tr_ợ c_ủa nĩ ch_ưa đượ^{c tính tốn. Thu}ậ^{t tốn sinh ra và tính tốn t}ấ^{t c}ả ^{các frequent itemsets} ti_ềm n_ăng trong các l_ần duy_ệt chu_ỗi con trên CSDL.

Cập nhật dần (Incremental updating): Vi_ệc tìm ra các frequent itemsets trong các CSDL l_ớn là r_ất cĩ giá tr_ị, các k_ỹ thu_ật _incremental

updating ^cầⁿ đượ^{c phát tri}ểⁿ để ^bả^{o trì các frequent itemsets} đ^{ã phát hi}ệⁿ đượ^{c (và các lu}ậ^{t k}ế^{t h}ợ^{p t}ươ^ng ứ^{ng) v}ớ^{i m}ụ^c đ^{ích tránh khai phá l}ạ^{i tồn b}ộ CSDL. Các c_ập nh_ật trên CSDL cĩ th_ể khơng ch_ỉ làm sai m_ột vài frequent itemsets _đang t_ồn t_ại mà con chuy_ển m_ột vài itemsets m_ới thành frequent. V_ấn _đề b_ảo trì các frequent itemsets _đã phát hi_ện t_ừ tr_ước trong các CSDL l_ớn và bi_ến _động khơng _đơn gi_ản. Ý t_ưởng là dùng l_ại thơng tin c_ủa các frequent itemsets c_ũ và tích h_ợp thơng tin v_{ề độ} h_ỗ tr_ợ c_ủa các frequent itemsets m_ới để ^giả^{m v}ề ^că^{n b}ả^{n l}ượ^{ng các candidates} đượ^{c ki}ể^{m tra l}ạ^i.

Khai phá luật kết hợp tổng quát: Trong nhi_ều _ứng d_ụng, các k_ết h_ợp c_ủa các items d_ữ li_ệu th_ường xu_ất hi_ện t_ại _{mức khái niệm tương đối cao}. Ví d_ụ, m_ột phân c_ấp c_ủa các thành ph_ần th_ức _ăn _được bi_ểu di_ễn trong hình 2.5, trong _đĩ M (s_ữa), B (bánh mì), là khái ni_ệm phân c_ấp, cĩ th_ể cĩ m_ột vài n_ội dung thành ph_ần con. Các thành ph_ần m_ức th_ấp nh_ất trong phân c_ấp là các lo_ại s_ữa và bánh mì. Cĩ th_ể khĩ tìm ra quy t_ắc v_ới m_ức khái ni_ệm nguyên th_ủy, nh_ư là s_ữa socola và bánh mì b_ằng lúa mì. Nh_ưng d_ễ dàng tìm ra quy t_ắc ở ^mứ^{c khái ni}ệ^{m cao, nh}ư^{: h}ơ^{n 80% khách hàng mua s}ữ^{a c}ũ^{ng mua bánh mì.}

Hình 2.5: M_ột ví d_ụ c_ủa cây phân c_ấp khái ni_ệm cho khai phá các frequent itemsets nhi_ều m_ức

Do _đĩ, khai phá ra các frequent itemsets t_ại m_ức tr_ừu t_ượng t_ổng quát ho_ặc t_ại các m_ức _đa khái ni_ệm (multiple-concept levels) là r_ất quan tr_ọng.

Vì s_ố l_ượng d_ữ li_ệu _được x_ử lý trong khai phá các lu_ật k_ết h_ợp cĩ xu h_ướng r_ất l_ớn, nên _đưa ra nh_ững thu_ật tốn hi_ệu qu_{ả để} xây d_ựng vi_ệc khai phá trên nh_ững d_ữ li_ệu nh_ư v_ậy là r_ất quan tr_ọng. Trong ph_ần này, trình bày m_ột vài thu_ật tốn c_ải ti_ến cho Apriori.

2.2.2 Phươ^{ng pháp FP-tree}

Ph_ương pháp Frequent pattern growth (FP-growth) là m_ột ph_ương pháp hi_ệu qu_{ả để} khai phá các frequent itemsets trong các CSDL l_ớn. Thu_ật tốn khai phá các frequent itemsets mà khơng cĩ quá trình sinh candidate t_ốn th_ời gian mà là y_ếu t_ố c_ần thi_ết cho Apriori. Khi CSDL l_ớn, FP-growth _đầu tiên th_ực hi_ện m_ột phép chi_ếu CSDL c_ủa các frequent items; sau _đĩ nĩ chuy_ển t_ới khai phá b_ộ nh_ớ chính b_ằng cách xây d_ựng c_ấu trúc d_ữ li_ệu g_ọn nh_ẹđược g_ọi là FP-tree. [9]

ðể ^giả^{i thích thu}ậ^{t tốn, ta dùng CSDL giao d}ị^{ch trong b}ả^{ng 2.1 và}