Giải thuật PHP (Perfect Hashing and Pruning)

3. Một số giải thuật cơ bản khai phá các tập phổ biến

3.4. Giải thuật PHP (Perfect Hashing and Pruning)

Trong thuật giải DHP, nếu chúng ta có thể định nghĩa một bảng băm lớn sao cho mỗi tập item có thể đƣợc ánh xạ vào các ô riêng biệt trong bảng băm thì giá trị băm của bảng băm sẽ cho biết số lƣợng xuất hiện thật sự của mỗi tập phần tử. Trong trƣờng hợp này, chúng ta sẽ không cần phải thực hiện lại việc đếm số lần xuất hiện cho các tập item này.

Dễ thấy rằng số lƣợng dòng dữ liệu cần quét với một tập gồm nhiều tập item cũng là một vẫn đề ảnh hƣởng xấu đến hiệu quả thực hiện. Việc giảm thiểu số transaction cần phải đọc lại và bỏ bớt các item không cần xét rõ ràng cải thiện chất lƣợng data mining với cơ sở dữ liệu lớn.

Giải thuật đƣợc đề nghị PHP sử dụng một bảng băm lý tƣởng (perfect hashing) cho mỗi bƣớc phát sinh bảng băng và đồng thời giảm kích thƣớc cơ sở dữ liệu bằng cách cắt bỏ những transaction không chứa bất kỳ một tập phổ biến nào. Thuật giải đƣợc mô tả nhƣ sau: Trong bƣớc đầu tiên của thuật giải, kích thƣớc của bảng băm bằng với số lƣợng item trong cơ sở dữ liệu. Mỗi item này đƣợc ánh xạ vào một vị trí riêng biệt trong bảng băm, do đó, ta gọi giải thuật này là perfect hashing. Phƣơng thức cộng của bảng băm thêm vào một mục mới nếu mục này chƣa tồn tại trong bảng băm và giá trị đếm đƣợc khởi tạo là 1; ngƣợc lại biến đếm sẽ đƣợc tăng lên 1 đơn vị. Sau bƣớc đầu tiên, bảng băm chứa đúng số lần xuất hiện của mỗi item trong cơ sở dữ liệu. Chỉ cần duyệt một bƣớc qua bảng băm (đƣợc đặt trong bộ nhớ chính), thuật giải dễ dàng phát sinh ra các tập phổ biến 1-phần tử. Sau bƣớc này, phƣơng thức prune của bảng băm sẽ loại bỏ tất cả các mục có độ support nhỏ hơn minSupp.

Trong các bƣớc tiếp theo, giải thuật cắt xén bớt cơ sở dữ liệu bằng cách bỏ đi không xét đến các transaction không chứa bất kỳ một tập phổ biến nào cũng nhƣ bỏ tất cả các item không tham gia vào một tập phổ biến nào. Kế đó, thuật giải phát sinh các ứng viên k-phần tử và đếm số lần xuất hiện của các tập k-phần tử. Cuối của bƣớc này, Dk là cở sở dữ liệu đã đƣợc cắt xén, Hk

chứa số lần xuất hiện của các tập k-phần tử, Fk là các tập phổ biến k-phần tử. Quá trình này tiếp tục cho đến khi không còn Fk nào đƣợc tìm thêm nữa.

Thuật giải này rõ ràng là tốt hơn DHP vì sau khi tạo bảng băm, chúng ta không cần đếm số lần xuất hiện của các ứng viên k-phần tử nhƣ trong trƣờng hợp DHP. Giải thuật này cũng tốt hơn giải thuật Apriori vì tại mỗi vòng lặp, kích thƣớc của cơ sở dữ liệu đƣợc giảm, điều này làm tăng hiệu quả của thuật

toán trong trƣờng hợp cơ sở dữ liệu lớn và số lƣợng các tập phổ biến tƣơng đối nhỏ.

Input: Database

Output: Tập phổ biến k-item

/* Database = set of transaction; Items = set of items;

transaction = <TID, {xItems}>; F1 là tập phổ biến l-item */

F1=;

/*

H1 là bảng băm có 1-itemset */

for each transaction tDatabase do begin for each item x in t do

H1.add(x); end

for each itemset y in H1 do if H1.hassupport(y) then F1=F1y end H1.prune(minsupp) D1=Database /* Tìm Fk tập phổ biến k-item, k2 */ k=2; repeat Dk=; Fk=;

for each transaction tDk-1 do begin // w là k-1 subset của item in t

if w|wFk1

then skip t; else

items = ;

Hk-1.hassupport(z) then Hk.add(y); items = itemy; end Dk=Dkt; end

for each itemset y in Hk do if Hk.hassport(y) then Fk=Fky; end Hk+1.prune(minsupp) k++; until Fk-1=; Answer=k Fk;

Ngoài ra, sau mỗi vòng lặp thì Dk là cở sở dữ liệu chỉ chứa các transaction có chứa tập phổ biến. Giải thuật tạo tất cả các tập con k-phần tử của mỗi item trong mỗi giao tác và chèn phần tử nào có các tập con k-1 phần tử thỏa độ support trong bảng băm. Vì thuật giải thực hiện việc cắt xén trong quá trình thêm các ứng viên k-phần tử vào Hk nên kích thƣớc của bảng băm không quá lớn và có thể đặt trong bộ nhớ chính.