Thuật toán FP-growth

Thuật toán Apriori gặp phải hai chi phí lớn:

- Chi phí sinh ra số lượng khổng lồ các tập ứng viên. Ví dụ, nếu có 104 mục thường xuyên thì thuật toán Apriori sẽ cần sinh ra hơn 107 các ứng viên 2- tập mục và thực hiện kiểm tra độ hỗ trợ của chúng.

- Lặp nhiều lần duyệt cơ sở dữ liệu, số lần duyệt cơ sở dữ liệu của thuật toán Apriori bằng độ dài của tập mục thường xuyên dài nhất tìm được. Thuật toán Apriori chỉ thích hợp cho các cơ sở dữ liệu thưa (sparse), với các cơ sở dữ liệu dày (dense) thì thuật toán thực hiện kém hiệu quả.

Để khắc phục nhược điểm trên của thuật toán Apriori, J. Han, J Pei, Y. Yin và R. Mao đề xuất thuật toán FP- growth [10]. Thuật toán FP- growth được xây dựng với 3 kỹ thuật chính:

(1)Nén dữ liệu thích hợp vào một cấu trúc cây gọi là cây FP-tree. Chỉ có các 1- tập mục (1- item) ở trong cây và các nút của cây được sắp xếp để các nút xuất hiện thường xuyên hơn có thể dễ dàng chia sẻ với các nút xuất hiện ít hơn. (2)Thực hiện phương pháp khai phá phát triển (growth) từng đoạn dựa trên cây

FP-tree gọi là phương pháp FP-growth.

(3)Kỹ thuật tìm kiếm được dùng ở đây là dựa vào sự phân chia, “chia để trị”, phân rã nhiệm vụ khai phá thành các nhiệm vụ nhỏ hơn.

Thuật toán FP-growth do nén toàn bộ cơ sở dữ liệu lên một cấu trúc dữ liệu nhỏ hơn là cây FP-tree nên tránh được việc duyệt nhiều lần cơ sở dữ liệu (thuật toán chỉ duyệt cơ sở dữ liệu 2 lần). Tiếp theo thuật toán khai phá cây bằng phát triển dần các mẫu mà không sinh các tập mục ứng viên, do đó tránh được khối lượng tính toán lớn. Tuy vậy, thuật toán FP-growth khai phá cây FP-tree sử dụng phương pháp đệ quy, đòi hỏi khối lượng tính toán lớn và cần nhiều bộ nhớ. Năm 2003, nhóm tác giả Mohammad El-Hajj và Osmar R.Zaiane ở đại học Alberta Edmonton, Canada đề xuất thuật toán không đệ quy khai phá cây FP-tree dựa trên cấu trúc cây COFI-tree (Co-Occurrence Frequent Items tree) [5, 6]. Thuật toán COFI – tree có nhiều ưu điểm hơn thuật toán FP-growth

Phần sau đây trình bày nội dung cơ bản của thuật toán COFI-tree khai phá cây FP-tree là cơ sở để phát triển các thuật toán mới trong chương ba của luận án.

Thuật toán COFI-tree gồm 2 giai đoạn chính. Giai đoạn thứ nhất, xây dựng cây FP-tree. Giai đoạn thứ hai, khai phá cây FP-tree chia thành nhiều bước tương ứng với các mục dữ liệu trong bảng đầu mục của cây FP-tree, mỗi bước sử dụng một cấu trúc dữ liệu phụ trợ là cây COFe-tree của mục dữ liệu đó.

Mỗi nút của cây FP-tree gồm 3 trường: tên mục dữ liệu, độ hỗ trợ và một con trỏ (con trỏ này trỏ đến nút tiếp theo cùng tên trên cây hoặc là null nếu không có). Cây FP-tree có một bảng đầu mục (header table). Mỗi mục của bảng có 3 trường tên

mục dữ liệu, độ hỗ trợ, con trỏ này trỏ đến nút đầu tiên biểu diễn mục dữ liệu này trong cây.

Cây COFI-tree có bảng đầu mục giống như cây FP-tree nhưng các mục dữ liệu có thứ tự ngược lại. Mỗi mục trong bảng đầu mục chứa 3 trường: tên mục dữ liệu, độ hỗ trợ địa phương (số lần xuất hiện của mục dữ liệu trong cây COFI-tree) và con trỏ (trỏ đến nút đầu tiên biểu diễn mục dữ liệu này trong cây). Một danh sách liên kết được duy trì giữa các nút cùng tên để thuận lợi cho quá trình khai phá. Mỗi nút của cây COFI-tree có 4 trường: tên mục dữ liệu, hai biến s và p (biến s biểu diễn độ hỗ trợ của nút, biến p cho biết số lần nút đó đã tham gia tạo mẫu), con trỏ (trỏ đến nút tiếp theo cùng tên trên cây).

Ta minh hoạ thuật toán COFi-tree qua xét cơ sở dữ liệu bảng 1.5 với ngưỡng độ hỗ trợ minsup=3.

Bảng 1.5: Cơ sở dữ liệu giao tác minh hoạ thực hiện thuật toán COFI-tree

TID A B C D E F T1 0 1 1 1 0 0 T2 0 1 1 1 0 0 T3 1 1 0 1 0 0 T4 0 0 1 1 0 1 T5 0 0 1 1 0 0 T6 1 0 1 0 0 0 T7 1 1 1 0 0 1 T8 1 0 1 0 0 0 T9 1 1 0 0 1 0 T10 1 0 0 0 1 0 T11 1 1 1 0 0 0

Giai đoạn 1: Xây dựng cây FP-tree.

Duyệt cơ sở dữ liệu lần thứ nhất tính được độ hỗ trợ của mỗi mục dữ liệu, loại bỏ các mục dữ liệu không thoả mãn ngưỡng minsup=3, sắp các mục còn lại theo thứ tự giảm dần của độ hỗ trợ, nhận được bảng 1.7.

Bảng 1.6: Các mục dữ liệu và độ hỗ trợ Mục dữ liệu Độ hỗ trợ A 7 B 6 C 8 D 5 E 2 F 2

Bảng 1.7: Các mục dữ liệu thường xuyên đã sắp thứ tự Mục dữ liệu Độ hỗ trợ

C 8

A 7

B 6

D 5

Duyệt cơ sở dữ liệu lần 2, mỗi giao tác chọn ra các mục dữ liệu thường xuyên, sắp chúng theo thứ tự giảm dần của độ hỗ trợ và chèn lên cây. Hình 1.2 biểu diễn cây FP-tree.

Giai đoạn 2: Khai phá cây FP-tree

Xét lần lượt các mục dữ liệu từ dưới lên trong bảng đầu mục của cây FP-tree, với mỗi mục dữ liệu, xây dựng cây COFI-tree của nó, khai phá cây này tìm các mẫu thường xuyên, sau khi khai phá xong, loại bỏ cây đó và xây dựng cây COFI-tree cho mục dữ liệu tiếp theo. Minh hoạ thuật toán qua xét mục dữ liệu đầu tiên D như sau:

- Xây dựng cây COFI-tree của mục D (gọi cây này là D-COFI-tree)

Có 3 nút trên cây có nhãn D, từ các nút này đi lên gốc tìm được 3 đường đi: (D:2, B:2, C:8), (D:1, B:2, A:3), (D:2, C:8), các đường đi này xác định các mẫu dữ liệu với độ hỗ trợ bằng độ hỗ trợ của nút đầu D, tức là DBC2, DBA:1 và DC:2. Xây dựng cây D-COFI-tree từ các mẫu này. Hình 1.3 biểu diễn cây D-COFI-tree.

Bảng 1.8: Các mục dữ liệu trong giao tác sắp giảm dần theo độ hỗ trợ. TID Các mục dữ liệu T1 C, B, D T2 C, B, D T3 A, B, D T4 C, D T5 C, D T6 C, A T7 C, A, B T8 C, A T9 A, B T10 A T11 C, A, B

Hình 1.2: Cây FP-tree của CSDL bảng 1.5.

- Khai phá cây D-COFI-tree: xét lần lượt các mục dữ liệu trong bảng đầu mục, bắt đầu từ mục có độ hỗ trợ lớn nhất là C, cuối cùng đến mục có độ hỗ trợ nhỏ nhất A. Mục C có 2 nhánh trên cây là (C:2, B:3, D:5) và (C:2, D:5). Nhánh thứ nhất tạo ra mẫu CBD với độ hỗ trợ là s-p=2-0=2 (s và p là hai biến tại nút nhãn C). Thuật toán tăng giá trị biến p của tất cả các nút trên đường đi này lên 2. Mẫu CBD:2 và tất cả các mẫu con có chứa D của nó được cất vào danh sách ứng viên của mục D là {CBD:2, CD:2, BD:2} (bước 1).

Nhánh thứ hai nhận được mẫu CD:2 và kết nạp nó vào danh sách ứng viên. Trong danh sách ứng viên đã có mẫu CD:2 nên chỉ điều chỉnh độ hỗ trợ của mẫu này thành CD:4 và danh sách ứng viên trở thành {CBD:2, CD:4, BD:2}. Tăng biến p của các nút trên đường đi này lên 2 đơn vị (bước 2).

Tương tự, xét tiếp mục B, có một nhánh là BD nên sinh ra mẫu BD:1, kết nạp vào danh sách ứng viên được {CBD:2, CD:2, BD:3} (bước 3).

Mục A còn lại trong bảng đầu mục bỏ qua vì có độ hỗ trợ nhỏ hơn minsup

Hình 1.4: Các bước khai phá cây D-COFI-tree.

Thuật toán duyệt qua các mẫu trong danh sách ứng viên, loại các mẫu không thỏa mãn ngưỡng hỗ trợ và nhận được các mẫu thường xuyên là CD:4, BD:3. Cây D- COFI-tree được loại bỏ và tiếp tục xây dựng cây COFI-tree cho các dữ liệu tiếp theo.

1.4. Mở rộng bài toán khai phá tập mục thƣờng xuyên

Mô hình khai phá tập mục thường xuyên cơ bản có nhiều ứng dụng trong thực tế nhưng nó cũng có những hạn chế, không đáp ứng nhu cầu của người sử dụng. Ràng buộc về độ hỗ trợ của tập mục thường xuyên chủ yếu mang ngữ nghĩa thống kê, không phản ánh được các vai trò khác nhau của các thuộc tính cũng như đặc tính dữ liệu vốn có của chúng trong cơ sở dữ liệu.

Để đáp ứng được nhu cầu của thực tiễn, bài toán khai phá tập mục thường xuyên có nhiều mở rộng và ứng dụng.

Một hướng mở rộng của bài toán có nhiều ứng dụng là quan tâm đến cấu trúc dữ liệu và mức độ khác nhau của các mục dữ liệu, các thuộc tính trong cơ sở dữ liệu. Một số mô hình mở rộng của bài toán đã được nghiên cứu là:

- Quan tâm đến mức độ khác nhau của các mục dữ liệu bằng cách gán cho mỗi mục một giá trị gọi là trọng số. Độ hỗ trợ và và tin cậy của luật kết hợp khi đó trở

thành độ hỗ trợ và độ tin cậy có trọng số. Luật kết hợp có đỗ hỗ trợ và độ tin cậy trọng số hóa được gọi là luật kết hợp có trọng số.

- Quan tâm tới các kiểu thuộc tính khác nhau trong cơ sở dữ liệu như nhị phân, đa phân, định lượng. Luật kết hợp lúc đó được gọi là luật kết hợp định lượng. Để tìm các luật kết hợp định lượng người ta đưa bài toán về dạng nhị phân bằng cách phân khoảng các giá trị thuộc tính, sau đó có thể sử dụng các thuật toán khai phá dữ liệu nhị phân đã biết.

- Chú ý đến cả cấu trúc dữ liệu lẫn mức độ quan trọng khác nhau của các thuộc tính trong cơ sở dữ liệu. Theo hướng này, nhiều nhà nghiên cứu đã đề xuất các mô hình mở rộng: khai phá tập mục cổ phần cao đánh giá sự đóng góp của tập mục trong tổng số các mục của cơ sở dữ liệu; khai phá tập mục lợi ích cao, đánh giá lợi ích mà tập mục mang lại trong cơ sở dữ liệu, [1, 2, 15-17].

1.5. Kết luận chƣơng 1

- Chương 1 luận văn đã trình bày khái quát về khai phá dữ liệu, tóm tắt quá trình khai phá, các kỹ thuật, các ứng dụng và những thách thức; bài toán khai phá tập mục thường xuyên và hai thuật toán cơ bản là Apriori và FP-Growth. Thuật toán Apriori tiêu biểu cho phương pháp sinh ra các tập mục ứng viên rồi duyệt cơ sở dữ liệu kiểm tra độ hỗ trợ của chúng, thuật toán FP-growth đại diện cho phương pháp không sinh ra các tập mục ứng viên mà nén cơ sở dữ liệu lên cấu trúc cây, sau đó khai phá cây này. Ở đây trình bày phương pháp COFI- tree khai phá cây FP-tree để tìm ra các tập mục thường xuyên thay cho phương pháp FP-growth của J.Han để làm cơ sở cho việc phát triển các thuật toán ở chương 3 của luận án.

- Chương hai và chương ba tiếp theo của luận văn sẽ trình bày mô hình mở rộng của bài toán khai phá tập mục thương xuyên là khai phá tập mục lợi ích cao, và bốn thuật toán tiêu biểu giải quyết vấn đề này.

Chƣơng 2

KHAI PHÁ TẬP MỤC LỢI ÍCH CAO: BÀI TOÁN VÀ BA THUẬT GIẢI KIỂU APRIORI

2.1. Mở đầu

Bài toán truyền thống (hay còn gọi bài toán nhị phân) khai phá luật kết hợp do R. Agrawal, T. Imielinski và A. N. Swami đề xuất và nghiên cứu lần đầu tiên vào năm 1993 [3, 4]. Mục đích của nó là phát hiện các tập mục thường xuyên, từ đó tạo các luật kết hợp. Cho đến nay, bài toán truyền thống có nhiều ứng dụng, tuy vậy do tập mục thường xuyên chỉ mang ngữ nghĩa thống kê nên mô hình bài toán này chỉ đáp ứng được phần nào nhu cầu ứng dụng thực tiễn, (xem chẳng hạn [8, 9, 11]). Thật ra, trong kinh doanh, điều mà người quản lý quan tâm hơn là phát hiện những khách VIP, đem lại lợi nhuận cao. Trong thực hành, có những tập mục thường xuyên nhưng chỉ đóng góp phần rất nhỏ, ngược lại có những tập mục không thường xuyên lại đóng góp phần đáng kể vào lợi nhuận chung cuộc của công ty.

Gần đây, nhằm khắc phục hạn chế của bài toán cơ bản khai phá luật kết hợp, người ta đã mở rộng nó theo nhiều hướng khác nhau. Trong [15, 16, 17], H. Yao, H. J. Hamilton và cộng sự đã đề xuất bài toán khai phá tập mục lợi ích cao. Lợi ích của một tập mục là số đo lợi nhuận mà nó có thể mang lại trong kinh doanh, được tính toán dựa trên giá trị khách quan và giá trị chủ quan của các mục thành viên. Giá trị khách quan của một mục là số đơn vị mục bán được, dữ liệu này có sẵn trong cơ sở dữ liệu. Giá trị chủ quan của một mục là giá trị lợi nhuận mà mỗi đơn vị mục có thể đem lại, theo đánh giá của nhà kinh doanh. Khai phá tập mục lợi ích cao là khám phá tất cả tập mục X đem lại lợi ích u X( ), trong đó  là ngưỡng quy định bởi người sử dụng.

Có thể coi bài toán cơ bản khai phá tập mục thường xuyên là trường hợp đặc biệt của bài toán khai phá tập mục lợi ích cao, trong đó tất cả các mục đều có giá trị khách quan bằng 0 hoặc 1 và giá trị chủ quan bằng 1.

Trong khai phá luật kết hợp cơ bản, các thuật toán khám phá tập mục thường xuyên được xây dựng theo phương pháp tìm kiếm từng bước. Cơ sở của các thuật toán này là tính chất Apriori hay còn gọi là tính chất phản đơn điệu (anti monotone), tính chất đóng xuống (downward closure) của tập mục thường xuyên. Đó là tập con khác rỗng của một tập mục thường xuyên phải là tập thường xuyên. Điều này có nghĩa các (k+1)-tập mục thường xuyên chỉ có thể sinh ra từ các k-tập mục thường xuyên. Tính chất Apriori cho phép loại bỏ được phần lớn các tổ hợp mục không thường xuyên ra khỏi không gian tìm kiếm tại mỗi bước.

Đáng tiếc là ràng buộc lợi ích cao không thỏa mãn tính chất Apriori. Do đó, việc rút gọn không gian tìm kiếm, phát hiện tập mục lợi ích cao không thể thực hiện được như trong khai phá tập mục thường xuyên. Cùng với phát biểu bài toán, trong [15] Hong Yao và Howard J. Hamilton đã đề xuất hai thuật toán đầu tiên khám phá tập mục lợi ích cao. Đó là các thuật toán UMining và UMining-H. Các thuật toán này thuộc kiểu Apriori, phát hiện các tập mục lợi ích cao từng bước theo chiều rộng.

Chương 2 này nhằm phát biểu bài toán khai phá tập mục lợi ích cao và trình bày nội dung hai thuật toán có tính cơ bản nói trên cùng với một thuật toán kiểu Apriori khác, thuật toán hai pha HUMining.

2.2. Bài toán khai phá tập mục lợi ích cao

Trước hết ta nêu định nghĩa của một số thuật ngữ (theo [15]).

Cho cơ sở dữ liệu giao tác T. Ký hiệu I i1,..., , ,...,i ip q im là tập tất cả các mục (thuộc tính) của T. Mỗi giao tác (bản ghi) tq trong T là một tập con của I, được gán một định danh TID . Một tập con của I, gồm k mục phân biệt được gọi là một k-tập mục, ký hiệu là k

S . Để đơn giản, đôi khi thay vì i1,...,ik ta viết i1,...,ik; chẳng hạn tập mục A B C D, , , được viết ngắn gọn là ABCD.

Định nghĩa 2.1. Ta gọi số đơn vị mục ipbán được tại giao tác tq(giá trị có sẵn trong cột iphàng tq của cơ sở dữ liệu) là giá trị khách quan (objective value) của mục

p

Định nghĩa 2.2. Ta gọi giá trị ypdo nhà kinh doanh gán cho mục ip trong cơ sở dữ liệu, dựa trên đánh giá lợi nhuận mà mỗi đơn vị mục có thể đem lại, là giá trị chủ quan (subjective value) của mục ip. Dĩ nhiên, nếu ip được đánh giá cao hơn iq thì yp  yq.

Thông thường, giá trị chủ quan của các mục được cho dưới dạng bảng (kèm theo cơ sở dữ liệu). Dưới đây là một ví dụ về cơ sở dữ liệu giao tác T (bảng 1 và 2).

Mục TID A B C D E t1 0 0 16 0 1 t2 0 12 0 2 1 t3 2 0 1 0 1