Khai mở dữ liệu và khám phá tri thức
Chương 7: Khai mỏ dữ liệu Phần III: Khai mỏ dữ liệu và khám phá tri thức Tham khảo thêm: [1] GS.TSKH Hoàng Kiếm. Bài giảng cao học môn học cơ sở tri thức và ứng dụng. ĐHKHTN-TPHCM. [2] Krzysztof J. Cios, Witold Pedrycz, Roman W. Swiniarski. Data Mining Methods for Knowledge Discovery. Kluwer Academic Publishers, 1998 [3] Citeseer - Scientific Literature Digital Library. Artificial Intelligence-http://citeseer.nj.nec.com/ArtificialIntelligence/ - 2003 Bài toán khám phá luật kết hợp Bài toán phân loại dữ liệu Bài toán gom nhóm dữ liệu Bài toán lập mô hình Bài toán dự báo … I. Một số bài toán điển hình về data mining I. Một số bài toán điển hình về data mining (tt) a. Phát hiện luật kết hợp (association rules) Tìm ra những mối liên hệ giữa các trường mô tả đối tượng trong CSDL và xây dựng thành các luật cụ thể. Luật kết hợp là tri thức quan trọng nhất tiềm ẩn trong CSDL. Ví dụ: Sau khi phân tích một CSDL bán hàng ta tìm ra được các luật (1): Nếu khách hàng mua món A cũng sẽ mua món B. (2): Nếu khách hàng mua món C thì tháng sau sẽ mua món D. … I. Một số bài toán điển hình về data mining (tt) b. Phân lớp (classification) Lớp A Lớp B Lớp C Phân những đối tượng dữ liệu có đặc trưng của lớp C vào lớp C I. Một số bài toán điển hình về data mining (tt) c. Gom nhóm (Clustering) Nhoùm 1 Nhoùm 2 Nhoùm 3 Gom những đối tượng dữ liệu tương tự vào 1 nhóm Tham khảo thêm: [1] Krzysztof J. Cios, Witold Pedrycz, Roman W. Swiniarski. Data Mining Methods for Knowledge Discovery. Kluwer Academic Publishers, 1998 [2] Citeseer - Scientific Literature Digital Library. Artificial Intelligence- http://citeseer.nj.nec.com/ArtificialIntelligence/ - 2003 II. Luật kết hợp 1. Một số khái niệm: Cho I = {i 1 , i 2 , i 3 , …, i n } là tập hợp các trường gọi là items D: tập các giao tác có các giao tác T i mà T i ⊆ I T chứa X nếu X ⊆ T (X là tập có các phần tử ⊆ I). Mỗi giao tác T i có chỉ danh là TID. Luật kết hợp là một mối liên hệ điều kiện giữa hai tập các hạng mục dữ liệu X và Y theo dạng sau: Nếu X thì Y, và ký hiệu là X ⇒ Y. Chúng ta có luật kết hợp X ⇒ Y, nếu X ⊂ I, Y ⊂ I và X ∩ Y = ∅ Luật X ⇒ Y có độ support là s nếu có s% số giao tác trong D có chứa X ∪ Y. Hay là : support (X⇒Y) = s% = Card(X∪Y)/ Card(D) % II. Luật kết hợp (tt) Luật X⇒Y có độ tin cậy là c (confidence) nếu có c% số giao tác trong D chứa X∪Y so với số giao tác trong D chứa X, khi đó ta có : c = Card(X∪Y)/Card(X) % Tập các hạng mục dữ liệu gọi là ItemSet có độ support lớn hơn hay bằng giá trị ngưỡng nhỏ nhất (gọi là minsupp) được gọi là Large ItemSet. Các ItemSet còn lại được gọi là các Small ItemSet Với mỗi một Large ItemSet - L, và A là một tập con khác rỗng của L, nếu tỉ lệ phần trăm giữa support của L so với support của A lớn hơn hay bằng độ tin cậy nhỏ nhất. (gọi là minconf) thì ta có luật kết hợp A ⇒ (L\A). II. Luật kết hợp (tt) Ví dụ: (minh họa 2 đại lượng minsupp và minconf) TID Age Married NumCars 100 23 No 1 200 25 Yes 1 300 29 No 0 400 34 Yes 2 500 38 Yes 2 Người ta đưa ra minsupp = 40% và mincon f = 50 %. Tìm ra được 2 luật kết hợp thỏa mãn minsupp và minconf (1): Age (30 39) and (Married: Yes) ⇒ NumCars = 2 (s = 40%, c = 100%) (2): NumCars(0 1) ⇒ Married = No (s = 40%, c = 66,6%). II. Luật kết hợp (tt) Thuộc tính trong CSDL Thuộc tính định lượng Thuộc tính không định lượng Ví dụ: thuộc tính Age Ví dụ: Thuộc tính Married 2. Biến đổi CSDL Phân chia giá trị của thuộc tính thành những khoảng và ứng với mỗi khoảng liên kết nó với một giá trị nguyên dương để dễ dàng thao tác trên các thuộc tính. II. Luật kết hợp (tt) Ví dụ: CSDL có thuộc tính Age nhận giá trị từ 20 → 50. Ta có thể chia 20 → 50 thành 4 khoảng: 10 19; 20 29; 30 39; 40 49. Xem mỗi miền này như là một thuộc tính riêng lần lượt là: 1, 2, 3, 4. TID Age 100 32 200 48 300 21 400 34 500 15 biến đổi thành TID Thuộc tính 100 3 200 4 300 2 400 3 500 1 [...]... biến là {{“nước ngọt”,”sữa”}} Ta xây dựng 2 luật (R1) “nước ngọt” → “sữa”; (R2) “sữa” → “nước ngọt” conf(R1) = sp(R1)/sp(“nước ngọt”) = 3/5 : 3/5 = 1 (100%) conf(R2) = sp(R1)/sp(sữa) = 3/5 : 4/5 = ¾ (75 %) (loại) II Luật kết hợp (tt) Vậy tìm được 1 luật: “nuớc ngọt” → “sữa” với minsupp = 50% minconf = 100% Khách hàng mua “nước ngọt” thì cũng sẽ mua “sữa” 4 Thuật tốn tìm luật kết hợp Bước 1 : Liệt . Chương 7: Khai mỏ dữ liệu Phần III: Khai mỏ dữ liệu và khám phá tri thức Tham khảo thêm: [1] GS.TSKH Hoàng Kiếm. Bài giảng. Intelligence-http://citeseer.nj.nec.com/ArtificialIntelligence/ - 2003 Bài toán khám phá luật kết hợp Bài toán phân loại dữ liệu Bài toán gom nhóm dữ liệu Bài toán lập mô hình Bài toán dự báo … I. Một số bài toán điển hình. những đối tượng dữ liệu có đặc trưng của lớp C vào lớp C I. Một số bài toán điển hình về data mining (tt) c. Gom nhóm (Clustering) Nhoùm 1 Nhoùm 2 Nhoùm 3 Gom những đối tượng dữ liệu tương tự