nghiên cứu một số phương pháp khai phá dữ liệu theo tiếp cận lý thuyết tập thô

BỘ GIÁO DỤC VÀ ĐÀO TẠO VIỆN KHOA HỌC VÀ CÔNG NGHỆ VIỆT NAM VIỆN CÔNG NGHỆ THÔNG TIN NGUYỄN LONG GIANG NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP KHAI PHÁ DỮ LIỆU THEO TIẾP CẬN LÝ THUYẾT TẬP THÔ Chuyên ngành: BẢO ĐẢM TOÁN HỌC CHO MÁY TÍNH VÀ HỆ THỐNG TÍNH TOÁN Mã số: 62.46.35.01 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC: 1.GS.TS Vũ Đức Thi 2. PGS.TS Nguyễn Thanh Tùng HÀ NỘI - 2012 i MỤC LỤC MỤC LỤC ii Danh mục các thuật ngữ v Bảng các ký hiệu, từ viết tắt vi Danh sách bảng viii Danh sách hình vẽ ix MỞ ĐẦU 1 Chương 1. CÁC KHÁI NIỆM CƠ BẢN 8 1.1.Hệ thông tin đầy đủ và mô hình tập thô truyền thống 8 1.1.1.Hệ thông tin đầy đủ 8 1.1.2.Mô hình tập thô truyền thống 9 1.1.3.Bảng quyết định đầy đủ 11 1.1.4.Tập rút gọn và tập lõi 11 1.1.5.Ma trận phân biệt và hàm phân biệt 13 1.2.Hệ thông tin không đầy đủ và mô hình tập thô dung sai 14 1.2.1.Hệ thông tin không đầy đủ 14 1.2.2.Bảng quyết định không đầy đủ 16 1.2.3.Tập rút gọn của bảng quyết định không đầy đủ 18 1.3.Cơ sở dữ liệu quan hệ 18 1.3.1.Một số khái niệm cơ bản 18 1.3.2.Một số thuật toán cơ bản 20 Chương 2. SO SÁNH, ĐÁNH GIÁ CÁC PHƯƠNG PHÁP RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH ĐẦY ĐỦ 24 2.1.Mở đầu 24 2.2.Mối liên hệ giữa các loại tập rút gọn dựa trên các tiêu chuẩn khác nhau 30 2.2.1.Các định nghĩa về tập rút gọn dựa trên entropy thông tin 30 2.2.2.Mối liên hệ giữa tập rút gọn Entropy Shannon với tập rút gọn Pawlak 33 2.2.3.Mối liên hệ giữa tập rút gọn dựa trên entropy Shannon với ma trận phân biệt. .36 2.2.4.Mối liên hệ giữa tập rút gọn dựa trên độ khác biệt của tri thức với tập rút gọn Entropy Liang 39 2.2.5.Tổng kết mối liên hệ giữa các loại tập rút gọn và phân loại các phương pháp 41 ii 2.3.Sự thay đổi các độ đo đánh giá hiệu năng tập luật quyết định trên các tập rút gọn 43 2.3.1.Luật quyết định và các độ đo cổ điển 43 2.3.2.Các độ đo đánh giá hiệu năng tập luật quyết định 44 2.3.3.Độ nhất quán mới của tập luật quyết định 45 2.3.4.Sự thay đổi giá trị các độ đo đánh giá hiệu năng tập luật quyết định 50 2.4.Tiêu chuẩn đánh giá các phương pháp rút gọn thuộc tính 52 2.4.1.Lựa chọn nhóm phương pháp rút gọn thuộc tính 52 2.4.2.Tiêu chuẩn đánh giá các phương pháp rút gọn thuộc tính 53 2.5.Kết luận chương 2 54 Chương 3. RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH ĐẦY ĐỦ SỬ DỤNG METRIC 55 3.1.Mở đầu 55 3.2.Metric trên họ các tri thức và các tính chất 56 3.2.1.Khoảng cách Jaccard giữa hai tập hợp hữu hạn 56 3.2.2.Metric trên họ các tri thức 58 3.2.3.Một số tính chất của metric trên bảng quyết định 59 3.3.Rút gọn thuộc tính trong bảng quyết định sử dụng metric 62 3.3.1.Tập lõi và tập rút gọn của bảng quyết định dựa trên metric 62 3.3.2.Thuật toán tìm tập rút gọn của bảng quyết định sử dụng metric 62 3.3.3.Mối liên hệ giữa tập rút gọn dựa trên metric và tập rút gọn Entropy Shannon. .69 3.3.4.Thuật toán tìm tập rút gọn theo tham số độ chắc chắn của tập luật 70 3.4.Thực nghiệm các thuật toán tìm tập rút gọn 72 3.4.1.Thực nghiệm thuật toán tìm tập rút gọn tốt nhất sử dụng metric 72 3.4.2.Thực nghiệm thuật toán tìm tập rút gọn theo tham số độ chắc chắn 74 3.5.Thực nghiệm các phương pháp phân lớp dựa trên tập rút gọn 75 3.5.1.Thực nghiệm phương pháp phân lớp sử dụng tập thô 75 3.5.2.Thực nghiệm phương pháp phân lớp bằng cây quyết định 77 3.6.Kết luận chương 3 79 Chương 4. RÚT GỌN THUỘC TÍNH TRONG BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ SỬ DỤNG METRIC 80 4.1.Mở đầu 80 4.2.Entropy Liang mở rộng trong hệ thông tin không đầy đủ và các tính chất 81 iii 4.2.1.Entropy Liang mở rộng của tập thuộc tính 81 4.2.2.Entropy Liang mở rộng có điều kiện 83 4.2.3.Một số tính chất của entropy Liang mở rộng 84 4.3.Metric trên họ các phủ và các tính chất 88 4.3.1.Metric trên họ các phủ 88 4.3.2.Một số tính chất của metric 91 4.4.Rút gọn thuộc tính trong bảng quyết định không đầy đủ sử dụng metric 94 4.4.1.Tập rút gọn của bảng quyết định không đầy đủ dựa trên metric 94 4.4.2.Thuật toán tìm tập rút gọn của bảng quyết định không đầy đủ 94 4.4.3.Mối liên hệ giữa tập rút gọn dựa trên metric với tập rút gọn Kryszkiewicz 101 4.4.4.Mối liên hệ giữa tập rút gọn dựa trên metric với tập rút gọn dựa trên lượng thông tin 102 4.5.Thực nghiệm thuật toán 104 4.6.Kết luận chương 4 106 Chương 5. MỘT SỐ THUẬT TOÁN TRÊN BẢNG QUYẾT ĐỊNH NHẤT QUÁN 106 5.1.Mở đầu 106 5.2.Thuật toán tìm tập tất cả các thuộc tính rút gọn của bảng quyết định nhất quán 107 5.2.1.Đặt vấn đề 107 5.2.2.Thuật toán 108 5.2.3.Thực nghiệm thuật toán 110 5.3.Thuật toán tìm họ tất cả các tập rút gọn của bảng quyết định nhất quán 111 5.4.Thuật toán xây dựng các phụ thuộc hàm từ bảng quyết định nhất quán 113 5.5.Thuật toán xây dựng bảng quyết định từ tập phụ thuộc hàm 115 5.6.Kết luận chương 5 119 KẾT LUẬN 120 Danh mục các công trình của tác giả 122 Tài liệu tham khảo 123 Phụ lục 130 iv Danh mục các thuật ngữ Thuật ngữ tiếng Việt Thuật ngữ tiếng Anh Tập thô Rough Set Hệ thông tin Information System Hệ thông tin đầy đủ Complete Information System Hệ thông tin không đầy đủ Incomplete Information System Hệ thông tin không nhất quán Inconsistent Information System Bảng quyết định Decision Table Bảng quyết định đầy đủ Complete Decision Table Bảng quyết định không đầy đủ Incomplete Decision Table Bảng quyết định không nhất quán Inconsistent Decision Table Quan hệ không phân biệt được Indiscernibility Relation Quan hệ dung sai Tolerance Relation Xấp xỉ dưới Lower Approximation Xấp xỉ trên Upper Approximation Rút gọn thuộc tính Attribute Reduction Tập rút gọn Reduct Tập lõi Core Ma trận phân biệt Indiscernibility Matrix Hàm phân biệt Indiscernibility Function Luật quyết định Decision Rule Quan hệ Relation Sơ đồ quan hệ Relation Schema Phụ thuộc hàm Functional Dependency Khóa, phản khóa Key, Antikey Tập tối thiểu của thuộc tính a Minimal set of the attribute a Họ các tập tối thiểu của thuộc tính a Family of all minimal sets of attribute a Hàm biểu diễn khoảng cách giữa hai tập hợp trong [17] Metric v Bảng các ký hiệu, từ viết tắt Ký hiệu, từ viết tắt Diễn giải ( ) , , ,IS U A V f= Hệ thông tin, hệ thông tin đầy đủ ( ) , , ,IIS U A V f= Hệ thông tin không đầy đủ ( ) , , ,DS U C D V f= ∪ Bảng quyết định, bảng quyết định đầy đủ ( ) , , ,IDS U C D V f= ∪ Bảng quyết định không đầy đủ U Số đối tượng C Số thuộc tính điều kiện trong bảng quyết định A Số thuộc tính trong hệ thông tin ( ) u a Giá trị của đối tượng u tại thuộc tính a ( ) IND B Quan hệ B − không phân biệt ( ) SIM B Quan hệ dung sai trên tập thuộc tính B [ ] B u Lớp tương đương chứa u của quan hệ ( ) IND B ( ) B S u Lớp dung sai của đối tượng u trên quan hệ ( ) SIM B /U B Phân hoạch của U sinh bởi tập thuộc tính B . ( ) /U SIM B Phủ của U sinh bởi tập thuộc tính B . ( ) COVER U Họ tất cả các phủ của U. ( ) B u∂ Hàm quyết định suy rộng của đối tượng u đối với B . BX B − xấp xỉ dưới của X BX B − xấp xỉ trên của X ( ) B BN X B - miền biên của X ( ) B POS D B − miền dương của D ( ) PRED C Họ tất cả các tập rút gọn Pawlak ( ) HRED C Họ tất cả các tập rút gọn Entropy Shannon ( ) FRED C Họ tất cả các tập rút gọn dựa trên các phép toán trong đại số quan hệ ( ) SRED C Họ tất cả các tập rút gọn dựa trên ma trận phân biệt ( ) ERED C Họ tất cả các tập rút gọn Entropy Liang ( ) MRED C Họ tất cả các tập rút gọn dựa trên metric ( ) KRED C Họ tất cả các tập rút gọn dựa trên độ khác biệt của tri thức ( ) PCORE C Tập lõi dựa trên miền dương ( ) HCORE C Tập lõi dựa trên entropy Shannon có điều kiện ( ) SCORE C Tập lõi dựa trên ma trận phân biệt ( ) ECORE C Tập lõi dựa trên entropy Liang có điều kiện ( ) MCORE C Tập lõi dựa trên metric vi ( ) H P Entropy Shannon của tập thuộc tính P ( | )H Q P Entropy Shannon có điều kiện của Q khi đã biết P ( ) E P Entropy Liang của tập thuộc tính P ( )E Q P Entropy Liang có điều kiện của Q khi đã biết P ( ) IE P Entropy Liang mở rộng của tập thuộc tính P trong hệ thông tin không đầy đủ ( )IE Q P Entropy Liang mở rộng có điều kiện của Q khi đã biết P trong hệ thông tin không đầy đủ. ( ) K P Trong hệ thông tin đầy đủ, ký hiệu ( ) K P là tri thức sinh bởi tập thuộc tính P. Trong hệ thông tin không đầy đủ, ký hiệu ( ) K P là phủ sinh bởi tập thuộc tính P. ( ) ( ) ( ) , J d K P K Q Khoảng cách giữa ( ) K P và ( ) K Q trong hệ thông tin đầy đủ dựa trên khoảng cách Jaccard giữa hai tập hợp. ( ) ( ) ( ) , E d K P K Q Khoảng cách giữa ( ) K P và ( ) K Q trong hệ thông tin không đầy đủ dựa trên entropy Liang mở rộng ( ) ( ) ( ) ,DQP K P K Q Độ khác biệt giữa ( ) K P và ( ) K Q SĐQH Sơ đồ quan hệ PTH Phụ thuộc hàm vii Danh sách bảng Bảng 1.1. Bảng thông tin về bệnh cúm 10 Bảng 1.2. Bảng quyết định về bệnh cúm 12 Bảng 1.3. Bảng thông tin về các xe hơi 16 Bảng 1.4. Bảng quyết định về các xe hơi 17 Bảng 2.1. Bảng quyết định minh họa Ví dụ 2.1 34 Bảng 2.2. Bảng quyết định minh họa Ví dụ 2.3 37 Bảng 2.3. Ma trận phân biệt của Ví dụ 2.3 37 Bảng 3.1. Bảng quyết định về bệnh cảm cúm 61 Bảng 3.2. Bảng quyết định minh họa Ví dụ 3.2 64 Bảng 3.3. Kết quả thực hiện Thuật toán 3.3 và Thuật toán CEBARKCC 72 Bảng 3.4. Tập rút gọn của Thuật toán 3.3 và Thuật toán CEBARKCC 73 Bảng 3.5. Kết quả thực hiện Thuật toán 3.3 trên các bộ số liệu lớn 73 Bảng 3.6. Sự thay đổi tập rút gọn theo ngưỡng độ chắc chắn 74 Bảng 3.7. Tập rút gọn tốt nhất của bộ số liệu Soybean-small 76 Bảng 3.8. Các luật phân lớp trên bảng quyết định rút gọn sử dụng tập thô 76 Bảng 3.9. Các luật phân lớp trên bảng quyết định ban đầu sử dụng cây quyết định 78 Bảng 3.10. Các luật phân lớp trên bảng quyết định rút gọn sử dụng cây quyết định 78 Bảng 4.1. Hệ thông tin không đầy đủ về các xe hơi 86 Bảng 4.2. Bảng quyết định không đầy đủ minh họa Ví dụ 4.3 96 Bảng 4.3. Bảng quyết định không đầy đủ về các xe hơi 99 Bảng 4.4. Kết quả thực hiện Thuật toán 4.2 và Thuật toán IQBARK 104 Bảng 4.5. Tập rút gọn của Thuật toán 4.2 và Thuật toán IQBARK 104 Bảng 4.6. Kết quả thực hiện Thuật toán 4.2 trên các bộ số liệu lớn 105 Bảng 5.1. Bảng quyết định ở Ví dụ 5.1 109 Bảng 5.2. Kết quả thử nghiệm Thuật toán 5.1 110 Bảng 5.3. Bảng quyết định ở Ví dụ 5.2 112 Bảng 5.4. Bảng quyết định được xây dựng từ Thuật toán 5.4 118 viii Danh sách hình vẽ Hình 3.1. Sự thay đổi tập rút gọn theo ngưỡng độ chắc chắn 75 Hình 3.2. Cây quyết định tương ứng với bảng quyết định ban đầu 77 Hình 3.3. Cây quyết định tương ứng với bảng quyết định rút gọn 78 ix MỞ ĐẦU Lý thuyết tập thô - do Zdzislaw Pawlak [42] đề xuất vào những năm đầu thập niên tám mươi của thế kỷ hai mươi - được xem là công cụ hữu hiệu để giải quyết các bài toán phân lớp, phát hiện luật…chứa dữ liệu mơ hồ không chắc chắn. Từ khi xuất hiện, lý thuyết tập thô đã được sử dụng hiệu quả trong các bước của quá trình khai phá dữ liệu và khám phá tri thức, bao gồm tiền xử lý số liệu, trích lọc các tri thức tiềm ẩn trong dữ liệu và đánh giá kết quả thu được. Trong lý thuyết tập thô, dữ liệu được biểu diễn thông qua một hệ thông tin ( ) ,IS U A= với U là tập các đối tượng và A là tập các thuộc tính. Phương pháp tiếp cận chính của lý thuyết tập thô là dựa trên quan hệ không phân biệt được để đưa ra các tập xấp xỉ biểu diễn tập đối tượng cần quan sát. Khi đó, mọi tập đối tượng đều được xấp xỉ bởi hai tập rõ là xấp xỉ dưới và xấp xỉ trên của nó. Xấp xỉ dưới bao gồm các đối tượng chắc chắn thuộc tập đó, còn xấp xỉ trên chứa tất cả các đối tượng có khả năng thuộc về tập đó. Nếu tập xấp xỉ dưới bằng tập xấp xỉ trên thì tập đối tượng cần quan sát là tập rõ, ngược lại là tập thô. Các tập xấp xỉ là cơ sở để đưa ra các kết luận từ dữ liệu. Bảng quyết định là một hệ thông tin IS với tập thuộc tính A được chia thành hai tập con khác rỗng rời nhau C và D , lần lượt được gọi là tập thuộc tính điều kiện và tập thuộc tính quyết định. Nói cách khác, ( ) ,DS U C D= ∪ với C D∩ = ∅ . Bảng quyết định là mô hình thường gặp trong thực tế, khi mà giá trị dữ liệu tại các thuộc tính điều kiện có thể cung cấp cho ta thông tin về giá trị của thuộc tính quyết định. Bảng quyết định là nhất quán khi phụ thuộc hàm C D→ là đúng, trái lại là không nhất quán. Rút gọn thuộc tính là ứng dụng quan trọng nhất trong lý thuyết tập thô. Mục tiêu của rút gọn thuộc tính là loại bỏ các thuộc tính dư thừa để tìm ra các thuộc tính cốt yếu và cần thiết trong cơ sở dữ liệu. Với bảng quyết định, rút gọn thuộc tính là tìm tập con nhỏ nhất của tập thuộc tính điều kiện bảo toàn thông tin phân lớp của bảng quyết định. Đối với một bảng quyết định có thể có nhiều tập rút gọn khác nhau 1 [...]... bước khai phá dữ liệu ở chương 5 Phương pháp nghiên cứu của luận án là nghiên cứu lý thuyết và nghiên cứu thực nghiệm Về nghiên cứu lý thuyết: các định lý, mệnh đề trong luận án được chứng minh chặt chẽ dựa vào các kiến thức cơ bản và các kết quả nghiên cứu đã công bố Về nghiên cứu thực nghiệm: luận án thực hiện cài đặt các thuật toán, chạy thử nghiệm thuật toán với các bộ số liệu lấy từ kho dữ liệu. .. vực nghiên cứu về rút gọn thuộc tính sử dụng lý thuyết tập thô Trong xu thế đó, nhiều nhóm nhà khoa học trên thế giới quan tâm nghiên cứu các phương pháp rút gọn thuộc tính trong bảng quyết định Các phương pháp chính là: phương pháp dựa trên miền dương [18, 29, 41, 42, 67], phương pháp sử dụng các phép toán trong đại số quan hệ [20, 61], phương pháp sử dụng ma trận phân biệt [11, 19, 65, 69], phương pháp. .. kết quả này, vấn đề nghiên cứu tiếp theo là tìm kiếm một phương pháp mới hiệu quả hơn các phương pháp đã có theo các tiêu chuẩn đánh giá được chọn 2) Trên bảng quyết định không đầy đủ, vấn đề nghiên cứu đặt ra là tìm kiếm một phương pháp rút gọn thuộc tính hiệu quả hơn các phương pháp đã có theo các tiêu chuẩn đánh giá được chọn 3) Trên bảng quyết định nhất quán, vấn đề nghiên cứu đặt ra là xây dựng... lựa chọn các phương pháp phù hợp được thực hiện bằng việc nghiên cứu sự thay đổi giá trị các độ đo đánh giá hiệu năng tập luật quyết định trên các tập rút gọn Tiêu chuẩn so sánh, đánh giá các phương pháp là số lượng thuộc tính tập rút gọn của phương pháp và độ phức tạp của thuật toán tìm tập rút gọn Việc so sánh số lượng thuộc tính tập rút gọn của phương pháp được thực hiện bằng việc nghiên cứu mối liên... mối liên hệ 3 giữa các tập rút gọn Tập rút gọn của phương pháp càng ít thuộc tính thì độ hỗ trợ của tập luật dựa trên tập rút gọn đó càng cao và phương pháp đó càng hiệu quả Độ phức tạp thuật toán tìm tập rút gọn của phương pháp càng nhỏ thì phương pháp đó càng hiệu quả Từ hai tiêu chuẩn này, ta có thể chứng minh được phương pháp cần tìm kiếm là phù hợp và hiệu quả hơn các phương pháp đã có hay không... minh phương pháp mới hiệu quả hơn các phương pháp đã có dựa trên kết quả nghiên cứu của vấn đề thức nhất Vấn đề thứ ba là đề xuất phương pháp mới rút gọn thuộc tính trong bảng quyết định không đầy đủ sử dụng metric và chứng minh phương pháp 5 mới hiệu quả hơn các phương pháp đã có theo các tiêu chuẩn đánh giá được chọn Vấn đề thứ tư là đề xuất một số thuật toán trong bảng quyết định nhất quán sử dụng một. .. quyết định đầy đủ Dựa trên lý thuyết, thực nghiệm và dựa trên kết quả nghiên cứu của chương 2, chương 3 chứng minh phương pháp sử dụng metric hiệu quả hơn các phương pháp khác trên cả hai tiêu chuẩn đánh giá: số lượng thuộc tính tập rút gọn của phương pháp và độ phức tạp thuật toán tìm tập rút gọn Chương 4 trình bày phương pháp xây dựng một metric trên họ các phủ trong hệ thông tin không đầy đủ dựa... tìm tập rút gọn của bảng quyết định đầy đủ nhất quán dựa vào phủ tập thô Với mục tiêu tìm kiếm một phương pháp phù hợp, hiệu quả rút gọn thuộc tính trong bảng quyết định, vấn đề trước tiên là cần đưa ra tiêu chuẩn lựa chọn các phương pháp phù hợp với lớp bài toán cần giải quyết và tiêu chuẩn so sánh, đánh giá các phương pháp Tiêu chuẩn lựa chọn các phương pháp phù hợp là tập rút gọn của phương pháp. .. giới và tại Việt Nam, một số nhóm tác giả đã nghiên cứu mối liên hệ giữa các loại tập rút gọn của một số phương pháp rút gọn thuộc tính và nghiên cứu một số độ đo đánh giá hiệu năng tập luật quyết định [2, 6, 37, 48, 61, 64] Tuy nhiên trên cả bảng quyết định nhất quán và không nhất quán, các tác giả trên chưa nghiên cứu đầy đủ mối liên hệ giữa các loại tập rút gọn và chưa nghiên cứu đầy đủ sự thay đổi... giải quyết và đánh giá các phương pháp trong 3 nhóm dựa trên hai tiêu chuẩn: số lượng thuộc tính tập rút gọn của phương pháp và độ phức tạp thuật toán tìm tập rút gọn Chương 3 trình bày phương pháp xây dựng một metric trên họ các tri thức trong hệ thông tin đầy đủ dựa trên khoảng cách Jaccard giữa hai tập hợp hữu hạn Sử dụng metric được xây dựng, chương 3 đề xuất một phương pháp mới rút gọn thuộc tính . NGHỆ THÔNG TIN NGUYỄN LONG GIANG NGHIÊN CỨU MỘT SỐ PHƯƠNG PHÁP KHAI PHÁ DỮ LIỆU THEO TIẾP CẬN LÝ THUYẾT TẬP THÔ Chuyên ngành: BẢO ĐẢM TOÁN HỌC CHO MÁY TÍNH VÀ HỆ THỐNG TÍNH TOÁN Mã số: . được. Trong lý thuyết tập thô, dữ liệu được biểu diễn thông qua một hệ thông tin ( ) ,IS U A= với U là tập các đối tượng và A là tập các thuộc tính. Phương pháp tiếp cận chính của lý thuyết tập thô. thuộc hàm trong bước khai phá dữ liệu ở chương 5. Phương pháp nghiên cứu của luận án là nghiên cứu lý thuyết và nghiên cứu thực nghiệm. Về nghiên cứu lý thuyết: các định lý, mệnh đề trong luận án