Nghiên cứu một số phương pháp rút gọn thuộc tính trên bảng quyết định không đầy đủ và ứng dụng

i ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM VĂN DƢƠNG Nghiên cứu số phƣơng pháp rút gọn thuộc tính bảng định không đầy đủ ứng dụng LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2015 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ii LỜI CẢM ƠN Em xin chân thành cảm ơn biết ơn sâu sắc đến GS.TS Vũ Đức Thi, Viện Công nghệ thông tin – Đại học Quốc gia Hà Nội Người tận tình hướng dẫn giúp đỡ em hoàn thành luận văn Em xin chân thành cảm ơn Thầy Viện Công nghệ thông tin dạy bảo, giúp đỡ truyền đạt kiến thức cho em suốt khóa học trình em làm luận văn Em xin chân thành cảm ơn Thầy, Cô trường Đại học Công nghệ thông tin truyền thông Thái Nguyên tận tình dạy bảo, động viên, giúp đỡ tạo điều kiện cho em suốt thời gian học tập nghiên cứu Cuối xin chân thành cảm ơn bạn bè, người thân gia đình ln người đồng hành, động viên, chhia sẻ khó khăn suốt thời gian hoàn thành luận văn Học viên ` Số hóa Trung tâm Học liệu - ĐHTN Phạm Văn Dƣơng http://www.lrc-tnu.edu.vn/ iii LỜI CAM ĐOAN Tôi xin cam đoan đề tài "Nghiên cứu số phương pháp rút gọn thuộc tính bảng định khơng đầy đủ ứng dụng” cơng trình nghiên cứu tơi thực hướng dẫn giáo viên hướng dẫn khoa học Một số Định nghĩa, Định lý, Tính chất, Mệnh đề Thuật tốn tơi lấy từ nguồn tài liệu xác có trích dẫn tên tài liệu tên tác giả rõ ràng Tôi xin chịu trách nhiệm luận văn Học viên Phạm Văn Dƣơng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ iv MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN iii MỤC LỤC iv DANH MỤC CÁC THUẬT NGỮ vi BẢNG CÁC KÝ HIỆU, TỪ VIẾT TẮT vii DANH SÁCH BẢNG ix DANH SÁCH HÌNH x MỞ ĐẦU Chƣơng 1: NHỮNG KHÁI NIỆM CƠ BẢN VỀ CÁC PHƢƠNG PHÁP RÚT GỌN TRONG BẢNG QUYẾT ĐỊNH 1.1 Hệ thông tin đầy đủ mơ hình tập thơ truyền thống 1.1.1 Hệ thông tin đầy đủ 1.1.2 Mơ hình tập thô truyền thống 1.1.3 Bảng định đầy đủ 1.1.4 Tập rút gọn tập lõi 1.1.5 Ma trận phân biệt 1.2 Hệ thơng tin khơng đầy đủ mơ hình tập thô dung sai 10 1.2.1 Hệ thông tin không đầy đủ 10 1.2.2 Mô hình tập thơ dung sai 14 1.2.3 Bảng định không đầy đủ 17 1.3 Tình hình nghiên cứu phƣơng pháp rút gọn thuộc tính 18 1.3.1 Các phương pháp rút gọn nghiên cứu 18 1.3.2 Mối liên hệ khái niệm tập rút gọn 19 1.3.3 Phân nhóm mối liên hệ phương pháp 21 1.3.4 Luật định bảng định không đầy đủ độ đo cổ điển 22 1.3.5 Các độ đo đánh giá hiệu tập luật tính chất 25 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ v 1.3.6 Sự thay đổi giá trị độ đo đánh giá hiệu tập luật định tập rút gọn 27 Chƣơng PHƢƠNG PHÁP RÚT GỌN TRONG BẢNG QUYẾT ĐỊNH KHÔNG ĐẦY ĐỦ 31 2.1 Mở đầu 31 2.2 Entropy Liang mở rộng hệ thông tin không đầy đủ tính chất 31 2.2.1 Entropy Liang mở rộng tập thuộc tính 32 2.2.2 Entropy Liang mở rộng có điều kiện 33 2.2.3 Một số tính chất entropy Liang mở rộng 34 37 2.4 Thuật toán rút gọn thuộc tính 42 Chƣơng 3: XÂY DỰNG CHƢƠNG TRÌNH THỰC NGHIỆM 45 3.1 Cấu trúc lớp chƣơng trình 45 3.2 Thiết kế phần mềm thực nghiệm 47 3.2.1 Yêu cầu hệ thống 47 3.2.2 Dữ liệu thử nghiệm 47 3.2.3 Chuẩn bị liệu 47 3.2.4 Một số giao diện chương trình 49 3.2.5 Kết thực nghiệm 51 52 TÀI LIỆU THAM KHẢO 53 Error! Bookmark not defined Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vi DANH MỤC CÁC THUẬT NGỮ Thuật ngữ tiếng Việt Thuật ngữ tiếng Anh Tập thô Rough Set Hệ thông tin Information System Hệ thông tin đầy đủ Complete Information System Hệ thông tin không đầy đủ Incomplete Information System Bảng định Decision Table Bảng định đầy đủ Complete Decision Table Bảng định không đầy đủ Incomplete Decision Table Xấp xỉ Lower Approximation Xấp xỉ Upper Approximation Rút gọn thuộc tính Attribute Reduction Tập rút gọn Reduct Tập lõi Core Ma trận phân biệt Indiscernibility Matrix Hàm phân biệt Indiscernibility Function Quan hệ Relation Tập tối thiểu thuộc tính a Minimal set of the attribute a Họ tập tối thiểu thuộc tính a Family of all minimal sets of attribute a Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ vii BẢNG CÁC KÝ HIỆU, TỪ VIẾT TẮT Ký hiệu, từ viết tắt IS U , A,V , f Diễn giải Hệ thông tin, hệ thông tin đầy đủ IIS U , A,V , f Hệ thông tin không đầy đủ DS U,C Bảng định, bảng định đầy đủ IDS U,C D, V , f D, V , f Bảng định không đầy đủ U Số đối tượng C Số thuộc tính điều kiện bảng định A Số thuộc tính hệ thơng tin u a Giá trị đối tượng u thuộc tính a IND B Quan hệ B SIM B Quan hệ dung sai tập thuộc tính B u Lớp tương đương chứa u quan hệ IND B B không phân biệt SB u Lớp dung sai đối tượng u quan hệ SIM B U/B U / SIM B Phân hoạch U sinh tập thuộc tính B Phủ U sinh tập thuộc tính B COVER U Họ tất phủ U B (u ) Hàm định suy rộng đối tượng u B BX B xấp xỉ X BX BN B X B xấp xỉ X B - miền biên X POS B D B miền dương D PRED C Họ tất tập rút gọn Pawlak SRED C Họ tất tập rút gọn sử dụng ma trận phân biệt ERED C Họ tất tập rút gọn Entropy Liang MRED C Họ tất tập rút gọn dựa metric PCORE C Tập lõi dựa miền dương SCORE C Tập lõi sử dụng ma trận phân biệt ECORE C Tập lõi dựa entropy Liang có điều kiện Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ viii MCORE C Tập lõi dựa metric E P Entropy Liang tập thuộc tính P E (Q P) Entropy Liang có điều kiện Q biết P IE P Entropy Liang mở rộng tập thuộc tính P hệ thông tin không đầy đủ Entropy Liang mở rộng có điều kiện Q biết P hệ thông tin không đầy đủ IE (Q P) K P Trong hệ thông tin đầy đủ, ký hiệu K P tri thức sinh tập thuộc tính P Trong hệ thông tin không đầy đủ, ký hiệu K P phủ sinh tập thuộc tính P dJ K P , K Q Khoảng cách K P K Q hệ thông tin đầy đủ dựa khoảng cách Jaccard hai tập hợp dE K P , K Q Khoảng cách K P K Q hệ thông tin không đầy đủ dựa entropy Liang mở rộng Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ ix DANH SÁCH BẢNG Bảng 1.1 Bảng thông tin bệnh cúm Bảng 1.2 Bảng định bệnh cúm Bảng 1.3 Bảng thông tin xe 13 Bảng 1.4 Bảng định xe 18 Bảng 1.5 Ký hiệu tập rút gọn bảng định không đầy đủ 19 Bảng 2.1 Hệ thông tin không đầy đủ xe 35 Bảng 2.2 Bảng định không đầy đủ tivi 38 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ x DANH SÁCH HÌNH Hình 1.1 Mối liên hệ tập rút gọn bảng định không đầy đủ 20 Hình 3.1: Giao diện lớp MaxtrixDiscern 45 Hình 3.2: Giao diện lớp SqlExecute 45 Hình 3.3: Giao diện lớp ImportData 46 Hình 3.4: Giao diện lớp MainForm 46 Hình 3.5 Dữ liệu adult-stretch gốc 48 Hình 3.6 Dữ liệu adult-stretch sau chuyển đổi 49 Hình 3.7 Giao diện chọn tệp liệu 50 Hình 3.8 Kết thử nghiệm với liệu adult-stretch 50 Hình 3.9 Lưu kết rút gọn thành dạng tệp 51 Số hóa Trung tâm Học liệu - ĐHTN http://www.lrc-tnu.edu.vn/ 41 ii) Ngược lại, giả sử DIS R DIS (A) Theo bổ đề từ R M R  M A , kết hợp với DIS R DIS (A) suy M R j0 cho mi0 j0 (3) mi j d u j0 A M R , mi0 j0 0 ui0 Từ (3) suy d u j0 mâu thuẫn với điều kiện với u U DIS R R u R A u với M A , tồn i0 (4) Từ (4) suy M A mi0 j0 ui0 Do đó, A ta có R ui0 A ui0 , điều u U Vì R u A u DIS (A) Từ i) ii) ta có điều phải chứng minh Phần tiếp theo, tác giả trình bày phương pháp rút gọn thuộc tính hệ định không đầy đủ sử dụng hàm phân biệt mở rộng Giống phương pháp rút gọn thuộc tính lý thuyết tập thơ truyền thống, phương pháp tác giả bao gồm bước: định nghĩa tập rút gọn, định nghĩa độ quan trọng thuộc tính xây dựng thuật tốn heuristic tìm tập rút gọn tốt dựa độ quan trọng thuộc tính Định nghĩa 2.3 cho thấy, hàm phân biệt mở rộng DIS R đặc trưng cho khả phân lớp tập thuộc tính R A vào lớp định sinh thuộc tính d , tác giả sử dụng hàm phân biệt mở rộng làm tiêu chuẩn lựa chọn thuộc tính thuật tốn heuristic tìm tập rút gọn, gọi độ quan trọng thuộc tính Định nghĩa 2.8 Cho hệ định không đầy đủ IDS R U, A d Nếu A thỏa mãn: (1) DIS R (2) R' DIS (A) R , DIS R ' DIS ( A) R gọi tập rút gọn IDS dựa hàm phân biệt mở rộng 42 Định nghĩa 2.9 Cho hệ định không đầy đủ IDS R U, A d , A R Độ quan trọng thuộc tính a tập thuộc tính A a R định nghĩa SIG Rout a DIS R a DIS R Định nghĩa 2.10 Cho hệ định không đầy đủ IDS R U, A d , R Độ quan trọng thuộc tính a tập thuộc tính R A a định nghĩa SIG Rin a DIS R DIS R a Từ Mệnh đề ta có SIG Rout a SIG Rin a Do đó, SIG Rout a tính lượng thay đổi hàm phân biệt mở rộng thêm SIG Rin a thuộc tính a vào R loại bỏ a khỏi R SIG Rout a , SIG Rin a lớn lượng thay đổi lớn, hay thuộc tính a quan trọng ngược lại Tiếp theo, tác giả đề xuất thuật tốn heuristic tìm tập rút gọn tốt theo tiêu chuẩn đánh giá độ quan trọng thuộc tính Ý tưởng thuật tốn xuất phát từ tập thuộc tính rỗng R : , bổ sung vào tập R thuộc tính có độ quan trọng lớn tìm tập rút gọn Thuật toán đề xuất sử dụng chiến lược Thêm - Xóa [13] 2.4 Thuật tốn rút gọn thuộc tính Thuật tốn Thuật tốn heuristic tìm tập rút gọn sử dụng hàm phân biệt mở rộng Đầu vào: Hệ định không đầy đủ IDS U, A d Đầu ra: Một tập rút gọn R R ; // Thêm dần vào R thuộc tính có độ quan trọng lớn nhất; 43 While DIS R DIS (A) Begin For each a A R tính SIGRout a Chọn a m R R DIS R A R cho SIG Rout a m DIS R ; a Max SIG Rout a ; a A R am ; End; //Loại bỏ thuộc tính dư thừa R có; For each a R If DIS R 10 DIS R then R a R a ; Return R ; Giả sử k số thuộc tính điều kiện n số đối tượng Dễ thấy độ phức tạp để tính M A O kn , độ phức tạp tính DIS A O kn Xét vòng lặp While từ dòng lệnh đến dòng lệnh 7, độ phức tạp để tính tất * kn SIGR a k k gian thuộc k để k chọn tính k * k / * kn O k 3n Độ phức tạp thời có độ quan trọng lớn k * k / O k Do đó, độ phức tạp vịng lặp While O k 3n Tương tự, độ phức tạp vòng lặp For O k 2n Vì vậy, độ phức tạp Thuật tốn O k 3n Ví dụ 2.5 Xét hệ định không đầy đủ IDS dụ 2.2 Áp dụng Thuật tốn tìm tập rút gon R ta có: Đặt R tính: SIG out a1 DIS a1 DIS DIS a1 U, A d cho Ví 44 SIG out a2 DIS a2 DIS SIG out a3 DIS a3 DIS DIS a3 10 SIG out a DIS a DIS DIS a DIS a2 Chọn thuộc tính a3 có độ quan trọng lớn R DIS A 13 , DIS R a3 Từ Ví dụ 2.4 ta có: DIS (A) Chuyển vịng lặp thứ tính: SIGaout a1 DIS a1 , a3 DIS a3 10 10 SIGaout a2 DIS a , a3 DIS a3 10 10 SIGaout a4 DIS a3 , a DIS a3 13 10 Chọn thuộc tính a4 có độ quan trọng lớn nhất, R Ta thấy DIS a3 , a a3 , a4 DIS ( A) 13 , chuyển đến vòng lặp For thực kiểm tra tập R thu Theo tính tốn trên, DIS a4 thuật toán kết thúc R DIS ( A) DIS a3 DIS ( A) Do a3 , a4 rút gọn “tốt nhất” A 45 Chƣơng 3: XÂY DỰNG CHƢƠNG TRÌNH THỰC NGHIỆM 3.1 Cấu trúc lớp chƣơng trình Lớp MaxtrixDiscern: lớp chương trình thực tồn nội dung thuật tốn rút gọn Lớp tính ma trận phân biệt, hàm phân biệt mở rộng lựa chọn thuộc tính có độ quan trọng Hình 3.1: Giao diện lớp MaxtrixDiscern Lớp SqlExecute: lớp chịu trách nhiệm giao tiếp với sở liệu gồm thao tác thêm, sửa xóa Hình 3.2: Giao diện lớp SqlExecute 46 Lớp ImportData: thực nhập liệu từ file text lưu vào sở liệu hỗ trợ cho lớp MaxtrixDiscern tính tốn Hình 3.3: Giao diện lớp ImportData Lớp MainForm: xử lý thao tác liên quan đến giao diện chương trình Hình 3.4: Giao diện lớp MainForm 47 3.2 Thiết kế phần mềm thực nghiệm 3.2.1 Yêu cầu hệ thống Chương trình thực nghiệm viết ngơn ngữ C#, sử dụng sở liệu SQL Server Yêu cầu tối thiểu hệ thống sử dụng chương trình: - Cài đặt Net Framework phiên 4.0 trở lên - Cài đặt SQL Server phiên 2005 trở lên (có thể triển khai sở liệu máy chủ từ xa để kết nối với chương trình, khơng cần cài đặt thành phần này) Phiên Net Framework 4.0 hỗ trợ hệ điều hành Windows XP SP3 trở lên Để cài đặt Windows XP SP2, cần cài đặt thêm phần mở rộng Windows Imaging Component (WIC) trước cài đặt Net Framework 4.0 3.2.2 Dữ liệu thử nghiệm Dữ liệu thực nghiệm lấy từ kho liệu học máy UCI gồm ba bộ: adult-stretch, soybean-small zoo Chi tiết liệu sau: + Bộ adult-stretch: liệu thu thí nghiệm tâm lý học nhận thức gồm thuộc tính 16 ghi + Bộ soybean-small: sở liệu thông tin giống đậu tương gồm 35 thuộc tính 47 ghi + Bộ zoo: liệu chứa 17 thuộc tính 101 ghi phân lớp vật nuôi sở thú 3.2.3 Chuẩn bị liệu Dữ liệu đầu vào chương trình thử nghiệm lưu dạng tệp text có cấu trúc sau: 48 Dòng đầu tiên: Chỉ tên thuộc tính, để thuận tiện lưu trữ vào sở liệu, tên thuộc tính chuyển thành dạng a1,a2, , tên thuộc tính định chuyển thành „d‟ Các thuộc tính cách kí tự tab Các dòng tiếp theo: dòng tương ứng với ghi liệu, giá trị rời rạc hóa lưu dạng số nguyên Các giá trị phân cách dấu tab Các giá trị thiếu thay tập giá trị thuộc tính Dưới ví dụ liệu adult-stretch sau chuyển đổi: Hình 3.5 Dữ liệu adult-stretch gốc 49 Hình 3.6 Dữ liệu adult-stretch sau chuyển đổi Các bước chuyển đổi bao gồm: Chuyển giá trị dạng chữ thành dạng số Ví dụ: với thuộc tính đầu tiên, giá trị „YELLOW‟ chuyển thành „0‟ giá trị „PURPLE‟ chuyển thành giá trị „1‟ Giá trị thuộc tính chuyển thành a1,a2,a3,a4,d Đổi kí tự „,‟ thành kí tự „tab‟ 3.2.4 Một số giao diện chƣơng trình Giao diện chương trình chia thành phần, phần „Nhập liệu từ tệp‟: giao diện này, nhấn nút „Chọn ‟ chọn đến tệp liệu chuẩn bị 50 Hình 3.7 Giao diện chọn tệp liệu Sau liệu đọc thành công, liệu hiển thị lên lưới liệu Nhấn vào nút “Thực hiện” để thực thuật toán hiển thị kết Kết hiển thị phần „Kết thực thuật toán‟ Hình 3.8 Kết thử nghiệm với liệu adult-stretch 51 Nhấn nút „Lưu kết quả‟ để lưu liệu sau rút gọn Kết lưu lại thành file text có cấu trúc mơ tả mục 3.2.2 Hình 3.9 Lưu kết rút gọn thành dạng tệp 3.2.5 Kết thực nghiệm Dưới kết thử nghiệm với ba liệu sau thực rút gọn: STT Tên Số thuộc liệu tính Số ghi Số thuộc tính sau rút gọn adult-stretch 16 2 soybean-small 37 47 zoo 17 101 Bảng cho thấy kết rút gọn tốt Tuy với trường hợp soybean-small, kết rút gọn sau thu nhỏ Kết hàm „khoảng cách‟ mà thuật tốn áp dụng để tính khoảng cách tập hợp cịn „thơ‟ dựa hai phép toán phép hợp phép giao hai tập dung sai 52 Luận văn xây dựng ứng dụng thực nghiệm thể việc rút gọn thuộc tính bảng định sử dụng ma mở rộng Chương trình rút gọn trận phân biệt trường hợp bảng định tập giá trị bảng định thông thường (trường hợp đặc biệt bảng định tập giá tập có giá trị) 53 TÀI LIỆU THAM KHẢO Tài liệu tiếng Việt [1] Nguyễn Long Giang, Nghiêm Hải Lâm (2008), “Một thuật toán hiệu rút gọn thuộc tính bảng định”, Kỷ yếu hội thảo Một số vấn đề chọn lọc CNTT TT, Huế, tr 257-267 [2] Nguyễn Long Giang, Nguyễn Thanh Tùng (2012), “Một phương pháp rút gọn thuộc tính bảng định sử dụng metric”, Kỷ yếu Hội thảo Quốc gia “Một số vấn đề chọn lọc CNTT TT”, Cần Thơ, 10/2011, Tr 249-266 [3] Nguyễn Thanh Tùng (2010), “Về metric họ phân hoạch tập hợp hữu hạn”, Tạp chí Tin học Điều khiển học, T.26, S.1, tr 73-85 Tài liệu tiếng Anh [4] Andrzej Skowron and Rauszer C (1992), “The Discernibility Matrices and Functions in Information Systems”, Interlligent Decision Support, Handbook of Applications and Advances of the Rough Sets Theory, Kluwer, Dordrecht, pp 331-362 [5] Huasheng ZOU, Changsheng ZHANG, “Efficient Algorithm for Knowledge Reduction in Incomplete Information System”, Journal of Computational Information Systems 8: 6, 2012, pp 2531-2538 [6] Hu X.H and Cercone N (1995), “Learning in relational databases: 54 a rough set approach”, International Journal of computational intelligence, pp 323-338 [7] Kryszkiewicz M (1998), “Rough set approach to incomplete information systems”, Information Science, Vol 112, pp 39-49 [8] Li X.H and Shi K.Q (2006), “A knowledge granulation-based algorithm for attribute reduction under incomplete information systems”, Computer Science, Vol 33, pp 169-171 [9] Nguyen Long Giang, Vu Van Dinh (2013), “Relationships Among the Concepts of Reduct in Incomplete Decision Tables”, Frontiers in Artificial Intelligence and Applications, Volume 252: Advanced Methods and Technologies for Agent and Multi-Agent Systems, IOS Press, pp 417-426 [10] Pawlak Z (1998), “Rough set theory and its applications to data analysis”, Cybernetics and systems 29, pp 661-688 [11] Pawlak Z (1991), Rough sets: Theoretical Aspects of Reasoning About Data, Kluwer Aca-demic Publishers [12] Renpu Li, Dao Huang, “Reducts in incomplete decision tables”, Proceedings of the First international conference on Advanced Data Mining and Applications, ADMA‟05, 2005, pp 165-174 [13] Zhou X.Z and Huang B (2003), “Rough set-based attribute reduction under incomplete Information Systems”, Journal of 55 Nanjing University of Science and Technology, Vol 27, pp 630636 [14] Zuqiang Meng, Zhongzhi Shi (2009), “A fast approach to attribute reduction in incomplete decision systems with tolerance relation-based rough sets”, Information Sciences, Vol 179, pp 2774-2793 ... định không đầy đủ ứng dụng? ?? Mục tiêu luận văn: Tập trung nghiên cứu rút gọn thuộc tính bảng định không đầy đủ Đối tƣợng phạm vi nghiên cứu: Các bảng định đầy đủ, bảng định khơng đầy đủ với kích... tin đầy đủ IIS U , A,V , f Hệ thông tin không đầy đủ DS U,C Bảng định, bảng định đầy đủ IDS U,C D, V , f D, V , f Bảng định không đầy đủ U Số đối tượng C Số thuộc tính điều kiện bảng định A Số thuộc. .. nhiều phương pháp rút gọn thuộc tính bảng định không đầy đủ công bố Một số tập rút gọn phương pháp kể đến là: Tập rút gọn dựa metric [1, 2], tập rút gọn dựa ma trận phân biệt [3], tập rút gọn dựa