xây dựng tập thuộc tính rút gọn theo cách tiếp cận tập thô

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG  TRẦN THU PHƯƠNG XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH Chuyên ngành : Khoa học máy tính Mã số : 60 48 01 Thái Nguyên, năm 2011 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 1 LỜI CẢM ƠN Để hoàn tất một luận văn Thạc sĩ yêu cầu sự tập trung, sự cố gắng và độc lập nghiên cứu. Bản thân tôi sau những năm tháng học tập vất vả và nghiên cứu cũng đã cố gắng để hoàn thành được luận văn này. Tôi luôn ghi nhận những sự đóng góp giúp đỡ nhiệt tình của những người bên cạnh mình, sự ủng hộ, sự hỗ trợ của bố mẹ, bạn bè giúp tôi có thêm động lực để hoàn thành khóa luận tốt nghiệp, nhân đây tôi muốn gửi lời cảm ơn nhất tới họ. Lời cảm ơn trân trọng đầu tiên tôi muốn dành tới GS.TS Vũ Đức Thi, người thầy đã dìu dắt và hướng dẫn tôi trong suốt quá trình làm luận văn, sự chỉ bảo và định hướng của thầy giúp tôi tự tin nghiên cứu những vấn đề mới và giải quyết bài toán một cách khoa học. Tôi xin trân trọng cảm ơn Ban giám hiệu Trường Đại học Công nghệ Thông tin và Truyền thông, Đại học Thái nguyên; Trường Dự bị Đại học Dân tộc Sầm Sơn, Thanh Hóa đã tạo các điều kiện cho chúng tôi được học tập và làm khóa luận một cách thuận lợi. Lời cảm ơn sâu sắc muốn được gửi tới các thầy giáo Viện Công nghệ Thông tin - Viện khoa học Việt Nam, những người thầy đã dạy dỗ và mở ra cho chúng tôi thấy chân trời tri thức mới, hướng dẫn chúng tôi cách khám phá và làm chủ công nghệ mới. Tôi muốn gửi lời cảm ơn chân thành đến tập thể lớp CHK8B-KHMT đã cùng tôi đi qua những tháng ngày miệt mài học tập, cùng chia sẻ những niềm vui, nỗi buồn, động viên tôi đi qua những khó khăn, để tôi vững bước vượt qua những vất vả, quyết tâm hoàn thành luận văn này. Tôi xin trân trọng cảm ơn bố mẹ, người thân, bạn bè, đồng nghiệp, những người đã mang tới tất cả niềm tin, định hướng và theo dõi tôi trong suốt chặng đường đời. Nâng đỡ và đến bên tôi những giây phút khó khăn nhất của cuộc sống. XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 2 Tuy nhiên do thời gian có hạn, mặc dù đã nỗ lực cố gắng hết mình nhưng chắc rằng luận văn khó tránh khỏi những thiếu sót. Rất mong được sự chỉ bảo, góp ý tận tình của Quý thầy cô và các bạn. Thanh Hóa, tháng 9 năm 2011 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 3 MỤC LỤC LỜI CẢM ƠN 1 DANH MỤC HÌNH VẼ 5 DANH MỤC BẢNG BIỂU 6 DANH MỤC TỪ VIẾT TẮT 7 LỜI MỞ ĐẦU 8 CHƢƠNG 1: TỔNG QUAN VỀ KHAI PHÁ DỮ LIỆU VÀ 10 LÝ THUYẾT TẬP THÔ 10 1. 1 Khai phá dữ liệu 10 1.1.1 Khai phá tri thức 10 1.1.2 Khai phá dữ liệu 12 1.1.2.1 Một số khía cạnh khai phá chủ yếu 13 1.1.2.2 Một số kỹ thuật Khai phá dữ liệu 14 1.2 Lý thuyết tập thô 18 1.2.1 Giới thiệu về tập thô 18 1.2.2 Bảng quyết định 20 1.3 Kết luận chƣơng 1 22 CHƢƠNG 2. XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN 24 THEO CÁCH TIẾP CẬN TẬP THÔ 24 2.1 Luật và quá trình khám phá Luật trong Bảng quyết định. 24 2.1.1 Định nghĩa về luật và các đặc trưng. 24 2.1.2. Khám phá luật bởi bảng phân bố tổng quát dựa trên tập thô và thuật toán tối ưu hoá các luật 25 2.2. Vấn đề rời rạc hoá dựa trên lý thuyết tập thô 26 2.2.1. Các định nghĩa 27 2.2.2. Vấn đề rời rạc hoá dựa trên lý thuyết tập thô 29 2.3 Một số thuật toán sử dụng lý thuyết tập thô 31 2.3.1. Thuật toán lựa chọn thuộc tính sử dụng tập thô theo phương pháp đánh giá kinh nghiệm. 31 2.3.2. Thuật toán tìm tập rút gọn dựa vào cặp số phân biệt được 35 2.3.3. Thuật toán sử dụng các phép toán đại số 36 2.3.4 Thuật toán tìm lõi của bảng quyết định 39 2.3.5. Thuật toán tìm tập rút gọn theo xấp xỉ ngoài 39 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 4 2.3.6. Thuật toán tìm tập rút gọn theo xấp xỉ trong 40 2.4 Một số thuật toán lập nhóm văn bản 42 2.4.1. Thuật toán K – means 42 2.4.2. Thuật toán lập nhóm theo cây phân cấp 42 2.4.3. Xác định các thuật đại diện cho nhóm 44 2.4.4. Độ tương tự giữa văn bản và nhóm văn bản 44 2.5 Kết luận chƣơng 2 44 CHƢƠNG 3. SỬ DỤNG MỘT THUẬT TOÁN ĐỂ TÌM TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ PHỤC VỤ 45 BÀI TOÁN TRA CỨU THÔNG TIN 45 3.1 Tra cứu thông tin 45 3.2 Tra cứu thông tin văn bản 46 3.2.1 Tra cứu thông tin văn bản 46 3.2.2 Xử lý hệ thống thông tin văn bản 47 3.2.3 Một số kỹ thuật tra cứu thông tin văn bản 48 3.3 Phƣơng pháp tra cứu thông tin áp dụng lý thuyết tập thô 50 3.3.1 Xây dựng tập văn bản 50 3.3.2 Gán trọng số cho thuật ngữ bởi dung sai xấp xỉ 50 3.3.3 Phân cụm văn bản 52 3.3.4 Biểu diễn đặc trưng các cụm 53 3.3.5 Độ tương tự giữa văn bản và cụm 54 3.4 Kết luận chƣơng 3 54 CHƢƠNG 4. XÂY DỰNG HỆ THỐNG VÀ THỬ NGHIỆM 55 4.1 Môi trƣờng và nền tảng phát triển 55 4.2 Một số giao diện của hệ thống 55 4.2.1 Xây dựng cơ sở dữ liệu 55 4.2.2 Giao diện của hệ thống 56 4.2.2.1 Phương pháp xây dựng kho dữ liệu 56 4.2.2.2 Một số giao diện 57 4.3 Kết luận chƣơng 4 58 KẾT LUẬN 59 TÀI LIỆU THAM KHẢO 60 PHỤ LỤC : DANH SÁCH CÁC TỪ DỪNG, TỪ TẦM THƢỜNG 63 PHỤ LỤC TỪ DỪNG, TỪ TẦM THƢỜNG 64 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 5 DANH MỤC HÌNH VẼ Hình 1.1: Mô hình mô tả quá trình khai phá tri thức 11 Hình 3.1 Nguyên lý tra cứu thông tin 45 Hình 3.2 Mô hình hệ thống tra cứu thông tin văn bản. 47 Hình 3.3 Các bƣớc mô tả xây dựng hệ thống. 48 Hình 3.4 Mô hình bài toán tra cứu thông tin áp dụng lý thuyết tập thô. 50 Hình 3.5 Thuật toán phân cụm văn bản. 53 Hình 3.6 Tìm thuật ngữ đại diện cho cụm. 54 Hình 4.1 Bảng thông tin tài liệu. 55 Hình 4.2. Bảng lƣu trữ thông tin các lĩnh vực. 55 Hình 4.3 Bảng lƣu trữ thông tin ngôn ngữ. 56 Hình 4.4. Bảng thông tin từ chủ đề. 56 Hình 4.5 Giao diện trang chủ hệ thống tra cứu. 57 Hình 4.6. Kết quả tra cứu của hệ thống. 58 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 6 DANH MỤC BẢNG BIỂU Bảng 1.1 Bảng hệ thống thông tin về bệnh cúm. 22 Bảng 1.2 Bảng rút gọn thứ nhất của hệ thống bệnh cúm (R 1 ) 22 Bảng 1.3 Bảng rút gọn thứ hai của hệ thống bệnh cúm (R 2 ) 22 Bảng 2.1 Bảng thông tin mô tả các đối tƣợng 34 Bảng 2.2. Khởi tạo ban đầu 34 Bảng 2.3 Chọn {a} 34 Bảng 2.4 Chọn {b} 35 Bảng 2.5 Chọn {d} 35 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 7 DANH MỤC TỪ VIẾT TẮT STT Chữ viết tắt Mô tả 1 KDD Knowledge Data Development 2 CSDL Cơ sở dữ liệu 3 SVM Support Vector Machine 4 DM Data Mining XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 8 LỜI MỞ ĐẦU 1. Tính cấp thiết của đề tài Cùng với sự phát triển của khoa học kỹ thuật và việc ứng dụng công nghệ thông tin trong nhiều lĩnh vực của đời sống, kinh tế xã hội trong nhiều năm qua cũng đồng nghĩa với lượng dữ liệu đã được các cơ quan thu thập và lưu trữ ngày một tích luỹ nhiều lên, loài người đã và đang lưu trữ một lượng thông tin vô cùng rộng lớn. Tuy nhiên, việc khai thác nguồn dữ liệu này vẫn còn là một bài toán khó cho những người làm khoa học. Trên thực tế, đã có khá nhiều hệ thống thực hiện công việc này theo những phương pháp khác nhau, tuy chưa đạt được hiệu quả tối ưu nhưng cũng phần nào đáp ứng được các yêu cầu thông tin cho người sử dụng. Mỗi phương pháp khác nhau đều thể hiện được những điểm mạnh riêng của nó và việc lựa chọn phương pháp nào phụ thuộc vào những mục đích, yêu cầu và tiêu chí riêng đặt ra. Để khai thác có hiệu quả nguồn thông tin từ các cơ sở dữ liệu khổng lồ trên, yêu cầu đặt ra là cần phải có những phương pháp tổ chức, khai thác dữ liệu nhanh, tự động và chính xác để chuyển đổi kho dữ liệu khổng lồ này thành những tri thức có ích, có ứng dụng thực tiễn cao. Từ đó các kỹ thuật khai phá dữ liệu (Data Mining) và kỹ thuật khám phá, phát hiện tri thức (Knowledge Discovery) trở thành một lĩnh vực được đặc biệt quan tâm trong lĩnh vực công nghệ thông tin. Kỹ thuật khai phá tri thức và khai phá dữ liệu đã và đang được nghiên cứu, phát triển trong nhiều lĩnh vực khác nhau như y tế, giáo dục, kinh tế Đây cũng là lĩnh vực liên quan đến nhiều ngành học như hệ cơ sở dữ liệu, trực quan hoá với nhiều cách tiếp cận, sử dụng các kỹ thuật khác nhau như mạng nơron, lý thuyết tập thô, biểu diễn tri thức Nhằm mục đích tìm hiểu, nghiên cứu một phần nào đó của việc sử dụng kỹ thuật khai phá tri thức, khai phá dữ liệu trong thực tiễn. Tôi mạnh dạn chọn đề tài “Xây dựng tập thuộc tính rút gọn theo cách tiếp cận tập thô”, từ đó sử dụng một thuật toán để tìm tập rút gọn phục vụ bài toán: Tra cứu thông tin. 2. Mục tiêu của đề tài Mục tiêu của đề tài là nghiên cứu lý thuyết tập thô và tập rút gọn, từ đó áp dụng trong Bài toán: Tra cứu thông tin trên Web. XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 9 3. Đóng góp của đề tài Đề tài đã nghiên cứu tập thô ở khía cạnh lý thuyết áp dụng trực tiếp vào bài toán: Tra cứu thông tin, đề tài đã có các đóng góp cụ thể sau: - Nghiên cứu phương pháp tra cứu thông tin áp dụng lý thuyết tập thô. - Xây dựng tập dữ liệu phục vụ cho thử nghiệm. - Xây dựng được hệ thống tra cứu thông tin trên web áp dụng lý thuyết tập thô. 4. Bố cục của luận văn Luận văn được bố cục thành 4 chương chi tiết như sau: - Chương 1: Tổng quan về khai phá dữ liệu và lý thuyết tập thô. - Chương 2: Trình bày một số phương pháp xây dựng tập thuộc tính rút gọn. - Chương 3: Phương pháp xây dựng hệ thống tra cứu thông tin áp dụng lý thuyết tập thô - Chương 4: Xây dựng hệ thống và thử nghiệm. [...]... DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 24 CHƢƠNG 2 XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Trong chương này luận văn sẽ trình bày các phương pháp sử dụng lý thuyết tập Thô để xây dựng một số thuật toán cơ bản để xây dựng tập rút gọn như Thuật toán sử dụng các phép toán đại số; Thuật toán dựa vào cặp số phân biệt được; Thuật toán xây dựng tập thuộc tính rút gọn Một định... từ tập luật sinh - Xác định và ước lượng sự phụ thuộc của tập thuộc tính - Tính định tập tối thiểu các thuộc tính từ rút gọn Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 20 - Phân tích tính chắc chắn và tính mâu thuẫn của tập dữ liệu 1.2.2 Bảng quyết định Một tập dữ liệu được thể hiện dưới dạng bảng, trong đó... quán hay mâu thuẫn Tập các thuộc tính được gọi là một rút gọn của tập thuộc tính điều kiện C nếu T '  U , R  D  là độc lập và tập thuộc tính ban đầu POS R D   POS C D  Hay nói cách khác, R là tập rút gọn nếu nó là tập tối thiểu thoả mãn POS R D   POS C D  Rõ ràng là có thể có nhiều tập rút gọn của C Ta ký hiệu redC  là tập tất cả các rút gọn của C trong T Một thuộc tính là cần thiết... Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 32 không phải là chiến lược tốt nhất, nhưng nó là chiến lược tốt đối với các dữ liệu lớn, các bài toán phức tạp Việc chọn lựa chọn thuộc tính để bổ sung vào tập thuộc tính nhân ban đầu thực hiện như sau: Thuộc tính a được chọn nếu khi thêm a vào tập thuộc tính R thì Card POS RaD tăng nhanh hơn... tính trong nhân ( Core ) làm tập con ban đầu - Tại mỗi bước, lựa chọn các thuộc tính sử dụng tiêu chuẩn đánh giá trong quá trình khám phá luật bởi bảng phân bố tổng quát trong tập Thô - Dừng lại khi tập con các thuộc tính được chọn là một tập rút gọn Số lượng của các tập rút gọn có thể là 2 N 1 trong đó N là số các thuộc tính Việc lựa chọn tập rút gọn tối ưu từ các tập rút gọn có thể là rất tốn thời... D) , trong đó tập D  d1 , d 2 , , d k  là tập các thuộc tính quyết định và C  D   Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 21 Bảng quyết định là mô hình thường gặp trong thực tế, khi mà giá trị dữ liệu tại các thuộc tính điều kiện có thể cung cấp cho ta thông tin về giá trị của thuộc tính quyết định... http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 35 Bảng 2.4 Chọn {b} U a b e u 2 0 2 3 u 2 1 0 u 1 0 2 u 1 0 2 u 1 1 1 4 5 6 7 Bảng 2.5 Chọn {d} 2.3.2 Thuật toán tìm tập rút gọn dựa vào cặp số phân biệt đƣợc Tư tưởng của thuật toán: Chọn R :  và sẽ bổ sung dần các thuộc tính vào R Vấn đề đặt ra là tại mỗi bước chọn lựa, thuộc tính nào sẽ được đưa vào R Một cách tự nhiên, ta chọn thuộc. .. kiếm kinh nghiệm hiệu quả 2.2 Vấn đề rời rạc hoá dựa trên lý thuyết tập thô Bảng quyết định có dạng: T  (U , C, D) , Trong đó: Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 27 Tập D  d1 , d 2 , , d k  là tập các thuộc tính quyết định C là thuộc tính điều kiện Và C  D   Hệ này được xem như là hệ quyết định... cách tiếp cận tập thô Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 19 Định nghĩa tập thô: Cho cơ sở tri thức K= (U, ), X  U, R là một quan hệ tương đương trên U - X là có thể xác định trên R (R–definable): Nếu X là hợp của một số các phạm trù sơ cấp trên R, được gọi là tập xác định, ngược lại X được gọi là tập. .. hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ 33 Ví dụ 2: Cho bảng quyết định với: a , b , c , d là thuộc tính điều kiện; e là thuộc tính quyết định Và U  u1 , u2 , u3 , u4 , u5 , u6 , u7  Bảng 2.1 mô tả các đối tượng Với b là thuộc tính không thể thiếu duy nhất vì loại bỏ b sẽ gây nên việc không nhất quán: . thức theo cách tiếp cận tập thô. XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên http://www.lrc-tnu.edu.vn 19 Định nghĩa tập. tài là nghiên cứu lý thuyết tập thô và tập rút gọn, từ đó áp dụng trong Bài toán: Tra cứu thông tin trên Web. XÂY DỰNG TẬP THUỘC TÍNH RÚT GỌN THEO CÁCH TIẾP CẬN TẬP THÔ Số hóa bởi Trung tâm. Tôi mạnh dạn chọn đề tài Xây dựng tập thuộc tính rút gọn theo cách tiếp cận tập thô , từ đó sử dụng một thuật toán để tìm tập rút gọn phục vụ bài toán: Tra cứu thông tin. 2. Mục tiêu của