Biểu diễn dữ liệu mờ bằng ngôn ngữ XML và ứng dụng

1 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THÔNG NGUYỄN ĐÌNH HUY BIỂU DIỄN DỮ LIỆU MỜ BẰNG NGÔN NGỮ XML VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - Năm 2013 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN ĐÌNH HUY BIỂU DIỄN DỮ LIỆU MỜ BẰNG NGÔN NGỮ XML VÀ ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Người hướng dẫn khoa học: PGS.TS Đoàn Văn Ban Thái Nguyên - Năm 2013 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng hướng dẫn trực tiếp PGS.TS Đoàn Văn Ban Mọi trích dẫn sử dụng báo cáo ghi rõ nguồn tài liệu tham khảo theo qui định Mọi chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, xin chịu hoàn toàn trách nhiệm Thái Nguyên, ngày tháng Tác giả Nguyễn Đình Huy năm 2013 MỤC LỤC Trang CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Tiếng Anh Từ viết tắt Tên đầy đủ Diễn giải DTD Doucument Type Definition Định nghĩa kiểu tài liệu HTML Hypertext markup language Ngôn ngữ đánh dấu siêu văn HTTP HyperText Transfer Protocol Giao thức truyền tải siêu văn XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng SQL Structured Query Language Ngôn ngữ truy vấn có cấu trúc Tiếng Việt CSDL Cơ sở liệu ĐSGT Đại số gia tử DANH MỤC BẢNG Trang DANH MỤC HÌNH Trang 10 MỞ ĐẦU Lý chọn đề tài Trong năm gần đây, việc xây dựng phát triển hệ sở liệu (CSDL) mờ phục vụ cho việc thu thập, xử lý khai thác liệu với thông tin không chắn, không đầy đủ - dạng liệu mà người thường xuyên xử lý thực tế - nhiều nhà nghiên cứu quan tâm Nhiều mô hình CSDL mờ mở rộng từ mô hình CSDL quan hệ cổ điển Codd đề xuất dựa sở lý thuyết tập mờ Zadeh phát triển, tiêu biểu mô hình tập mờ, mô hình dựa quan hệ tương tự, mô hình dựa lý thuyết khả năng, Song song với việc phát triển mô hình, nhiều công trình nghiên cứu việc xử lý khai thác liệu mờ từ mô hình CSDL mờ phát triển, tiêu biểu nghiên cứu phụ thuộc liệu mờ, ngôn ngữ hỏi mềm dẻo, khai phá tri thức từ liệu, Những nghiên cứu CSDL mờ tiếp tục phát triển nước giới Trong luận văn này, tập trung nghiên cứu cách biểu diễn liệu mờ ngôn ngữ XML Mô hình CSDL mờ biểu diễn mô hình dựa lý thuyết đại số gia tử (ĐSGT) Mục đích nghiên cứu đề tài ứng dụng lý thuyết mô hình sở liệu mờ, sử dụng ngôn ngữ XML để biểu diễn nhiều dạng liệu mờ khác nhau, cho phép mờ hóa CSDL sẵn có nhằm thu thập, lưu trữ thực truy vấn sở liệu mờ ứng dụng việc khai phá liệu nhằm đưa dự báo tương lai Mục tiêu đề tài Mục đích nghiên cứu đề tài ứng dụng lý thuyết mô hình sở liệu mờ, sử dụng ngôn ngữ XML để biểu diễn nhiều dạng liệu mờ khác nhau, cho phép mờ hóa sở liệu sẵn có nhằm thu thập, lưu trữ thực truy vấn 70 φ φ φ φ Do (0.92) = cao, (0.65) = cao, (0.16) = thấp, (0.49) = cao ≈ ≈ Vậy, cán có TUOI già SUCKHOE khả tốt là: Bảng 3: Kết tìm kiếm ví dụ (a) Socm Hoten Suckhoe Tuoi Luong 88888 Thanh Tùng khả tốt 75 1.500.000 cán có TUOI trẻ có LUONG cao Bảng 4: Kết tìm kiếm ví dụ (b) Socm Hoten Suckhoe Tuoi Luong 11111 Phạm Trọng Cầu rất tốt 31 2.800.000 33333 Trần Tiến xấu 32 2.000.000 44444 Vũ Hoàng xấu 45 500.000 66666 Thuận Yến khả xấu 61 thấp 99999 Nguyễn Cường tốt 25 thấp 2.3 TỔNG KẾT CHƯƠNG Cơ sở liệu mờ cài đặt máy tính cho phép lưu trữ, xử lý có nhiều ý nghĩa quan trọng việc giải toán thực tế Trong chương này, luận văn tập trung nghiên cứu vấn đề nảy sinh hệ thống “Quản lý thông tin nhân sự” Qua luận văn đề xuất hướng giải đưa mô hình sở liệu mờ dựa lý thuyết đại số gia tử phân tích để giải yêu cầu hệ thống, đồng thời trình bày phương pháp sử dụng ngôn ngữ 71 XML để biểu diễn mô hình sở liệu mờ Từ đó, luận văn giới thiệu cách truy vấn mờ sở liệu mờ 72 CHƯƠNG XÂY DỰNG ỨNG DỤNG Từ kiến thức đại số gia tử, mô hình sở liệu mờ chương một, dựa đề xuất ứng dụng logic mờ theo lý thuyết đại số gia tử hệ thống “Quản lý thông tin nhân sự” chương hai Trong chương vận dụng để xây dựng phát triển modul cho hệ thống “Quản lý thông tin nhân sự” mô hình sở liệu mờ hóa dựa lý thuyết đại số gia tử cài đặt thành file xml, phương pháp đối sánh mờ vận dụng modul truy vấn 3.1 MÔ TẢ ỨNG DỤNG Trong năm gần đây, phát triển vượt bậc ngành Tin học việc ứng dụng CNTT lĩnh vực đời sống khiến công việc thu thập lưu trữ thông tin tăng đáng kể - tạo lượng liệu lưu trữ khổng lồ Những liệu lữu trữ không liệu rõ mà liệu với thông tin chưa chắn, chưa đầy đủ hay gọi liệu mờ Những khối liệu khổng lồ chứa giá trị tiềm ẩn đem phân tích ta tìm quy luật chưa biết đến để giải thích cho tượng thực tế đưa dự đoán cho tương lai Tuy nhiên, hệ thống khai thác xử lý khối liệu rõ mà chưa có ứng dụng xử lý liệu mờ Xuất phát từ thực tế này, luận văn đề xuất hướng tiếp cận ứng dụng dựa lý thuyết đại số gia tử khai phá liệu để đưa dự đoán cho toán “Quản lý thông tin nhân sự” 3.2 CÔNG CỤ LỰA CHỌN Để hoàn thành ứng dụng chương trình viết ngôn ngữ lập trình C# Visual Studio 2010 ngôn ngữ XML, chương trình chạy thử nghiệm hệ điều hành Windows XP 73 3.3 PHÁT TRIỂN CÁC MODUL 3.3.1 Modul biểu diễn liệu mờ Cơ sở liệu sau mờ hóa lưu trữ file xml có cấu trúc sau: Hình 3: Cấu trúc một sở dữ liệu mờ lylich mờ hóa 3.3.2 Modul biểu diễn truy vấn mờ Để thực truy vấn sở liệu mờ câu truy vấn dạng SQL phải chuyển đổi thành file xml chuỗi theo cấu trúc file xml Công việc thực thông qua phương thức ReadSQLXML lớp SQL Phương thức cho phép chuyển đổi câu lệnh SQL thành file truy vấn biểu diễn XML để thực truy vấn dễ dàng sở liệu mờ 74 Hình 4: Cấu trúc file lưu trữ câu truy vấn mờ XML 3.4 GIAO DIỆN CHƯƠNG TRÌNH Dựa phân tích thiết kế sở liệu mờ theo lý thuyết đại số gia tử, xây dựng hệ thống “Quản lý thông tin nhân sự” có thêm chức ứng dụng logic mờ dựa lý thuyết đại số gia tử Đầu tiên khởi động chương trình hình giao diện chương trình sau: 75 Hình 5: Giao diện chương trình Từ giao diện chính, người dùng phải thực đăng nhập với tài khoản admin thực chức như: phân quyền, cập nhật lý lịch, cập nhật lý lịch khoa học, cập nhật bảng lương, cập nhật bảng chấm công Ngoài chức thống kê nhân viên theo độ tuổi, theo mức lương, … thực mà không cần phải đăng nhập tài khoản Sau nhập đầy đủ thông tin cho nhân viên người dùng thực chức mờ hóa sở liệu Giao diện cho phép lựa chọn trường thuộc tính cần mờ hóa, với trường thuộc tính mờ cần phải xác định đại lượng miền giá trị tham chiếu, miền giá trị ngôn ngữ thông qua hai đại lượng LDom(H) LDom(E) Chỉ trường đánh dấu is Fuzzy cho phép lựa chọn đại lượng trường mờ hóa đại số gia tử Giao diện lựa chọn trường cần thực mờ hóa sau: 76 Hình 6: Giao diện chức lựa chọn trường thuộc tính mờ Thông qua chức người dùng lựa chọn thông tin tập phần tử sinh, tập gia tử với độ thuộc cho phù hợp với ý kiến chuyên gia Hình 7: Giao diện chức cập nhật tập gia tử 77 Sau lựa chọn trường cần mờ hóa kết thực việc mờ hóa cho sau: Chúng ta thực việc mờ hóa với liệu nguồn kết truy vấn câu lệnh SQL chuẩn, từ liệu nguồn thực lựa chọn trường thuộc tính mờ thực việc mờ hóa tương tự Sau thực việc mờ hóa sở liệu sẵn có, người dùng lưu trữ thành file xml để thực việc khai phá liệu thực truy vấn mờ Ngoài hệ thống cho phép người dùng tự tạo cho sở liệu mờ dựa lý thuyết đại số gia tử, sở liệu mờ lưu trữ file xml giống cấu trúc file xml mờ hóa dùng để truy xuất khai phá liệu Dữ liệu sau mờ hóa dùng cho chức khai phá liệu tìm tri thức có ích, thực truy vấn cần thiết để tìm thông tin có ích cho dự báo tương lai Người dùng thực truy vấn mờ câu lệnh SQL 3.5 THỬ NGHIỆM VÀ ĐÁNH GIÁ - Chọn sở liệu nguồn 78 Hình 8: Cơ sở dữ liệu nguồn - Xác định miền giá trị Hình 9: Xác định miền giá trị thuộc tính Lương - Tập phần tử sinh Hình 10: Xác định tập phần tử sinh thuộc tính Lương - Tập gia tử 79 Hình 11: Xác định tập gia tử - Sau mờ hóa liệu Hình 12: Cấu trúc trường thuộc tính mờ 80 - Thực truy vấn mờ với câu truy vấn Select SoCM, Hoten, SucKhoe, Tuoi, Luong From BangLuong Where Tuoi=2 Hơn Già and SucKhoe=2 Khả Tốt - Kết chuyển câu truy vấn dạng XML 81 - Kết truy vấn Hình 13: Kết sau thực truy vấn Dựa dạng liệu mờ liệu rõ chương trình thực việc mờ hóa sở liệu nguồn, cho phép biểu diễn nhiều dạng liệu mờ khác cập nhật Việc lưu trữ, truy vấn thực nhanh chóng cho kết Với kết sử dụng cho việc mờ hóa liệu có, lưu trữ liệu mờ nhiều hệ thống ứng dụng khác: Hệ thống khai phá liệu tri thức luật kết hợp mờ, Hệ thống hỗ trợ định, … 3.6 TỔNG KẾT CHƯƠNG Chương ứng dụng kết nghiên cứu vào toán “Quản lý thông tin nhân sự”: Biểu diễn CSDL mờ ngôn ngữ XML, cài đặt thuật toán xác định giá trị chân lý điều kiện mờ để đánh giá truy vấn Ngoài ra, chương ba đưa kết thử nghiệm đánh giá hệ thống 82 KẾT LUẬN Với mục đích tìm phương pháp biểu diễn sở liệu mờ cho phép mờ hóa sở liệu sẵn có để thu thập, lưu trữ xử lý thông tin mờ máy tính làm nguồn liệu ứng dụng hệ thống khai phá liệu để đưa dự báo có tính chiến lược tương lai Với cách tiếp cận dựa lý thuyết có sở liệu mờ ngôn ngữ biểu diễn liệu Luận văn trình bày cách biểu diễn liệu mờ đựa cấu trúc định lượng ngữ nghĩa ĐSGT ngôn ngữ XML Nội dung luận văn gồm: tập trung nghiên cứu sở lỹ thuyết ĐSGT, cách thức mờ hóa đữ liệu dựa lý thuyết ĐSGT, cách thức biểu diễn CSDL mờ hòa ĐSGT ngôn ngữ XML Trên sở đó, luận văn ứng dụng vào toán “Quản lý thông tin nhân sự” thực số thao tác khai phá liệu Trong trình xây dựng hệ thống tồn số vấn đề cần phải phát triển: Xây dựng thuật toán xấp xỉ liệu để thực với câu truy vấn SQL phức tạp, cần đưa thuật toán để thực truy vấn CSDL nhanh Với phương pháp này, bước đầu cài đặt liệu mờ dựa lý thuyết đại số gia tử, cho phép mờ hóa sở liệu có, thu thập thông tin, cập nhật thông tin thực số tính toán, truy vấn mờ sở liệu Trong trình thực khoá luận, cố gắng tập trung tìm hiểu tham khảo tài liệu liên quan Tuy nhiên, với thời gian trình độ có hạn nên không tránh khỏi hạn chế thiếu sót Tôi mong nhận xét góp ý thầy cô giáo bạn bè, đồng nghiệp người quan tâm để hoàn thiện kết nghiên cứu Cuối cùng, lần xin chân thành bày tỏ lòng biết sâu sắc đến thầy giáo hướng dẫn PGS.TS Đoàn Văn Ban, thầy giáo, cô giáo Viện Công nghệ thông tin, Đại học Công nghệ Thông tin Truyền Thông – Đại học Thái Nguyên, trường Đại học Khoa học - Đại học Thái Nguyên đồng nghiệp giúp đỡ hoàn thành luận văn 83 TÀI LIỆU THAM KHẢO [1] N.C Ho (2003), “Quantifying Hedge Algebras and Interpolation Methods in Approximate Reasoning”, Proc of the 5th Inter Conf on Fuzzy Information Processing, tr 105-112 [2] N.C Ho, W Wechler (1990), “Hedge algebras:An algebraic approach to structure of sets of linguistic truth values”, Fuzzy Set and Systems, 35, tr 281-293 [3] N.C Ho, W Wechler (1992), “Extended Hedge algebras and their application to fuzzy logic”, Fuzzy Set and Systems, 52, tr 259-281 [4] N.C Ho, H.V.Nam (2002), “An algebraic approach to linguistic hedge in Zadeh’s fuzzy logic”, Fuzzy Set and Systems, 129, tr 229-254 [5] Z M MA and LI YAN (2008), “A Literature Overview of Fuzzy Database Models”, Journal Of Information Science And Engineering, 24, tr 189-202 [6] Hồ Thuần, Hồ Cẩm Hà, An approach to extending the relational database model for handing incomplete information and data dependencies, Tạp trí Tin học Điều khiển học 17 (3) (2001) 41-47 [7] E Petry and P Bosc (1996), Fuzzy Databases Principles and Applications, Kluwer Academic Publishers [8] Nguyễn Cát Hồ, Nguyễn Công Hào, Một cách tiếp cận để xấp xỉ dữ liệu sở dữ liệu mờ, Tạp chí Tin học Điều khiển học, T.23, S.2 (2007), 109-120 [9] H Thuan, T T Thanh (2001), “On the Functional Dependencies and Multivalued Dependencies in Fuzzy relational database”, Tạp chí Tin học Điều khiển học, 17 (2), tr 13-19 [10] H Thuan, T T Thanh (2002), “Fuzzy Functional Dependencies with Linguistic Quantifiers”, Tạp chí Tin học Điều khiển học, 18 (2), tr 97-108 [11] Kraft D H., Petry F E (2002), “Fuzzy information Systems: managing uncertainly in databases and information retrieval systems”, Tạp chí Tin học Điều khiển học, 18 (3), tr 237-252 [12] N C Hồ, T T Sơn, T Đ Khang, L X Việt, Fuzziness Measure (2002), “Quantified Semantic Mapping And Interpolative Method of Approximate Reasoning in Medical Expert Systems”, Tạp chí Tin học Điều khiển học, 18 (3), tr 237-252 84 [13] Nguyễn Cát Hồ, Lê Xuân Vinh, Nguyễn Công Hào (2009), “Thống liệu xây dựng quan hệ tương tự sở liệu ngôn ngữ đại số gia tử”, Tạp chí Tin học Điều khiển học, 25 (4), tr 314-332 [14] Lê Văn Huy (2010), “Cơ sở liệu mờ ứng dụng”, Luận văn Thạc sĩ khoa học Công nghệ Thông tin, Đại học Sư phạm Hà Nội [15] Nguyễn Thị Hồng Cẩm (2009), “Tích hợp hệ thống sở liệu quan hệ XML”, Luận văn Thạc sĩ khoa học, Đại học Sư phạm Hà Nội [...]... sử dụng ngôn ngữ XML để biểu diễn cơ sở dữ liệu mờ đó Chương 3: Ứng dụng các kết quả của chương hai để bổ sung thêm chức năng ứng dụng logic mờ trong hệ thống “Quản lý thông tin học sinh, nhân viên” Chức năng này cho phép thực hiện mờ hóa dữ liệu đã có, thu thập, lưu trữ cơ sở dữ liệu mờ để làm dữ liệu nguồn cho các hệ thống khai phá dữ liệu để đưa ra các dự báo trong tương lai và đừa các truy vấn mờ. .. sở dữ liệu mờ theo cách tiếp cận đại số gia tử Để hiểu rõ hơn về các vấn đề này, trong chương này sẽ tập trung trình bày những kiến thức về đại số gia tử, mô hình biểu diễn cơ sở dữ liệu mờ theo cách tiếp cận đại số gia tử và ngôn ngữ XML 1.1 CƠ SỞ DỮ LIỆU MỜ 1.1.1 Một số khái niệm 1.1.1.1 Cơ sở dữ liệu quan hệ mờ Mô hình cơ sở dữ liệu quan hệ (rõ) sử dụng khái niệm lý thuyết tập hợp để biểu diễn và. ..11 trên cơ sở dữ liệu mờ ứng dụng trong việc khai phá dữ liệu nhằm đưa ra các dự báo trong tương lai 3 Đối tượng nghiên cứu - Tìm hiểu về mô hình CSDL mờ - Tìm hiểu về ngôn ngữ XML - Tìm hiểu về lý thuyết đại số gia tử - Cách biểu diễn dữ liệu mờ bằng ngôn ngữ XML dựa trên lý thuyết về ĐSGT 4 Phương pháp nghiên cứu Đề tài thực hiện dựa... liệu của thuộc tính mờ, mỗi thuộc tính mờ sẽ được gắn với một ánh xạ định lượng ngữ nghĩa ĐSGT Theo cách tiếp cận này giá trị ngôn ngữ là dữ liệu, không phải là nhãn của các tập mờ biểu diễn ngữ nghĩa của giá trị ngôn ngữ và ưu điểm cơ bản của nó là việc cho phép tìm kiếm, đánh giá ngữ nghĩa của thông tin không chắc chắn chỉ bằng thao các thao tác dữ liệu kinh điển thường dùng và do đó bảo đảm tính... phương pháp để xấp xỉ dữ liệu trên miền trị của thuộc tính mờ trong quan hệ của cơ sở dữ liệu mờ Việc đánh giá dữ liệu trên miền trị thuộc tính mờ của quan hệ trong cơ sở dữ liệu mờ theo cách tiếp cận đại số gia tử được xây dựng dựa trên phân hoạch tính mờ của các giá trị trong đại số gia tử (giá trị ngôn ngữ) Như vậy, nếu gọi Dom(Ai) là miền trị tương ứng với thuộc tính mờ Ai và xem như một đại số... sử dụng những thông tin không đầy đủ, không chắc chắn trong thực tế, vấn đề về lưu trữ và xử lý những thông tin đó, tìm hiểu về cách xử lý thông tin nhân sự, nghiên cứu lý thuyết về cơ sở dữ liệu mờ dựa trên lý thuyết về đại số gia tử và ngôn ngữ XML Từ đó đề xuất giải pháp xây dựng hệ thống “Quản lý thông tin nhân sự” ứng dụng mô hình cơ sở dữ liệu mờ theo hướng tiếp cận đại số gia tử và sử dụng ngôn. .. Kết quả của đề tài còn tiếp tục phát triển cho các tính toán và khai thác tri thức từ cơ sở dữ liệu mờ 6 Bố cục của luận văn Cấu trúc của luận văn gồm 3 chương và phần kết luận Chương 1: Trình bày các khái niệm, tính chất về cơ sở dữ liệu mờ, ngôn ngữ XML và Đại số gia tử Chương 2: Đề xuất hướng giải quyết và đưa ra các mô hình cơ sở dữ liệu mờ dựa trên lý thuyết về đại số gia tử đã được phân tích để... lý thuyết mờ để mở rộng mô hình cơ sở dữ liệu đã được nhiều nhà nghiên cứu quan tâm Kerre E.F và Chen G.Q đã cho rằng có 5 cách tiếp cận trong việc biểu diễn dữ liệu tương ứng với việc làm mờ hóa các mô hình cơ sở dữ liệu quan hệ để biểu diễn thông tin không chính xác Đó là cách tiếp cận như sau: Mô hình dựa trên quan hệ mờ (the fuzzy ralation-based approach) [14] Cách tiếp cận nà do Baldwin và Zhou... trị ngôn ngữ trong lưu trữ hay trong các câu truy vấn và được gọi là thuộc tính mờ Các thuộc tính còn lại được gọi là thuộc tính kinh điển Thuộc tính kinh điển Ai sẽ được gắn một miền giá trị kinh điển và một miền giá trị ngôn ngữ hay là tập các phần tử của một ĐSGT Xem giá trị ngôn ngữ như là một phần tử của ĐSGT Để bảo đảm tính nhất quán trong xử lý ngữ nghĩa dữ liệu trên cơ sở thống nhất kiểu dữ liệu. .. hình CSDL mờ Tiếp theo là định lý thể hiện ý nghĩa trực quan trong ngôn ngữ về tính chất di truyền ngữ nghĩa của ngôn ngữ [2].[3].[8].[13] 20 Định lý 1.1: Giả sử x = hn…h1u và y = km…k1u là các biểu diễn chính tắc của x và y đối với u Khi đó tồn tại một chỉ số sao cho với mọi i < j ta có hi = ki và (1) x < y khi và chỉ khi hjxj < kjxj, trong đó xj = hj-1…h1u; (2) x = y khi và chỉ khi n = m = j và hjxj ... biểu diễn liệu mờ ngôn ngữ XML Mô hình CSDL mờ biểu diễn mô hình dựa lý thuyết đại số gia tử (ĐSGT) Mục đích nghiên cứu đề tài ứng dụng lý thuyết mô hình sở liệu mờ, sử dụng ngôn ngữ XML để biểu. .. tài ứng dụng lý thuyết mô hình sở liệu mờ, sử dụng ngôn ngữ XML để biểu diễn nhiều dạng liệu mờ khác nhau, cho phép mờ hóa sở liệu sẵn có nhằm thu thập, lưu trữ thực truy vấn 11 sở liệu mờ ứng dụng. .. 2013 ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN ĐÌNH HUY BIỂU DIỄN DỮ LIỆU MỜ BẰNG NGÔN NGỮ XML VÀ ỨNG DỤNG Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số : 60.48.01 LUẬN