Tối ưu hóa truy vấn cơ sở dữ liệu suy diễn

ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM THỊ CHI LÊ TỐI ƢU HÓA TRUY VẤN CƠ SỞ DỮ LIỆU SUY DIỄN LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên - 2013 Số hóa Trung tâm Học liệu / ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG PHẠM THỊ CHI LÊ TỐI ƢU HÓA TRUY VẤN CƠ SỞ DỮ LIỆU SUY DIỄN Chuyên ngành : Khoa học máy tính Mã số : 60.48.01 LUẬN VĂN THẠC SĨ KHOA HỌC NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS ĐOÀN VĂN BAN Thái Nguyên - 2013 Số hóa Trung tâm Học liệu / LỜI CAM ĐOAN Tôi cam đoan luận văn thân tự nghiên cứu thực theo hƣớng dẫn khoa học PGS.TS Đoàn Văn Ban Tôi hoàn toàn chịu trách nhiệm tính pháp lý trình nghiên cứu khoa học luận văn Thái Nguyên, ngày tháng Ngƣời Cam Đoan Phạm Thị Chi Lê Số hóa Trung tâm Học liệu / năm 2013 LỜI CẢM ƠN Trƣớc tiên bầy tỏ lời cảm ơn chân thành đến Thầy, Cô giáo giảng dạy, hƣớng dẫn giúp đỡ thời gian học tập nghiên cứu hoàn thành luận văn Xin đƣợc bầy tỏ lòng biết ơn sâu sắc tới Thầy giáo PGS.TS Đoàn Văn Ban tận tình hƣớng dẫn, giúp đỡ đóng góp cho nhiều ý kiến quí báu để hoàn thành luận văn Xin chân thành cảm ơn Thầy, Cô giáo Trƣờng Đại học Công nghệ thông tin & truyền thông Thái Nguyên Viện Công nghệ thông tin giảng dạy, giúp đỡ tạo điều kiện thuận lợi cho thời gian học tập Trƣờng Tôi xin gửi lời cảm ơn đến bạn đồng nghiệp bạn học viên lớp Cao học K10A khóa 2011 – 2013 giúp đỡ tạo điều kiện thuận lợi cho trình học tập làm luận văn Cuối cùng, xin chân thành cảm ơn gia đình bạn bè động viên, quan tâm, giúp đỡ hoàn thành khóa học luận văn PHẦN MỞ ĐẦU Cơ sở liệu (CSDL) lĩnh vực đƣợc tập trung nghiên cứu phát triển công nghệ thông tin, nhằm giải toán quản lý, tìm kiếm thông tin hệ thống lớn, đa dạng, phức tạp cho nhiều ngƣời sử dụng máy tính điện tử Cùng với ứng dụng mạnh mẽ công nghệ thông tin vào đời sống xã hội, kinh tế, quốc phòng Việc nghiên cứu CSDL phát triển ngày phong phú hoàn thiện Tuy nhiên CSDL kinh điển khả suy dẫn kiện mới, khả tiềm ẩn không đƣợc khai thác hết nên từ năm 1970-1980 có Số hóa Trung tâm Học liệu / trào lƣu sôi muốn đƣa vào CSDL quan hệ chế suy diễn, tri thức tổng quát CSDL suy diễn lĩnh vực mẻ, thời gian qua ngƣời ta tập trung nghiên cứu cho nhiều kết thú vị lĩnh vực lý thuyết ứng dụng CSDL suy diễn có khả sử dụng tính lập trình logic để thực suy diễn nhằm tạo thông tin dựa luật suy diễn liệu đƣợc lƣu trữ sở liệu CSDL suy diễn, mở rộng CSDL quan hệ, có nguyên tố tƣơng ứng với quan hệ CSDL quan hệ mà có quy tắc tổng quát (gồm quy tắc suy diễn ràng buộc toàn vẹn) Những quy tắc tạo thành phần mở rộng So với hệ CSDL quan hệ, hệ CSDL suy diễn thừa nhận kiểu lý thuyết chứng minh, nghĩa đƣợc xem xét nhƣ lý thuyết bao gồm tập công thức cấp một, việc thực câu truy vấn làm thoả mãn ràng buộc toàn vẹn xem nhƣ chứng minh công thức cấp hệ logic lý thuyết cho Sức mạnh biểu diễn CSDL suy diễn thật quan trọng nhiều lĩnh vực khác Các ứng dụng tiêu biểu CSDL bao gồm hệ chuyên gia, hệ hỗ trợ định, phân tích tài chính, phân tích ngôn ngữ, cú pháp Tuy vậy, lĩnh vực CSDL suy diễn, có nhiều kết có giá trị nhƣng có nhiều vấn đề cần nghiên cứu tiếp, đặc biệt vấn đề ngữ nghĩa phủ định tối ƣu hoá câu hỏi (truy vấn) Luận văn nghiên cứu kỹ thuật tối ƣu câu truy vấn CSDL suy diễn Có ba kiểu tiếp cận khác việc định giá câu truy vấn: Các phƣơng pháp xuống, phƣơng pháp dƣới lên phƣơng pháp có kết hợp đặc trƣng phƣơng pháp xuống dƣới lên Các phƣơng pháp xuống (còn gọi suy luận đích kết xâu lùi) có điểm khởi đầu việc tính toán từ đích truy vấn chúng không tính kiện không thích Số hóa Trung tâm Học liệu / hợp với câu truy vấn Tuy nhiên trình tính toán kéo dài vô hạn Các phƣơng pháp dƣới lên đảm bảo tính kết thúc trình tìm lời giải câu truy vấn, nhƣng điều nghĩa hiệu Chúng thƣờng không định hƣớng đích, nhiều kiện không thích hợp với câu truy vấn đƣợc tính Các chiến lƣợc dƣới lên không xem xét câu truy vấn suốt trình định giá, tức việc tính toán không đƣợc gắn liền với câu truy vấn nhƣ thƣờng xảy phƣơng pháp xuống Trong thời gian gần đây, số phƣơng pháp mở rộng để trả lời câu truy vấn đƣợc đề xuất nhằm mục đích tạo chiến lƣợc tìm kiếm hƣớng đích, đồng thời có tính hiệu đảm bảo kết thúc trình tính toán câu trả lời truy vấn Điển hình phép biến đổi ma tập (magic set transformation) định giá bảng Các phƣơng pháp đƣợc đánh giá kỹ thuật tối ƣu câu truy vấn có hiệu CSDL suy diễn Nó kết hợp đƣợc ƣu điểm kỹ thuật định giá theo kiểu xuống dƣới lên, giảm thiểu đƣợc số kiện cần tính tìm kiếm CSDL Ý tƣởng phép biến đổi ma tập mô lan truyền trị ràng buộc đƣợc tạo phƣơng pháp định giá câu truy vấn theo kiểu xuống Sự lan truyền nhận đƣợc cách viết lại chƣơng trình gốc ban đầu Trong quy tắc gốc điều kiện đƣợc thêm vào để hạn chế việc tính toán quy tắc Các điều kiện đƣợc xem quan hệ lọc Một quy tắc đƣợc tạo để mô lan truyền trị ràng buộc Luận văn gồm phần mở đầu, ba chƣơng nội dung, phần kết luận, tài liệu tham khảo phần phụ lục Chƣơng 1: Trình bày khái quát Cơ sở liệu suy diễn ngữ nghĩa chƣơng trình logic Chƣơng 2: Trình bày phƣơng pháp tối ƣu câu truy vấn sở liệu suy diễn Số hóa Trung tâm Học liệu / Chƣơng 3: Cài đặt chƣơng tr Phần phụ lục giới thiệu Swi-Prolog hƣớng dẫn cách thức làm việc với Swi-Prolog Số hóa Trung tâm Học liệu / CHƢƠNG CƠ SỞ DỮ LIỆU SUY DIỄN VÀ NGỮ NGHĨA CHƢƠNG TRÌNH LOGIC Chương trình bày kiến thức sở liệu suy diễn với khái niệm, cấu trúc, mô hình, mục đích, chức sở liệu suy diễn giới thiệu số hệ quản trị sở liệu suy diễn hệ LDL, hệ Anditi, hệ Coral; giới thiệu chương trình logic với khái niệm logic vị từ, hạng thức, công thức đóng, kí tự ngữ nghĩa chương trình logic; cuối chương giới thiêu sở liệu Horn với khái niệm, định lý, hệ quả, ngữ nghĩa sở liệu Horn ví dụ để minh chứng cho phần lý thuyết 1.1 Giới thiệu sở liệu suy diễn Tính từ thời điểm xuất hệ quản trị sở liệu (khoảng năm 1960) đến nay, công nghệ CSDL tiến triển nhanh chóng, thu đƣợc nhiều thành tựu lĩnh vực ứng dụng khác công nghệ thông tin Một đặc điểm chung hệ CSDL khả quản lí khối lƣợng lớn liệu, nhiên thƣờng thực thao tác đơn giản để xử lí liệu Vì vậy, việc nghiên cứu sở liệu suy diễn đƣợc đặt nhƣ yêu cầu thiết thực Mặt khác, song song với phát triển hệ quản trị CSDL, hệ chuyên gia đƣợc phát triển để trợ giúp trình định lĩnh vực chuyên ngành hẹp Đặc điểm hệ chuyên gia cung cấp khả suy luận nhằm hỗ trợ việc định, nhƣng chúng thƣờng khả quản lí khối lƣợng lớn thông tin Từ yếu tố trên, hệ CSDL suy diễn đƣợc đề xuất, xem nhƣ giải pháp khắc phục hạn chế hệ CSDL truyền thống cách Số hóa Trung tâm Học liệu / phối hợp, theo cách đó, đặc trƣng trội đƣợc cung cấp hệ chuyên gia Do đó, hệ CSDL suy diễn đƣợc xem tích hợp liệu (nhƣ hệ quản trị CSDL) tri thức (nhƣ hệ chuyên gia) Các hệ CSDL Các hệ chuyên gia Có khả quản lí khối lƣợng lớn liệu Có khả suy luận - Dữ liệu ngoại diên: kiện - Tính toàn vẹn, khôi phục, tối ƣu hoá câu hỏi - Đƣợc bảo trì nhà quản trị - Tri thức nội hàm: luật - Biểu diễn tri thức - Đƣợc bảo trì chuyên gia Cần khả suy luận bên sở liệu Cần hệ thống hoàn thiện để quản lí khối lƣợng lớn thông tin Cơ sở liệu suy diễn Hình 1.1 Sự tiến triển song song hệ CSDL hệ chuyên gia Hình minh hoạ tiến triển song song hệ CSDL hệ chuyên gia Khái niệm CSDL suy diễn đƣợc nhiều nhà nghiên cứu đề cập theo hƣớng phát triển kết mà Green đạt đƣợc vào năm 1969 hệ thống hỏi – đáp Xuất phát từ quan điểm lý thuyết, CSDL suy diễn Số hóa Trung tâm Học liệu / đƣợc coi nhƣ chƣơng trình logic với khái quát hoá khái niệm CSDL quan hệ Đó cách tiếp cận Brodie Manola vào năm 1989, Codd vào năm 1970, Date vào năm 1986, Gardarin Valdurier vào năm 1989 Ullman vào năm 1984 [2] Nhƣ vậy, CSDL suy diễn đƣợc coi nhƣ chƣơng trình logic với khái quát hóa khái niệm CSDL quan hệ cách hỗ trợ khung nhìn đệ qui liệu không nguyên tử Điều làm cho viêc lập trình CSDL dễ nhiều ứng dụng 1.1.1 Cơ sở liệu suy diễn (CSDLSD) CSDL truyền thống không suy diễn kiện mới, ví dụ suy đƣợc Vân cha dựa vào quan hệ parent(X, Y) Cơ sở liệu suy diễn sở liệu (CSDL) có khả suy diễn số kiện từ kiện, luật đƣợc lƣu trữ CSDL Mô hình sở liệu suy diễn (CSDLSD) tích hợp mô hình sở liệu lập trình logic Cơ sở lý thuyết mô hình sở liệu suy diễn logic vị (tân) từ cấp một: lƣu trữ, tìm kiếm, suy luận điều khiển thực thi chƣơng trình ứng dụng [1], [20] Lập trình logic mạnh khả biểu diễn tri thức thể đƣợc ràng buộc toàn vẹn thông tin CSDLSD kết hợp trí tuệ nhân tạo (AI) CSDL Cơ sở liệu có khả quản trị liệu, bảo mật liệu Cơ sở liệu suy diễn có khả sử dụng tính lập trình logic để thực suy diễn nhằm tạo thông tin dựa luật suy diễn liệu đƣợc lƣu trữ sở liệu Cấu trúc CSDL suy diễn Một CSDL suy diễn gồm ba tập hữu hạn: Số hóa Trung tâm Học liệu / - Tập kiện (facts): cho phép biểu diễn thông tin sở đƣợc biết CSDL - Tập luật suy diễn (deductive rules): cho phép suy dẫn kiện từ kiện đƣợc lƣu trữ CSDL - Tập ràng buộc toàn vẹn (integrity constrains): tƣơng ứng với điều kiện mà trạng thái CSDL phải thỏa mãn Ví dụ 1.1 Một CSDL suy diễn mô tả mối quan hệ gia tộc - Sự kiện Bố(Dƣơng, Tân) Mẹ(Mai, Bách) Bố(Phát, Mai) - Các luật suy diễn Cha_mẹ(x, y) ← Bố(x, y) Cha_mẹ(x, y) ← Mẹ(x, y) Bà(x, y) ← Mẹ(x, z) ^ Cha_mẹ(z, y) Tổ_tiên(x, y) ← Cha_mẹ(x, y) Tổ_tiên(x, y) ← Cha_mẹ(x, z) ^ Tổ_tiên(z, y) - Các buộc toàn vẹn IC1(x) ← Cha_mẹ(x, x) IC2(x) ← Bố(x, y) ^ Mẹ(x,y) Tóm lại, CSDL suy diễn ba (F, DR, IC), F tập hữu hạn kiện sở, DR tập hữu hạn luật suy diễn, IC tập hữu hạn buộc toàn vẹn Tập F kiện đƣợc gọi phần ngoại diên CSDL (còn gọi CSDL ngoại diên – EDB), tập DR IC làm thành nội hàm CSDL (còn gọi CSDL nội hàm – IDB) [10], [16], [20] Các tân từ CSDL đƣợc chia thành tân từ sở (ngoại diên) tân từ dẫn xuất (còn gọi nội hàm hay khung nhìn) Số hóa Trung tâm Học liệu / [...]...8 - Tập các sự kiện (facts): cho phép biểu diễn thông tin cơ sở đƣợc biết là đúng trong CSDL - Tập các luật suy diễn (deductive rules): cho phép suy dẫn các sự kiện mới từ các sự kiện đƣợc lƣu trữ trong CSDL - Tập các ràng buộc toàn vẹn (integrity constrains): tƣơng ứng với các điều kiện mà mỗi trạng thái của CSDL phải thỏa mãn Ví dụ 1.1 Một CSDL suy diễn mô tả các mối quan hệ gia tộc - Sự kiện Bố(Dƣơng,... - Các luật suy diễn Cha_mẹ(x, y) ← Bố(x, y) Cha_mẹ(x, y) ← Mẹ(x, y) Bà(x, y) ← Mẹ(x, z) ^ Cha_mẹ(z, y) Tổ_tiên(x, y) ← Cha_mẹ(x, y) Tổ_tiên(x, y) ← Cha_mẹ(x, z) ^ Tổ_tiên(z, y) - Các rằng buộc toàn vẹn IC1(x) ← Cha_mẹ(x, x) IC2(x) ← Bố(x, y) ^ Mẹ(x,y) Tóm lại, một CSDL suy diễn là một bộ ba (F, DR, IC), trong đó F là một tập hữu hạn các sự kiện cơ sở, DR là một tập hữu hạn các luật suy diễn, và IC... diên – EDB), còn tập DR và IC làm thành nội hàm của CSDL (còn gọi là CSDL nội hàm – IDB) [10], [16], [20] Các tân từ CSDL đƣợc chia thành các tân từ cơ sở (ngoại diên) và các tân từ dẫn xuất (còn gọi là nội hàm hay khung nhìn) Số hóa bởi Trung tâm Học liệu /