Xây dựng giao diện thông minh đối với các hệ cơ sở dữ liệu quan hệ

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH HỆ THỐNG THÔNG TIN TÊN ĐỀ TÀI XÂY DỰNG GIAO DIỆN THÔNG MINH ĐỐI VỚI CÁC HỆ CƠ SỞ DỮ LIỆU QUAN HỆ Sinh viên thực : Trần Bích Diệp Lớp HTTT – K50 Giáo viên hướng dẫn: PGS.TS Nguyễn Kim Anh HÀ NỘI 6-2010 Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thông tin PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên sinh viên: Trần Bích Diệp Điện thoại liên lạc: 0987 909 885 Email: malpeid@gmail.com Lớp: Hệ thống thông tin – K50 Hệ đào tạo: Đại học quy Đồ án tốt nghiệp thực tại: Đại học Bách Khoa Hà Nội Thời gian làm ĐATN: Từ ngày 28 /02 /2010 đến 28 / 05 /2010 Mục đích nội dung ĐATN Phân tích cú pháp tập luật văn phạm ngữ nghĩa tổng quát, hoàn chỉnh cú pháp ngữ nghĩa với câu truy vấn người dùng Các nhiệm vụ cụ thể ĐATN - Tìm hiểu kiến trúc chương trình, phân loại tập luật văn phạm ngữ nghĩa - Xây dựng sở tri thức - Hoàn chỉnh cú pháp ngữ nghĩa câu truy vấn - Cài đặt thử nghiệm giải pháp đề Lời cam đoan sinh viên: Tơi – Trần Bích Diệp - cam kết ĐATN cơng trình nghiên cứu thân tơi hướng dẫn PGS.TS Nguyễn Kim Anh Các kết nêu ĐATN trung thực, chép tồn văn cơng trình khác Hà Nội, ngày tháng năm Tác giả ĐATN Trần Bích Diệp Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ: Hà Nội, ngày tháng năm Giáo viên hướng dẫn PGS.TS Nguyễn Kim Anh Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thơng tin TĨM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Ngơn ngữ tự nhiên phương tiện truyền thông mạnh Sự phát triển giao diện ngôn ngữ tự nhiên hệ sở liệu trở thành phổ biến dạng truyền thông tự nhiên với hệ thống thiết yếu chấp nhận người sử dụng Một lĩnh vực mà hệ xử lý ngôn ngữ tự nhiên (NLP) có hiệu hệ truy vấn sở liệu Các sở liệu thường bao phủ miền đủ nhỏ cho truy vấn ngôn ngữ tự nhiên liệu dễ dàng phân tích hệ xử lý ngôn ngữ tự nhiên Trên sở tổng kết cơng trình nghiên cứu có xử lý ngơn ngữ truy vấn tự nhiên hệ sở liệu, đồ án trình bày cách phân tích cú pháp với tập luật mang tính chất tổng quát hơn, hoàn chỉnh cú pháp ngữ nghĩa câu truy vấn chưa hoàn chỉnh Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thơng tin LỜI CẢM ƠN Để đồ án tốt nghiệp hoàn thành bên cạnh nỗ lực thân sinh viên suốt trình học tập, cịn có lời động viên, hướng dẫn, giúp đỡ tận tình từ phía thầy cơ, gia đinh bạn bè Vì em xin dành lời đồ án tốt nghiệp cho lời cảm ơn Trước hết, em xin gửi lời cảm ơn chân thành sâu sắc tới giáo viên hướng dẫn: PGS.TS Nguyễn Kim Anh, trưởng môn Hệ thống thônng tin, khoa Công nghệ thông tin, trường Đại học Bách Khoa Hà Nội Cô người cho em hướng dẫn, bảo tận tình với quan tâm động viên vơ hữu ích suốt trình em thực đồ án Em xin gửi lời cám ơn chân thành tới thầy cô giáo môn Hệ thống thông tin, khoa Cơng nghệ thơng tin nói riêng tồn thể thầy cô giáo trường Đại học Bách Khoa Hà Nội nói chung Các thầy tận tình với giảng, với tận tâm công tác giảng dạy, cho em kiến thức, học vơ bổ ích chun mơn đạo đức suốt năm năm học vừa qua Những kiến thức mà thầy cô truyền dạy không giúp em hoàn thành tốt đồ án tốt nghiệp mà chắn cịn giúp ích cho em nhiều tương lai Em xin gửi lời cảm ơn đến tác giả viết dùng làm tài liệu tham khảo đồ án Cuối cùng, xin gửi lời cảm ơn sâu sắc tới gia đình, tới anh chị, bạn bè thân thiết bên cạnh động viên, giúp đỡ Mặc dù cố gắng nỗ lực , song chắn đồ án khơng khỏi cịn nhiều thiếu sót Em mong nhận thông cảm bảo tận tình Thầy Cơ bạn Hà Nội 6/2010 Sinh viên thực Trần Bích Diệp Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thông tin MỤC LỤC PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP LỜI CẢM ƠN MỤC LỤC DANH MỤC BẢNG TRONG ĐỒ ÁN .7 DANH MỤC HÌNH VẼ TRONG ĐỒ ÁN DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT .9 ĐẶT VẤN ĐỀ 10 CHƯƠNG TỔNG QUAN VỀ CÁC GIAO DIỆN TRUY VẤN CSDL QUAN HỆ .11 1.1 Các giao diện truy vấn CSDL 11 1.1.1 Giao diện dựa ngôn ngữ lệnh .11 1.1.2.Giao diện dựa theo form 12 1.1.3 Giao diện đồ họa 12 1.2 Đánh giá ngôn ngữ giao diện truy vấn 12 1.3.Giao diện truy vấn ngôn ngữ tự nhiên 13 1.3.1 Giới thiệu chung .13 1.3.2 Ưu điểm 13 1.3.3 Nhược điểm .14 1.4.Các hệ thống NLIDB 15 1.4.1.Phân loại hệ thống NLIDB 16 1.4.2 Các ngôn ngữ biểu diễn trung gian 20 1.4.3 Các kiểu giới hạn đầu vào NLIDB 22 CHƯƠNG GIAO DIỆN TRUY VẤN NGÔN NGỮ TỰ NHIÊN TIẾNG VIỆT 26 2.1.Các đặc điểm tiếng Việt .26 2.1.1 Từ vựng 26 2.1.2.Cú pháp .26 2.2.Các vấn đề cần giải 26 2.3.Kiến trúc hệ thống .27 2.3.1 Mơ hình chung 27 2.3.2 Cơ sở tri thức 28 2.3.3 Bộ tách từ 34 2.3.4 Bộ phân tích cú pháp 35 2.3.5 Bộ phân tích ngữ nghĩa 37 2.3.7 Bộ dịch .38 CHƯƠNG PHƯƠNG PHÁP PHÂN TÍCH VÀ HỒN CHỈNH NGỮ NGHĨA 40 3.1 Tính khơng đầy đủ luật văn phạm ngữ nghĩa 40 3.1.1 Tính khơng đầy đủ điều kiện chọn 40 3.1.2 Tính khơng đầy đủ điều kiện nối 41 3.1.3 Tính không đầy đủ với nguồn 41 3.2 Cây cú pháp không hoàn chỉnh 42 3.3 Kỹ thuật bổ sung, hoàn chỉnh ngữ nghĩa với cú pháp khơng hồn chỉnh 44 3.3.1 Chuẩn hóa điều kiện chọn 45 3.3.2 Chuẩn hóa nguồn .49 3.3.3 Chuẩn hóa điều kiện nối 50 CHƯƠNG CÀI ĐẶT VÀ THỬ NGHIỆM 52 4.1.Các công cụ cài đặt môi trường thử nghiệm .52 4.2.Cấu trúc CSDL thử nghiệm 52 Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thông tin 4.3 Cài đặt chương trình 54 4.3.1 Cơ sở tri thức 54 4.3.2 Bộ tách từ 59 4.3.3 Bộ phân tích cú pháp 61 4.3.3 Bộ phân tích ngữ nghĩa .63 4.3.4 Bộ dịch .65 4.4 Thử nghiệm hệ thống 67 4.4.1 Giao diện hệ thống 67 4.4.2 Một số ví dụ 67 KẾT LUẬN VÀ HƯỚNG PHÁP TRIỂN 73 TÀI LIỆU THAM KHẢO 74 Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thông tin DANH MỤC BẢNG TRONG ĐỒ Á Bảng 3-1 Kiểm tra điều kiện chọn .45 Bảng 3-2 Hoàn chỉnh điều kiện chọn đầy đủ thành phần 46 Bảng 3-3 Hoàn chỉnh điều kiện chọn thiếu thuộc tính .47 Bảng 3-4 Hoàn chỉnh điều kiện chọn khuyết thuộc tính 47 Bảng 3-5 Hoàn chỉnh nguồn 49 Bảng 4-1 Lớp TVPTT 55 Bảng 4-2 Lớp TDDN 55 Bảng 4-3 Từ điển viết tắt 56 Bảng 4-4 Lớp Bảng ( từ điển AXDL ) 56 Bảng 4-5 Lớp ThuocTinh từ điển AXDL 57 Bảng 4-6 Lớp GiaTri từ điển AXDL 57 Bảng 4-7 Lớp SR từ điển AXDL 58 Bảng 4-8 Từ điển ánh xạ liệu 59 Bảng 4-9 Lớp SGDic 59 Bảng 4-10 Lớp SWord .60 Bảng 4-11 Lớp SplitWord 61 Bảng 4-12 Lớp chuẩn câu 61 Bảng 4-13 Lớp NodeCYK 62 Bảng 4-14 Lớp CYK 62 Bảng 4-15 Lớp ChuanHoa ( Bộ phân tích ngữ nghĩa ) 65 Bảng 4-16 Lớp compiler 66 Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thơng tin DANH MỤC HÌNH VẼ TRONG ĐỒ Á Hình 1.1 Mơ hình trao CSDL người dùng qua NL Query 13 Hình 1.2 Bảng chứa thơng tin quốc gia 16 Hình 1.3 Cây phân hệ thống dựa cú pháp 17 Hình 1.4 Một số dạng văn phạm ngữ nghía .19 Hình 1.5 Cây phân tích văn phạm 19 Hình 1.6 Kiến trúc hệ thống ngôn ngữ biểu diễn trung gian .21 Hình 1.7 Giản đồ CSDL hệ thống PRE .23 Hình 1.8 Màn hình ban đầu NLMENU .24 Hình 1.9 Màn hình NLMENU sau số từ chọn .25 Hình 2.1 Kiến trúc hệ thống NLIDB tiếng Việt 28 Hình 2.2 Một cú pháp phân tích 37 Hình 2.3 Bộ phân tích ngữ nghía .37 Hình 3.1 Cây cú pháp hồn chỉnh 42 Hình 3.2 Cây cú pháp khơng hồn chỉnh điều kiện chọn 43 Hình 3.3 Cây cú pháp khơng hồn chỉnh nguồn 43 Hình 3.4 Cây cú pháp khơng hồn chỉnh điều kiện nối .44 Hình 3.5 Lưu đồ chuẩn hóa điều kiện chọn .48 Hình 3.6 Lưu đồ chuẩn hóa nguồn .50 Hình 3.7 Chuẩn hóa điều kiện nối 51 Hình 4.1 Sơ đồ thực thể liên kết 52 Hình 4.2 Cấu trúc cở sở liệu 54 Hình 4.3 Giao diện hệ thống 67 Hình 4.4 Thực ví dụ 68 Hình 4.5 Kết ví dụ 68 Hình 4.6 Thực ví dụ hai 69 Hình 4.7 Kết ví dụ hai 69 Hình 4.8 Thực ví dụ ba .70 Hình 4.9 Kết ví dụ ba 70 Hình 4.10 Thực ví dụ bốn 71 Hình 4.11 Kết ví dụ bốn 71 Hình 4.12 Thực ví dụ năm 72 Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thơng tin DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT ANSI – Chuẩn ANSI (American National Standards Institute) CSDL – Cơ Sở Dữ Liệu (Database) CYK – Thuật toán Cocke – Younger – Kasami DBMS – Hệ quản trị sở liệu (Database Management System) DML – Ngôn ngữ thao tác liệu (Data Manipulation Language) NLIDB – Giao diện truy vấn truy vấn ngôn ngữ tự nhiên CSDL (Natuaral Language Interface Database) QBE – Ngôn ngữ truy vấn theo mẫu (Query By Example) SG – Văn phạm ngữ nghĩa (Semantic Grammar) SQL – Ngôn ngữ truy vấn cấu trúc (Structured Query Language) 10 SR – Vai trò ngữ nghĩa (Semantic Role) 11 TV – Truy vấn 12 TVTG – Truy vấn trung gian 13 TVTL – Truy vấn tỉnh lược 14 TV-PT – Từ vựng- phạm trù 15 AXDL – Ánh xạ liệu Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thông tin ĐẶT VẤN ĐỀ Ngày việc sử dụng máy tính trở nên phổ biến, công nghệ thông tin sâu vào hầu hết lĩnh vực đời sống xã hội Máy tính trở thành cơng cụ đắc lực người, đảm nhiệm chức mà người tỏ khiếm khuyết, khả lưu trữ xử lý khối lượng liệu khổng lồ không ngừng tăng lên ngày, hay khả tính tốn hệ nhị phân…Song khơng phải mà máy tính khơng có hạn chế Việc máy tính tỏ có hiệu số lĩnh vực nguyên lý hoạt động máy tính khác người Chính điều gây nên hạn chế máy tính Do để phát huy hết khả người tận dụng hết khả máy tính địi hỏi phải có phối hợp người máy Thực chất phối hợp người chuyển hạn chế cho máy tính, ngược lại máy tính chuyển ngược lại thông tin liệu dạng đơn giản, hiệu để người dễ sử dụng Khi địi hỏi giao tiếp người máy phải luôn thông suốt Nhưng ta biết máy tính người sử dụng hai loại ngơn ngữ khác biệt Vì máy tính thiết bị điện tử hoạt động dựa nguyên tắc logic chế vật lý thiết bị điện, ngơn ngữ ngơn ngữ trạng thái, trạng thái bật hay tắt thiết bị, trạng thái điện áp cao hay thấp, người với hoạt động sống tạo thứ ngôn ngữ riêng đa dạng phong phú dân tộc, ngơn ngữ tự nhiên Con người tiếp xúc với ngôn ngữ tự nhiên cách dễ dàng lại cần nhiều thời gian để hiểu ngơn ngữ máy Vì ứng dụng xử lý ngôn ngữ tự nhiên đời hướng để tìm câu trả lời cho tốn Tuy hai loại ngơn ngữ có khác biệt, song chúng có điểm chung phải có cấu trúc phải tuân theo trật tự định, chúng “chuyển hóa” lẫn Tức ngơn ngữ tự nhiên thông dịch chuyển dần qua dạng trung gian theo bước, cuối chuyển thành định dạng nhị phân mà máy tính hiểu Nói xác máy tính hiểu đầu vào ngôn ngữ tự nhiên, trả đầu ngôn ngữ tự nhiên Hiện ứng dụng phát triển theo nhiều nhánh khác nhau, số nhánh ứng dụng giao diện ngôn ngữ tự nhiên Lĩnh vực quan tâm phát triển nhà nghiên cứu giới Tuy Việt Nam lĩnh vực xuất vài năm trở lại đây, thu thành cơng đáng kể Vì lý đó, sinh viên tin học em nghiên cứu chọn lĩnh vực xây dựng giao diện ngôn ngữ tự nhiên bước để tiếp cận với ngành khoa học nhiều triển vọng Sinh viên thực hiện: Trần Bích Diệp – Khóa: K50 Lớp: Hệ thống thơng tin