Công nghệ thông tin biểu diễn cơ sở dữ liệu mờ bằng đại số gia tử và ứng dụng trong rút trích dữ liệu(klv02340)

1 MỞ ĐẦU Lý chọn đề tài Theo thời gian, lượng liệu thơng tin tích lũy lưu trữ ngày lớn Khi mà sở liệu truyền thống không phù hợp với thực tế thơng tin đối tượng giới thực thường có tính mơ hồ, khơng chắn không đầy đủ Để giải vấn đề đặt thực tế mơ hình sở liệu mờ đề xuất nhằm biểu diễn xử lý đối tượng mà thông tin chúng mơ hồ khơng chắn Giá trị thuộc tính đối tượng sở liệu mờ phức tạp, bao gồm giá trị ngôn ngữ mờ, giá trị số, giá trị khoảng, giá trị khơng xác định, … Vì vậy, việc tìm kiếm rút trích thơng tin sở liệu với thông tin mờ không chắn vấn đề quan trọng nhiều tác giả quan tâm giải Vậy làm tìm phương pháp xử lý giá trị mờ để từ lấy thơng tin cần thiết? Đối với sở liệu mờ chứa giá trị ngôn ngữ, có nhiều cách tiếp cận để xử lý giá trị mờ tác giả nước quan tâm nghiên cứu Luận văn nghiên cứu cách tiếp cận sử dụng đại số gia tử (ĐSGT), mơ hình tốn học cấu trúc thứ tự ngữ nghĩa miền giá trị biến ngôn ngữ Mỗi giá trị ngôn ngữ biểu diễn phần tử ĐSGT thích hợp Sử dụng cách lượng hóa ĐSGT, giá trị ngơn ngữ xác định khoảng miền trị thuộc tính Tập khoảng phân hoạch miền giá trị thuộc tính phân hoạch xác định quan hệ tương đương Các phần tử thuộc lớp tương đương xem Từ đó, xây dựng quan hệ đối sánh chuyển đổi truy vấn mờ sở liệu ngôn ngữ thành truy vấn thơng thường để xử lý Chính lẽ đó, luận văn trình bày việc “Biểu diễn sở liệu Mờ Đại số gia tử ứng dụng rút trích liệu” Mục đích nghiên cứu Nghiên cứu biểu diễn sở liệu Mờ đại số gia tử toán rút trích liệu Đối tượng nghiên cứu - Bài tốn rút trích liệu từ sở liệu mờ biểu diễn Đại số gia tử - Cơ sở liệu học sinh trường THPT Kim Sơn B, Huyện Kim Sơn, Ninh Bình Giả thiết khoa học Việc biểu diễn liệu học sinh theo cách thơng thường cịn cứng nhắc Nếu biểu diễn sở liệu mờ thông tin học sinh mềm mại linh hoạt đỡ thông tin Tuy nhiên biểu diễn mờ thao tác rút trích thơng tin khó khan Điều khắc phục biểu diễn hợp lý thơng tin sở liệu mờ Ví dụ dùng Đại số gai tử để biểu diễn thông tin Nhiệm vụ nghiên cứu - Nghiên cứu lý thuyết Đại số gia tử - Tương tự nghiên cứu sở liệu Mờ Đại số gia tử - Nghiên cứu toán xây dựng sở liệu nhằm rút trích liệu từ sở liệu Phạm vi nghiên cứu - Các lý thuyết liên quan đến tập mờ, biểu diễn thông tin mờ nhờ Đại số gia tử - Bài tốn rút trích thơng tin từ sở liệu mờ biểu diễn nhờ Đại số gia tử - Cơ sở liệu Mờ học sinh trường Kim Sơn B Phương pháp nghiên cứu - Phương pháp đọc tài liệu, phân tích, tổng hợp - Phương pháp thực nghiệm đối chứng 3 NỘI DUNG CHƯƠNG 1: CƠ SỞ DỮ LIỆU MỜ VÀ ĐẠI SỐ GIA TỬ 1.1 Giới thiệu sở liệu mờ 1.1.1 Kiến thức Trong sống suy luận đời thường suy luận khoa học, logic tốn học đóng vai trị quan trọng Ngày nay, xã hội phát triển nhu cầu người ngày cao, tiến khoa học phát triển không ngừng Với hai giá trị đúng, sai hay 1, khơng giải hết tốn phức tạp nảy sinh thực tế Vì khái niệm mơ hồ, khơng rõ ràng, khơng xác ln ln tồn hữu toán hay cách suy luận người Ví dụ cao, rất-cao, thấp, rất-thấp, giá trị khơng rõ ràng, khơng xác Và nhu cầu thực tế, cần tiếp cận nghiên cứu so với logíc cổ điển Thực tế khái niệm mờ xuất nhiều lĩnh vực kỹ thuật, cơng nghiệp, nơng nghiệp, y học, khí tượng học nhiều lĩnh vực khác Và trình xử lý cơng việc người cần phải phán đốn, đánh giá định thông tin thu thập mờ hay rõ Chính khái niệm mờ quan tâm nghiên cứu Khi người sử dụng ngôn ngữ tự nhiên giao tiếp ngày đồng thời phải suy luận, xử lý, đánh giá để đưa thông tin cần thiết Trong ngôn ngữ tự nhiên, ngữ nghĩa từ thường biểu diễn khơng rõ ràng khó xác định Và số trường hợp, ta xác định ngữ nghĩa từ Nhưng sử dụng từ ngữ nhãn tập hợp mức độ thuộc tập hợp trở nên khó xác định Ví dụ ta mơ tả “sinh viên có học bổng cao”, hay “sinh viên có tuổi trẻ” Ở “cao” hay “trẻ” khó xác định, phụ thuộc vào quan niệm, ngữ cảnh văn hóa khác L.A Zadeh người sáng lập lý thuyết tập mờ Khởi đầu báo “Fuzzy Sets” tạp chí Information and Control vào tháng năm 1965 Từ lý thuyết tập mờ hình thành mở rộng logic cổ điển thành logic mờ ngày thu hút nhiều nhà nghiên cứu phát triển ứng dụng lĩnh vực logic mờ Khái niệm mờ Zadeh từ khái niệm trừu tượng ngữ nghĩa thông tin mờ, không chắn xấu-đẹp, già-trẻ, cao-thấp, nhanh-chậm, … ơng tìm cách biểu diễn khái niện tốn học, gọi tập mờ, khái quát trực tiếp khái niệm tập hợp định nghĩa sau Định nghĩa 1.1 Cho tập vũ trụ U với phần tử ký hiệu x, U={x} Một tập mờ A U tập đặc trưng hàm  A x  mà liên kết phần tử x  U với số thực đoạn [0,1] Giá trị hàm  A x  biểu diễn mức độ thuộc x A  A x  ánh xạ từ U vào [0,1] gọi hàm thuộc tập mờ A Biểu diễn tập mờ Khi U tập điểm rời rạc x1, x2, …xn tập mờ A biểu diễn cách liệt kê A = {(x1,  A x1  ), (x2,  A x2  ), …, (xn ,  A xn  )} Hoặc ký hiệu là: A =  A x1  /x1 +  A x2  / x2 + … +  A xn  / xn Trường hợp U liên tục A kí hiệu là: A =  xU  A x  x Ví dụ 1.1: Cho U tập điểm tổng kết trung bình mơn học sinh viên Xét tập U gồm đại lượng hữu hạn, U = { 7,7.5, 8, 8.5,9,9.5,10} A tập hợp học sinh “Giỏi” Khi ta xây dựng hàm thuộc sau:  Giỏi (7) = 0.05,  Giỏi (7.5) = 0.05,  Giỏi (8) = 0.1,  Giỏi (8.5) = 0.2,  Giỏi (9) = 0.8,  Giỏi (9.5) = 0.8,  Giỏi (10) = tập mờ A~ = 0.05 0.05 0.1 0.2 0.8 0.8       7.5 8.5 9.5 10 Tương tự tập hợp, ta có phép tốn tập mờ [4] phép hợp, phép giao, phép lấy phần bù: - Phép hợp: Cho hai tập mờ A B tập vũ trụ U Hợp hai tập mờ tập mờ kí hiệu A  B, hàm thuộc định nghĩa sau:  AB ( x)   A ( x)   B ( x) - Phép giao: Cho hai tập mờ A B tập vũ trụ U Giao hai tập mờ tập mờ kí hiệu A  B  AB ( x)   A ( x)   B ( x) - Phép lấy phần bù ~: Xét tập mờ A U Phép lấy phần bù A, kí hiệu ~A tập mờ xác định đẳng thức sau:  ~ A ( x)    A ( x) Trong đời sống hàng ngày dùng từ ngữ, lời nói để mơ tả biến Ví dụ ta nói: "Cơ cao", "xe chạy chậm", biến "Cô ấy", biến "xe", nhận giá trị từ "cao" đến "thấp", từ "nhanh" đến "chậm" Ở dạng tường minh, biến nhận giá trị cụ thể (rõ) cao 1.7m, 1.75m, 1.8m, ; tốc độ xe 30 km/h, 50 km/h, Khi biến nhận giá trị không rõ ràng "cao", "rất cao" "chậm", "quá chậm" ta dùng giá trị rõ để mô tả mà phải sử dụng số khái niệm để mô tả gọi biến ngơn ngữ Vì thân giá trị ngơn ngữ khơng phải đối tượng tốn học Ngữ nghĩa chúng biểu diễn tập mờ hay hàm thuộc Do vậy, Zadeh mơ hình hóa tốn học cho khái niệm biến ngôn ngữ sau: Định nghĩa 1.2 Biến ngôn ngữ năm (X, T(X) ,U, R, M), X tên biến; T(X) tập giá trị ngôn ngữ biến X; U khơng gian tham chiếu hay cịn gọi miền sở biến X; R quy tắc cú pháp, sinh giá trị ngôn ngữ cho T(X); M quy tắc gán ngữ nghĩa phần tử ngôn ngữ T(X) cho tập mờ U 1.1.2 Mơ hình sở liệu mờ Mơ hình sở liệu truyền thống thể với thơng tin xác, chắn, rõ ràng Trong nhiều trường hợp tình gặp phải liệu với thông tin không đầy đủ, không xác, khơng xác định hay hồn tồn khơng có thơng tin sở liệu truyền thống khơng giải vấn đề Vì cần mở rộng mơ hình sở liệu Trong trình cần cập nhật đối tượng vào sở liệu chưa có đầy đủ thơng tin đối tượng 1.1.2.1 Mơ hình sở liệu theo cách tiếp cận tập mờ Cách tiếp cận Baldwin Zhou đưa năm 1984, Zvieli đưa năm 1986 Cách tiếp cận khơng mở rộng miền trị thuộc tính mà mở rộng ngữ nghĩa liệu cách đưa đánh giá độ thuộc vào quan hệ số thuộc [0,1] Một quan hệ mờ lược đồ R = {A 1, A2, ., An} thuộc tính tập mờ tích Đề-Các: dom(A1) x dom(A2) x x dom(An) Biểu diễn quan hệ mơ hình giống mơ hình quan hệ thêm cột  để lưu độ thuộc vào quan hệ 6 Bảng 1.1: Quan hệ R lược đồ quan hệ CONGTY LUONG LOINHUAN  TENCT SONV CT Phương An 10 11000 1100 0.65 CT Đức Tài 11 10000 1600 0.62 CT Huy Hoàng 14 10000 1500 0.50 CT Minh Ngọc 12 13000 1800 0.66  Xây dựng quan hệ đối sánh miền trị thuộc tính - Để so sánh giá trị hai liệu miền trị thuộc tính người ta sử dụng quan hệ xấp xỉ EQ với hàm thuộc EQ có hai tính chất phản xạ giao hoán EQ: Dom(Ai) x Dom(Ai) [0,1], cho  a, bDom(Ai) Phản xạ: EQ(a,a) = Đối xứng: EQ(a,b) = EQ(b,a) - Giả sử X = {A, B, …,E} tập U, r quan hệ mờ U t, t’ hai liệu thuộc r, ta có: EQ(t[X],t’[X])=Min{EQ(t[A],t’[A]),EQ(t[B],t’[B])…,EQ(t[E], t’[E])} - Để biểu thị khái niệm ba giá trị a, b, c giống theo quan hệ EQ miền giá trị thuộc tính ta định nghĩa: EQ(a, b, c) = Min{EQ(a, b), EQ(b, c), EQ(c, a)} - Trên tập miền giá trị : X = {A, B, …., E} EQ(t1[X], t2[X], t3[X]) = Min{EQ(t1[A], t2[A], t3[A]), EQ(t1[B], t2[B], t3[B]),…, EQ(t1[E], t2[E], t3[E])}  Truy vấn liệu Tương tự câu lệnh SQL, truy vấn mờ câu lệnh SQL có cấu trúc sau: select from where Khi thực câu truy vấn dạng phải tiến hành bước sau: - Tiến hành phép tích Descartes quan hệ thành phần tham gia truy vấn - Áp dụng điều kiện mờ để chọn liệu 7 - Loại bỏ thuộc tính khơng cần thiết (khơng có câu lệnh select)  Phụ thuộc liệu mờ - Phụ thuộc hàm cổ điển XY có nghĩa có hai liệu thuộc r mà giá trị tập thuộc tính X kéo theo giá trị tập thuộc tính Y - Trường hợp, với hai liệu mà giá trị tập thuộc tính X "xấp xỉ" kéo theo giá trị tập thuộc tính Y "xấp xỉ" Vậy X Y có ràng buộc khơng? Đây câu trả lời phải nghiên cứu mở rộng phụ thuộc hàm sở liệu quan hệ Định nghĩa 1.3 Một phụ thuộc hàm mờ f :X >Y gọi quan hệ mờ r với t1, t2 thuộc r ta có : EQ(t1[X], t2[X])  EQ(t1[Y], t2[Y]) 1.1.2.2 Mơ hình CSDL mờ theo cách tiếp cận quan hệ tương tự Đối với mơ hình này, giá trị thuộc tính đối tượng đơn trị đa trị có ràng buộc giá trị đòi hỏi phải “đủ tương tự nhau”, độ tương tự hai giá trị khơng nhỏ ngưỡng cho trước Ví dụ 1.4: Quan hệ công việc Bảng 1.2: Quan hệ công việc STT Họ tên Trần Anh Thơ Hoàng Minh Hải Lê Văn Hùng Nguyễn Bá Tính Nghề nghiệp Thợ may, thiết kế thời trang Học sinh, sinh viên Giáo viên, giảng viên Kỹ sư tin học, KTV máy tính Tuy nhiên, sống gặp thông tin không chắn đối tượng, gặp thơng tin cho biết số khả mà điều xảy thực tế khả  Xây dựng quan hệ đối sánh miền trị thuộc tính - Để so sánh giá trị hai liệu thuộc tính, tập thuộc tính người ta sử dụng quan hệ tương tự (Similarity relation) có ba tính chất phản xạ giao hốn bắc cầu max-min 8 Định nghĩa 1.4 Quan hệ tương tự (Similarity) miền D ánh xạ s từ D x D  [0,1] thoả mãn x, y, z  D: (1) Tính phản xạ : s(x, x) = (2) Tính đối xứng : s(x, y) = s(y, x) (3) Tính bắt cầu max-min : s(x,z) max yD{min(s(x, y), s(y, z))} Trên miền trị Dj xác định quan hệ tương tự sj có ngưỡng j  [0,1] Một ti  r có dạng ti = (di1, di2,…din), với dij  Dj Định nghĩa 1.5 Một quan hệ mờ r tập thuộc tính A1, A2, …An tập tích Đề-Các: 2D1 x 2D2 x……x 2Dn Định nghĩa 1.6 Độ tương tự hai ti tj thuộc tính Ak quan hệ ký hiệu c(Ak[ti, tj]) xác định : c (Ak[ti,tj]) =min min max{ s( x, y)} , max{ s( x, y)}      d Ak[ti] = di, Ak[tj] =xdd j, s(x,  tự.yd   y)ydlà quan  hệxtương Định nghĩa 1.7 Độ tương tự hai ti tj tập thuộc tính X quan hệ ký hiệu c(X[ti, tj]) xác định : c(X[ti, tj]) = {c(Ak[ti,tj]) } A X i j j i k Bổ đề 1.1 Nếu YX c(Y[ti, tj])  c(X[ti, tj]), ti, tjr Bổ đề 1.2 Nếu X= { A1, , An} c(Ak[ti,tj]) , k, 1 k  n c(X[ti,tj])  , ti, tjr Bổ đề 1.3 Nếu c(X[ti,tj])   c(X[tj,tk])   c(X[ti,tk])  ,ti, tj, tkr Bổ đề 1.4 c(X[ti,tj]) = 1, tir Trường hợp vấn đề dư thừa liệu bộ, giá trị thuộc tính phải nằm lớp tương đương với ngưỡng cho trước Trong quan hệ có dư thừa, ta trộn thành phần tương ứng với để tạo thành tương đương với hai ban đầu 1.1.2.3 Mơ hình CSDL mờ theo cách tiếp cận lý thuyết khả  Biểu diễn liệu phân bố khả Sử dụng cách phân bố khả cho phép biểu diễn nhiều loại liệu : Dữ liệu rõ, liệu không áp dụng được, liệu chưa biết, liệu khơng có thơng tin, liệu khơng chắn Chúng ta xét số khả biểu diễn liệu mờ phân bố khả tiêu biểu sau:  Biểu diễn liệu trường hợp kinh điển (1) Biết chắn lương An 500: L(An)(e) = 0, L(An) (500) = 1, L(An)(d) =  d  D- {500} (2) An người khơng có lương, hay nói cách khác thuộc tính Lương khơng áp dụng cho An : L(An)(e) = 1, L(An)(d) =  d D 9 (3) Biết chắn An có lương (Unknown) Trong trường hợp tất giá trị có khả : L(An)(e) = 0, L(An)(d) =  d  D (4) Khơng biết thông tin Lương An (Null): L(An)(e) = 1, L(An)(d) =  d D  Biểu diễn liệu khơng xác, khơng chắn (1) Khơng biết xác lương chắn khoảng từ 200 đến 300 : L(An)(e) = 0, L(An)(d) = 200  d  300, L(An)(d) = d < 200 d >300 (2) Biết lương An cao Khi ta dùng tập mờ cao với hàm thuộc cao để biểu diễn : L(An)(e) = 0, L(An)(d) = cao dD (3) Ta biết thông tin rời rạc Lương An: L(An)(e) = 0, L(An)(di) = ai, i = m, L(An)(d) = d D - {d1,d2,…,dm}  Xây dựng quan hệ đối sánh miền trị thuộc tính Định nghĩa 1.8.[5] Một quan hệ mờ r tập thuộc tính {A1, A2, ….,An} tập tích Đề-Các: (D1) x (D2)…x (Dn), với (Di) tập phân bố khả chuẩn miền trị Di thuộc tính Ai, I = n Định nghĩa 1.9.[5] Một liệu t thuộc quan hệ r có dạng: t = (A1(t), A2(t), ,An(t)) Độ gần hai giá trị Ai(t), Ai(t’) hai t t’ thuộc tính Ai, ký hiệu (t[Ai],t’[Ai]) xác định: (t[Ai],t’[Ai]) = Sup min( Ai (t ) ( x),  Ai (t ') ( y)) x , yDi si ( x , y )i Nếu khơng có quan hệ gần mặc định quan hệ đồng nhất, độ gần hai giá trị Ai(t), Ai(t’) xác định: (t[Ai],t’[Ai]) =Sup min( ( x),  ( x)) A (t ) A ( t ') Độ gần trênxDtập thuộc tính X hai t t’ thuộc tính A i, ký hiệu (t[X],t’[X]) xác định: (t[X],t’[X]) =min{ (t(A ), t ' ( A )} với X={A1, A2, ….,Ak} i i k Việc mở rộng1mơ hình cơi sở liệu quan hệ để nắm bắt xử lý thơng tin xác trình bày thông qua cách tiếp khác để xây dựng mơ hình mờ i i i 10 1.2 Mơ hình quan hệ CSDL ngơn ngữ theo cách tiếp cận đại số gia tử 1.2.1 Các khái niệm đại số gia tử Các đặc trưng biến ngôn ngữ nghĩa gia tử ngôn ngữ tự nhiên cho phép xem miền biến ngơn ngữ có cấu trúc đại số gọi đại số gia tử, phát biểu định nghĩa 1.2 Định nghĩa 1.10 [7] Giả sử X biến ngôn ngữ Dom(X) miền giá trị X Khi bốn phần tử AX = (Dom(X), G, H,  ) gọi đại số gia tử (ĐSGT) Trong C phần tử sinh, H tập gia tử  quan hệ cảm sinh ngữ nghĩa X Giả thiết G có chứa phần tử 0, 1, W với ý nghĩa phần tử bé nhất, phần tử lớn phần tử trung hòa (neutral) X Ta gọi giá trị ngôn ngữ x  X hạng từ (term) ĐSGT Khi tập X, H xếp theo thứ tự tuyến tính bổ sung thêm hai gia tử tới hạn  Φ với ngữ nghĩa cận cận tập H(x) tác động lên x ta ĐSGT tuyến tính đầy đủ, ta ký hiệu AX = (X, G, H,  , Φ,  ) ĐSGT tuyến tính đầy đủ Tập H có gia tử tác động có khuynh hướng làm mạnh lên ngữ nghĩa phần tử sinh nguyên thủy gọi gia tử dương (H+), có gia tử làm yếu gọi gia tử âm (H-) Như vậy, H chia thành hai tập rời H+ gia tử dương H- gia tử âm Hơn nữa, hai gia tử tập H+ (hay H-) sánh khơng sánh khả tác động giá trị ngơn ngữ Khơng tính tổng qt, ta ln giả thiết H+ = {h1 < h2 < < hp} H- = {h-1 < h-2 < < h-q} 1.2.2 Định lượng ngữ nghĩa giá trị ngôn ngữ Một giá trị ngôn ngữ mang ý nghĩa mô tả cho vật, tượng giới thực Mỗi giá trị ngơn ngữ có độ mờ định tùy thuộc vào mức độ xác định thơng tin mà mang lại Ví dụ, rất-khá có mức độ xác định cao nên độ mờ thấp độ mờ Do đó, độ mờ hx thấp độ mờ x dễ thấy ta có H(hx)  H(x) Khi ta có tập giá trị ngơn ngữ có kích thước khác chứa x tập nhỏ chứa giá trị ngơn ngữ có ngữ nghĩa gần ngữ nghĩa x Định nghĩa 1.11 Cho AX = (X, G, C, H, Φ, Σ, ≤) ĐSGT tuyến tính đầy đủ Ánh xạ fm : X  [0,1] gọi đo tính mờ hạng từ X nếu: (1) fm đầy đủ, tức fm(c-) + fm(c+) =1 hH fm(hu)  fm(u), u  X ; 11 (2) fm(x) = 0, với x thỏa H(x) = {x} Đặc biệt, fm(0) = fm(W) = fm(1) = 0; (3)  x,y  X, h  H, fm(hx)  fm(hy) , tỷ số không phụ thuộc vào x fm( x) fm( y ) y, gọi độ đo tính mờ gia tử ký hiệu  (h) Các tính chất độ đo tính mờ hạng từ gia tử thể qua mệnh đề sau, giả sử H+ = {h1, …, hp}, H- ={h-1, …, h-q}, h1< …