Slide hệ các cơ sở trí thức

Các Hệ sở tri thức KBS: Knowledge Based Systems Nguyễn Đình Thn Khoa Hệ thống Thơng tin ĐH Cơng nghệ thông tin TP HCM 1-2011 CuuDuongThanCong.com https://fb.com/tailieudientucntt Hệ sở tri thức Chương 1: Tổng quan Hệ sở tri thức Chương 2: Biểu diễn suy luận tri thức Chương 3: Hệ MYCIN Chương 4: Hệ học Chương 5: Hệ thống mờ cho biến liên tục Chương 6: Công cụ tạo lập Hệ CSTT CuuDuongThanCong.com https://fb.com/tailieudientucntt Tài liệu tham khảo [1] McGraw-Hill/Irwin Management information system The McGraw-Hill Companies, Inc 2008 [2] Robert I Levine Knowledge based systems Wissenschafs Verlag, 1991 [3] Hoàng Kiếm Giáo trình Các hệ sở tri thức ĐHQG TP Hồ Chí Minh 2007 CuuDuongThanCong.com https://fb.com/tailieudientucntt Chương 1: Tổng quan Hệ sở tri thức 1.1 Khái niệm Hệ Cơ sở tri thức    Hệ sở tri thức chương trình máy tính thiết kế để mơ hình hố khả giải vấn đề chuyên gia người Hệ CSTT hệ thống dựa tri thức, cho phép mô hình hố tri thức chun gia, dùng tri thức để giải vấn đề phức tạp thuộc lĩnh vực Hai yếu tố quan trọng Hệ CSTT là: tri thức chuyên gia lập luận, tương ứng với hệ thống có khối Cơ sở tri thức động suy diễn CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.1 Khái niệm Hệ CSTT (Tiếp)   Hệ Chuyên gia loại sở tri thức thiết kế cho lĩnh vực ứng dụng cụ thể Ví dụ: Hệ Chun gia chẩn đốn bệnh Y khoa, Hệ Chun gia chẩn đốn hỏng hóc đường dây điện thoại,… Hệ Chuyên gia làm việc chuyên gia thực thụ cung cấp ý kiến dựa kinh nghiệm chuyên gia người đưa vào Hệ Chuyên gia CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.1 Khái niệm Hệ CSTT (Tiếp)    Cơ sở tri thức: Chứa tri thức chuyên sâu lĩnh vực chuyên gia Cơ sở tri thức bao gồm: kiện, luật, khái niệm quan hệ Động suy diễn: xử lý tri thức theo mơ hình hố theo cách lập luận chuyên gia Động hoạt động thông tin vấn đề xét, so sánh với tri thức lưu sở tri thức rút kết luận Kỹ sư tri thức (Knowledge Engineer): người thiết kế, xây dựng thử nghiệm Hệ Chuyên gia CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.2 Cấu trúc Hệ CSTT CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.2 Cấu trúc Hệ CSTT(tiếp) Giao diện người máy (User Interface): Thực giao tiếp Hệ Chuyên gia User Nhận thông tin từ User (các câu hỏi, yêu cầu lĩnh vực) đưa câu trả lời, lời khuyên, giải thích lĩnh vực Giao diện người máy bao gồm: Menu, xử lý ngôn ngữ tự nhiên hệ thống tương tác khác Bộ giải thích (Explanation system): Giải thích hoạt động có yêu cầu User Động suy diễn (Inference Engine): Quá trình Hệ Chuyên gia cho phép khớp kiện vùng nhớ làm việc với tri thức lĩnh vực sở tri thức, để rút kết luận vấn đề giải CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.2 Cấu trúc Hệ CSTT(tiếp) Bộ tiếp nhận tri thức (Knowledge editor): Làm nhiệm vụ thu nhận tri thức từ chuyên gia người (human expert), từ kỹ sư tri thức User thông qua yêu cầu lưu trữ vào sở tri thức Cơ sở tri thức: Lưu trữ, biểu diễn tri thức mà hệ đảm nhận, làm sở cho hoạt động hệ Cơ sở tri thức bao gồm kiện (facts) lụật (rules) Vùng nhớ làm việc (working memory): Một phần Hệ Chuyên gia chứa kiện vấn đề xét CuuDuongThanCong.com https://fb.com/tailieudientucntt 1.3 Các đặc tính Hệ CSTT Tách tri thức khỏi điều khiển: sở tri thức động suy diễn khối tách rời: khối chứa tri thức khối chế giải vấn đề Tri thức chuyên gia: tri thức thu nạp từ nhiều chuyên gia hiểu sâu lĩnh vực giải Expert: “Người có kỹ giải vấn đề giải hiệu Họ có khả lập luận người khác lĩnh vực đó.” Tập trung nguồn chuyên gia: Mỗi chuyên gia giải vấn đề lĩnh vực Nên chia nhỏ tốn chẩn đoán theo hệ thống nhỏ 10 CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp Một số khái niệm:  Cho I = {i1, i2, i3, …, in} tập hợp trường gọi items  D: tập giao tác có giao tác Ti mà Ti  I  T chứa X X  T (X tập có phần tử  I)  Mỗi giao tác Ti có danh TID  Luật kết hợp mối liên hệ điều kiện hai tập hạng mục liệu X Y theo dạng sau: Nếu X Y, ký hiệu X  Y Chúng ta có luật kết hợp X  Y, X  I, Y  I X  Y =   Luật X  Y có độ support s có s% số giao tác D có chứa X  Y Hay : support (XY) = s% = Card(XY)/ Card(D) % CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Luật XY có độ tin cậy c (confidence) có c% số giao tác D chứa XY so với số giao tác D chứa X, ta có : c = Card(XY)/Card(X) %  Tập hạng mục liệu gọi ItemSet có độ support lớn hay giá trị ngưỡng nhỏ (gọi minsupp) gọi Large ItemSet Các ItemSet lại gọi Small ItemSet  Với Large ItemSet - L, A tập khác rỗng L, tỉ lệ phần trăm support L so với support A lớn hay độ tin cậy nhỏ (gọi minconf) ta có luật kết hợp A  (L\A) CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Ví dụ: (minh họa đại lượng minsupp minconf) TID 100 Age 23 Married No NumCars 200 25 Yes 300 29 No 400 34 Yes 500 38 Yes Người ta đưa minsupp = 40% mincon f = 50 % Tìm luật kết hợp thỏa mãn minsupp minconf (1): Age (30 39) and (Married: Yes)  NumCars = (s = 40%, c = 100%) (2): NumCars(0 1)  Married = No (s = 40%, c = 66,6%) CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Biến đổi CSDL  Phân chia giá trị thuộc tính thành khoảng ứng với khoảng liên kết với giá trị nguyên dương để dễ dàng thao tác thuộc tính Thuộc tính CSDL Thuộc tính khơng định lượng Thuộc tính định lượng Ví dụ: thuộc tính Age Ví dụ: Thuộc tính Married CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Ví dụ: CSDL có thuộc tính Age nhận giá trị từ 20  50 Ta chia 20  50 thành khoảng: 10 19; 20 29; 30 39; 40 49 Xem miền thuộc tính riêng là: 1, 2, 3, TID Age TID Thuộc tính 100 32 100 200 48 200 300 21 300 400 34 400 500 15 500 CuuDuongThanCong.com biến đổi thành https://fb.com/tailieudientucntt II Luật kết hợp (tt) Tìm luật kết hợp Để rút luật CSDL cần tiến hành bước sau:  B1: Xác định khoảng phân chia thuộc tính cần phân tích  B2: Kết hợp khoảng thuộc tính phân chia bước B1 với số nguyên để thực thuật toán nhanh, dễ dàng  B3: So sánh support item với minsupp, tạo tập Largeitemset  B4: ABCD AB Large itemset ta rút luật AB  CD support(ABCD)/support(AB) >= minconf  B5: Xác định chọn luật phù hợp CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Ví dụ: Dùng ví dụ hồ sơ nhân chia khoảng thuộc tính AGE (giả sử chia thành khoảng) Minsupp = 40% = records Minconf = 50% TID 100 Age 23 Married No NumCars 200 25 Yes 300 29 No 400 34 Yes 500 38 Yes CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Các khoảng chia Age Interval 20 24 25 29 30 34 35 39 TID Age Married NumCars 100 20 24 No 200 25 29 Yes 300 25 29 No 400 30 34 Yes 500 35 39 Yes Kết hợp thuộc tính Age Married với số nguyên Interval Integer Value Integer 20 24 Yes 25 29 No 30 34 35 39 CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Bảng kết sau biến đổi TID 100 Age Married NumCars 200 1 300 2 400 500 CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Tập Large itemset tìm sau: Itemset {(Age: 20 29)} {(Age: 30 39)} {(Married: Yes)} {(Married: No)} Support 3 {(Numcars: 1)} {(Age: 30 39), (Married: Yes)}} Rút luật sau: Rule S C (Age: 30 39) and (Married:Yes)  (Numcars: 2) 40% 100% (Age: 20 29)  (Numcars: 1) 60% 66,6% CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt) Ví dụ: Bài tốn tìm luật kết hợp Cho CSDL sau: Tìm luật kết hợp cho minsupp = 0.5(50%) minconf = 1(100%) Hóa đơn CuuDuongThanCong.com Các mặt hàng Bánh mì, nước ngọt, sữa Bia, bánh mì Bia, nước ngọt, khăn giấy, sữa Bia, bánh mì, khăn giấy, sữa Nước ngọt, khăn giấy, sữa https://fb.com/tailieudientucntt II Luật kết hợp (tt)  Ta có: sp(“bánh mì”) = 3/5; sp(“bia”) = 3/5; sp(“nước ngọt”) = 3/5; sp(“sữa”) = 4/5; sp(“khăn giấy”) = 3/5;  F1 = {“bánh mì”, “bia”, “nước ngọt”, “sữa”, “khăn giấy”}  C2 = { {“bánh mì”,“bia”}, {“bánh mì”,“nước ngọt”}, {“bánh mì”,“sữa”}, {“bánh mì”,“khăn giấy”}, {“bia”,“nuớc ngọt”}, {“bia”,”sữa”}, {“bia”,”khăn giấy”}, {“nuớc ngọt”,”sữa”}, {“nuớc ngọt”,”khăn giấy”}, {“sữa”,”khăn giấy”} } CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt)  Tìm F2 từ C2: sp({“bánh mì”, “bia”}) = 2/5 (loại) sp({“bánh mì”,”nuớc ngọt”}) = 1/5 (loại) sp({“bánh mì”,”sữa”}) = 2/5 (loại) … sp({“nuớc ngọt”, “sữa”}) = 3/5 … sp({“sữa”,”khăn giấy”}) = 3/5  F2 = {{“nước ngọt”,”sữa”}, {“sữa”,”khăn giấy”}}  C3 = {{“nuớc ngọt”,”sữa”,”khăn giấy”}} CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt)  Tìm F3 từ C3: sp({“nuớc ngọt”,”sữa”,”khăn giấy”}) = 2/5 (loại)  F3 = {}  C4 = {} Vậy tập phổ biến {{“nước ngọt”,”sữa”}}  Ta xây dựng luật (R1) “nước ngọt”  “sữa”; (R2) “sữa”  “nước ngọt” conf(R1) = sp(R1)/sp(“nước ngọt”) = 3/5 : 3/5 = (100%) conf(R2) = sp(R1)/sp(sữa) = 3/5 : 4/5 = ¾ (75%) (loại) CuuDuongThanCong.com https://fb.com/tailieudientucntt II Luật kết hợp (tt)  Vậy tìm luật: “nuớc ngọt”  “sữa” với minsupp = 50% minconf = 100% Khách hàng mua “nước ngọt” mua “sữa” Thuật tốn tìm luật kết hợp Bước : Liệt kê tất tập P I cho P > Bước : Với tập P, liệt kê tất tập X khác trống P Luật R hình thành : R:XP\X  Thuật toán APRIORITID (Tham khảo thêm giảng cao học môn học sở tri thức ứng dụng ĐHKHTN-TPHCM GS.TSKH Hoàng Kiếm) CuuDuongThanCong.com https://fb.com/tailieudientucntt ... trình Các hệ sở tri thức ĐHQG TP Hồ Chí Minh 2007 CuuDuongThanCong.com https://fb.com/tailieudientucntt Chương 1: Tổng quan Hệ sở tri thức 1.1 Khái niệm Hệ Cơ sở tri thức    Hệ sở tri thức. .. thức từ chuyên gia người (human expert), từ kỹ sư tri thức User thông qua yêu cầu lưu trữ vào sở tri thức Cơ sở tri thức: Lưu trữ, biểu diễn tri thức mà hệ đảm nhận, làm sở cho hoạt động hệ Cơ. .. niệm Hệ CSTT (Tiếp)    Cơ sở tri thức: Chứa tri thức chuyên sâu lĩnh vực chuyên gia Cơ sở tri thức bao gồm: kiện, luật, khái niệm quan hệ Động suy diễn: xử lý tri thức theo mơ hình hố theo cách