Luận án trình bày các nội dung chính sau: Kiến thức cơ sở; Tổng quan về xử lý tính không nhất quán và tích hợp tri thức; Phương pháp khôi phục tính nhất quán trong cơ sở tri thức xác suất; Phương pháp tích hợp các cơ sở tri thức xác suất.
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ −−−−−−− − − − − − −− LUẬN ÁN TIẾN SĨ TÍCH HỢP TRI THỨC SỬ DỤNG MƠ HÌNH XÁC SUẤT TRONG CÁC HỆ THỐNG THƠNG MINH Ngành Cơng nghệ Thông tin Chuyên ngành Hệ thống thông tin Mã số : 9480101.01 Cán hướng dẫn khoa học : - GS.TSKH Nguyễn Ngọc Thành - TS Trần Trọng Hiếu Người thực : - NCS Nguyễn Văn Thẩm Hà Nội - 2020 MỞ ĐẦU Cơ sở nghiên cứu Tích hợp tri thức - THTT (Knowledge Integration) (Merging Knowledge) nhiệm vụ quan trọng ta muốn kết hợp số hệ thống thông minh lại thành hay để làm cho chúng tương tác với THTT nhiệm vụ khó khăn khơng quán tri thức khó xác định giải tính khơng qn vấn đề phức tạp (thường toán NP-Complete) Tuy nhiên, tương tác hệ thống thông minh khơng thể thực khơng có khả tích hợp CSTT Đây tốn khó có nhiều vấn đề cần giải THTT lĩnh vực nghiên cứu quan trọng trình xây dựng hệ thống dựa tri thức - HTTT (Knowledge-base System) Vấn đề THTT phát biểu sau : Cho tập hợp CSTT, CSTT mâu thuẫn với thân CSTT tồn mâu thuẫn, làm để thu CSTT chung từ CSTT cho ? Động lực nghiên cứu Mục đích, đối tượng, phạm vi, phương pháp nghiên cứu Mục đích nghiên cứu : Mục đích nghiên cứu tổng quát luận án đề xuất Mục đích trả lời câu hỏi nghiên cứu : Làm để biểu diễn tri thức dạng mơ hình xác suất ? Mở đầu 2 Làm để biết CSTT xác suất quán hay không ? Một hệ thống thông minh dựa CSTT xác suất gồm thành phần ? Mục đích trả lời câu hỏi nghiên cứu : Làm để đo tính khơng qn CSTT xác suất ? Làm để khôi phục tính quán CSTT xác suất ? Mục đích trả lời câu hỏi nghiên cứu : Làm tích hợp CSTT xác suất thành tri thức chung đại diện tốt ? Phạm vi nghiên cứu : Với giải thiết tri thức biểu diễn dạng xác suất, phạm vi nghiên cứu luận án tập chung vào kỹ thuật biểu diễn tri thức, phương pháp xử lý tính khơng qn, phương pháp THTT môi trường xác suất ; kỹ thuật giải tốn quy hoạch tuyến tính tốn tối ưu phi tuyến Đóng góp luận án Luận án tham gia vào dòng nghiên cứu vấn đề THTT hệ thống thông minh giới đạt số đóng góp sau : (i) Đề xuất kiến trúc xây dựng hệ thống thông minh dựa CSTT xác suất cung cấp khảo sát khái quát lĩnh vực nghiên cứu Các kết cơng bố cơng trình [NVTham7] (ii) Đề xuất hai phương pháp khơi phục tính qn Các đóng góp cơng bố cơng trình [NVTham1], [NVTham2], [NVTham3], [NVTham7] (iii) Đề xuất hai phương pháp tích hợp CSTT xác suất Các đóng góp cơng bố cơng trình [NVTham5] Cấu trúc luận án Luận án “Tích hợp tri thức sử dụng mơ hình xác suất hệ thống thơng minh” bao gồm chương Chương KIẾN THỨC CƠ SỞ Chương xem xét tìm câu trả lời cho câu hỏi nghiên cứu thứ thứ : "Làm để biểu diễn tri thức dạng mơ hình xác suất ?" "Làm để biết CSTT xác suất quán hay không ?" Trong chương này, luận án trình bày kiến thức sở sử dụng chương Phần kiến thức sở luận án trình bày phần khái niệm cơng trình [NVTham1NVTham7] 1.1 Các phương pháp biểu diễn tri thức 1.2 Biểu diễn CSTT xác suất 1.2.1 Sự kiện xác suất 1.2.2 Cơ sở tri thức xác suất Định nghĩa 1.1 (Ràng buộc xác suất) Cho F , G ∈ E ρ ∈ R[0,1] Một RBXS biểu diễn dạng c [ρ], c = (F |G ) Định nghĩa 1.2 (Cơ sở tri thức xác suất) CSTT xác suất K tập hữu hạn RBXS : K = {κ1 , , κh }, κi = ci [ρi ], ∀ i = 1, h Định nghĩa 1.3 Hàm xác suất P ∈ P(E) thỏa mãn RBXS (F |G ) [ρ], kí hiệu P |= (F |G ) [ρ], P(FG ) = ρP(G ) Chương Kiến thức sở 1.3 Hàm khoảng cách Phần trình bày số hàm khoảng cách hàm phân kỳ sử dụng để xây dựng toán tích hợp phần sau 1.4 Biểu diễn tính không quát CSTT xác suất Định nghĩa 1.4 (CSTT xác suất quán) Một CSTT xác suất K quán, kí hiệu K |= ⊥, (K) = ∅ Ngược lại, K không quán, kí hiệu K |= ⊥ Định nghĩa 1.5 (Độ đo không quán) Cho R = B, E hồ sơ TTSX Độ đo không quán I K ∈ B E hàm I : K → R∗ cho I(K) = (K) = ∅, K ∈ K 1.5 Mơ hình đặc trưng Định nghĩa 1.6 (Hàm - Indicate function) Hàm tiêu δ : Q×Λ(E) → R[0,1] định nghĩa sau : 1 Θ |= U δ(U , Θ) = 0 ngược lại 1.6 (1.1) Kết chương Trong chương này, luận án trình bày tóm tắt kiến thức sử dụng chương Chương TỔNG QUAN VỀ XỬ LÝ TÍNH KHƠNG NHẤT QN VÀ TÍCH HỢP TRI THỨC Chương tìm câu trả lời cho câu hỏi nghiên cứu thứ : "Một hệ thống thông minh dựa CSTT xác suất gồm thành phần ?" Tổng quan xử lý tính khơng qn tích hợp tri thức trình bày phần giới thiệu phần công trình liên quan cơng trình [NVTham1-NVTham7] 2.1 Hệ thống tích hợp tri thức Phần tổng kết hệ thống thông minh (hệ chuyên gia) xây dựng dựa vào cách biểu diễn CSTT hệ thống 2.2 Xử lý tính khơng qn 2.2.1 Bài tốn xử lý tính khơng qn 2.2.2 Độ đo không quát Độ đo không quán cách tiếp cận sử dụng để giải tính khơng qn CSTT Độ đo khơng quán CSTT số thực không âm với nghĩa ý giá trị lớn Chương Tổng quan xử lý tính khơng qn tích hợp tri thức tính khơng qn sở trí thức cao, với giá trị không nghĩa CSTT qn Độ đo khơng qn cho mơ hình lơgic Độ đo khơng qn cho mơ hình lơgic-xác suất Độ đo khơng qn cho mơ hình xác suất 2.2.3 Các phương pháp xử lý tính khơng qn Phương pháp loại bỏ công thức Phương pháp thay đổi cơng thức hay thay đổi định tính - (Qualitative modification) Phương pháp thay đổi xác suất hay thay đổi định lượng (quantitative modification) 2.3 2.3.1 Tích hợp tri thức Bài tốn tích hợp tri thức Bài tốn THTT mơi trường xác suất định nghĩa sau : Cho hồ sơ TTXS R Cần xác định CSTT xác suất chung K∗ đại diện tốt cho tập CSTT xác suất cho Cơ sở TTXS K∗ gọi tri thức tích hợp từ hồ sơ tri thức R 2.3.2 Các mơ hình tích hợp tri thức Mơ hình THTT dạng Lơgic Mơ hình THTT thơng qua đàm phán hay tranh luận Mơ hình tích hợp duyệt lặp Mơ hình THTT dạng Lơgic-Xác suất Mơ hình THTT dạng xác suất Chương Tổng quan xử lý tính khơng qn tích hợp tri thức 2.4 Hệ thống tích hợp dựa tri thức xác suất Luận án đề xuất HTTT xác suất sau : Người dùng Kết Yêu cầu Tích hợp CSTT xác suất Xây dựng CSTT xác suất Các CSTT xác suất quán Các kiện (E) RBXS (F|G)[] Các CSTT xác suất không quán Kết Giảm RBXS Các CSTT xác suất không quán Các CSTT xác suất quán Khôi phục tính qn u cầu Tiến trình tích hợp Người dùng Luật xác suất luật giảm RBXS Hình 2.1: Kiến trúc TTTH xác suất 2.5 Kết chương Trong chương này, luận án tổng hợp : Các cách tiếp cận để xây dựng hệ thống THTT mơ hình mạng Markov, mơ hình mạng Bayes, hệ chun gia dựa luật, hệ chuyên gia dựa xác suất ; phương pháp xử lý tính khơng qn cho mơ hình lơgic, lơgic-xác suất, xác suất phương pháp loại bỏ công thức, phương pháp thay đổi công thức, phương pháp thay đổi xác suất ; mơ hình tích hợp tri thức : lơgic, tích hợp duyệt lặp, xác suất Dựa mơ hình tích hợp có, luận án trình bày kiến trúc để xây dựng hệ thống tích hợp dựa CSTT xác suất, giai đoạn tiến trình tích hợp CSTT xác suất so sánh hệ thống THTT có với hệ thống THTT đề xuất Cơ sở lý thuyết mơ hình giai đoạn khơi phục tính qn CSTT xác suất trình bày chi tiết Chương Cơ sở lý thuyết mơ hình giai đoạn tích hợp CSTT xác suất trình bày chi tiết Chương Chương PHƯƠNG PHÁP KHƠI PHỤC TÍNH NHẤT QUÁN TRONG CƠ SỞ TRI THỨC XÁC SUẤT Chương tìm câu trả lời cho câu hỏi nghiên cứu thứ thứ : "Làm để đo tính khơng qn CSTT xác suất ?" "Làm để khơi phục tính quán CSTT xác suất ?" Các độ đo không qn cho mơ hình xác suất tập kiện mà công bố công trình [NVTham1, NVTham2, NVTham3] Giải pháp cho tốn khơi phục tính qn CSTT xác suất cơng bố cơng trình [NVTham2, NVTham3, NVTham7] 3.1 3.1.1 Các độ đo không quán CSTT xác suất Các tính chất độ đo khơng qn Mức độ đo không quán CSTT xác định cách sử dụng độ đo không Do đó, việc xác định tính chất mà độ đo không quán nên thỏa mãn quan trọng Điều đảm bảo tính tin cậy tính xác độ đo khơng quán 3.1.2 Lớp độ đo không quán sở Phần xem xét lớp độ đo không qn đề xuất mơ hình lơgic cổ điển, lôgic xác suất thay đổi chúng cho phù hợp Chương Phương pháp khơi phục tính qn CSTT xác suất với mơ hình xác suất 3.1.3 Độ đo không quán dựa theo chuẩn Định nghĩa 3.1 (Độ đo không quán dựa theo chuẩn) Cho R = B, E hồ sơ TTSX Độ đo không quán dựa theo p-Norm (p ≥ 1) K ∈ B E định nghĩa sau : IEp (K) = {d p (K) AEK P = z } (3.1) Định lý 3.1 Cho R = B, E hồ sơ TTSX Đặt f : R E → R∗ cho f (ω) = AEK · ω p Độ đo không quán IEp theo p-Norm (p > p = ∞) K ∈ B E giá trị tối ưu f ∗ toán tối ưu sau : f (ω) (3.2) với ràng buộc ω ∈ Cp E Trong đó, Cp = ω∈R E | ωi = 1, ω ≥ tập ràng buộc i =1 tốn tính độ đo không quán theo p-Norm Định lý 3.2 Cho R = B, E hồ sơ TTSX Đặt f : R b¯K cho f (ω, λ) = i =1 ¯ E +bK → R∗ λi Độ đo không quán IE1 theo 1-Norm K ∈ B E giá trị tối ưu f ∗ tốn quy hoạch tuyến tính sau : f (ω, λ) (3.3) với ràng buộc (ω, λ) ∈ C1 Trong đó, C1 = (ω, λ) ∈ R ¯ E +bK AEK · ω − λ ≤ 0, AEK · ω + λ ≥ 0, E ωi = 1, ω ≥ 0, λ ≥ i=1 tập ràng buộc tốn tính độ đo khơng quán theo 1-Norm Định lý 3.3 Cho R = B, E hồ sơ TTSX Đặt f : R E +1 → R∗ cho f (ω, λ) = λ Độ đo không quán IE∞ theo ∞-Norm K ∈ B E giá trị tối ưu f ∗ tốn quy hoạch tuyến tính sau : f (ω, λ) với ràng buộc (ω, λ) ∈ C∞ (3.4) Chương Phương pháp khôi phục tính qn CSTT xác suất 11 3.2.1 Mơ hình khơi phục tính qn Trước hết, số khái niệm trình bày để làm sở cho việc xây dựng mơ hình khơi phục tính qn mơ hình tích hợp tri thức Định nghĩa 3.3 Đặt R = B, E hồ sơ TTXS, K ∈ B K |= ⊥ Hàm ϕEK : P E → K gọi hàm suy diễn dựa luật xác suất K E tồn p ∈ P E cho ϕEK (p ) = K Định nghĩa 3.4 Đặt R = B, E hồ sơ TTXS, K ∈ B Một véctơ xác E = (P (Θ ), , P (Θ )) thỏa mãn suất K E σK K K E E điều kiện i =1 PK (Θi ) = Định nghĩa 3.5 Đặt R = B, E hồ sơ TTXS, K = {(F1 | G1 )[ρ1 ], , (Fb¯K | Gb¯K )[ρb¯K ]} ∈ B K |= ⊥ Một véctơ xác suất khôi E = (P (Θ ), , P (Θ )) phục thỏa mãn K E σK K K E thỏa mãn điều kiện sau : (i) E i =1 PK (Θi ) =1 E ) = {(F |G )[ρ∗ ], , F ∗ ∗ (ii) ∃ K∗ = ϕK∗ (σK 1 b¯K Gb¯K [ρb¯K ]} cho K |= ⊥ Định nghĩa 3.5 từ véctơ xác suất khơi phục thỏa mãn CSTT xác suất tìm CSTT xác suất qn cách sử dụng luật xác suất từ Định lý ?? Bài tốn khơi phục tính qn định nghĩa sau : (1) Đầu vào : CSTT K = {(c1 )[ρ1 ], , (ch )[ρh ]} tập kiện E (2) Đầu : K∗ = {(c1 )[ϑ1 ], , (ch )[ϑh ]} cho K∗ |= ⊥ (3) Phạm vi toán : Cơ sở TTXS biểu diễn RBXS (4) Tiến trình khơi phục : - Bước : Tính độ đo khơng qn Nếu độ đo khơng qn dừng Ngược lại chuyển bước - Bước : Xử lý tính khơng qn - Bước : Tính xác suất cho RBXS cách dùng tốn tử khơi phục tính qn Mơ hình tổng qt khơi phục tính qn CSTT xác suất đề xuất Hình 3.1 Chương Phương pháp khơi phục tính qn CSTT xác suất 12 Bắt đầu 𝒦 = 〈𝑐1 [ρ1 ], … , 𝑐ℎ [ρℎ ]〉 E Tính 𝓘(𝓚) 𝓘(𝓚) ≠0 Sai Đúng Xử lý tính khơng qn Tính xác suất RBXS 𝒦 ∗ = 〈𝑐1 [𝜗1 ], … , 𝑐ℎ [𝜗ℎ ]〉 cho 𝒦 ∗ ⊭⊥ Kết thúc Hình 3.1: Mơ hình tổng qt khơi phục tính qn 3.2.2 Các tính chất tốn tử khơi phục tính qn Tốn tử khơi phục tính quán hàm ánh xạ từ CSTT khơng qn thành CSTT qn Tốn tử khơi phục tính qn nên thỏa mãn số tính chất để đặc trưng cho Trong phần này, luận án trình bày số tốn tử khơi phục tính qn tính chất lơgic kỳ vọng dùng để xử lý tính khơng quán xuất CSTT xác suất 3.2.3 3.2.3.1 Lớp tốn tử khơi phục tính qn Lớp tốn tử khơi phục tính qn dựa theo chuẩn Mơ hình khơi phục tính qn dựa theo chuẩn CSTT xác suất đề xuất Hình 3.2 Chương Phương pháp khơi phục tính qn CSTT xác suất 13 Bắt đầu Cơ sở tri thức xác suất 𝒦 = 〈𝑐1 [ρ1 ], … , 𝑐ℎ [ρℎ ]〉 E 𝒑 Tính 𝓘𝚬 (𝓚) (𝑝 = 1,2, ∞) Định lý 4.12, 4.11, 4.13 Sai 𝒑 𝓘𝚬 (𝓚) ≠0 Đúng Tính véc-tơ xác suất 𝝎𝑬,𝒑 𝓚 (𝑝 = 1,2, ∞) Theo Định lý 4.19, 4.18 4.20 Tính véc-tơ xác suất khôi phục thỏa mãn 𝑬,𝒑 𝝈𝓚 (𝑝 = 1,2, ∞) theo Định lý 4.23 𝑬,𝒑 phạm 𝝂𝓚 Tính véc-tơ vi (𝑝 = 1,2, ∞) theo Định lý 4.20 Tính xác suất 𝜼𝒑 (𝓚) (𝑝 = 1,2, ∞) Theo Định nghĩa 4.19; Định lý 4.24 Tính xác suất 𝜼𝒑 (𝓚) (𝑝 = 1,2, ∞) Theo Định nghĩa 4.19, Định lý 4.22 Phương pháp Phương pháp Cơ sở tri thức xác suất 𝒦 ∗ = 〈𝑐1 [𝜗1 ], … , 𝑐ℎ [𝜗ℎ ]〉 cho 𝒦 ∗ ⊭⊥ Kết thúc Hình 3.2: Mơ hình khơi phục tính quán dựa theo chuẩn Định nghĩa 3.6 (Tốn tử khơi phục tính qn p-Norm) Cho R = E Tốn tử khơi phục tính B, E hồ sơ TTSX, K ∈ B P¯ ∈ σK quán η p : K → K theo p-Norm (p ≥ 1) K định nghĩa sau : η p (K) = ∂K (ϑ) (3.6) đó, ϑ = (ϑ1 , , ϑb¯K ) với P¯ (F |G ), P¯ (G ) > i i i ϑi = ρi , ngược lại (3.7) 1) Phương pháp Phần trình bày Định lý làm sở để xây dựng mơ hình khơi phục theo Phương pháp Hình 3.2 Định lý 3.5 Cho R = B, E hồ sơ TTSX K ∈ B Đặt f : R cho f (ω) = AEK ω p Xét toán tối ưu : arg f (ω) E → R∗ (3.8) Chương Phương pháp khơi phục tính qn CSTT xác suất 14 với ràng buộc ω ∈ Cp Bài tốn (3.8) ln tồn lời giải tối ưu ω ∗ Đồng thời, ω ∗ véctơ xác suất K ∈ B E Ta gọi véctơ xác suất ω ∗ lời giải Bài toán (3.8) véctơ xác xuất theo p-Norm (p > p = ∞) CSTT xác suất K E, kí hiệu E ,p ωK Định lý 3.6 Cho R = B, E hồ sơ TTSX K ∈ B Đặt f : R R∗ cho f (ω, λ) = ¯ E +bK → b¯K λi Xét toán quy hoạch tuyến tính : i =1 arg f (ω, λ) (3.9) với ràng buộc (ω, λ) ∈ C1 Bài tốn (3.9) ln tồn lời giải tối ưu ω ∗ Đồng thời, ω ∗ véctơ xác suất K ∈ B E Ta gọi véctơ xác suất ω ∗ lời giải Bài toán (3.9) véctơ xác xuất E,1 theo 1-Norm CSTT xác suất K E, kí hiệu ωK Định lý 3.7 Cho R = B, E hồ sơ TTSX K ∈ B Đặt f : R R∗ cho f (ω, λ) = λ Xét tốn quy hoạch tuyến tính : arg f (ω, λ) E +1 → (3.10) với ràng buộc (ω, λ) ∈ C∞ Bài tốn (3.10) ln tồn lời giải tối ưu ω ∗ Đồng thời, ω ∗ véctơ xác suất K ∈ B E Ta gọi véctơ xác suất ω ∗ lời giải Bài toán (3.9) véctơ xác xuất E,∞ theo ∞-Norm CSTT xác suất K E, kí hiệu ωK Định lý 3.8 Cho R = B, E hồ sơ TTSX, K ∈ B Tốn tử khơi phục tính quán η p theo p-Norm (p ≥ 1) K xác định theo Cơng thức (3.6) Trong đó, ϑ tương ứng với lời giải x p ∗ tốn tối ưu khơng ràng buộc sau : E arg ¯ (x ,y )∈RbK +1 j =1 E αK (x , y ) j p − x υK −y (3.11) Chương Phương pháp khơi phục tính qn CSTT xác suất 15 2) Phương pháp Phần trình bày định lý làm sở để xây dựng mơ hình khơi phục theo Phương pháp Hình 3.2 Định lý 3.9 Cho R = B, E hồ sơ TTSX, K ∈ B, p độ đo không quán K theo p-Norm (p ≥ 1) zKE = (z1 , , zb¯K ) véctơ xác suất đối ¯ E xứng cân K Đặt g : R E +bK → R∗ cho g (x , y ) = j =1 xj · log (xj ) E ,p Véctơ xác suất khôi phục thỏa mãn σK theo p-Norm CSTT xác suất K tương ứng với lời giải x p ∗ phần lời giải toán tối ưu phi tuyến sau : g (x , y ) (3.12) với ràng buộc (x , y ) ∈ Cr Trong đó, Cr = (x , y) ∈ R ¯ E +bK | CKE,+ · x = y + zKE , b¯K E xj = 1, j =1 yi = p, x ≥ 0, y ≥ i=1 tập ràng buộc cho tốn khơi phục tính qn Định lý 3.10 Cho R = B, E hồ sơ TTSX, K ∈ B Nếu tồn E ,p véctơ xác suất khơi phục thỏa mãn σK K tốn tử khơi phục tính qn η p theo p-Norm (p ≥ 1) K xác định sau : E ,p η p (K) = ϕEK (σK )=K 3.2.3.2 Tốn tử khơi phục tính qn phi chuẩn Bắt đầu 𝒦 = 〈𝑐1 [ρ1 ], … , 𝑐ℎ [ρℎ ]〉 E Tính 𝓘𝒖𝑬 (𝓚) Định nghĩa 4.14, Định lý 4.15 Đúng 𝓘𝑬𝒖 (𝓚) ≠0 Sai ⃗⃗⃗ 𝒖𝓚 Tính vectơ xác suất 𝝎 Định lý 4.25 Tính xác suất 𝜼𝒖 (𝓚) Định nghĩa 4.21 𝒦 ∗ = 〈𝑐1 [𝜗1 ], … , 𝑐ℎ [𝜗ℎ ]〉 cho 𝒦 ∗ ⊭⊥ Kết thúc Hình 3.3: Mơ hình khơi phục tính qn phi chuẩn (3.13) Chương Phương pháp khơi phục tính qn CSTT xác suất 16 Định lý 3.11 Cho R = B, E hồ sơ TTSX Đặt f : R b¯K cho f (ω, ∆) = ¯ E +2bK → R∗ ( i + ζi ) Xét toán tối ưu : i =1 arg f (ω, ∆) (3.14) với ràng buộc (ω, ∆) ∈ Cu Bài tốn (3.14) ln tồn lời giải tối ưu ω ∗ Đồng thời, ω ∗ véctơ xác suất K ∈ B E Ta gọi véctơ xác suất ω ∗ lời giải Bài toán (3.14) véctơ xác xuất E ,u phi chuẩn CSTT xác suất K E, kí hiệu ωK Định nghĩa 3.7 (Tốn tử khơi phục tính quán phi chuẩn) Cho R = B, E hồ sơ TTSX Tốn tử khơi phục tính quán phi chuẩn η u : K → K K ∈ B định nghĩa sau : η u (K) = ∂K (ϑ) ϑ = (ϑ1 , , ϑb¯K ) với ϑi = ρi + 3.3 ∗ i − ζi∗ mà (3.15) ∗, ζ ∗ i i E,u ∈ ωK Véctơ xác suất thỏa mãn CSTT xác suất Phần trình bày khái niệm véctơ xác suất thỏa mãn CSTT xác suất tính chất liên quan Chúng đầu vào tiến trình tích hợp trình bày Chương Định nghĩa 3.8 Cho R = B, E hồ sơ TTXS, K ∈ B K |= ⊥ E = (P (Θ ), , P (Θ )) Một véctơ xác suất thỏa mãn K E ωK K K E E E E cho i =1 PK (Θi ) = K = ϕK (ωK ) Định lý 3.12 (Véctơ xác suất thỏa mãn theo p-Norm) Cho R = B, E E ,p hồ sơ TTSX, K ∈ B Nếu K |= ⊥ véctơ xác suất ωK theo p-Norm (p > p = ∞) CSTT xác suất K E véctơ xác suất thỏa mãn Định lý 3.13 (Véctơ xác suất thỏa mãn theo 1-Norm) Cho R = B, E E,1 hồ sơ TTSX, K ∈ B Nếu K |= ⊥ véctơ xác suất ωK theo 1-Norm CSTT xác suất K E véctơ xác suất thỏa mãn Định lý 3.14 (Véctơ xác suất thỏa mãn theo ∞-Norm) Cho R = B, E E,∞ hồ sơ TTSX, K ∈ B Nếu K |= ⊥ véctơ xác suất ωK theo ∞-Norm CSTT xác suất K E véctơ xác suất thỏa mãn Chương Phương pháp khơi phục tính qn CSTT xác suất 17 Định lý 3.15 (Véctơ xác suất thỏa mãn phi chuẩn) Cho R = B, E E ,u hồ sơ TTSX, K ∈ B Nếu K |= ⊥ véctơ xác suất ωK phi chuẩn CSTT xác suất K E véctơ xác suất thỏa mãn 3.4 Các thuật tốn Thuật tốn tìm véctơ xác suất thỏa mãn CSTT xác suất, tính giá trị xác suất RBXS CSTT xác suất, Khôi phục tính quán CSTT xác suất 3.5 Kết chương Trong chương này, luận án trình bày lớp độ đo không quán cho CSTT xác suất Dựa mơ hình này, luận án đề xuất thuật toán đánh giá độ phức tạp chúng chứng minh toán học : Thuật toán tính độ đo khơng qn, thuật tốn tìm véctơ xác suất thỏa mãn CSTT xác suất, thuật toán tính giá trị xác suất ràng buộc CSTT xác suất Các thuật toán sở để xây dựng thuật tốn khơi phục tính qn CSTT xác suất Các định nghĩa, định lý độ đo không quán theo chuẩn, phi chuẩn ; véctơ xác suất thỏa mãn CSTT xác suất ; tốn tử khơi phục ; véctơ khơi phục ; thuật toán tương ứng đề xuất Chương tảng để xây dựng mô hình thuật tốn tích hợp trình bày chi tiết Chương Chương PHƯƠNG PHÁP TÍCH HỢP CÁC CƠ SỞ TRI THỨC XÁC SUẤT Chương tìm câu trả lời câu hỏi nghiên cứu thứ : "Làm tích hợp CSTT xác suất thành tri thức chung đại diện tốt ?" Giải pháp cho toán tích hợp CSTT xác suất cơng bố cơng trình [NVTham4, NVTham5, NVTham6, NVTham7] 4.1 Phương pháp tích hợp CSTT xác suất dựa khoảng cách Bắt đầu Hồ sơ PKB 𝓡 = 〈𝓑, 𝑬〉 Tính véc-tơ xác suất thỏa mãn 𝒦𝑖 E 𝜔 ⃗𝒦 =FPVSK(𝒦𝑖 , E, 𝑛𝑜𝑟𝑚) ∀𝒦𝑖 ∈ ℬ 𝑖 Đúng ∀𝒦𝑖 ∈ ℬ: 𝒦𝑖 ⊭⊥? Sai Tính độ đo khơng qn ℐ(𝒦𝑖 ) =CIM(𝒦𝑖 , 𝐸, 𝑛𝑜𝑟𝑚) Đúng Tích hợp PKB 𝓡 Tích hợp PKB 𝓡 𝜗 ⃗⃗⃗ 𝓑 𝝕 𝐄 = 𝐅𝐏𝐌𝐕(𝑑 , ℛ, 𝑛𝑜𝑟𝑚) Phương pháp ⃗⃗⃗ 𝓑 𝝕 𝐄 = 𝐇𝐔𝐋𝐋(ℛ, 𝑛𝑜𝑟𝑚) Phương pháp ℐ(𝒦𝑖 ) = 0? 𝑆𝑎𝑖 Tính xác suất Khơi phục tính nhấn qn 𝒦𝑖 RCK (𝒦𝑖 , 𝐸, 𝑛𝑜𝑟𝑚) ℬ 𝓚∗ = 𝐅𝐍𝐏𝐕𝐂(ℛ, ϖ ⃗⃗ E ) 𝓚∗ = 〈𝓬𝟏 [𝝆𝟏 ], … , 𝓬𝒎 [𝝆𝒎 ]〉, 𝓚∗ ⊭⊥ Kết thúc Hình 4.1: Mơ hình tổng quát tích hợp CSTT xác suất dựa theo khoảng cách 18 Chương Phương pháp tích hợp CSTT xác suất 19 4.1.1 Các tính chất tốn tử tích hợp TTXS dựa khoảng cách 4.1.2 Lớp tốn tích hợp dựa khoảng cách Định nghĩa 4.1 Cho R = B, E hồ sơ TTXS Một véctơ tích hợp xác E P(Θi ) = suất R E BE = (P(Θ1 ), , P(Θ E )) cho i =1 Định nghĩa 4.2 Cho R = B, E hồ sơ TTXS Một hàm tích hợp xác suất R E ánh xạ f : P E → R[0,1] cho ∀ Ki ∈ B : Ki |= ⊥ E véctơ xác suất thỏa mãn K : ωK i i B E , y) diϑ (ωK i f ϑ (y ) = (4.1) i =1 E , y ) hàm KCPK từ K đến y diϑ (ωK i i Định lý 4.1 Đặt f ϑ : P E → R[0,1] hàm tích hợp xác suất R E Véctơ tích hợp xác suất BE R E lời giải y ϑ∗ toán tối ưu phi tuyến sau : arg f ϑ (y ) (4.2) với ràng buộc y ∈ Cm Trong đó, Cm = y ∈ P E | E j =1 yj = 1, yj ≥ ∀ j = 1, E tập ràng buộc toán tích hợp tri thức Định lý 4.2 Đặt R = B, E hồ sơ TTXS cho ∀ Ki ∈ B : Ki |= ⊥ Nếu tồn véctơ tích hợp xác suất BE sau tiến trình tích hợp tồn CSTT xác suất K = ϕEK ( BE ) cho K |= ⊥ 4.1.3 4.1.3.1 Lớp tốn tử tích hợp TTXS dựa khoảng cách Lớp tốn tử tích hợp TTXS Γϑ Định nghĩa 4.3 Đặt R = B, E hồ sơ TTXS Tốn tử tích hợp TTXS Γ : B → P E B theo hàm KCPK d ϑ định nghĩa sau : Γϑ (B) = E B (4.3) Chương Phương pháp tích hợp CSTT xác suất 4.1.3.2 20 Tốn tử tích hợp TTXS ΓHU Định lý 4.3 Đặt R = B, E hồ sơ TTXS B = {K1 , , K B } ˆ B = (ω E )T , , (ω E )T ma trận hồ sơ Khi tồn Cho A K K1 B B λi ∈ [0, 1] số thực dương với λi = cho i =1 ˆ Bλ yBHU = A λ = λ1 , , λ (4.4) T B Định nghĩa 4.4 (Tốn tử tích hợp TTXS ΓHU ) Tốn tử tích hợp TTXS ΓHU : B → P E định nghĩa sau : ΓHU (B) = yBHU 4.1.4 Thuật tốn tích hợp CSTT xác suất dựa khoảng cách Thuật toán FPMV, Thuật tốn HULL, Thuật tốn FNPVC 4.2 Phương pháp tích hợp CSTT xác suất dựa giá trị xác suất Bắt đầu Hồ sơ PKB 𝓡 = 〈𝓑, 𝑬〉 Đúng ∀𝒦𝑖 ∈ ℬ: 𝒦𝑖 ⊭⊥? 𝑆𝑎𝑖 Tính độ đo khơng quán ℐ(𝒦𝑖 ) =CIM(𝒦𝑖 , 𝐸, 𝑛𝑜𝑟𝑚) Đúng Tích hợp CSTT xác suất 𝓡 𝓚∗ =OMMA(ℛ) ℐ(𝒦𝑖 ) = 0? 𝑆𝑎𝑖 Khơi phục tính nhấn qn 𝒦𝑖 RCK (𝒦𝑖 , 𝐸, 𝑛𝑜𝑟𝑚) 𝓚∗ = 〈𝓬𝟏 [𝝆𝟏 ], … , 𝓬𝒎 [𝝆𝒎 ]〉, 𝓚∗ ⊭⊥ Kết thúc Hình 4.2: Mơ hình tổng qt tích hợp CSTT xác suất dựa theo giá trị xác suất Chương Phương pháp tích hợp CSTT xác suất 21 4.2.1 Các tính chất tốn tử tích hợp TTXS dựa giá trị xác suất 4.2.2 Các tốn tử tích hợp dựa giá trị xác suất Trong phần này, luận án giới thiệu hai tốn tử tích hợp dựa giá trị xác suất đề xuất trong cơng trình [NVTham5] : Tốn tử tích hợp trung vị (MMO) tốn tử tích hợp trung vị theo hệ số (CMMO) 4.2.3 Các thuật tốn Luận án trình bày Thuật tốn rút gọn RBXS, thuật tốn tích hợp CSTT xác suất dựa tốn tử tích hợp trung vị MMO ⊕ tốn tử tích hợp trung vị theo hệ số CMMO c 4.3 Thực nghiệm tích hợp sở tri thức xác suất (a) Thực nghiệm theo 1-Norm hàm KCPK (b) Thực nghiệm theo 2-Norm hàm KCPK (c) Thực nghiệm theo ∞-Norm hàm KCPK (d) Thực nghiệm theo 1-Norm hàm KCPK (e) Thực nghiệm theo 2-Norm hàm KCPK (f) Thực nghiệm theo ∞-Norm hàm KCPK Hình 4.3: So sánh chất lượng RBXS sau tiến trình tích hợp Chương Phương pháp tích hợp CSTT xác suất (a) Số vòng lặp Thực nghiệm (b) Thời gian CPU Thực nghiệm (c)_ Tổng thời gian thực Thực nghiệm 22 (d) Số vòng lặp Thực nghiệm (d) Thời gian CPU Thực nghiệm (f)_ Tổng thời gian thực Thực nghiệm Hình 4.4: Chi phí thuật toán cho Thực nghiệm 4.4 Kết chương Trong chương này, luận án trình bày hai lớp tốn tử tích hợp CSTT xác suất : Lớp tốn tử tích hợp dựa hàm khoảng cách lớp tốn tử tích hợp dựa giá trị xác suất Hai mơ hình tích hợp CSTT xác suất tương ứng với hai lớp toán tử đề xuất KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết nghiên cứu luận án Thứ nhất, luận án đề xuất kiến trúc chung hệ thống THTT xác suất so sánh với hệ thống có Thứ hai, luận án giải tốn khơi phục tính qn CSTT xác suất cách đề xuất hai phương pháp khơi phục tính qn : Mơ hình khơi phục tính qn CSTT xác suất theo chuẩn mơ hình khơi phục tính quán CSTT xác suất phi chuẩn Thứ ba, luận án giải toán tích hợp CSTT xác suất cách đề xuất hai phương pháp tích hợp CSTT xác suất : mơ hình tích hợp CSTT xác suất dựa khoảng cách mơ hình tích hợp CSTT xác suất dựa giá trị xác suất Các kết luận án cơng bố cơng trình khoa học đăng tải tạp chí hội nghị chuyên ngành quốc tế có phản biện Hạn chế luận án - Trong kiến trúc hệ thống thông minh dựa CSTT xác suất đề xuất, luận án xây dựng hệ thống Khơi phục tính qn Tích hợp CSTT xác suất ; Xây dựng CSTT xác suất từ CSTT xác suất thực tế chưa xây dựng - Q trình xử lý tính khơng qn CSTT xác suất cịn có tồn sau : 23 Kết luận hướng phát triển 24 + Luận án xem xét lớp độ khơng qn CSTT xác suất có thỏa mãn tập tính chất kỳ vọng cách phát biểu định lý liên quan mà chưa chứng minh Định lý + Mơ hình khơi phục tính quán phi chuẩn chưa tiến hành cài đặt thực nghiệm thực tế - Một số thuật toán mà chưa tiến hành cài đặt thực nghiệm thực tế - Các thuật toán đề xuất giải tốn khơi phục tính qn tốn tích hợp CSTT xác suất có chi phí thực cao liệu đầu vào lớn Số kiện hồ sơ TTXS đầu vào cao chi phi thực lớn - Các thực nghiệm luận án thực liệu sau tiến hành trích xuất từ liệu thực tế chuyển thành CSTT xác suất Định hướng nghiên cứu - Hồn thiện phương pháp xử lý tính khơng quán CSTT xác suất Chứng minh định lý mối liên hệ lôgic lớp độ không quán CSTT xác suất với tập tính chất kỳ vọng Đề xuất, cài đặt thuật tốn tính độ đo sở sử dụng chúng mơ hình khơi phục tính qn CSTT xác suất Tiến hành cài đặt thuật tốn khơi phục tính quán phi chuẩn thực nghiệm thực tế - Hồn thiện phương pháp tích hợp CSTT xác suất Tiến hành cài đặt thuật toán chưa cài đặt thực nghiệm thực tế Từ đánh giá hiệu thuật toán kết thu - Cải thiện thuật toán theo hướng hiệu hiệu suất tính tốn xây dựng liệu chuẩn phục vụ cho nghiên cứu thực nghiệm DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA TÁC GIẢ LIÊN QUAN TỚI LUẬN ÁN [NVTham1] Van Tham Nguyen, and Trong Hieu Tran (2017) Inconsistency Measures for Probabilistic Knowledge Bases In Proc of the 9th International Conference on Knowledge and Systems Engineering, pp.156-161, IEEE Xplore (Scopus, DBLP) [NVTham2] Van Tham Nguyen, Ngoc Thanh Nguyen, Trong Hieu Tran, and Do Kieu Loan Nguyen (2018) Method for restoring consistency in probabilistic knowledge bases Journal of Cybernetics and Systems, Vol.49, Taylor and Francis, 2018 (SCIE Journal, IF=1.433) [NVTham3] Van Tham Nguyen, and Trong Hieu Tran (2018) Solving inconsistencies in probabilistic knowledge bases via inconsistency measures In Proc of 10th Asian Conference on Intelligent Information and Database Systems, pp 3-14, Springer.(Scopus, DBLP) [NVTham4] Van Tham Nguyen, Ngoc Thanh Nguyen, and Trong Hieu Tran (2018) Framework for Merging Probabilistic Knowledge Bases In Proc of the 10th International Conference on Computational Collective Intelligence, pp 31-42, Springer (Scopus, DBLP) [NVTham5] Van Tham Nguyen, Ngoc Thanh Nguyen, and Trong Hieu Tran (2019) Algorithms for Merging Probabilistic Knowledge Bases In Proc of 11th Asian Conference on Intelligent Information and Database Systems, pp 3-15, Springer (Scopus, DBLP) [NVTham6] Van Tham Nguyen, Ngoc Thanh Nguyen, and Trong Hieu Tran (2019) A distance-based approach for merging probabilistic knowledge bases Journal of Intelligent and Fuzzy Systems, IOS Press (SCIE Journal, IF=1.851) [NVTham7] Van Tham Nguyen, Ngoc Thanh Nguyen, and Trong Hieu Tran (2020) A model for building probabilistic knowledge-based systems via a family of divergence distances Journal of Expert Systems with Applications, Elsevier In Press, Journal Pre-proof (SCIE Journal, IF=5.452) 25 ... pháp tích hợp CSTT xác suất Các đóng góp cơng bố cơng trình [NVTham5] Cấu trúc luận án Luận án ? ?Tích hợp tri thức sử dụng mơ hình xác suất hệ thống thông minh? ?? bao gồm chương Chương KIẾN THỨC... xác suất Dựa mơ hình tích hợp có, luận án trình bày kiến trúc để xây dựng hệ thống tích hợp dựa CSTT xác suất, giai đoạn tiến trình tích hợp CSTT xác suất so sánh hệ thống THTT có với hệ thống. .. xác suất Luận án đề xuất HTTT xác suất sau : Người dùng Kết Yêu cầu Tích hợp CSTT xác suất Xây dựng CSTT xác suất Các CSTT xác suất quán Các kiện (E) RBXS (F|G)[] Các CSTT xác suất không quán