Luận văn trình bày việc biểu diễn thông tin theo hai hƣớng tiếp cận.Tiếp cận thứ nhất là tiếp cận thống kê, trong hƣớng tiếp cận này sẽ trình bày hai phƣơng pháp: lý thuyết xác suất Bayesian và lý thuyết về đại số hệ số chắc chắn. Tiếp cận thứ hai là biểu diễn thông tin không chắc chắn theo logic mờ[4,7].
1.2.5.1 Tiếp cận thống kê đối với tính không chắc chắn.
Ở đây, luận văn trình bày lý thuyết xác suất nhƣ là cơ sở toán học cho sự biểu
diễn tri thức không chắc chắn.
Ngƣời ta sử dụng số p, 0 p 1, là xác suất của một sự kiện hoặc xác suất của một mệnh đề để biểu diễn khả năng một sự kiện có thể xảy ra hoặc khả năng một mệnh đề có thể đúng.
Trƣớc hết, nhắc lại một số khái niệm cơ bản của lý thuyết xác suất.
Sử dụng các chữ số in hoa A, B, C, … để chỉ các mệnh đề A và B không chắc chắn. Xác suất của mệnh đề A sẽ đƣợc ký hiệu là Pr(A), khi đó xác suất của các mệnh đề hợp thành, là các mệnh đề đƣợc tạo thành từ các mệnh đề khác bằng cách sử dụng các kết nối logic: và (), hoặc (), phủ định ().
Pr(A) là xác suất để mệnh đề A sai.
Pr(A B) là xác suất để cả hai mệnh đề A và B đều đúng, ký hiệu xác suất này là Pr(A, B).
Pr(A B) là xác suất để mệnh đề A hoặc mệnh đề B là đúng.
Khi sử dụng mô hình xác suất để biểu diễn tri thức không chắc chắn, thƣờng là bằng thực nghiệm, bằng sự hiểu biết và bằng các kinh nghiệm tích luỹ đƣợc xác định trƣớc đƣợc một số xác suất nào đó. Sau này khi đƣợc biết các thông tin mới (các bằng chứng), cần tính xác suất của các mệnh đề đƣợc hỏi.
Trƣớc hết, cần đƣa ra một số ký hiệu, giả sử A, B, C, D, E là các mệnh đề. Trong các biểu thức sau, vế trái là một cách viết khác của vế phải.
Pr(A, B, C) = Pr(A B C) Pr(A, B| C) = Pr(A B |C) Pr(A |B, C) = Pr(A |B C )
Khi sử dụng mô hình xác suất để biểu diễn tri thức không chắc chắn trong một lĩnh vực ứng dụng nào đó, ngƣời ta đƣa vào một tập biến ngẫu nhiên {X1, X2, …, Xn}. Mỗi Xi là một biến ngẫu nhiên rời rạc nhận giá trị trong một miền giá trị Ωi (I = 1, …, n) tƣơng ứng. Giả sử xi là một giá trị nào đó của Xi (I = 1,…, n). Mệnh đề (X1 = x1)
(X1 = x1) … (X1 = x1) biểu diễn một trạng thái của thế giới hiện thực. Xác suất của mệnh đề trên đƣợc ký hiệu là
Pr(X1 = x1, X2 = x2, …, Xn = xn)
Hàm ứng mỗi trạng thái (X1 = x1) (X2 = x2) … (Xn = xn) với xác suất Pr(X1
= x1, X2 = x2,…, Xn = xn) đƣợc ký hiệu là Pr(X1, X2, …, Xn). Hàm này đƣợc gọi là phân phối xác suất nhân (joint probability distribution) của tập biến ngẫu nhiên {X1, …, Xn}
Giả sử nhận đƣợc phân phối xác suất nhân Pr(X1,...,Xn) của tập biến ngẫu nhiên {X1, …, Xn}. Khi đó chúng ta có thể tính đƣợc phân phối xác suất của một tổ hợp bất kỳ của các biến {X1, …, Xn}. Để đơn giản, xét trƣờng hợp ba biến. Giả sử chúng ta đã biết phân phối xác suất Pr (X,Y,Z), trong đó X, Y, Z là các biến ngẫu nhiên với các miền giá trị là ΩX, ΩY, ΩZ tƣơng ứng. Khi đó có thể tính đƣợc phân phối xác suất của hai biến, chẳng hạn Pr(X,Y) bằng công thức sau:
Pr (X,Y) =
z Z Pr(X,Y,Z = z)
Cần nhớ rằng, công thức này là viết tắt của công thức sau: Pr(X = x, Y = y) =
z Z Pr(X = x,Y = y, Z = z) trong đó x, y là các giá trị bất kỳ trong miền ΩX, ΩY tƣơng ứng.
Vậy có thể tính đƣợc phân phối xác suất của một biến, chẳng hạn Pr(X) theo công thức sau: Pr (X) = z y Y Z Pr(X,Y = y,Z = z)
* Phân phối xác suất nhân
Các xác suất Pr(X1 = x1,…, Xn = xn) cần thoả mãn điều kiện sau: x x1 1 n n ... Pr(X1 = x1,…, Xn = xn) = 1 * Luật tổng
Từ các công thức Pr (X) =
y Y Pr(X,Y = y)
Pr (X,Y = y) = Pr(X|Y = y) Pr(Y = y) Suy ra một công thức quan trọng sau:
Pr (X) =
y Y Pr(X,Y = y) Pr(Y = y) Công thức này đƣợc gọi là luật tổng.
* Luật tích
Biết rằng
Pr(X,Y) = Pr(X|Y) Pr(Y)
Xét phân phối xác suất của ba biến X, Y, Z. Theo công thức trên thì: Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y,Z)
Pr(Y,Z) = Pr(Y|Z) Pr(Z)
Từ hai công thức trên suy ra công thức sau: Pr(X,Y,Z) = Pr(X|Y,Z) Pr(Y|Z) Pr(Z) Tổng quát:
Pr(X1, X2, …, Xn) = Pr(X1|X2, …, Xn) Pr(X2|X3, …, Xn) … Pr(Xn-1|Xn) Pr(Xn)
Công thức này gọi là luật tích. Luật tích cho phép phân tích một xác suất nhân thành tích của các xác suất có điều kiện. Cần lƣu ý rằng, thứ tự của các biến trong phân phối xác suất nhân là không quan trọng. Do đó, vì có n! hoán vị của n biến X1, …, Xn nên sẽ có n! cách phân tích một xác suất kết hợp thành tích của các xác suất có điều kiện
* Phân loại xác suất
Theo tiêu chí đánh giá thời điểm xuất hiện của sự kiện, xác suất đƣợc chia thành 2 loại:
- Xác suất tiên nghiệm hay xác suất vô điều kiện: là xác suất của một sự kiện trong điều kiện không có tri thức bổ sung cho sự có mặt hay vắng mặt của nó;
- Xác suất hậu nghiệm hay xác suất có điều kiện: là xác suất của một sự kiện khi biết trƣớc một hay nhiều sự kiện khác.
P(e1|e2) = =
Để tính P(e1 | e2) theo công thức trên thì phải thực hiện các cuộc điều tra thống kê trên một phạm vi rộng lớn mới cho đƣợc một xác suất chính xác. Bayes đƣa ra một công thức tính khác cho phép tính đƣợc P(e1 | e2) từ những kết quả thống kê đã có trƣớc đó hoặc những kết quả thống kê dễ đạt đƣợc hơn.
* Công thức Bayes đƣợc phát biểu nhƣ sau:
Ký hiệu P(h | e) là xác suất khẳng định giả thuyết h đúng cho trƣớc bằng chứng e.
Công thức này nói rằng xác suất đúng của giả thuyết h khi quan sát đƣợc bằng chứng e, bằng với xác xuất cho rằng sẽ quan sát đƣợc bằng chứng e nếu giả thuyết h là đúng, nhân với xác suất tiên nghiệm của h, tất cả chia cho xác suất tiên nghiệm của việc quan sát đƣợc bằng chứng e.
Điểm quan trọng của lý thuyết Bayes là các con số ở vế phải của công thức dễ dàng xác định, ít nhất là khi so sánh với vế trái
*Công thức Bayes tổng quát
Trong thực tế có nhiều giả thuyết cạnh tranh nhau, vì vậy công thức Bayes tổng quát nhất là:
P(hi | e) là xác suất mà hi đúng khi biết bằng chứng e. P(hi) là xác suất mà hi đúng tính trên tất cả các giả thuyết
P(e | hi) là xác suất quan sát đƣợc e khi hi đúng. Thông thƣờng, tất cả các P(e | hk) phải độc lập nhau.
n là số giả thuyết có khả năng
* Mạng xác suất
Nhƣ đã trình bầy ở trên để biểu diễn thông tin không chắc chắn trong một lĩnh vực ứng dụng, có thể sử dụng một tập các biến ngẫu nhiên {X1, X2, …, Xn}và phân phối xác suất Pr{X1, X2, …, Xn}. Khi đó có thể tính đƣợc xác suất nhân của một tổ hợp bất kỳ các biến ngẫu nhiên và do đó có thể tính đƣợc xác suất có điều kiện bất kỳ của các biến ngẫu nhiên X1, X2, …, Xn. Điều đó có nghĩa là nếu biết đƣợc phân phối xác suất Pr{X1, X2, …, Xn}thì có thể tìm đƣợc câu trả lời cho các câu hỏi về các biến X1, X2, …, Xn. Tuy nhiên phƣơng pháp này có nhiều nhƣợc điểm. Trƣớc hết rất khó xác định đƣợc các xác suất Pr{X1, X2, …, Xn}. Mặt khác, để
lƣu phân phối xác suất Pr{X1, X2, …, Xn} cần bảng n chiều, chỉ với Xi(i =1, …, n) là các biến ngẫu nhiên nhận giá trị boolean thì bảng cũng đã chứa 2n!. Do đó cần xây dựng một mô hình thích hợp để biểu diễn tri thức và thông tin không chắc chắn. Mô hình này phải thoả mãn hai điều kiện sau:
- Giảm bớt số các xác suất ban đầu cần biết trƣớc;
- Đơn giản sự tính toán để tìm ra câu trả lời cho các câu hỏi.
Mô hình đƣợc đề suất là mạng xác suất: mạng xác suất là một đồ thị có hƣớng, không có chu trình và thoả mãn các điều kiện sau:
- Các đỉnh của đồ thị là các biến ngẫu nhiên;
- Mỗi cung từ đỉnh X đến đỉnh Y biểu diễn sự ảnh hƣởng trực tiếp của biến ngẫu nhiên X đến biến ngẫu nhiên Y (hay Y phụ thuộc trực tiếp vào X). Đỉnh X đƣợc gọi là đỉnh cha của Y;
- Tại một đỉnh đƣợc cho phân phối xác suất có điều kiện của đỉnh đó khi cho trƣớc các cha của nó. Các xác suất này biểu diễn hiệu quả mà các cha tác dụng vào nó.
Chẳng hạn, nếu X1, X2, …, Xn là tất cả các đỉnh cha của đỉnh Y trong mạng thì tại đỉnh Y đƣợc cho phân phối xác suất có điều kiện Pr(Y|X1, X2, …, Xn).
Mô hình tổng quát hơn để biểu diễn vấn đề quyết định là mạng quyết định (decision network hay còn gọi là influence diagram). Mạng quyết định là mở rộng của mạng xác suất bằng cách đƣa thêm vào các đỉnh quyết định và các đỉnh lợi ích.
1.2.5.2 Đại số hệ số chắc chắn Stanford
Khi suy luận với tri thức heuristic, các chuyên gia có thể đƣa ra các ƣớc lƣợng niềm tin hữu ích về các kết luận. Họ ƣớc lƣợng các kết luận bằng các thuật ngữ nhƣ “có nhiều khả năng”, “không chắc”, “hầu nhƣ chắc chắn” hay “có thể”. Những ƣớc lƣợng này rõ ràng là không dựa trên sự phân tích các xác suất một cách cẩn thận. Thay vào đó, tự chúng là những heuristic đƣợc lấy ra từ kinh nghiệm trong quá trình suy luận về lĩnh vực của vấn đề. Vì vậy, sẽ rất hữu ích nếu có thể lƣợng hóa các ƣớc lƣợng niềm tin này để đƣa chúng vào quá trình suy luận.
* Lý thuyết về đại số hệ số chắc chắn Stanford
Lý thuyết về độ chắc chắn Stanford [7,13] đƣa ra một số giả thiết đơn giản cho việc tạo ra các độ đo niềm tin và có một số quy tắc đơn giản tƣơng đƣơng cho việc kết hợp những niềm tin này khi chƣơng trình tiến đến kết luận của nó. Giả thiết thứ nhất là tách “niềm tin ủng hộ” ra khỏi “niềm tin chống lại” một quan hệ:
Gọi MB(H | E) là độ đo của niềm tin vào khả năng đúng của giả thuyết H, khi có bằng chứng E
Gọi MD(H | E) là độ đo của sự hoài nghi vào khả năng đúng của giả thuyết H, khi có bằng chứng E
Giá trị của các độ đo này chỉ rơi vào một trong hai trƣờng hợp: 0 < MB(H | E) < 1 trong khi MD(H | E) = 0, hoặc: 0 < MD(H | E) < 1 trong khi MB(H | E) = 0
Hai độ đo này ràng buộc lẫn nhau ở chỗ một bằng chứng chỉ có thể hoặc là ủng hộ hoặc là chống lại một giả thuyết nào đó. Đây là sự khác biệt quan trọng giữa lý thuyết chắc chắn và lý thuyết xác suất. Ngay khi liên kết giữa các độ đo niềm tin và hoài nghi đƣợc thiết lặp xong, chúng đƣợc ràng buộc với nhau thêm một lần nữa bởi hệ số chắc chắn CF:
CF (H | E) = MB(H | E) - MD(H | E)
Nhƣ đã thảo luận ban đầu, có hai vấn đề không chắc chắn là dữ liệu và luật. Vì vậy, ở đây ta cũng có 2 loại hệ số CF là hệ số chắc chắn cho dữ kiện (fact), và hệ số chắc chắn cho luật (rule). Để dễ phân biệt ta sử dụng ký hiệu CFf cho dữ kiện và CFr cho luật
* Các hệ số chắc chắn Stanford
Hệ số chắc chắn dành cho dữ kiện: dữ kiện ở đây bao gồm dữ liệu ban đầu, dữ liệu suy luận đƣợc và kết luận (giả thuyết): CFf(fact) thuộc [-1,1]:
- CFf càng tiến về 1 thể hiện sự tin tƣởng dữ kiện là đúng càng mạnh CFf tiến về -1 thể hiện sự tin tƣởng dữ kiện là không đúng càng mạnh
- CFf có giá trị xung quanh 0 cho thấy tồn tại rất ít bằng cớ cho việc ủng hộ hay chống lại dữ kiện. Vì vậy, nếu lấy dữ liệu này đi suy luận thì độ chính xác sẽ rất thấp.
Do đó, thƣờng đƣa ra một giới hạn (threshold) nhằm tránh việc suy luận với thông tin không chắc chắn nhƣ vậy (vd: 0.2). Nghĩa là nếu dữ kiện nào có CF nhỏ hơn giới hạn, ta sẽ không sử dụng trong quá trình suy luận.
Hệ số chắc chắn dành cho luật: CFr(rule) thuộc [-1,1] : thể hiện sự tin tƣởng của các chuyên gia vào độ tin cậy của luật
* Các quy tắc tính toán trên CF
Quy tắc kết hợp các CFf của các điều kiện:
Thông thƣờng, một luật thƣờng có tiền đề (vế trái) tạo thành từ những kết nối và/hoặc của nhiều điều kiện. Khi một luật sinh đƣợc sử dụng, các CF liên kết với mỗi điều kiện của tiền đề sẽ đƣợc kết hợp với nhau để tạo ra một độ đo chắc chắn cho toàn bộ tiền đề (toàn bộ vế trái của luật) theo công thức sau:
CF (ĐK1 Or ĐK2) = Max[CF(ĐK1), CF(ĐK2)]
* Phƣơng pháp suy luận với thông tin không chắc chắn
Với các thông tin chắc chắn, các thủ tục suy diễn thƣờng tuân theo mô hình suy luận sử dụng trong phép tính vị từ: từ các tiền đề đúng đắn, các luật suy diễn vững chắc sinh ra những kết luận mới, đảm bảo là đúng đắn. Tuy nhiên, trong thực tế, có rất nhiều tình huống chúng ta phải rút ra những kết luận tốt từ những bằng chứng đƣợc xác định nghèo nàn và không chắc chắn thông qua việc sử dụng những suy diễn không vững chắc.
Nhƣ vậy, ở đây có hai loại thông tin không chắc chắn: một là dữ liệu ban đầu đƣợc cho là không chắc chắn, không đủ, không đáng tin cậy,… hai là các luật sử dụng để suy luận không hợp logic, suy luận ngƣợc từ kết luận về điều kiện, hay có thể gọi là suy luận theo kiểu phỏng đoán.
Suy luận phỏng đoán thƣờng đƣợc ứng dụng trong thực tế để tìm hiểu các hiện tƣợng xảy ra, ví dụ:
If hàng hóa áo sơ mi nam bán không đạt chỉ tiêu Then chỉ tiêu quá cao hoặc thị hiếu đã thay đổi;
Đây là một phỏng đoán từ triệu chứng quan sát đƣợc suy ngƣợc trở lại nguyên nhân của chúng, nên gọi là luật suy diễn không đúng đắn (unsound inference rule) vì cũng có thể là nhân viên bán hàng làm việc không hiệu quả.
1.2.5.2 Tiếp cận theo hướng logic mờ
Lý thuyết tập mờ là một công cụ toán học chính xác để mô tả các thông tin không chính xác, mang tính nhập nhằng, mờ (vagueness, ambiguity).
Từ bài báo khởi đầu về lý thuyết tập mờ của Lofti A. Zadeh “Fuzzy sets”, công bố năm 1965, lý thuyết tập mờ và logic mờ đã phát triển mạnh mẽ ở Mỹ, Tây Âu và Nhật Bản. Từ giữa 1970 tới nay, với sự nhạy bén với các kỹ thuật mới, các nhà nghiên cứu Nhật Bản là những ngƣời đi tiên phong trong việc ứng dụng các kỹ thuật mờ. Họ đã cấp hàng nghìn bằng sáng chế về các ứng dụng của tập mờ và lôgic mờ. Họ đã đƣa ra nhiều sản phẩm công nghiệp đƣợc bán khắp thế giới.Ví dụ, máy giặt mờ đã sử dụng các bộ cảm nhận tinh xảo để dò ra khối lƣợng, màu sắc và độ bẩn của quần áo và sử dụng bộ vi sử lý mờ để tự động điều khiển quá trình giặt [4, 7].
Lý thuyết của Zadeh biểu diễn tính mờ hay tính thiếu chính xác trong các phát biểu (nhƣ ở mục trên) theo cách định lƣợng bằng cách đƣa ra một hàm tƣ cách thành viên tập hợp (set membership function) nhận giá trị thực giữa 0 và 1.
* Khái niệm về tập mờ:
Cho S là một tập hợp và x là một phần tử của tập hợp đó. Một tập con mờ F của S đƣợc định nghĩa bởi một hàm thành viên μF(x) đo “mức độ” mà theo đó x thuộc về tập
F. Hàm A đƣợc gọi là hàm thuộc (hoặc hàm đặc trƣng) của tập mờ A còn A(x) đƣợc gọi là mức độ thuộc của x vào tập mờ A. Trong đó, 0 ≤ μF(x) ≤ 1.
Khi μF(x) = 0 nghĩa là x hoàn toàn không thuộc tập F. Khi μF(x) = 1 nghĩa là x thuộc F hoàn toàn.
Nếu μF(x) = 0 hoặc 1 thì tập F đƣợc xem là “giòn”
Nhƣ vậy tập mờ là sự tổng quát hoá tập rõ bằng cách cho phép hàm thuộc lấy giá trị bất kỳ trong khoảng [0,1], trong khi hàm thuộc của tập rõ chỉ lấy hai giá trị 0 hoặc 1.
Ngƣời ta biểu diễn tập mờ A trong vũ trụ U bởi tập tất cả các cặp phần tử và mức độ thuộc của nó: A = {(x, A(x))| x U}
Nhƣ vậy.
- Các tập mờ đƣợc đƣa ra để biểu diễn các tính chất không chính xác, không rõ ràng, mờ, ví dụ nhƣ “ bán tốt”, “ nhân viên chuyên cần”…