III. Bài tập và thí nghiệm chương
CHƯƠNG 4 THUẬT TOÁN BAYES
4.3. Tóm tắt Lý thuyết xác suất. Lý thuyết quyết định Bayes
Bayes: Tên nhà khoa học về xác suất. Ông nổi tiếng với định lý vè xác suất có điều kiện Phần này nhắc lại một số kiến thức về xác suất cần thiết cho những nội dung tiếp theo. Không chỉ nhắc lại, chúng ta nghiên cứu sâu thêm những tính chất liên quan đến các sự kiện có tính logic [1. 0] hoặc [T (đúng), F (sai)] có tính ứng dụng nhiều trong học máy. Sau đó cung cấp ví dụ và bài toán dự báo sử dụng thuật toán Bayes.
4.1.1. Các tiên đề xác suất
Giả sử A, B là các biến ngẫu nhiên (hoặc các sự kiện, hoặc các biến cố). Khi sử dụng trong suy diễn xác suất, ta có ba tiên đề xác suất như sau:
1) (0=0%) ≤ P (A) ≤ (1=100%).
(4.1)
Trong đó, P(A) là xác suất của sự kiện A; P(A)∈R (số thực). Ví dụ, trong bảng cơ sở dữ liệu
thời tiết, nếu gọi A là sự kiện có (yes) số ngày chơi Tennis là m=9 trong tổng số các ngày thử nghiệm n=14 ngày thử nghiệm thì P(A)=9/14)∈R. Đây là tiên đề áp dụng cho các sự kiện liên
tục, rời rạc. Hai tiên đề dưới đây liên quan tới các sự kiện rời rạc hay sự kiện nhận giá trị logic (1 hoặc 0).
2) P(A=true)=1; P(A=false) = 0. (4.2)
Sự kiện A có thể nhận một trong hai giá trị true (đúng) và false (sai). Ví dụ, cho A là mệnh đề
hay sự kiện “Ngày có (True) đi chơi Tennis” có thể nhận giá trị đúng (hoặc 1) hoặc mệnh đề hay sự kiện “Ngày khơng (False) đi chơi Tennis” có thể nhận giá trị sai (hoặc 0).
3) P(AvB)=P(A)+P(B)–P(A∧B) (4.3)
Có thể minh họa tiên đề thứ 3 bằng biểu đồ Venn, với giả sử tập các sự kiện A và B giao nhau
Một cách tổng quát cho tiên đề 3, khi có nhiều sự kiện ngẫu nhiên Xi; i=1..n là sự kiện ngẫu nhiên không giao nhau:
P (4.3’)
Ghi chú: Trường hợp sự kiện A và B không giao nhau: P(AvB)=P(A)+P(B)
4.1.2. Các tính chất xác suất
Ngồi các tiên đề trên, xác suất có một số tính chất quan trọng sau
1) P(¬A)=1–P(A) (4.4)2) P(A)=P(A^B)+P(A^¬B) (4.5) 2) P(A)=P(A^B)+P(A^¬B) (4.5)
B nhận giá trị nhị phân.
3) Σa P(A=a) = 1 (4.6) trong đó, tổng lấy theo các giá trị a thuộc miền giá trị của A, a∈A
4.1.3. Xác suất với biến ngẫu nhiên đa trị
Ở trên ta đã xét trường hợp biễn ngẫu nhiên có thể nhận một trong hai giá trị true hoặc false. Trong suy diễn nói chung, biễn ngẫu nhiên có thể nhận một trong nhiều hơn hai giá trị. Trong phần này ta sẽ xem xét các tính chất xác suất cho trường hợp biến ngẫu nhiên đa trị.
Giả sử A là biến ngẫu nhiên có thể nhận một trong n giá trị {v1, v2, …, vn}. Do A chỉ có thể nhận một trong các giá trị này nên hai sự kiện (A=vi) và (A= vj) không thể đồng thời đúng nếu i≠j, do vậy:
P(A=vi∧A=vj)=0
(4.7)
Tiếp theo, do ít nhất một trong các sự kiện (A= vi), i=1,…,n phải đúng nên:
P(A= v1∨A=v2 ∨...∨A= vn)=1
Sử dụng các tiên đề xác suất và hai tính chất trên, có thể chứng minh:
P(A=v1∨A=v2∨...∨A=vk )=∑P(A=vi), với k ≤ n, i=1..k.
P(A) , P(B) P(A) P(B)
P (A v B) = P (A) + P (B) – P (A ∧ B) P(AvB)=P(A)+P(B) P(A∧B)
do đó có thể suy ra:
P(A=vi) =1
Tiếp theo, giả sử B là biến ngẫu nhiên nhị phân. Sử dụng tiên đề xác suất và các tính chất trên, có thể chứng minh:
P(B∧[A=v1 ∨A=v2 ∨... ∨A=vk ]) =∑P(B∧A=vi )
Từ đây suy ra:
P(B) =∑P(B∧A=vi )
Các tính chất nói trên sẽ được sử dụng khi trình bầy các vấn đề liên quan tới suy diễn cho trường hợp biến ngẫu nhiên đa trị trong các phần sau.
4.1.4. Xác suất của các sự kiện xảy ra đồng thời
Xác suất của các sự kiện xẩy ra đồng thời là xác suất quan sát được khi đồng thời xẩy ra các sự kiện đó. Xác suất đồng thời quan sát thấy các sự kiện V1 = v1, và V2 = v2, …, Vn = vn được ký hiệu như sau:
P (V1=v1 ∧V2=v2∧…∧Vn=vn) hoặc theo luật suy diễn nhập hội:
P (V1=v1, V2 = v2, …, Vn = vn)
Một bài toán suy diễn xác suất gồm n biến ngẫu nhiên, mỗi biến có thể nhận một số giá trị rời rạc với những xác suất nhất định. Phân bố xác suất đồng thời xác định xác suất xẩy ra từng tổ hợp giá trị của tất cả n biến ngẫu nhiên.
Phân bố xác suất đồng thời đóng vai trị quan trọng trong suy diễn xác suất. Với một bài toán suy diễn xác suất, nếu chúng ta biết phân bố xác suất đồng thời tức là xác suất tất cả các tổ hợp giá trị của các biến liên quan thì ta có thể tính được xác suất mọi mệnh đề liên quan tới bài toán đang xét.
Ví dụ: Cho 3 biến nhị phân (True, False): “Chim”, “Non”, “Bay được”. Ta có các xác suất đồng
thời cho trong bảng 4.1. Mỗi d ng trong bảng này tương ứng với một tổ hợp giá trị của ba biến ngẫu nhiên đang xét. Số d ng trong bảng bằng tổng số tổ hợp có thể có, tức là 23 trong trường hợp này và 2m trong trường hợp ta có m biến nhị phân. Cột ngoài cùng bên phải của bảng chứa xác suất xẩy ra tổ hợp giá trị tương ứng. Lưu ý rằng, theo các tiên đề xác suất, tổng của tất cả các xác suất đồng thời trong bảng phải bằng 1.
Từ bảng xác suất này, ta có thể tính giá trị mọi xác suất liên quan tới 3 biến của bài tốn. Sau đây là ví dụ tính một số xác suất:
Xác suất một vật nào đó là “chim”:
P(Chim=T)= 0+ 0,2+0,04+0.01= 0,25. Xác suất “chim không biết bay”:
P(Chim=T, Bay= F)= 0,04 + 0,01=0,05.
Trường hợp tổng quát
Trong trường hợp tổng quát, xác suất của bất cứ tổ hợp giá trị E nào của một hoặc nhiều trong số n biến có thể tính từ bảng xác suất đồng thời của n biến đó như sau:
Có thể dễ dàng kiểm tra các ví dụ trên là những trường hợp riêng của cơng thức này. Chẳng hạn, ở ví dụ “chim khơng biết bay”, E là (Chim=T, Bay=F) và P(E) bằng tổng xác suất ở các dạng có Chim=T và Bay=F.
Bảng 4.1. Ví dụ bảng xác suất đồng thời cho ba biến nhị phân Chim Bay được Non Xác suất
T T T 0 T T F 0,2 T F T 0,04 T F F 0,01 F T T 0,01 F T F 0,01 F F T 0,23 F F F 0,5
4.4. Xác suất có điều kiện
Xác suất có điều kiện hay xác xuất Bayes. Ký hiệu P(A|B).
Trong công thức P(A|B); biến (hay sự kiện) A được gọi là biến hỏi;
biến (hay sự kiện) B được gọi là biến điều kiện, hay bằng chứng. 4.2.1. Định nghĩa
Xác suất có điều kiện, ký hiệu là P(A|B) là xác suất xẩy ra cả sự kiện A và cả sự kiện B đồng thời xảy ra, hay chung nhau (tức là: P(A∧B) hay tương đương với P(A, B) khi sự kiện B (hay biến cố
B đã xảy ra). Dễ dàng mô tả hay biểu diễn P(A|B) như sau:
P(A|B)=Xác suất củacác sự kiện A và B xẩy rađồng thờiXác suất củasự kiện B đã xẩy ra (4.8) Từ đó, dẫn tới cơng thức tốn học, mơ tả xác suất điều kiện theo định nghĩa như sau:
P(A|B) = P(A∧B)/P(B) (4.9) Quá trình suy diễn theo Bayes là q trình tính xác suất điều kiện của kết luận khi biết bằng chứng (bằng chứng có thể ký hiệu là E: (Evidence). Cụ thể, khi biết các bằng chứng E1, …, En, suy diễn xác suất được thực hiện bằng cách tính xác suất điều kiện P(Q|E1, …, En), tức là niềm tin kết luận Q (Query) đúng khi có các bằng chứng E1, …, En.
Ví dụ
Để hiểu rõ hơn về ý nghĩa của xác suất điều kiện, xét ví dụ với sơ đồ Venn được thể hiện trên hình vẽ dưới đây. Trong hình vẽ, hình chữ nhật bên ngoài thể hiện thế giới U (Univese: tập vũ trụ) của bài toán, trong trường hợp này là tồn bộ người trên trái đất chẳng hạn. Hình chữ nhật C là tập con, thể hiện tập hợp những người bị bệnh cúm và hình chữ nhật Đ là tập hợp những người bị đau
đầu. P(C) là xác suất một người bị cúm và tính bằng tỷ lệ hình chữ nhật C so với hình chữ nhật to, ở đây là số người được khảo sát. Tương tự, P(Đ) là xác suất một người bị đau đầu. Phần giao của C và
P(C)=1/40; P(Đ)=1/10; P(C∧Đ)=1/80
Theo hình vẽ, cả cúm và đau đầu đều có xác suất khơng lớn. Tuy nhiên, nếu ta biết một người bị cúm, tức là nằm trong hình chữ nhật C thì sẽ có 1/2 xác suất người đó nằm trong hình chữ nhật Đ, tức là 50% xác suất người đó bị đau đầu. Nói cách khác, ta có:
P(Đ|C) =P(C∧Đ)/P(C)=1/80*1/40=1/2
4.2.2. Các tính chất của xác suất điều kiện
1) Qui tắc nhân
P(A, B)=P(A∧B)=P(A|B)*P(B) (4.10)