PowerPoint Presentation Suy diễn xác suất Ngô Xuân Bách Học viện Công nghệ Bưu chính Viễn thông Khoa Công nghệ thông tin 1 Nhập môn trí tuệ nhân tạo Nội dung http //www ptit edu vn2 Vấn đề suy diễn[.]
Học viện Cơng nghệ Bưu Viễn thơng Khoa Cơng nghệ thơng tin Nhập mơn trí tuệ nhân tạo Suy diễn xác suất Ngô Xuân Bách Nội dung Vấn đề suy diễn điều kiện không rõ ràng Nguyên tắc suy diễn xác suất Một số khái niệm xác suất http://www.ptit.edu.vn Vấn đề suy diễn điều kiện không rõ ràng (1/2) Logic o o Cho phép biểu diễn tri thức suy diễn Đòi hỏi tri thức rõ ràng, đầy đủ, chắn, không mâu thuẫn Thế giới thực o Ln có yếu tố khơng rõ ràng, thiếu thơng tin, có mâu thuẫn http://www.ptit.edu.vn Vấn đề suy diễn điều kiện không rõ ràng (2/2) Các yếu tố ảnh hưởng tới tính rõ ràng, chắn tri thức, thơng tin o Thơng tin có chứa đựng yếu tố ngẫu nhiên o Lý thuyết không rõ ràng o Không thể biểu diễn yếu tố Sai số lấy thông tin từ môi trường Không đủ thông tin xét nghiệm bệnh nhân Các yếu tố liên quan tới toán lớn, phức tạp o Ví dụ khơng biết hết chế gây bệnh Thiếu thông tin thực tế o Khi chơi bài, tung đồng xu Các thiết bị đo có sai số http://www.ptit.edu.vn Các cách tiếp cận Logic đa trị o Cho phép sử dụng nhiều giá trị hơn, “đúng” “sai” Logic mờ o Biểu thức nhận giá trị “đúng” với giá trị khoảng [0,1] Lý thuyết khả o Các kiện hay công thức gán số thể khả xảy kiện Suy diễn xác suất o Kết suy diễn trả xác suất kiện hay công thức http://www.ptit.edu.vn Nội dung Vấn đề suy diễn điều kiện không rõ ràng Nguyên tắc suy diễn xác suất Một số khái niệm xác suất http://www.ptit.edu.vn Nguyên tắc suy diễn xác suất (1/2) Thay suy diễn tính “đúng” “sai” mệnh đề (2 giá trị), suy diễn “niềm tin” mệnh đề hay sai (vơ số giá trị) o o o o Gắn cho mệnh đề số đo giá trị niềm tin Biểu diễn mức đo niềm tin giá trị xác suất, sử dụng lý thuyết xác suất để làm việc với giá trị Với mệnh đề 𝐴 Gán xác suất 𝑃(𝐴): ≤ 𝑃(𝐴) 1; 𝑃(𝐴) = 𝐴 đúng, 𝑃(𝐴) = 𝐴 sai 𝑃 (𝐶ả𝑚 = 𝑡𝑟𝑢𝑒) = 0.6 : người bệnh bị cảm với xác suất 60%, “Cảm” biến ngẫu nhiên nhận giá trị {𝑇𝑟𝑢𝑒, 𝐹𝑎𝑙𝑠𝑒} 𝑃(𝑡𝑟ờ𝑖 = 𝑛ắ𝑛𝑔 ∧ 𝑔𝑖ó = 𝑚ạ𝑛ℎ) = 0.8: ta tin trời nắng gió mạnh với xác suất 80%, trời biến ngẫu nhiên nhận giá trị {𝑛ắ𝑛𝑔, 𝑚ư𝑎, 𝑢 á𝑚}, gió biến ngẫu nhiên nhận giá trị {𝑚ạ𝑛ℎ, 𝑦ế𝑢, 𝑡𝑟𝑢𝑛𝑔 𝑏ì𝑛ℎ} Ví dụ: http://www.ptit.edu.vn Nguyên tắc suy diễn xác suất (2/2) Bản chất xác suất sử dụng suy diễn o Bản chất thống kê: dựa thực nghiệm quan sát o Không phải xác định Xác suất dựa chủ quan: mức độ tin tưởng, niềm tin kiện sai chúng chuyên gia, người dùng Được sử dụng suy diễn xác suất Thu thập thông tin o o o Xác định tham số liên quan tới tốn: ví dụ “màu”, “đẹp” Mỗi tham số biến ngẫu nhiên Mỗi biến ngẫu nhiên nhận số giá trị rời rạc miền giá trị biến o Có thể {𝑇𝑟𝑢𝑒, 𝐹𝑎𝑙𝑠𝑒} nhiều giá trị hơn: {đỏ, 𝑥𝑎𝑛ℎ, 𝑣à𝑛𝑔} VD: 𝑃(𝑚à𝑢 = đỏ) = 0.09; 𝑃(¬đẹ𝑝) = 0.2 http://www.ptit.edu.vn Nội dung Vấn đề suy diễn điều kiện không rõ ràng Nguyên tắc suy diễn xác suất Một số khái niệm xác suất http://www.ptit.edu.vn Các tiên đề xác suất số tính chất Các tiên đề xác suất 𝑃(𝐴 = 𝑎) 1 với 𝑎 thuộc miền giá trị 𝐴 𝑃(𝑇𝑟𝑢𝑒) = 1, 𝑃(𝐹𝑎𝑙𝑠𝑒) = 𝑃(𝐴 ∨ 𝐵) = 𝑃(𝐴) + 𝑃(𝐵)– 𝑃(𝐴 ∧ 𝐵) Một số tính chất 𝑃(¬𝐴) = – 𝑃(𝐴) 𝑃(𝐴) = 𝑃(𝐴 ∧ 𝐵) + 𝑃(𝐴 ∧ ¬𝐵) 𝑎𝑃(𝐴 = 𝑎) = 1: tổng lấy theo giá trị 𝑎 thuộc miền giá trị 𝐴 10 http://www.ptit.edu.vn Xác suất đồng thời (1/2) Có dạng 𝑃(𝑉1 = 𝑣1, 𝑉2 = 𝑣2, … , 𝑉𝑛 = 𝑣𝑛) Phân bố xác suất đồng thời đầy đủ: bao gồm xác suất cho tất tổ hợp giá trị tất biến ngẫu nhiên Ví dụ: cho biến Bool: Chim, Non, Bay Chim (C) Non (N) 11 Bay (B) P T T T 0.0 T T F 0.2 T F T 0.04 T F F 0.01 F T T 0.01 F T F 0.01 F F T 0.23 F F F 0.5 http://www.ptit.edu.vn Xác suất đồng thời (2/2) Nếu có tất xác suất đồng thời, ta tính xác suất cho mệnh đề liên quan tới toán xét Ví dụ: o o 12 𝑃(𝐶ℎ𝑖𝑚 = 𝑇) = 𝑃(𝐶) = 0.0 + 0.2 + 0.04 + 0.01 = 0.25 𝑃(𝐶ℎ𝑖𝑚 = 𝑇, 𝐵𝑎𝑦 = 𝐹) = 𝑃(𝐶, ¬𝐵) = 𝑃(𝐶, 𝑁, ¬𝐵) + 𝑃(𝐶, ¬𝑁, ¬𝐵) = 0.2 + 0.01 = 0.21 http://www.ptit.edu.vn Xác suất điều kiện (1/2) Đóng vai trị quan trọng suy diễn o o Từ chứng suy xác suất kết Ví dụ: 𝑃(𝐴|𝐵) = tương đương 𝐵 ⇒ 𝐴 logic 𝑃(𝐴|𝐵) = 0.9 tương đương 𝐵 ⇒ 𝐴 với xác suất hay độ chắn 90% Với nhiều chứng (quan sát) 𝐸1 , … , 𝐸𝑛 tính 𝑃(𝑄|𝐸1 , … , 𝐸𝑛 ) tương đương: niềm tin 𝑄 biết 𝐸1 , … , 𝐸𝑛 khơng biết thêm Định nghĩa xác suất điều kiện 𝑃(𝐴∧𝐵) 𝑃(𝐵) o 𝑃(𝐴|𝐵) = o Ví dụ: tính 13 = 𝑃(𝐴,𝐵) 𝑃(𝐵) 𝑃(¬𝐶ℎ𝑖𝑚 | 𝐵𝑎𝑦) http://www.ptit.edu.vn Xác suất điều kiện (2/2) Các tính chất xác suất điều kiện o 𝑃(𝐴, 𝐵) = 𝑃(𝐴|𝐵)𝑃(𝐵) o Quy tắc chuỗi: 𝑃(𝐴, 𝐵, 𝐶, 𝐷) = 𝑃(𝐴|𝐵, 𝐶, 𝐷) 𝑃(𝐵|𝐶, 𝐷) 𝑃(𝐶|𝐷) 𝑃(𝐷) o Quy tắc chuỗi có điều kiện: 𝑃(𝐴, 𝐵|𝐶) = 𝑃(𝐴|𝐵, 𝐶) 𝑃(𝐵|𝐶) o Quy tắc Bayes: 𝑃(𝐴|𝐵) = o Bayes có điều kiện: 𝑃(𝐴|𝐵, 𝐶) = o 𝑃(𝐴) = 𝑏{𝑃(𝐴|𝐵 = 𝑏) 𝑃(𝐵 = 𝑏)}, tổng lấy theo tất giá trị 𝑏 𝐵 o 𝑃(¬𝐵|𝐴) = − 𝑃(𝐵|𝐴) 14 𝑃(𝐴) 𝑃(𝐵|𝐴) 𝑃(𝐵) 𝑃(𝐵|𝐴,𝐶) 𝑃(𝐴|𝐶) 𝑃(𝐵|𝐶) http://www.ptit.edu.vn Kết hợp nhiều chứng Ví dụ: o Tính 𝑃 (¬𝐶ℎ𝑖𝑚 | 𝐵𝑎𝑦, ¬𝑁𝑜𝑛) = 𝑃 (¬𝐶ℎ𝑖𝑚,𝐵𝑎𝑦,¬𝑁𝑜𝑛) 𝑃 (𝐵𝑎𝑦,¬𝑁𝑜𝑛) Trường hợp tổng quát: cho bảng xác suất đồng thời, tính o o 15 𝑃(𝑉1 = 𝑣1, … , 𝑉𝑘 = 𝑣𝑘 | 𝑉𝑘+1 = 𝑣𝑘+1 , … , 𝑉𝑛 = 𝑣𝑛) Tổng dịng có 𝑉1 = 𝑣1, … , 𝑉𝑛 = 𝑣𝑛 chia cho tổng dịng có 𝑉𝑘+1 = 𝑣𝑘+1 , … , 𝑉𝑛 = 𝑣𝑛 http://www.ptit.edu.vn Tính độc lập xác suất 𝐴 độc lập với 𝐵 𝑃(𝐴|𝐵) = 𝑃(𝐴) o o Ý nghĩa: biết giá trị 𝐵 không thêm thông tin 𝐴 Từ suy 𝑃(𝐴, 𝐵) = 𝑃(𝐴)𝑃(𝐵) 𝐴 độc lập có điều kiện với 𝐵 biết 𝐶 o o o 16 𝑃(𝐴|𝐵, 𝐶) = 𝑃(𝐴|𝐶) 𝑃(𝐵|𝐴, 𝐶) = 𝑃(𝐵|𝐶) Ý nghĩa: biết giá trị 𝐶 việc biết giá trị 𝐵 không cho ta thêm thông tin 𝐴 Suy 𝑃(𝐴, 𝐵|𝐶) = 𝑃(𝐴|𝐶)𝑃(𝐵|𝐶) http://www.ptit.edu.vn Sử dụng quy tắc Bayes Quy tắc Bayes đóng vai trị quan trọng suy diễn Để suy diễn cần biết 𝑃(𝐴|𝐵) thường 𝑃(𝐵|𝐴) dễ tính o 17 P(A)P(B|A) P(A|B) = P(B) Ví dụ: xác suất bị cúm đau đầu xác suất đau đầu bị cúm http://www.ptit.edu.vn Ví dụ (1/2) Một người có kết xét nghiệm dương tính với bệnh B Thiết bị xét nghiệm khơng xác hồn tồn o o Thiết bị cho kết dương tính 98% người có bệnh Thiết bị cho kết dương tính 3% người khơng có bệnh 0.8% dân số mắc bệnh Hỏi: Người có bị bệnh khơng? 18 http://www.ptit.edu.vn Ví dụ (2/2) Kí hiệu kiện có bệnh 𝐵, kiện xét nghiệm dương tính 𝐴 Theo kiện tốn ta có o o o 𝑃 𝐵 = 0.008, 𝑃 ¬𝐵 = − 0.008 = 0.992 𝑃 𝐴 𝐵 = 0.98, 𝑃 ¬𝐴 𝐵 = − 0.98 = 0.02 𝑃 𝐴 ¬𝐵 = 0.03, P ¬A ¬𝐵 = − 0.03 = 0.97 Cần so sánh xác suất 𝑃(𝐵|𝐴) 𝑃(¬𝐵|𝐴) Sử dụng quy tắc Bayes 𝑃 o 𝑃 𝐵𝐴 = o 𝑃 ¬𝐵 𝐴 = 𝐴𝐵 𝑃(𝐵) 𝑃(𝐴) 𝑃 𝐴 ¬𝐵 = 0.98∗0.008 𝑃(𝐴) 𝑃(¬𝐵) 𝑃(𝐴) = = 0.00784 𝑃(𝐴) 0.03∗0.992 𝑃(𝐴) = 0.02976 𝑃(𝐴) 𝑃 ¬𝐵 𝐴 > 𝑃 𝐵 𝐴 , không bị bệnh 19 http://www.ptit.edu.vn Chuẩn tắc hóa Để so sánh 𝑃 𝐵 𝐴 𝑃 ¬𝐵 𝐴 ta khơng cần tính cụ thể hai 𝑃 𝐵𝐴 giá trị xác suất này, thay vào ta tính 𝑃 ¬𝐵 𝐴 o Hai biểu thức có chung mẫu số 𝑃(𝐴) o Kết luận có bệnh hay khơng phụ thuộc vào giá trị 𝐵𝐴 lớn ¬𝐵 𝐴 𝑃 𝑃 hay nhỏ Khi cần tính cụ thể xác suất ta làm sau 𝑃 𝐴 𝐵 𝑃(𝐵) 𝑃 𝐴 ¬𝐵 𝑃(¬𝐵) 𝑃 𝐵 𝐴 + 𝑃 ¬𝐵 𝐴 = nên + =1 𝑃(𝐴) Do 𝑃 𝐴 = 𝑃 𝐴 𝐵 𝑃 𝐵 + 𝑃 𝐴 ¬𝐵 𝑃 ¬𝐵 Từ 𝑃 ¬𝐵 𝐴 = 0.79; 𝑃 𝐵 𝐴 = 0.21 20 𝑃(𝐴) = 0.00784 + 0.02976 = 0.0376 http://www.ptit.edu.vn ... kiện Suy diễn xác suất o Kết suy diễn trả xác suất kiện hay cơng thức http://www.ptit.edu.vn Nội dung Vấn đề suy diễn điều kiện không rõ ràng Nguyên tắc suy diễn xác suất Một số khái niệm xác suất. .. dung Vấn đề suy diễn điều kiện không rõ ràng Nguyên tắc suy diễn xác suất Một số khái niệm xác suất http://www.ptit.edu.vn Các tiên đề xác suất số tính chất Các tiên đề xác suất