XÁC SUẤT VS THỐNG kê

XÁC SUẤT VS THỐNG KÊ PHẠM ĐĂNG QUYẾT phamdangquyet@gmail.com GIỚI THIỆU Xác suất thống kê (Probability and statistics) hai ngành học liên quan riêng biệt XÁC SUẤT ■ Từ xác suất (probability) bắt nguồn từ chữ probare tiếng Latin có nghĩa "để chứng minh, để kiểm chứng" Nói cách đơn giản, probable nhiều từ dùng để kiện kiến thức chưa chắn, thường kèm với từ "có vẻ là", "mạo hiểm", "may rủi", "không chắn" hay "nghi ngờ", tùy vào ngữ cảnh "Cơ hội" (chance), "cá cược" (odds, bet) từ cho khái niệm tương tự ■ Xác suất chính là khái niệm nói đến tính khả xác suất xảy các kiện, vật tương lai mà khả xảy kiện này sẽ không có bất kì điều gì có thể dự đoán chính xác ■ Lý thuyết xác suất ngành toán học chuyên nghiên cứu xác suất phát triển vào kỷ 17 Lý thuyết xác suất biểu diễn khái niệm xác suất thuật ngữ hình thức - nghĩa thuật ngữ mà xác định cách độc lập với ý nghĩa Các tḥt ngữ hình thức thao tác quy luật toán học logic, kết thu sẽ chuyển dịch trở lại miền (domain) toán THỐNG KÊ ■ Thuật ngữ “thống kê” tiếng Anh “statistics” có gốc từ “state” (nghĩa quốc gia), nguồn gốc La tinh “statisticum collegium” nghĩa “hội đồng quốc gia” Theo tiếng Đức, “statistik” có nghĩa gốc “cơng tác liệu quốc gia” ■ Ban đầu, thống kê dùng để diễn tả hoạt động ghi chép số liệu quốc gia dân số, tài sản, thuế Thống kê cho bắt đầu văn minh cổ xưa, từ cuối kỷ thứ TCN, kỷ 18 chịu ảnh hưởng nhiều từ số học lý thuyết xác suất Xác suất trở thành công cụ thống kê ■ Thống kê phần toán học khoa học gắn liền với tập hợp liệu, phân tích, giải thích thảo luận vấn đề đó, trình bày liệu Có thể xem thống kê môn khoa học riêng biệt khơng phải nhánh tốn học, phần khoa học liệu Mục tiêu cuối chuyển liệu thành kiến thức hiểu biết giới xung quanh GIỚI THIỆU Xác suất thống kê (Probability and statistics) hai ngành học liên quan riêng biệt XÁC SUẤT THỐNG KÊ John Wilder Tukey (1915 – 2000) was an American mathematician best known for development of the Fast Fourier Transform (FFT) algorithm and box plot XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ ■ ■ Lý thuyết xác suất ngành toán học chuyên nghiên cứu xác suất Lý thuyết thống kê liên quan tới lập luận logic giải thích phương pháp tiếp cận kết luận thống kê, bao gồm toán thống kê XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ ■ Thuật ngữ ■ Thuật ngữ ■ NGẪU NHIÊN VÀ XÁC SUẤT ■ TỔNG THỂ VÀ MẪU ■ Một tượng ngẫu nhiên có các kết cục dự đoán trước lại có quy luật phân bố định sau nhiều lần lặp lại thử nghiệm ■ Toàn nhóm các cá thể mà muốn có thơng tin nó gọi là tổng thể ■ Một mẫu là phần tổng thể mà thực tế khảo sát để thu thập thông tin ■ THAM SỐ VÀ THỐNG KÊ ■ Tham số số diễn tả tổng thể Một tham số số cố định, thực tế khơng biết giá trị ■ Thống kê số diễn tả mẫu Giá trị thống kê biết lấy mẫu, thay đổi theo mẫu thường sử dụng thống kê để ước lượng tham số chưa biết ■ Xác suất biến cố là tỉ lệ số lần xuất biến cố đó sau nhiều lần lặp lặp lại thử nghiệm tượng ngẫu nhiên ■ KHÔNG GIAN MẪU VÀ BIẾN CỐ ■ Không gian mẫu S tượng ngẫu nhiên là tập hợp tất các kết cục có thể xảy ■ Biến cố là kết cục tập hợp các kết cục tượng ngẫu nhiên Một biến cố tập không gian mẫu XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ ■ Thuật ngữ ■ Thuật ngữ ■ MƠ HÌNH XÁC SUẤT ■ THỐNG KÊ MƠ TẢ ■ Sự mơ tả tượng ngẫu nhiên ngôn ngữ toán học gọi là mô hình xác suất ■ ■ Biến ngẫu nhiên là biến lấy các giá trị số xác định kết cục tượng ngẫu nhiên Dữ liệu: Dữ liệu là các số ngữ cảnh cụ thể, và cần hiểu ngữ cảnh đó muốn làm các số trở nên có nghĩa ■ Phân bố xác suất biến ngẫu nhiên X cho ta biết các giá trị có thể có X là gì và xác suất tìm cho các giá trị đó Các biến: Bất kỳ tệp liệu nào chứa các thông tin nhóm nào đó các cá thể Thông tin tổ chức vào các biến ■ Phân bố biến cho biết nó nhận trị số nào và nhận trị số đó lần ■ XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ ■ QUY LUẬT SỐ LỚN ■ ■ Phân bố xác suất chuẩn ■ Trung bình, phương sai độ lệch chuẩn biến ngẫu nhiên ■ Quy luật số lớn trung bình các giá trị X nhiều lần thử phải tiến gần đến µ ■ Quy luật số lớn theo xác suất và thống kê cho kích thước mẫu tăng lên, giá trị trung bình nó sẽ gần với mức trung bình toàn tổng thể THỐNG KÊ MÔ TẢ - CÁC PHÂN BỐ XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ ■ ĐỊNH LÝ GIỚI HẠN TRUNG TÂM ■ ■ Định lý giới hạn trung tâm tuyên bố n lớn, phân bố mẫu 𝑥 gần phân bố Chuẩn N(μ, σ/ 𝑛 ) cho tổng thể với trung bình μ độ lệch chuẩn hữu hạn σ ■ THỐNG KÊ SUY LUẬN – KHOẢNG TIN CẬY Khi cỡ mẫu tăng lên, phân bố lấy mẫu trung bình sẽ xấp xỉ phân phối chuẩn Điều không phân biệt hình dạng phân bố các giá trị cá thể tổng thể XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ Xác suất: Tại sao? ■ Thống kê không chứng minh điều ? Nó hiển thị ngồi nghi ngờ hợp lý sai Do đó, sử dụng xác suất để nêu rõ mức độ tự tin việc sai lầm ■ THỐNG KÊ SUY LUẬN – SAI SÔ CHUẨN XÁC SUẤT VS THỐNG KÊ THỐNG KÊ XÁC SUẤT Xác suất có điều kiện ■ Xác suất mà biến cố A xảy ra, cho biến cố B xảy P( A | B)  ■ ■ P ( A and B ) P( B) Xác suất tiên nghiệm (prior probability) hay xác suất vô điều kiện (unconditional probability): xác suất kiện điều kiện tri thức bổ sung cho có mặt hay vắng mặt Xác suất hậu nghiệm (posterior probability ) hay xác suất có điều kiện (conditional probability): xác suất kiện biết trước hay nhiều kiện khác ■ SUY LUẬN BAYES ■ Định lý Bayes điều chỉnh các xác suất cho chứng theo cách sau đây: ■ H0 đại diện cho giả thuyết, gọi là giả thuyết không (null hypothesis) ■ P(H0) gọi là xác suất tiên nghiệm H0 ■ P(E|H0) gọi là xác suất có điều kiện việc quan sát thấy chứng E biết giả thuyết H0 ■ P(E) gọi là xác suất biên E hay chứng: xác suất việc chứng kiến chứng E tất các giả thuyết loại trừ đôi ■ P(H0|E) gọi là xác suất hậu nghiệm H0 biết E ■ XÁC SUẤT VS THỐNG KÊ XÁC SUẤT THỐNG KÊ Ý nghĩa việc kiểm định - Frequentist vs Bayesian ■ Bayes Factor (BF) ■ p-value ■ ■ Trong đó, tính t-score cho mẫu cụ thể từ phân bố mẫu có cỡ mẫu cố định tính Sau đó, p-values dự đốn Chúng ta giải thích p-values (lấy ví dụ trường hợp p-value = 0,02 cho phân bố có mean = 100): Có 2% xác suất mẫu có mean = 100 Bayes Factor tương đương với giá trị p thống kê Bayesian Hãy hiểu cách tồn diện ■ Null hypothesis Bayesian giả định phân bố xác suất ∞ giá trị cụ thể tham số (VD: θ = 0.5) xác suất không nơi khác (M1) ■ Sự giải thích có khiếm khuyết phân phối mẫu cỡ mẫu khác nhau, phải có t-scores khác từ có p-values khác Nó hồn tồn vơ lý Một p-value < 0.05 không đảm bảo giả thuyết null sai p-values lớn 5% không đảm bảo giả thuyết null ■ Giả thuyết thay (alternative hypothesis) tất giá trị θ có thể, đường cong dẹt đại diện cho phân bố (M2) ■ Bây giờ, phân phối hậu nghiệm liệu biểu diễn hình ■ ■ ■ Trong bảng A (thể bên): trái (M1) xác suất prior null hypothesis Trong bảng B (hiển thị), bên trái xác suất posterior null hypothesis Bayes Factor định nghĩa tỷ lệ posterior odds/prior odds Để bác bỏ giả thiết null, ưu tiên BF