tổng quan về bài giảng lý thuyết thông tin bài giảng lý thuyết thông tin

Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng năm 2013 Chương XÁC SuẤT MA TRẬN XÁC SUẤT (Probability)  1.1 THÍ NGHIỆM NGẪU NHIÊN, KHƠNG GIAN MẪU, BIẾN CỐ: 1.1.1 Thí nghiệm ngẫu nhiên (Random Experiment) Thí nghiệm ngẫu nhiên thí nghiệm có hai đặc tính : -Khơng biết hậu xảy -Nhưng biết hậu xảy Ví dụ: Tung xúc sắc thí nghiệm ngẫu nhiên : -Ta khơng biết mặt xuất -Nhưng biết có trường hợp xảy (xúc sắc có mặt 1, 2, 3, 4, 5, 6) Ràng buộc: -Con xúc sắc đồng chất để mặt xuất -Cách tung xúc sắc không cố ý thiên vị cho mặt 1.1.2 Không gian mẫu (Sample Space) Tập hợp hậu xảy thí nghiệm ngẫu nhiên gọi khơng gian mẫu thí nghiệm Ví dụ: Khơng gian mẫu thí nghiệm thảy xúc xắc là: E = {1, 2, 3, 4, 5, 6} Không gian mẫu thí nghiệm thảy lúc hai đồng xu là: E = {SS, SN, NS, NN} với S: Sấp, N: Ngửa 1.1.3 Biến cố (Event) a) Biến cố -Mỗi tập hợp không gian mẫu biến cố -Biến cố chứa phần tử gọi biến cố sơ đẳng Ví dụ: Trong thí nghiệm thảy xúc sắc : -Biến cố mặt chẵn : {2, 4, 6} Biến cố mặt lẻ: {1, 3, 5} -Các biến cố sơ đẳng : {1}, {2}, {3}, {4}, {5}, {6} b) Biến cố xảy (hay thực hiện) Gọi r hậu xảy A biến cố: -nếu r ∈ A ta nói biến cố A xảy -nếu r ∉ A ta nói biến cố A khơng xảy Ví dụ: Trong thí nghiệm thảy xúc sắc mặt xuất thì: -Biến cố {2,4,6} xảy ∈{2, 4, 6} -Biến cố {1,3,5} khơng xảy ∉{1, 3, 5} Ghi chú: -φ⊂ E => φ biến cố ∀r, r ∉φ => φ biến cố vô phương (biến cố không) -E ⊂ E => E biến cố ∀ r, r ∈ E => E biến cố chắn 1.1.4 Các phép tính biến cố Cho biến cố A, B với A⊂ E B ⊂ E a) Biến cố hội A ∪ B (Union): Biến cố hội biến cố A B ký hiệu A ∪ B: A ∪ B xảy  (A xảy HAY B xảy ra) b) Biến cố giao A ∩ B (Intersection): A ∩ B xảy (A xảy VÀ B xảy ra) A∩B c) Biến cố phụ A (Biến cố đối lập, Component of A):A xảy  A không xảy d) Biến cố cách biệt ( biến cố xung khắc, mutually exclusive event) A cách biệt với B  A ∩ B = φ A cách biệt với B  A với B khơng xảy Ví dụ: Trong thí nghiệm thảy xúc sắc, ta có khơng gian mẫu: E = {1, 2, 3, 4, 5, 6} -Gọi A biến cố mặt lẻ xuất => A = {1, 3, 5} -Gọi B biến cố bội số xuất => B = {3, 6} -Gọi C biến cố mặt xuất => C = {4}, biến cố sơ đẳng Ta có: A ∪ B = {1, 3, 5, 6} A ∩ B = {3} A = {2,4,6} : biến cố mặt chẵn xuất A ∩ C = φ => A C biến cố cách biệt e) Hệ đầy đủ (Collectively Exhaustive) Gọi A1, A2…, Ak k biến cố không gian mẫu E Nếu A1∪ A2∪… ∪Ak = E K biến cố gọi hệ đầy đủ 1.2 XÁC SUẤT (Probability) 1.2.1 Định nghĩa: Nếu thông gian mẫu E có N biến cố sơ đẳng biến cố A có n biến cố sơ đẳng xác suất biến cố A : P(A) = n(A)/N Một cách khác ta viết : P(A) = Số trường hợp A xảy ra/Số trường hợp cóthể xảy Ví dụ: Trong thí nghiệm thảy xúc sắc, xác suất biến cố mặt chẵn xuất : P(A) =n(A)/N = 3/6=1/2 1.2.2 Tính chất: a Gọi A biến cố không gian mẫu E : ≤ P(A) ≤ b P (φ) = => φ Biến cố vô phương P (E) = => E Biến cố chắn 1.2.3 Công thức xác suất : a) Xác suất biến cố hội: P (A ∪ B) = P (A) + P(B) - P( A ∩ B) Chứng minh: Gọi N : số phần tử không gian mẫu E n1: số phần tử (A - B) n2: số phần tử (A∩B) n3: số phần tử (B - A) n(A ∪ B)=n1 + n2 + n3= n1+n2+n2+n3 –n2 = n(A) +n(B) -n(A ∩ B) Do : n( A ∪ B)/N = n(A)/N + n(B)/N - n(A ∩ B )/N P(A ∪ B) = P(A) + P(B) - P(A ∩ B) Ví dụ: Xác suất bắn trúng đích người 0,7 Nếu người bắn 25 phát Xác định sốlần có khả trúng đích Giải : n = 25, p = 0,7, q = 0,3 np - q ≤ k0 ≤ np + p 25 * 0,7 – 0,3 ≤ k0 ≤ 25 * 0,7 + 0,7 17,2 ≤ k0 ≤ 18,2 Vì k số nguyên, nên chọn k = 18 c) Các công thức gần để tính Pn (k) Pn (k1,k2) Các công thức rút từ định lý giới hạn Công thức Moixre - Laplace : Pn(k) ≈ϕ(xk)/ npq • Cơng thức Moixre - Laplace sử dụng n lớn • p xác suất biến cố A phép thử Bernoulli, p không gần xk = (k-np) / npq ϕ(x) = / 2π * e-x²/2 : hàm số Gauss Ví dụ: Xác suất để sản xuất chi tiết loại tốt 0.4.Tìm xác suất để 26 chi tiết sản xuất có 13 chi tiết loại tốt Vấn đề tìm P26(13) n = 26 p = 0.4 q = 0.6 xk = (k - np) / npq = 1,04 ϕ(xk) = ϕ(1,04) = 0,2323 P26(13) = ϕ(xk)/ npq = 0,2323/2,5 = 0,093 Pn (k1, k2) ≈∅ (β) -∅ (α)  α = (k1 ­ np)/            npq   β = (k2 ­ np)/           npq   ∅(x) = 1/  2π∫0 x e­x²/2dx : hàm Laplace chuẩn  Ví dụ: Một phân xưởng sản xuất bóng đèn đạt trung bình 70% sản phẩm loại tốt Tìm xác suất để 1000 bóng đèn có từ 652 đèn 760 bóng đèn loại tốt Xác suất phải tìm P1000 (652, 760) n = 1000, p = 0,7 q = 0,3 k1 = 652 k2 = 700 α = (k1 - np)/ npq = - 3,31 =>∅ (α) = ∅(-3,31) = 0,499520 β = (k2 - np)/ npq = 4,14 =>∅ (β) = ∅(4,14) = 0,499968 P1000 (652, 760) = ∅ (β) -∅ (α) = 0,999488 Cơng thức Poisson  • Nếu n →∞ và p → 0 sao cho np = λ (const) thì  Pn (k) ≈ (e­λλk) / k! Định lý Poisson cũng có thể dùng để tính  gần đúng Pn (k1,k2)  Ví dụ: Tổng sản phẩm xí nghiệp A quí 800 Xác xuất để sản xuất phế phẩm 0.005 Tìm xác suất : Có sản phẩm phế phẩm Có khơng q 10 sản phẩm bị hỏng Giải: n =800, p = 0,005 => λ = np = P800(3) = e-44³/3! = 0,1954 P800(0,10) = MA TRẬN Mơ tả:  Các dịng ngang ma trận gọi hàng cột thẳng đứng cột Hình dạng ma trận đặc trưng số hàng số cột (kích thước ma trận) k phần tử Ma trận thường viết thành bảng kẹp dấu ngoặc vuông "[" "]" (hoặc, hơn, dấu ngoặc "(" ")")  Thí dụ: Ma trận thường dùng để mô ta không gian trạng thái điều khiển tự động Các loại ma trận đặc biệt  Ma trận tam giác ma trận vuông chia thành hai loại ma trận tam giác ma trận tam giác   Ma trận tam giác phần tử nằm phía hạng tử có giá trị = 0, aij=0 với i>j Ma trận tam giác phần tử nằm phía hạng tử có giá trị khơng, aij=0 với i