7/2/2010 1 Chương 1: Các khái niệm căn bản 1.2 Đo thông tin 7/2/2010Huỳnh Văn Kha 2 ðộ không chắc chắn có ñiều kiện và là hai biến ngẫu nhiên • ðộ không chắc chắn của với ñiều kiện • ðộ không chắc chắn của với ñiều kiện là trung bình theo trọng lượng của , nghĩa là: 7/2/2010 2 7/2/2010Huỳnh Văn Kha 3 ðịnh lý 1.4 Chứng minh: Do nên ta có ñiều cần chứng minh 7/2/2010Huỳnh Văn Kha 4 ðịnh lý 1.5 Dấu bằng xảy ra khi và chỉ khi và ñộc lập Chứng minh: Theo ñịnh lý 1.4 thì: Theo ñịnh lý 1.3 thì: Dấu bằng xảy ra khi và chỉ khi , ñộc lập Từ hai ñiều này ta suy ra ñiều cần chứng minh 7/2/2010 3 ðo thông tin • Có 2 đồng xu, một đồng cân bằng, một đồng có 2 mặt đều xấp. • Chọn ngẫu nhiên một đồng, tung hai lần. • Nếu biết tổng số mặt xấp của hai lần tung thì ta biết gì về đồng xu được chọn? • Nếu số mặt xấp ít hơn 2 thì đồng xu được chọn là đồng xu cân bằng ngược lại thì không chắc chắn • Kết quả một sự kiện có thể cho ta biết một số thông tin về các sự kiện khác 7/2/2010Huỳnh Văn Kha 5 ðo thông tin • Biết trước kết quả biến ngẫu nhiên Y, đại lượng nào sẽ đo lượng thông tin có thể biết được của biến ngẫu nhiên X? • Gọi X là biến ngẫu nhiên nhận giá trị 0 nếu đồng xu cân bằng được chọn, nhận giá 1 nếu đồng xu còn lại được chọn, Y là tổng số mặt xấp 7/2/2010Huỳnh Văn Kha 6 0 1 0 1 2 1/4 1/4 1/2 1 X Y 7/2/2010 4 ðo thông tin • Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc chắn cần xác định là H(X) • Sau khi biết được tổng số mặt xấp thì độ không chắc chắn cần xác định chỉ còn là H(X|Y) • Do đó người ta định nghĩa lượng thông tin thu được về biến X khi biết Y là: I(X|Y) = H(X) – H(X|Y) • I(X|Y) được sử dụng nhiều trong việc truyền tải thông tin qua kênh bị nhiễu, mà ta sẽ xét kỹ trong chương 3 7/2/2010Huỳnh Văn Kha 7 7/2/2010Huỳnh Văn Kha 8 Một số tính chất của • Do ñịnh lý 1.5, ta thấy , dấu bằng xảy ra khi và chỉ khi , ñộc lập • Theo ñịnh lý 1.4: Do ñó: Nhưng: Vậy: 7/2/2010 5 • Tính I(X|Y) trong ví dụ trên? • Tính I(Y|X) trong ví dụ trên? • Chú ý: 7/2/2010Huỳnh Văn Kha 9 Nếu ta biết trước các xác xuất thì nên tính theo công thức . 7 /2/ 2010 1 Chương 1: Các khái niệm căn bản 1 .2 Đo thông tin 7 /2/ 2010Huỳnh Văn Kha 2 ðộ không chắc chắn có ñiều kiện và là hai biến ngẫu. bình theo trọng lượng của , nghĩa là: 7 /2/ 2010 2 7 /2/ 2010Huỳnh Văn Kha 3 ðịnh lý 1.4 Chứng minh: Do nên ta có ñiều cần chứng minh 7 /2/ 2010Huỳnh Văn Kha 4 ðịnh lý 1.5 Dấu bằng. chọn, nhận giá 1 nếu đồng xu còn lại được chọn, Y là tổng số mặt xấp 7 /2/ 2010Huỳnh Văn Kha 6 0 1 0 1 2 1/4 1/4 1 /2 1 X Y 7 /2/ 2010 4 ðo thông tin • Khi chọn ngẫu nhiên 1 đồng xu thì độ không chắc chắn