Chương 3 Các đại lượng thông tin 3 1 Lượng tin riêng 3 2 Entropy 3 3 Lượng tin tương hỗ 3 4 Nguồn tin 3 5 Kênh 3 6 Phối hợp nguồn – kênh CuuDuongThanCong com https //fb com/tailieudientucnttcu u d uo[.]
.c o co u du on g th an 3.1 Lượng tin riêng 3.2 Entropy 3.3 Lượng tin tương hỗ 3.4 Nguồn tin 3.5 Kênh 3.6 Phối hợp nguồn – kênh ng Chương Các đại lượng thông tin CuuDuongThanCong.com https://fb.com/tailieudientucntt .c o ng 3.1 Lượng tin riêng co Lưu ý: u du on g th an • Một nguồn có mơ hình biến ngẫu nhiên • Thông tin khái niệm trừu tượng mô tả hiểu biết đối tượng xung quanh ta Thông tin thu thông qua làm chưa biết hay bất ngờ (bất định) đối tượng Lượng tin riêng tin độ bất định tin Tính tốn lượng tin riêng thơng qua tính tốn độ bất định Lượng tin riêng số đơn vị thông tin chứa tin, hay cịn gọi độ lớn thơng tin tin CuuDuongThanCong.com https://fb.com/tailieudientucntt .c o ng Độ đo độ bất định kiện shannon đề xuấttừ 1948 Theo lý thuyết độ đo: co an Độ bất định tỷ lệ nghịch với xác suất xuất kiện Tức hàm f(1/p(x)) P(x) xác suất xuất kiện x th Để đảm bảo tính tuyến tính, độ bất định phải đo hàm log(1/(p(x)) Hai kiện x y độc lập với có xác suất xuất đồng thời p(x,y) = p(x)p(y) Vậy log(1/(p(x)p(y)) = log(1/(p(x)) + log(1/(p(y)) on g 0