Bài giảng Nhập môn Kỹ thuật truyền thông - Chương 3.1: Các đại lượng thông tin

Bài giảng Nhập môn Kỹ thuật truyền thông - Chương 3 (1): Các đại lượng thông tin cung cấp cho người học những nội dung chính sau: Lượng tin riêng, Entropy, lượng tin tương hỗ. Mời các bạn cùng tham khảo để biết thêm nội dung chi tiết.

.c o co u du on g th an 3.1 Lượng tin riêng 3.2 Entropy 3.3 Lượng tin tương hỗ 3.4 Nguồn tin 3.5 Kênh 3.6 Phối hợp nguồn – kênh ng Chương Các đại lượng thông tin CuuDuongThanCong.com https://fb.com/tailieudientucntt .c o ng 3.1 Lượng tin riêng co Lưu ý: u du on  g th an • Một nguồn có mơ hình biến ngẫu nhiên • Thông tin khái niệm trừu tượng mô tả hiểu biết đối tượng xung quanh ta Thông tin thu thông qua làm chưa biết hay bất ngờ (bất định) đối tượng  Lượng tin riêng tin độ bất định tin  Tính tốn lượng tin riêng thơng qua tính tốn độ bất định Lượng tin riêng số đơn vị thông tin chứa tin, hay cịn gọi độ lớn thơng tin tin CuuDuongThanCong.com https://fb.com/tailieudientucntt .c o ng Độ đo độ bất định kiện shannon đề xuấttừ 1948  Theo lý thuyết độ đo: co  an Độ bất định tỷ lệ nghịch với xác suất xuất kiện Tức hàm f(1/p(x)) P(x) xác suất xuất kiện x th Để đảm bảo tính tuyến tính, độ bất định phải đo hàm log(1/(p(x)) Hai kiện x y độc lập với có xác suất xuất đồng thời p(x,y) = p(x)p(y) Vậy log(1/(p(x)p(y)) = log(1/(p(x)) + log(1/(p(y)) on g 0