Truyền thông từ điểm tới điểm

Thông tin tương hỗ (Mutual information): là đại lượng đo lượng thông

tin mà một biến ngẫu nhiên chứa một biến ngẫu nhiên khác.

Định nghĩa 1.4: Thông tin tương hỗ I(X;Y) được định nghĩa là:

2 ( , ) X Y (x, y) (X, Y) (x, y) log (x) p(y) x y p I p p     , (1.4)

Quan hệ giữa thông tin Entropy và thông tin tương hỗ. Từ các công thức (1.2),(1.2),và (1.4) suy ra đẳng thức sau:

(X;Y) H(X) H(X | Y) H(Y) H(Y | X)

I     , (1.5)

Vì vậy thông tin tương hổ I(X;Y) tương ứng với mức giảm độ bất định của Xvới tri thức về Y hoặc tương đương, mức giảm độ bất định của Y với tri thức về X . Giải thích tương tự về quan hệ giữa entropy vi phân và thông tin tương hỗ cũng dùng cho các biến ngẫu nhiên liên tục.

1.3.2 Truyền thông từ điểm tới điểm

Mô hình hệ thống truyền thông được giới thiệu bởi Claude E. Shannon trong bài báo [4] và đã đặt nền tảng cho lĩnh vực lý thuyết thông tin. Trong mô hình này, máy phát mong muốn gửi thông điệp W đến máy nhận. Thông điệp này phải được gửi thông qua các kênh truyền thông, là một đại diện của môi trường vật lý được chia sẽ bởi máy phát và máy thu.

Hình 1.13: Mô hình truyền thông điểm đến điểm

Mục đích của Shannon là cung cấp các công cụ toán học cho việc phân tích hệ thống truyền thông. Đặc biệt, Shannon đã giới thiệu một phương pháp

diện như là một kênh không bộ nhớ rời rạc (DMC: Discrete Memoryless Channel), được định nghĩa bởi hai tập hữu hạn X và Y và một tập hợp các hàm khối xác suất (PMF) (x | y). Tập hợp các xác suất chuyển tiếp (y | x) mô tả cách xử lý của kênh.

Thuộc tính không bộ nhớ có nghĩa là nếu n

X được truyền trên n kênh, khi đó đầu ra Yi ở thời điểm thứ i1,...,n được phân bố theo  1

| xi i i y y   (y | x )i i 

 . Mặt khác, đầu ra của kênh ở thời điểm thứ i chỉ phụ thuộc vào đầu vào ở thời điểm thứ i, thông qua xác suất chuyển tiếp yi| xi. Thuộc tính không bộ nhớ hàm ý rằng, không có thông tin phản hồi.

1 (y | x ) ( | ) n n n i i i p y x    , (1.6)

Một tham số quan trọng của hệ thống truyền thông là tốc độ truyền thông tin. Nó đặc trưng cho tỷ lệ của thông tin mà máy phát có thể truyền qua kênh truyền đến máy thu.

Một cách chính thức tỷ lệ truyền thông có thể được định nghĩa như sau: - Cho thông điệp W được chọn đồng dạng từ tập hữu hạn  kích thước M - Bộ mã hóa gắn giá trị từ mã xn( ) n đối với mỗi thông điệp w - Bộ giải mã gắn giá trị ước lượng Wˆ hoặc một thông điệp lỗi cho chuỗi nhận được n n

y Y .

- Sau đó tỷ lệ truyền thông được cho bởi công thức:

log(M)

R

n

 

   bist mỗi lần truyền. (1.7) và gọi tương ứng là mã 2 ,nR n. Bây giờ một câu hỏi cơ bản phát sinh là tỷ lệ tối đa R lúc truyền một cách đáng tin Wlà gì ?

Như một phép đo về sự tin cậy, xác suất trung bình của lỗi mã 2 ,nR n

được tính theo công thức :

    (n) 1 ˆ ˆ w w | w | e w W p p w p w       , (1.8)

Một tỷ lệ R được nói rằng có thể đạt được nếu tồn tại một chuỗi m 2 ,nR n

sao cho ( )

0

n e

p  khi n . Sau đó, dung lượng C của kênh không bộ nhớ rời rạc (DMC) được định nghĩa là cận trên đúng (supremum) của tất cả các tỉ lệ đạt được. Nghĩa là C là câu trả lời chính xác của câu trả lời cho câu hỏi trên, và cho bất kỳ tỷ lệ RCnào, việc truyền Wvới một xác suất trung bình thấp tùy ý của lỗi là có thể.

Trong công trình ban đầu của mình [4] Shannon đã thiết lập định lý cơ bản sau đây.

Định lý mã hóa kênh: Dung lượng của kênh không bộ nhớ rời rạc, DMC (X Y, , (y | x) ) được cho bởi công thức:

( ) (X;Y)

x

C max I



 , (1.9)

Do đó, dung lượng của kênh không bộ nhớ rời rạc (DMC) có thể được suy ra bằng cách giải quyết vấn đề tối đa hóa trên tất cả các phân phối đầu vào có thể. Việc tối ưu hóa này có thể là khó khăn cho các kênh nhất định, nhưng ngoài ra có thể tìm giới hạn trên và dưới của dung lượng. Nếu các giới hạn này xảy ra đồng thời, thì dung lượng được tìm thấy.