CHƯƠNG 3 NHỮNG KẾT QUẢ CƠ BẢN TỪ LÝ THUYẾT THÔNG TIN
3.3 Các kênh truyền thông
3.3.2 Công suất của kênh rời rạc không nhớ
Chúng ta đã thấy rằng một phần thông tin H(X) truyền đi trên các kênh bị mất vì nhiễu có trong các kênh riêng của mình. phần này được đo bằng cách dung lượng kênh H(X/Y). Do đó ta có thể xác định lượng thông tin riêng trung bình I(X;Y) thong qua các kênh như
I(X; Y) H(X) – H(X/Y) bit/symbol. (3.59) Sử dung (3.46), thay thế vào ta có được
I(X; Y) = H(Y) – H(Y/X) = H(X) + H(Y) -H(X,Y). (3.60) So sỏnh (3.59) và đẳng thức thứ nhất của (3.60), rừ ràng là I(X,Y) = I(Y;X).
Ví dụ 3.11
Chúng ta hãy tính toán I(X;Y) cho kênh nhị phân đối xứng với xác suất lỗi p=0,1 và đầu vào đều có khả năng tương ứng. Bởi vì p(x1) = p(x2) = 0,5, đầu ra y1 và y2 đều như nhau.
Do đó ta có
H(X) = H(Y) = 1 bit/kí tự.
Để tính I(X;Y) sử dụng (3.60), chúng ta cần entropy H(X;Y) đưa ra bởi (3.43).
Xác suất p(xi,yj) dễ dàng tính được
P(x1 ,y1) = p(x1)p(y1/x1) = 0.5 * 0.9 = 0.45, P(x2, y1) = 0.05,
P(x2, y2) = 0.45, P(x1, y2) = 0.05, Ta có
H(X, Y) 1,469, và tổng kết
I(X; Y) = 1 +1 – 1.469 = 0.531 bit/symbol.
Kết quả cho thấy gần một nửa các thông tin bị mất trên kênh. Làm thế nào để so sánh kết quả này với các nhận xét trực quan, trên trung bình, trên 10% của các bit nhận được là do lỗi nếu p =0.1?
Chúng ta hãy xem xét lại bsc và xem như thế nào I(X; Y) phụ thuộc vào phân phối xác suất của các ký hiệu đầu vào. Sử dụng các công thức
I(X; Y) = H(Y) – H(Y/X)
Và tính H(Y/X) sử dụng (3.55), chúng ta được
I(X; Y) = H(Y) – H(p), (3.61)
Trong đó H(p) được xác định trong (3.6). trong đò thị 3.10 biểu đồ của I(X; Y) so với p(x1) cho các giá trị khác nhau của p được biểu diễn. nó có thể được quan sát thấy rằng giá trị lớn nhất của I(X; Y), không có vấn đề về giá trị của p, ta thu được khi p(x1 = 0.5), có nghĩa là:
Hình 3.10 Đồ thị của dung lượng thông tin trung bình thông qua một kênh nhị phân đối xứng như là một chức năng của xác suất p(x1). Xác suất lỗi p của kênh là các tham số.
Khi các biểu tượng đầu ra đều có khả năng. Sau đó, cố định P (xx) = 0.5, chúng tôi có được một giỏ trị cho I (X; Y) chỉ phụ thuộc vào cỏc kờnh và biểu thị lưu lượng ặhong tin tối đa ặhong qua một BSC. Nú được cho bởi
Trong đó P (x) là tập hợp của tất cả các phân bố xác suất có thể xảy ra trong những biểu tượng đầu vào. .Giá trị lớn nhất của tôi (X; Y) được gọi là kênh C và công suất được vẽ trong hình. 3,11. Chú ý rằng công suất tối đa khi p là bằng 0 hoặc bằng 1, kể từ khi cả hai trường hợp dẫn đến một kênh không nhiễu. Đối với p = 0,5, công suất là không, kể từ khi cỏc ký hiệu đầu ra độc lập với những biểu tượng đầu vào, và khụng cú ặhong tin cú thể lưu ặhong qua kờnh. Lưu ý rằng, do tớnh đối xứng của kờnh (1-p)
Hình 3.11 Dung lượng của kênh BSC với xác suất lỗi là p
Dung lượng C của một kênh rời rạc không nhớ được định nghĩa là các thông tin tối đa (X, Y) có thể được truyền qua kênh. Nhắc lại sự bình đẳng đầu tiên của (3.60), chúng ta có được.
C ) (3.63)
í nghĩa của cụng suất kờnh và ý nghĩa của nú khụng phải là hoàn toàn rừ ràng cho đến nay. Tuy nhiên, nó sẽ được chứng minh sau trong chương này là đáng tin cậy truyền tải thông qua các kênh không phải là có thể khi số lượng trung bình của các bit cho mỗi kênh biểu tượng là lớn hơn dung lượng kênh. Các tính toán phân tích của công suất kênh là khó khăn trong hầu hết các trường hợp. Tuy nhiên, các thuật toán số có sẵn, chẳng hạn như những do để Arimoto và Blahut (xem Viterbi và Omura, năm 1979, Phụ lục 3C). Nó trở nên đơn giản trong một số trường hợp đặc biệt, giống như những mô tả các ví dụ 3.8, 3.10.
Ví dụ 3.8 (tiếp )
Sử dụng kết quả (3.49), chúng ta có thể viết
C = ] = = (3.64) Do đó không có thông tin nào bị mất trên kênh. Như một vấn đề của thực tế, lưu lượng thông tin thông qua các kênh tương đương với số lượng trung bình của các thông tin H (X) là cần thiết để xác định một biểu tượng đầu vào.
Ví dụ 3.9 ( tiếp )
Sử dụng (3.52), chúng ta có
C = H(X) – H() = 0 (3.65)
Do đó không có thông tin có thể lưu thông qua kênh.
Ví dụ 3.10
Chúng ta đã chứng minh rằng điều kiện entropy H (Y | X) không phụ thuộc vào phân bố xác suất đầu vào. Như vậy, vấn đề tối đa hóa I (X; Y) = H (Y) - H (Y | X) làm giảm vấn đề tối đa hóa đầu ra entropy H (Y) /. Chúng ta biết rằng bất đẳng thức sau nắm giữ: Do đó không có thông tin có thể lưu thông qua kênh.
H(Y) ,
Dấu bằng xảy ra khi các kết quả của đầu ra đều có khả năng. Có nghĩa là p(yj) = , j = 1,2,
…., Ny. Chúng ta sẽ chứng minh rằng các biểu tượng đầu ra đều có khả năng khi
đầu vào là đều có khả năng. Trong thực tế, nếu P (xt) = 1 / Nx, i = 1,2, . . , Nx, chúng ta có P() = = ) = .
Nhưng giới hạn là tổng của các mục của cột thứ j của ma trận kênh P, và, theo định nghĩa của các kênh đối xứng, nó không phụ thuộc vào j. Vì vậy, tất cả các biểu tượng Y có cùng một xác suất, và dung lượng của một kênh đối xứng được cho bởi
C = + (3.66)
Ví dụ 3.12
Công suất của các kênh đối xứng có ma trận là
có thể được tính bằng cách sử dụng (3.66) với NY = 4, và cho C = 2 + 2() 0.082 bits/symbol.
Ví dụ 3.13
Hãy xem xét một kênh với Nx = NY = N và xác suất P cho bởi =
các hàng và cột của p trong trường hợp này là hoán vị của N
(1 – p, , …………, ).
Công suất của BSC thu được là một trường hợp cụ thể của (3,67) với N = 2.
Ví dụ 3.14 Kênh nhị phân không nhớ (BEC).
Hãy xem xét các kênh của hình 3.12. Các kết quả đầu ra và tương ứng với các ký hiệu đầu vào và , trong khi đề cập đến một đầu ra khụng rừ ràng mà khụng cú quyết định về biểu tượng truyền sẽ được thực hiện. Mô hình này là một hệ thống được sử dụng trong truyền dữ liệu (xem Vấn đề 3,21). Hãy để chúng tôi tính toán công suất của kênh này. Ma trận kênh là sau đây:
P =
Nó không đáp ứng các điều kiện đối xứng, do đó, (3.66) không thể được áp dụng. Bắt đầu từ sự bình đẳng đầu tiên của (3.60), nó là đơn giản để cho thấy rằng I (X; Y) được cho bởi (3.61) cũng trong trường hợp này. Vì vậy, C công suất thu được cho việc phân phối đầu vào tối đa hóa H (Y).Biểu thị P (x1) bởi và entropy H (Y), chúng ta có
H(y) = -p 1 (1 – p) – (1- p) –
(1 – )(1 – p)
(3.69) được nhìn thấy để có tối đa khi a = . Vì vậy, khả năng thu được cho các ký hiệu đầu vào đều có khả năng, và nó được cho bởi
C = 1 – p (3.70)
So sánh các biểu diễn của C thể hiện trong hình. 3.13 với công suất của BSC của hình 3.11.
chúng ta có thể thấy rằng tẩy xoá biểu tượng nhận được khi thông tin không đáng tin cậy có thể làm thông dung lượng thông tin thông qua các kênh. Điều này cũng đúng trong một tình huống thực tế hơn khi các xác suất P(y2/x1) và P(y1/x2) là khác nhau từ số không (xem Vấn đề 3.21).
Chúng ta đã thấy rằng dung lượng kênh của BEC đạt được với các ký hiệu đầu vào đều có khả năng, mặc dù kênh không đối xứng, theo định nghĩa của chúng tôi. Tuy nhiên, qua sự kiểm tra của hình 3.12, chúng ta có thể thấy rằng cấu trúc của kênh thể hiện một sự đối xứng rừ ràng đối với cỏc yếu tố đầu vào. Như một vấn đề của thực tế, nú cú thể khỏi quát các định nghĩa của các kênh đối xứng theo cách như vậy để xử lý các tình huống như một trong những hình.3.12. Người đọc được gọi Gallager (1968, Chương 4) cho các định lý hữu ích về việc tính toán dung lượng kênh trong một số trường hợp đặc biệt quan tâm.