Lượng đa nghĩa và xác suất lỗi

CHƯƠNG 3 NHỮNG KẾT QUẢ CƠ BẢN TỪ LÝ THUYẾT THÔNG TIN

3.3 Các kênh truyền thông

3.3.3 Lượng đa nghĩa và xác suất lỗi

Trong phần 3.3.3, chúng ta định nghĩa xác suất lỗi trung bình P(e) của một kênh rời rạc và sự đa nghĩa của H (X | Y). Cả hai có thể được sử dụng như là thước đo chất lượng kênh, và chắc chắn chúng không phải là số lượng độc lập. Trong phần sau đây, chúng ta sẽ lấy được một mối quan hệ giữa chúng. Hãy để chúng tôi tham khảo một ma trận kênh P, với Nx = NY = N. Áp dụng định nghĩa của xác suất lỗi được đưa ra trong (3,37) cho trường hợp này, chúng ta có thể viết

P(e) = ). (3.71)

Ta xác định entropy H(e)

H(e) -p(e) – [1 - ], (3.72)

có nghĩa là, xem xét H (e) như entropy của một bảng chữ cái nhị phân với xác suất P(e) và 1 - P (e), tương ứng với số lượng thông tin cần thiết để xác định nếu một lỗi xảy ra trong quá trình truyền. Chúng ta có thể chứng minh định lý sau đây.

Định lý 3.6 Về sự bình đẳng. Cho một bộ nhớ rời rạc ít kênh có bảng chữ cái đầu vào và đầu ra X và Y có cùng số các ký hiệu N, và có xác suất lỗi P (e), bất đẳng thức sau nắm giữ:

H() H(e) + p(e). (3.73)

Để chứng minh định lý, chúng tA sử dụng định nghĩa (3.45) lượng đa nghĩa H (X | Y) để viết

H() = ) +

và định nghĩa (3.37) của p(e) để có được H(X/Y) – p(e) log(N-1)- H(e) = +

Áp dụng bất đẳng thức (3.9) RHS của (3.74), chúng ta có được

1 1 1

( ) 1 ( )

( | ) ( ) log( 1) ( ) log ( , ) 1 ( , ) 1

( 1) ( | ) ( | )

N N N

i j i j

i j i j i i j

j i

P e P e

H X Y P e N H e e P x y P x y

N P x y P x y

= = =

≠

    − 

 

− − − ≤ ∑∑  − − + ∑  − 

[ ]

1 1 1 1 1 1

log ( ) ( ) ( , ) 1 ( ) ( ) ( , )

1

N N N N N N

j i j i i i

i j i j i i

j i j i

e P e P y P x y P e P y P x y

N = = = = = =

≠ ≠

 

 

=  − ∑∑ −∑∑ + − ∑ −∑ 

[ ] [ ]

{ }

loge P e( ) P e( ) 1 P e( ) 1 P e( ) 0

= − + − − − =

Và định lí được chứng minh.

Sự khỏc nhau ở (3.73) cũng đó giải thớch cho chỳng ta một cỏch rừ ràng. Xột một cỏch rộng rãi với yє Y, nếu ta tìm được hoặc không tìm được lỗi xảy ra, ta có sự không chắc chắn tương đương với H(e). Nếu không có lỗi, thì độ bất định cho việc truyền tín hiệu còn lại là 0. Nếu có một lỗi xảy ra, với xác suất P(e), ta có N-1 tín hiệu còn lại được truyền đi. Độ bất định không thể tính bằng log(N- 1).

Trong hình 3.14 hàm P(e) log( N-1) + H(e) được vẽ trên đồ thị. Định lí 3.6 cho phép cặp giá trị H(X|Y), P(e) được biểu diễn bởi các điểm trong hình 3.14. Hơn nữa, ta có

H(X|Y) = H(X)-I(X;Y), định lí cho ta giá trị biên thấp hơn xác suất lỗi và vượt qua giới hạn của entropy của đầu vào X với mối quan hệ của dòng thông tin qua các kênh.

Hình 3.14 Sơ đồ hàm H( e) +P(e) log(N-1) đối với P(e).

Ta phải xem xét I(X;Y)≤ C, ( 3.73) có thể được viết như sau:

( ) ( ) ( ) log( 1)

H X − ≤C H e +P e N− (3.75)

Đường cong C+H( e) +P(e) log(N-1) được thể hiện trong hình 3.15. Dường như miền của cặp được cho phép P(e), H(X) chứa đựng các điểm với P(e)=0 chỉ khi H(X)≤C. Nói cách khác, nếu entropy của lượng tin đầu vào trội hơn hiệu suất kênh,có thể truyền thông tin thông qua kênh với xác suất lỗi nhỏ tùy ý. Kết quả này là dạng nghịch đảo đơn giản làm nền tảng của lí thuyết thông tin.Nếu chúng ta xác định được thông tin đầu vào của kênh với thông tin đầu ra của bộ giải mã nguồn, trạng thái trước đây liên quan đến hệ thống truyền đạt thông tin, trong đó các bit ở đầu ra của bộ giải mã nguồn được trực tiếp gửi đi thông qua kênh: mã hóa thông tin được thực hiện. Bây giờ, chúng ta sẽ có bộ mã hoá bên trong hệ thống và cố gắng mở rộng kết quả trước. Chúng ta xem xét hệ thống trong hình 3.16, khối nguồn được mô tả bậc của chính nguồn đó và nguồn được mã hóa.Gỉa sử răng đầu ra của nguồn là tín hiệu nhị phân liên tục được truyền đi trong mỗi khoảng Ts(s).Mã hóa kênh là một bộ mã hóa khối, nó truyền khối các kí tự nguồn liên tiếp vào trong n khối kí tự phụ thuộc vào kí tự kênh đầu vào X.

Hình 3.15 Sơ đồ hàm C+H( e) +P(e) log(N-1) đối với P(e).

Tốc độ mã hóa Rc được tính như sau:

c

R k

@n (3.76)

Bởi vì n kí tự phải được truyền trên kênh saukTs, kênh được sử dụng mỗi Tc=RcTs(s).

Hình 3.16 Biểu đồ kênh của hệ thống truyền thông

Có nghĩa là với W, tập hợp thông tin đầu vào 2k của bộ mã hóa kênh và Z, tập hợp thông tin đầu ra của giải mã kênh, chúng ta có thể áp dụng định lí 3.6 cho 2 tập hợp trên:

( | ) ( ) w( ) log(2k 1),

H W Z ≤H e +P e − (3.77)

Chỉ số dưới w của Pw(e) chỉ thị “từ” và Pw(e) tương ứng với xác suất trung bình của các từ giải mã lỗi.Lại có H(W|Z)= H(W) – I(W;Z) và tính sự chênh lệch theo đó tìm được kết quả đúng ( định lí xử lí dữ liệu )

I(W;Z)≤ I(X;Y) Ta có:

( | ) ( ) ( ; )

H W Z ≥H W −I X Y (3.78)

Sự truyền dẫn của mỗi khối k bits sử dụng n lần kênh, ta có thể viết ( ; )

I X Y ≤nC (3.79)

Vì vậy việc chèn (3.79) vào (3.78) và (3.77) ta được:

( ) ( ) w( ) log(2k 1)

H W −nC≤H e +P e − (3.80)

Bất đẳng thức (3.80) là ngược lại với định lí mã hóa. Kí tự đầu vào được tạo ra bởi nhóm k kí tự liên tiếp ở nguồn đầu ra, entropy H(W) được tính bởi :

( ) ( ),

H W =kH L∞ (3.81)

Với H∞(L) là entropy của nguồn.

Bất đẳng thức (3.80) mô tả trạng thái xác suất lỗi của việc giải mã k kí tự liên tiếp của nguồn không thể nhỏ tùy ý khi tốc độ mã hóa lớn hơn tỉ suất C/H∞(L).Một biên thấp hơn xác suất lỗi có thể được xác định từ (3.80) và (3.81) ta có :

( ) ( ) ( ) 1 1

( ) ( )

log(2 1)

w k

c

kH L nC H e kH L nC C

P e H L

k R k

∞ ∞

∞

− − − −

≥ > = − −

−

Bây giờ, cho k và n tiến tới vô hạn và giữ nguyên hằng số Rc ta có:

( ) ( )

w

c

P e H L C

∞ R

> − (3.82)

Định lí mã hóa kênh

Trong các mục trước ta thấy có tồn tại biên dưới của xác suất lỗi khác không, khi tỉ lệ mã hóa R lớn hơn kênh công suất C. Điều gì sẽ xảy ra khi R nhỏ hơn C? Câu trả lời được

đưa ra bởi định lí mã hóa, sau này sẽ được sử dụng mà không cần chứng minh. Nó đã được chứng minh vào năm 1948 bởi C. E. Shannon, những người quan tâm được sử dụng bản giấy của ông (Shanon, 1948) hoặc một trong những cuốn sách có sẵn, ví dụ Gallager (1968, chương 5).

Định lí 3.7. Cho nguồn tín hiệu nhị phân, với entrooy H∞(L) bit/biểu tượng và rời rạc, bộ nhớ ngắn với công suất kênh C bit/ biểu tượng, khi đố có tồn tại một tỉ lệ mã hóa Rc =k/n , xác suất kí tự lỗi được giới hạn bởi

( ) nE R( ), ( )

w c

P e <e− R R H L= ∞ (3.83)

Khi đó E(R) là một hàm lồi, giảm dần, là hàm của R thỏa mãn 0 ≤R≤ C.t

Một trạng thái điển hình của hàm E(R) được thấy ở hình 3.17. Dựa trên (3.83) chúng ta có thể thực hiện 3 cách để cải thiện hiệu suất của hệ thống truyền dữ liệu .

Hình 3.17 Mô tả điển hình của hàm E(R)

(i) Giảm R bằng cách giảm Rc =k/n. Đ iều này nghĩa là tăng sự dư thừa của mã, cho tỉ lệ phát của nguồn, bằng cách cho kênh được sử dụng thường xuyên hơn. Nói cách khác, chúng ta cần một băng thông lớn hơn. Điều đó được thấy trong hình 3.18.

Chúng ta chuyển từ R1 sang R2, khi đó E(R) tăng và biên độ giảm.

Hình 3.18: Sự gia tăng giá trị của hàm E(R)

(ii) Tăng công suất kênh C bằng cách tăng tỉ lệ tín hiệu trên nhiễu của kênh. Được mô tả trong hình 3.19. Điểm hoạt động chuyển từ E1(R) tới E2(R) lớn hơn, do đó cải thiện được các lỗi.

(iii) Giữ tỉ lệ Rc= k/n cố định, tăng n. Phương pháp thứ 3 này không yêu cầu bất kì sự can thiệp về tỉ lệ băng thông và tín hiệu trên nhiễu của kênh.

Hình 3.19: Sự gia tăng giá trị của hàm E(R) thông qua việc tăng giá trị dung lượng của kênh

Nếu cho phép cải thiện hiệu suất của hệ thống thông tin liên lạc bằng các cách đơn giản:

tăng chiều dài của khối đầu vào bộ mã hóa, do đó chi phí sẽ tốn kém hơn khi dùng cặp mã hóa –giải mã và chậm trễ hơn trong việc xây dựng lại trình tự giải mã.

Trong (i) và (ii) ta biết được biện pháp khắc phục những rắc rối trong hệ thống thông tin liên lạc, việc sử dụng cách thứ 3 là một trong những thành tựu chính của lí thuyết Shannon.