9 CHƯƠNG 3: LƯỢNG TIN, ENTROPI NGUỒN RỜI RẠC
9.5.2 Thông lượng kênh
Thông lượng kênh C là lượng tin cực đại kênh cho đi qua trong một đơn vị thời gian mà không gây ra sai nhầm.
Vậy:
max
C R=
Đơn vị của thông lượng kênh là bit/giây. Như vậy R C≤
Nhiệm vụ của mã hoá thống kê là bằng cách mã hoá để thay đổi Entropi của nguồn để thay đổi tốc độ lập tin R sao cho xấp xỉ với C, gọi là phối hợp giữa nguồn với kênh về
phương diện tốc độ truyền tin. Khi truyền tin trong kênh có nhiễu thì nhiệm vụ của mã hóa là lợi dụng điều kiện R<C để xây dựng mã chống nhiễu đồng thời tăng tốc độ lập tin.
9.5.2.1 Thông lượng kênh rời rạc không có nhiễu
Khi kênh rời rạc không có nhiễu toàn bộ tin tức được thiết lập đều có thể truyền qua kênh mà không bị sai. Vậy ở đầu thu ta nhận được lượng tin bằng với đầu vào hay ta có:
max 0 ( )max
C R= =n H X
max
R là tốc độ lập tin đầu vào, lượng tin này nhận được nguyên vẹn ở đầu ra. Nếu kênh có R < C thì ta có thể mã hoá để tăng R sao cho:
C – R < ε với ε nhỏ tuỳ ý
Ta không thể mã hoá cho R>C được, đó là giới hạn của việc mã hoá. Trong trường hợp mã hoá sao cho R=C được gọi là phương pháp mã hoá tối ưu.
Sau khi mã hoá ta có H(X)max. Giữa H(X)max và H(X) ban đầu ta có độ chênh lệch gọi là độ dư tương đối của nguồn.
max max max ( ) ( ) ( ) 1 ( ) ( ) H X H X H X r H X H X − = = − (3.19)
Vậy phép mã hoá tối ưu cũng có thể coi là phương pháp làm giảm độ dư của nguồn ban đầu
9.5.2.2 Thông lượng kênh rời rạc có nhiễu
Thông thường tốc độ lập tin bé hơn nhiều so với thông lượng kênh, nhiệm vụ của mã hóa thống kê là thay đổi tốc độ lập tin của nguồn bằng cách thay đổi entropi, để tốc độ lập tin tiệm cận với thông lượng, gọi là phối hợp với nguồn và kênh về phương diện tốc độ truyền tin.
Trong trường hợp tin nhận được sau không phụ thuộc những tin nhận được trước, nói cách khác chúng độc lập thống kê với nhau thì độ chính xác của tin truyền đi trong kênh chỉ còn bị ảnh hưởng của nhiễu là giảm đi, khi đó tốc độ lập tin tại đầu ra của kênh được định nghĩa như sau:
0 ( , ) 0( ( ) ( | )) R n I X Y= =n H X −H X Y (3.20) ) | ( 0H X Y
n về mặt độ lớn là lượng tin bị nhiễu phá hủy trong một đơn vị thời gian,
vậy muốn nâng cao tốc độ lập tin thì nhất thiết phải thay đổi thông số của nguồn. Lúc đó lượng tin tối đa mà kênh cho đi qua không xảy ra sai nhầm sẽ là tốc độ lập tin cực đại trong kênh có nhiễu:
0( ( ) ( | ))max
C n H X= −H X Y (3.21)
Độ dư tương đối còn có thể được xác định theo công thức sau:
C R
rc =1− ; Hiệu quả sử dụng kênh: λc =1−rc