Trên kênh truyền liên tục, tín hiệu đầu vào hay tín hiệu truyền sẽ là một hàm liên tục theo thời gianf(t)phụ thuộc vào một tập nào đó, và tín hiệu đầu ra hay tín hiệu thu được sẽ là phiên bản bị làm nhiễu. Chúng ta chỉ 42 Dịch và biên soạn bởi VNTelecom
xét trường hợp tín hiệu truyền và nhận được giới hạn trên một băng thôngW nào đó. Khi đó, chúng có thể xác định, trong khoảng thời điểmT, bởi số2TW, và cấu trúc thống kê của nó thông qua các hàm phân bố hữu hạn chiều. Như vậy, đặc tính thống kê của tín hiệu truyền sẽ được xác định bởi
P(x1, . . . ,xn) =P(x)
và đặc tính thống kê của nhiễu được xác định bởi phân bố thống kê có điều kiện
Px1,...,xn(y1, . . . ,yn) =Px(y).
Tốc độ truyền thông tin cho một kênh truyền liên tục được định nghĩa theo cách tương tự như kênh truyền rời rạc như sau
R=H(x) Hy(x)
vớiH(x)là entropy của dữ liệu đầu vào vàHy(x)làđộ mập mờ(equivocation). Dung lượng kênh truyềnC
được định nghĩa là giá trị cực đại củaRkhi đầu vào biến thiên trên các tập pbxs khả dĩ. Có nghĩa rằng trong phép xấp xỉ hữu hạn chiều, chúng ta phải cho biến thiên hàmP(x) =P(x1, . . . ,xn)và lấy cực đại
P(x)logP(x)dx+ P(x,y)logP(x,y)
P(y) dx dy. Biểu thức này được rút gọn thành
P(x,y)log P(x,y)
P(x)P(y)dx dy
nhờ vào tính chất P(x,y)logP(x)dx dy= P(x)logP(x)dx. Do vậy, dung lượng kênh truyền có thể biểu diễn như sau:
C=Lim T ∞Max P(x) 1 T P(x,y)log P(x,y) P(x)P(y)dx dy.
Công thức trên chỉ ra rõ rằngRvàCđộc lập với hệ tọa độ bởi vì tử số và mẫu số củalog P(x,y)
P(x)P(y) được nhân cùng hệ số trong công thức biến đổi qua lại giữaxvày. Biểu thức tích phân choCnhư trên tổng quát hơn công thứcH(x) Hy(x). Khi tính toán và khai triển kỹ hơn (xem phụ lục 7), ta thấy công thức tích phân trên luôn tồn tại cònH(x) Hy(x)có thể không xác định tại một số vị trí từ∞ ∞. Ví dụ khixbị giới hạn trên mặt phẳng có số bậc thấp hơnntrong xấp xỉnchiều.
Nếu cơ số của hàm logarit dùng để tínhH(x)vàHy(x)là 2 thìCsẽ là số lượng số nhị phân tối đa có thể truyền trong một giây qua kênh truyền với độ mập mờ bất kỳ nhỏ, như trường hợp kênh truyền rời rạc. Điều này có thể nhìn thấy cụ thể bằng việc chia không gian tín hiệu thành một số lượng lớn các ô nhỏ, đủ nhỏ để hàm mật độ xác suấtPx(y)của tín hiệuxbị biến đổi thànhythực chất là hằng số trong một ô (của hoặcxhoặcy). Nếu các ô được xem như các điểm riêng biệt, thì kênh truyền trở thành mô hình không liên tục và luận cứ trên có thể áp dụng được. Nhưng, rõ ràng là phép lượng tử hóa một khối thành các điểm riêng biệt trong mọi tình huống thực tiễn không thể làm thay đổi trầm trọng giải đáp cuối cùng, với điều kiện các vùng được chia đủ nhỏ. Do đó dung lượng sẽ là giới hạn của các dung lượng trên các phần nhỏ rời rạc và đây chính là dung lượng liên tục được định nghĩa bởi công thức ở trên.
Về mặt toán học, đầu tiên có thể chỉ ra rằng (xem phụ lục 7) nếuulà bản tin,xlà tín hiệu,ylà tín hiệu thu được (bị nhiễu) vàvlà bản tin được khôi phục thì
H(x) Hy(x) H(u) Hv(u)
bất kể phép biến đổi nào được sử dụng trênuđể đạt đượcxhay trênyđể đạt đượcv. Do đó, bất chấp cách thức mã hóa số nhị phân thành tín hiệu hay cách thức giải mã tín hiệu thu được và tái tạo lại bản tin, tốc độ rời rạc cho các số nhị phân không thể vượt quá dung lượng kênh truyền như chúng ta định nghĩa. Mặt khác, trong một số trường hợp tổng quát có thể tìm được hệ thống mã hóa để truyền số nhị phân với tốc độCvới độ mập mờ nhỏ và tần số lỗi như mong muốn. Điều đó là đúng, ví dụ như nếu khi chúng ta tạo một không 43 Dịch và biên soạn bởi VNTelecom
gian xấp xỉ hữu hạn chiều cho các hàm tín hiệu,P(x,y)là liên tục với cảxvàytrừ tập những điểm có xác suất bằng không.
Một trường hợp đặc biệt quan trọng xuất hiện khi nhiễu cộng vào tín hiệu và độc lập với tín hiệu (theo nghĩa xác suất). Khi đóPx(y)sẽ chỉ là hàm số của hiệun= (y x),
Px(y) =Q(y x)
và chúng ta có thể gán một entropy xác định cho nhiễu (độc lập với thống kê của tín hiệu), gọi là entropy của phân bốQ(n). Entropy này sẽ được ký hiệu bởiH(n).
Định lí16: R=H(y) H(n), C=Max P(x)H(y) H(n). Doy=x+n, ta có: H(x,y) =H(x,n).
Khai triển vế trái và sử dụng tính chấtxvànlà độc lập
H(y) +Hy(x) =H(x) +H(n).
Từ đó
R=H(x) Hy(x) =H(y) H(n).
DoH(n)là độc lập vớiP(x), cực đạiRđòi hỏi phải cực đạiH(y), entropy của tín hiệu thu, cũng phải cực đại. Nếu có ràng buộc nhất định trên tập hợp pbxs tín hiệu truyền đi, thì entropy của tín hiệu thu cũng phải là cực đại trong điều kiện ràng buộc đó.