Định nghĩa về tốc độ tương tự như định nghĩa về dung lượng kênh trên nhiều khía cạnh. Tốc độ được định nghĩa là
R=Min
Px(y) P(x,y)log P(x,y)
P(x)P(y)dx dy vớiP(x)vàv1= P(x,y)ρ(x,y)dx dycố định. Dung lượng kênh là
C=Max
P(x) P(x,y)log P(x,y)
P(x)P(y)dx dy
vớiPx(y)cố định và có thể có thêm một hoặc nhiều điều kiện ràng buộc khác (ví dụ như giới hạn về công suất trung bình) dưới dạngK= P(x,y)λ(x,y)dx dy.
Giải pháp từng phần của bài toán tối đa hóa tổng quát để xác định tốc độ của một nguồn có thể được sử dụng. Sử dụng phương pháp Lagrange ta xét
P(x,y)log P(x,y)
P(x)P(y)+µP(x,y)ρ(x,y) +ν(x)P(x,y) dx dy. Phương trình thay đổi (khi ta lấy thay đổi đầu tiên trênP(x,y)) dẫn đến
Py(x) =B(x)e (x,y)
vớiλđược tính toán để cung cấp độ tin cây yêu cầu vàB(x)được chọn để thỏa mãn
B(x)e (x,y)dx=1.
Điều này cho thấy rằng, với cách mã hóa tốt nhất, xác suất có điều kiện của một nguyên nhân nhất định cho cácythu được khác nhau,Py(x)sẽ giảm theo hàm mũ với hàm khoảng cáchρ(x,y)giữaxvày.
Trong trường hợp đặc biệt khi hàm khoảng cáchρ(x,y)chỉ phụ thuộc (vec-tơ) vào sự khác nhau giữax
vày. ρ(x,y) =ρ(x y) Ta có B(x)e (x y)dx=1. Do vậyB(x)là hằng số, gọi làα, và Py(x) =αe (x y).
Thật không may là các cách giải chính quy này rất khó để đánh giá trong các trường hợp riêng và có giá trị nhỏ.Thực tế, cách tính toán thực sự tốc độ được thực hiện chỉ trong một số ít trường hợp rất đơn giản.
Nếu hàm khoảng cáchρ(x,y)là trung bình bình phương sai khác giữaxvàyvà tập hợp các bản tin là nhiễu trắng thì tốc độ có thể xác định được. Trong trường hợp đó ta có
R=Min H(x) Hy(x) =H(x) MaxHy(x)
vớiN= (x y)2. NhưngMaxHy(x)xảy ra khiy xlà nhiễu trắng, và bằngW1log 2πeNvớiW1là băng thông của tập hợp phân bố xác suất các bản tin. Vì vậy
R=W1log 2πeQ W1log 2πeN
=W1logQ
N
trong đóQlà công suất bản tin trung bình. Nó chứng minh định lí sau đây:
Định lí 22: Q W1
R=W1logQ
N N
Tổng quát hơn với bất kỳ một nguồn bản tin nào chúng ta có thể có các bất đẳng thức giới hạn tốc độ có liên quan đến tiêu chí lỗi trung bình bình phương.
Định lí23: W1 W1logQ1 N R W1log Q N Q Q1 N
Cận dưới là doMaxHy(x)với(x y)2=Ncho trước xảy ra trong trường hợp nhiễu trắng. Cận trên đạt được nếu ta đặt các điểm (được sử dụng trong chứng minh của định lí 21) không theo cách tốt nhất mà theo ngẫu nhiên trên hình cầu có bán kính Q N.
LỜI CẢM ƠN
Tác giả xin bày tỏ sự cảm ơn tới các đồng nghiệp của mình ở các phòng nghiên cứu và đặc biệt dành sự cảm ơn tới tiến sĩ H. W. Bode, tiến sĩ J. R. Pierce, Dr. B. McMillan, và tiến sĩ B. M. Oliver bởi những lời gợi ý và phản biện có ích trong quá trình thực hiện công việc này. Tôi cũng xin ghi nhận công lao của giáo sư N. Wiener, bởi vì lời giải xuất sắc của ông cho các vấn đề về quá trình lọc tín hiệu và sự dự đoán các tập hợp có phân bố xác suất tĩnh đã ảnh hưởng đáng kể tới các suy nghĩ của tôi trong lĩnh vực này.
Lời cảm ơn của nhóm biên dịch bài báo này sang tiếng Việt. Chúng tôi xin chân thành gửi lời cám ơn đến:
PGS. TS. Nguyễn Quốc Bình ThS. Lê Hải Bình
Nguyễn Trung Dũng KS. Vũ Bá Dũng ThS. Nguyễn Tuấn Đức TS. Nguyễn Nam Hoàng ThS. Nguyễn Xuân Hoàng TS. Lê Thanh Hà
ThS. Nguyễn Hải Nam
TS. Nguyễn Vương Quốc Thịnh
đã cùng tham gia dịch và biên soạn tài liệu này. Chúng tôi cũng xin chân thành cảm ơn bạn Nguyễn Ngọc Lan đã đọc và giúp chúng tôi hiệu chỉnh các lỗi của bản dịch đầu tiên. Tài liệu này được hoàn thành trong khuôn khổ các dự án mở của cộng đồng VNTelecom. Mọi phản hồi hay góp ý liên quan đến bài dịch này, xin vui lòng liên hệ contact@vntelecom.org.
PHỤ LỤC 5
ChoS1là một tập con đo đạc được bất kỳ của tập hợp pbxsgvàS2là một tập con của tập hợp pbxs f mà sinh raS1theo phép toánT. Do vậy
S1=T S2.
ChoH là toán tử biến đổi mọi hàm số trong một tập hợp vào thời điểmλ. Ta có