Bây giờ chúng ta định nghĩa tốc độ phát thông tin của một nguồn liên tục. Chúng ta đã biếtP(x)của nguồn tin và một đánh giávđược tính bằng hàm khoảng cáchρ(x,y), với giả thiết là hàm này liên tục với cảxvày. Với một hệ thống cụ thểP(x,y), chất lượng được đo bởi
v= ρ(x,y)P(x,y)dx dy.
9Tuy nhiên, nó không phải là "metric" theo nghĩa chặt, vì nói chung nó không thỏa mãn (x,y) = (y,x)hoặc (x,y) + (y,z)(x,z). (x,z).
Hơn nữa, tốc độ của luồng bít nhị phân tương ứng vớiP(x,y)là
R= P(x,y)log P(x,y)
P(x)P(y)dx dy.
Chúng ta định nghĩa tốc độR1của thông tin được phát với một mức chất lượngv1sau khi tạo lại ở phía thu là giá trị nhỏ nhất củaRkhi ta giữ chovcố định tạiv1và thay đổiPx(y).R1được tính như sau:
R1=Min
Px(y) P(x,y)log P(x,y)
P(x)P(y)dx dy với điều kiện ràng buộc là:
v1= P(x,y)ρ(x,y)dx dy.
Điều này có nghĩa là chúng ta xem xét tất cả hệ thống truyền dẫn và truyền dẫn thông tin với độ tin cậy theo yêu cầu trên các hệ thống đó. Tốc độ của truyền dẫn theo bit/giây được tính toán và ta sẽ chọn hệ thống có tốc độ nhỏ nhất. Tốc độ nhỏ nhất này được gán cho nguồn với độ tin cậy mà ta yêu cầu.
Chứng minh của định nghĩa này nằm trong kết quả sau
Định lí 21: R1 v1
C v1 R1
C R1 C R1 C
Phát biểu cuối của định lí có được từ định nghĩa củaR1và các kết quả trước đó. Nếu điều đó là không đúng, chúng ta có thể truyền dẫn nhiều hơnCbit/giây trên kênh truyền có dung lượngC. Phần đầu tiên của định lí được chứng minh bằng phương pháp tương tự như đối với Định lí 11. Đầu tiên chúng ta chia không gian(x,y)thành một số lớn các ô và biểu diễn chúng như là trường hợp rời rạc. Điều này không làm thay đổi hàm đánh giá một giá trị nhỏ bất kỳ (khi các ô là rất nhỏ) bởi vì chúng ta giả sửρ(x,y)là liên tục. Giả thiết rằngP1(x,y)là một hệ thống đặc biệt, cho phép giảm tốc độ đến mức nhỏ nhất làR1. Chúng ta chọn ngẫu nhiên từ xác suất cao củaymột tập hợp có chứa
2(R1+ )T
phần tử trong đó² 0khiT ∞. VớiT lớn, mỗi điểm được chọn sẽ được kết nối bởi một đường xác suất cao (như trên hình 10) với một tập các giá trịx. Tính toán tương tự như trong chứng minh của định lí 11 cho ta thấy rằng vớiT lớn thì hầu như tất cảxđều bị bao phủ bởi các hình quạt từ các điểmyđã chọn với hầu như tất cả các lựa chọn củay. Hệ thống truyền thông được sử dụng hoạt động như sau: Các điểm lựa chọn được gán các số nhị phân. Khi một bản tinxđược tạo ra, nó sẽ (với xác suất tiến đến 1 khiT ∞) nằm trong ít nhất một trong các hình quạt. Con số nhị phân tương ứng được phát (hay một trong số chúng được chọn một cách bất kỳ nếu có nhiều) trên kênh truyền bằng phương pháp mã hóa phù hợp để đạt được một xác suất lỗi nhỏ. VìR1 Cnên điều này là có thể. Tại điểm thu bản tin tương ứngyđược hồi phục.
Đánh giáv1của hệ thống này có thể thực hiện gần tùy ý vớiv1bằng cách lấyT đủ lớn. Đó là bởi vì sự thực là với mỗi bản tin mẫu dàix(t)và bản tin hồi phụcy(t), đánh giá tiệm cận tớiv1(với xác suất bằng 1)
Một điều thú vị cần chú ý là trong hệ thống này, nhiễu trong bản tin hồi phục thực sự được tạo ra bởi một loại lượng tử tổng quát tại phía phát chứ không phải được tạo bởi nhiễu trên kênh truyền. Nó cũng ít nhiều giống với nhiễu lượng tử trong PCM.