Xét 1 nguồn thông tin rời rạc, không nhớ và không thay đổi. Trong mã hóa nguồn, một từ mã được gán cho mỗi kí hiệu của nguồn. Số lượng bits trong từ mã được gọi là chiều dài của từ mã đó. Chiều dài trung bình của từ mã được gọi là bitrate, thể hiện qua đơn vị bits mỗi kí hiệu.
Thuyết mã hóa nguồn Shannon chỉ ra rằng đối với 1 nguồn thông tin rời rạc, không nhớ và không thay đổi, tốc độ bít nhỏ nhất đòi hỏi mã hóa 1 kí hiệu, thông thường nó bằng với entropy của nguồn. Thuyết này cũng cho chúng ta 1 giới hạn thấp hơn trong việc mã hóa nguồn. Cái giới hạn đó có thể đạt được khi mã hóa chậm đạt ngưỡng vô cùng. Chúng ta hiểu mã hóa trễ là người mã hóa chờ đợi cho tới khi có một số lượng kí hiệu nhất định, anh ta sẽ mã hóa chúng. May mắn là với sự có hạn của trễ mã hóa, chúng ta có thể hoàn thành một chiều dài trung bình từ mã là gần các entropy. Đó là, chúng tôi không phải hy sinh tốc độ bit nhiều để tránh sự chậm trễ mã hóa dài, trong đó bao gồm việc tính toán phức tạp cao và một số lượng lớn không gian bộ nhớ.
Lưu ý rằng giả định rời rạc là không cần thiết. Chúng tôi giả định một nguồn rời rạc đơn giản chỉ vì hình ảnh kỹ thuật số và video tập trung trong cuốn sách này. Stationarity giả định là cần thiết trong việc phát sinh nguồn không có tiếng ồn mã hóa định lý. Giả định này có thể không được hài lòng trong thực tế. Do đó, định lý Shannon là một hướng dẫn lý thuyết mà thôi. Không có nghi ngờ, tuy nhiên, rằng nó là 1 kết quả lý thuyết cơ bản trong lý thuyết thông tin.
Tóm lại, các nguồn không có tiếng ồn mã hóa định lý, định lý 1 Shannon, được xuất bản trong bài báo nổi tiếng của mình (Shannon, 1948), liên quan đến vụ việc mà cả hai kênh và hệ thống mã hóa cả nhiễu. Mục đích trong những trường hợp này được mã hóa chặt. Nhỏ gọn hơn, tốt hơn mã hóa. Định lý này xác định thấp hơn bị ràng buộc, đó là nguồn dữ liệu ngẫu nhiên, và làm thế nào để đạt được thấp hơn ràng buộc.
Một cách để đánh giá hiệu quả của một chương trình mã hóa để xác định hiệu quả của nó đối với các ràng buộc thấp hơn, tức là, entropy. H hiệu quả được định nghĩa như sau entropy,
H là entropy, và Lavg biểu thị chiều dài trung bình của từ mã trong các mã. Kể từ khi entropy là giới hạn thấp hơn, hiệu quả sử dụng không bao giờ vượt quá sự hiệp nhất, tức là, Cùng một định nghĩa có thể được tổng quát để tính toán hiệu quả tương đối giữa hai mã số. Đó là
Nơi Lavg,1 và Lavg,2 đại diện cho chiều dài từ mã trung bình cho mã 1 và mã 2, tương ứng. Chúng tôi thường đặt và được gọi là hiệu quả của mã 2 đối với mã 1. Một thông số bổ sung của mã hóa hiệu quả được mã hóa dư thừa, , được định nghĩa là
(1.35)