Lý thuyết thông tin xuất phát từ nghiên cứu “Lý thuyết toán học về truyền thông” của Claude Elwood Shannon được công bố trên tạp chí Bell System Technical Journal vào tháng 7 và tháng 10 năm 1948. Mô hình chính của lý thuyết thông tin cổ điển chính là kỹ thuật truyền thông tin trên một kênh nhiễu. Các kết quả cơ bản nhất của lý thuyết là định lý mã hóa nguồn của Shannon, định lý khẳng định rằng truyền thông đáng tin cậy có thể thực hiện thông qua các kênh truyền nhiễu với điều kiện tỷ lệ truyền thông thấp hơn một ngưỡng nhất định, được gọi là dung lượng kênh truyền. Dung lượng kênh truyền có thể được đạt được trong thực tế bằng cách sử dụng các hệ thống mã hóa và giải mã thích hợp.
Trong nghiên cứu của mình, Shannon lần đầu tiên giới thiệu mô hình định tính và định lượng của thông tin như là một quá trình thống kê làm cơ sở cho lý thuyết thông tin, mở ra khẳng định rằng “vấn đề cơ bản của truyền thông là tái tạo tại một thời điểm, hoặc là chính xác hoặc là xấp xỉ, một thông điệp
thông tin và lượng dư thừa (Redundancy) của nguồn, và sự liên quan đến lý thuyết mã hóa nguồn, thông tin tương hỗ, và dung lượng kênh của một kênh nhiễu, bao gồm sự triển vọng về truyền thông hoàn hảo không mất dữ liệu được đưa ra bởi lý thuyết mã hóa kênh nhiễu.
Lượng quan trọng nhất của thông tin là entropy, thông tin trong một biến ngẫu nhiên, và thông tin tương hỗ, lượng thông tin chung giữa hai biến ngẫu nhiên.
Định nghĩa 1.1: Entropy là một đơn vị đo độ bất định (uncertainty) của
một biến ngẫu nhiên. Cho X là một biến ngẫu nhiên rời rạc, có thể nhận các giá trị x trong tập và hàm khối xác suất (PMF: Probability Mass Function)
(x)
Entropy của biến ngẫu nhiên rời rạc X (x) được định nghĩa như sau:
2 (X) (x) log (x) x H , (1.1)
Entropy được đo bằng bit, và ở đây, ta quy ước 0log 0 02 . Từ công thức (1.1) ta nhận thấy rằng entropy của X có thể được hiểu như là giá trị kỳ vọng của biến ngẫu nhiên log2(X), với X (x). Vì vậy,
2
(X) E (logX (x))
H
ChoX và Y là hai biến ngẫu nhiên rời rạc, với hàm khối xác suất kết hợp
(x, y)
với hàm xác suất đơn là (x) và (y). Entropy có điều kiện của Y được cho bởi X như sau:
Định nghĩa 1.2: Entropy có điều kiệnH(Y | X) cho (X, Y) (x, y) được định nghĩa như sau:
, 2 (Y | X) (x) (Y | X x) EX Y(log (Y | X)) x H H , (1.2)
Entropy vi phân (Differential Entropy): cho X là một biến ngẫu nhiên
liên tục có thể nhận các giá trị x trong tập hữu hạn và hàm mật độ xác suất (PDF: Probability Density Function) f(x)như sau.
Định nghĩa 1.3: Entropy vi phân của biến ngẫu nhiên liên tục X f(x) được định nghĩa là: 2 (X) (x) log (x) x h f f dx