... 6, 044 6, 508
4,087 5,392 6, 066 6, 523
4,170 5,4 26 6,087 6, 539
4,248 5,459 6, 108 6, 555
4,322 5,492 6, 129 6, 570
4,392 5,523 6, 149 6, 585
4,459 5,555 6, 170 6, 599
4,523 5,585 6, 190 6, 615 ... 3 - CƠ SỞ LÝ THUYẾT THÔNG TIN THỐNG KÊ 47
3.1. THÔNG TIN - LƯỢNG THÔNG TIN – XÁC SUẤT VÀ THÔNG TIN – ĐƠN VỊ ĐO THÔNG
TIN
47
3.1.1. Định nghĩa định tính...
... Tấn Tài & Ks. Dương Văn Hiếu.
57
Giáo trình: Lý thuyết thông tin.
Bài tập 1
1.
Cho ma trận truyền tin sau:
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
3/12/ 16/ 1
2/ 16/ 13/1
6/ 13/12/1
3
2
1
x
x
x
y
1
y
2
y
3
Biết ... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
52
Giáo trình: Lý thuyết thông tin.
Các khái niệm cơ bản của kỹ thuật truyền tin
Xét sơ đồ truyền tin như sau:...
... Tấn Tài & Ks. Dương Văn Hiếu.
59
Giáo trình: Lý thuyết thông tin.
Bài tập 1
1. Cho ma trận truyền tin sau:
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
3/12/ 16/ 1
2/ 16/ 13/1
6/ 13/12/1
3
2
1
x
x
x
y
1
y
2
y
3
Biết ... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
60
Giáo trình: Lý thuyết thông tin.
Các khái niệm cơ bản của kỹ thuật truyền tin
Xét sơ đồ truyền tin như sau:...
... Phan Tấn Tài & Ks. Dương Văn Hiếu.
3
Giáo trình: Lý thuyết thông tin.
Mô hình lý thuyết thông tin theo quan điểm Shannon
Lý thuyết thông tin được xét ở đây theo quan điểm của Shannon. Đối ... Văn Hiếu.
29
Giáo trình: Lý thuyết thông tin.
CHƯƠNG 1: GIỚI THIỆU
1: Mục tiêu
Sau khi hoàn tất bài học này bạn có thể biết:
- Đối tượng nghiên cứu,
- Mô h...
... Giáo trình: Lý thuyết thông tin.
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN
Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên
X. Tính toán các lượng tin ... sau:
Y x
1
x
2
x
3
x
4
P 1 /6 2 /6 1 /6 2 /6
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
18
Giáo trình: Lý thuyết thông tin.
T...
... định lý 1,2 và 3 cùng với các kết quả
đã tính được để so sánh và minh họa.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
27
Giáo trình: Lý thuyết thông tin. ... 0.25 0 .62 5
Nhận xét dựa theo entropy
Từ các bảng phân phối trên, ta có:
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
28
Giáo trình: Lý thuyết...
... Giáo trình: Lý thuyết thông tin.
Tập hợp S
4
={00, 110}
Tập hợp S
5
={01, 0, 011, 110}
Tập hợp S
6
={0, 10, 001, 110, 0011, 0110}
Tập hợp S
6
chứa từ mã 0110 nên bảng ... & Ks. Dương Văn Hiếu.
33
Giáo trình: Lý thuyết thông tin.
BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
- Hiểu định lý Shannon (1948),
- Biết đượ...
... vật lý như sau:
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
45
Giáo trình: Lý thuyết thông tin.
Định nghĩa dung lượng kênh truyền
Dựa vào ma trận truyền tin ...
Lượng thông tin truyền trên kênh:
I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit)
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
47
Giáo trình:...
... lý Điều kiện cần (Cận Hamming) và Điều kiện đủ
(ĐK Varshamov-Gilbert-Sacks).
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
68
Giáo trình: Lý thuyết thông tin. ... số bit thông tin ⇒ s=2
k
(vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa
2
k
trạng thái thông tin k bit).
+ Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai....