Lý Thuyết Thông Tin
Giáo trình lý thuyết thông tin
... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
3
Giáo trình: Lý thuyết thông tin.
Mô hình lý thuyết thông tin theo quan điểm Shannon
Lý thuyết thông tin được xét ở đây theo quan điểm của Shannon. ... Văn Hiếu.
29
Giáo trình: Lý thuyết thông tin.
CHƯƠNG 1: GIỚI THIỆU
1: Mục tiêu
Sau khi hoàn tất bài học này bạn có thể biết:
- Đối tượng nghiên cứu,
- M...
Lý thuyết thông tin
... đi m c a thông tin sộ ố ượ ể ủ ố
(1). H th ng thông tin s th ng ph c t p h n m t h th ng t ng t t ng " $
đ ng.
(2). Chi phí l p đ t l n h n so v i thông tin t ng ... a h th ng thông tin sƯ ượ ể ủ ệ ố ố
1.4.1. Nh ng u đi m c a thông tin sữ ư ể ủ ố
(1). Tăng đ c kh năng truy n d n d li u '
(2). Tăng kh năng tích h p, đ ph c t p...
Slide bài giảng môn môn học lý thuyết thông tin
... TIN
Trường Đại học Công Nghệ Thông Tin
Trang 3
NỘI DUNG MÔN HỌC (tt)
Bài 10 Mã hóa chống nhiễu, định lý kênh
Bài 11 Mã khối tuyến tính
Bài 12 Cơ sở toán học của mã hóa chống nhiễu
Bài ... Chuẩn bị toán học
Bài 4 Lượng tin
Bài 5 Entropy
Bài 6 Mã hiệu
Bài 7 Mã hóa tối ưu nguồn rời rạc không nhớ
Bài 8 Mã hóa nguồn phổ quát
Bài 9 Kênh rời...
Bài tập nhóm môn lý thuyết thông tin
... suất điều kiện p(yi | xi). Tính các lượng tin tương hỗ I(x
i
,y
j
), các lượng tin có điều
kiện I(x
i
,y
j
), lượng tin tương hỗ trung bình I(X,Y), lượng tin có điều kiện trung bình I(X|Y).
9. ... 7. Cho nguồn tin X. Hiện thực giải thuật mã hoá nguồn phổ quát với m=2.
8. Xây dựng chương trình cho phép nhập vào hai nguồn tin X, Y, các xác suất p(x
i
) của X và ... ma trận sinh. Vi...
Lý thuyết thông tin
... Technical Journal -
nơi đưa ra lý thuyết thông tin. Shannon đã giải thích hai khía cạnh này thông qua
định lý mã hóa nguồn và định lý mã hóa kênh truyền của ông.(Định lý mã hóa
nguồn của Shannon ... sổ, mục đích của những người thiết kế là chuyển
đổi thông tin thành tín hiệu sổ, chuyển đi thông qua một môi trường truyền tin, nhận
thông tin tại trạm cuối và tái hi...
Giáo trình: Lý thuyết thông tin 2
...
∑∑∑
===
==−≤−
M
i
i
M
i
i
M
i
ii
MpM
M
ppp
1
22
1
2
1
2
loglog
1
loglog
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
20
Giáo trình: Lý thuyết thông tin.
BÀI 2. 2: CÁC TÍNH CHẤT CỦA ... Giáo trình: Lý thuyết thông tin.
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN
Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết...
Giáo trình: Lý thuyết thông tin 3
...
28
Giáo trình: Lý thuyết thông tin.
3. Những người dân của một làng được chia làm 2 nhóm A và B. Một nửa nhóm A chuyên nói
thật, 3/ 10 nói dối và 2/10 từ trối trả lời. Trong nhóm B: 3/ 10 nói ... định lý 1,2 và 3 cùng với các kết quả
đã tính được để so sánh và minh họa.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
27
Giáo trình: Lý...
Giáo trình: Lý thuyết thông tin 4
... Dương Văn Hiếu.
33
Giáo trình: Lý thuyết thông tin.
BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
- Hiểu định lý Shannon (1 948 ),
- Biết được các ... Văn Hiếu.
38
Giáo trình: Lý thuyết thông tin.
BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI
MÃ
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể hiểu:
- Định lý Kraft...
Giáo trình: Lý thuyết thông tin 5
... 5
X P X P X P
X P
X P
x
1
0.3 x
1
0.3 x
1
0.3 x
23
0. 45 x
156 4
0 .55 0
x
2
0. 25 x
2
0. 25 x
56 4
0. 25 x
1
0.3 x
23
0. 45 1
x
3
0.2 x
3
02 x
2
0, 25 x
56 4
0. 25
x
4
0.1 x
56 ... Dương Văn Hiếu.
48
Giáo trình: Lý thuyết thông tin.
2.
Cho biến ngẫu nhiên Y có phân phối sau:
Y y
1
y
2
y
3
y
4
y
5
y
6
y
7
y
8
y
9
P 0.3 0.2...
Giáo trình: Lý thuyết thông tin 6
... Tấn Tài & Ks. Dương Văn Hiếu.
57
Giáo trình: Lý thuyết thông tin.
Bài tập 1
1.
Cho ma trận truyền tin sau:
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
3/12/ 16/ 1
2/ 16/ 13/1
6/ 13/12/1
3
2
1
x
x
x
y
1
y
2
y
3
Biết ... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
52
Giáo trình: Lý thuyết thông tin.
Các khái niệm cơ bản của kỹ thuật truyền tin
Xét sơ đồ truyền tin như s...
Giáo trình: Lý thuyết thông tin 7
... Văn Hiếu.
70
Giáo trình: Lý thuyết thông tin.
Ví dụ tìm m nhỏ nhất từ n và e
Giả sử biết trước n =7 và e=1. Tìm số bit kiểm tra tối thiểu cần thiết của bộ mã chẵn lẻ.
Theo định lý điều kiện ... số bit thông tin ⇒ s=2
k
(vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa
2
k
trạng thái thông tin k bit).
+ Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã s...
Giáo trình: Lý thuyết thông tin 8
...
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
80
Giáo trình: Lý thuyết thông tin.
Bước 1: Sinh k = 3 từ độc lập truyến tính: w’
1
=001001, w’
2
=111010, w’
3
=110100 ...
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
78
Giáo trình: Lý thuyết thông tin.
-
Hiểu Mã Hamming,
-
Hiểu tính chất của mã Ham...
Giáo trình: Lý thuyết thông tin 9
...
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
89
Giáo trình: Lý thuyết thông tin.
Thủ tục sinh thanh ghi lùi từng bước
Để sinh thanh ghi lùi từng bước với ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
87
Giáo trình: Lý thuyết thông tin.
BÀI 5 .9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI
Mục tiêu
Sau khi hoàn...
Giáo trình: Lý thuyết thông tin 10
... Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
93
Giáo trình: Lý thuyết thông tin.
TÀI LIỆU THAM KHẢO
12.
G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992. ... 2
Xét một kờnh truyn tin c bit dng : Truyn X
ặ
Nhận Y.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
91
Giáo trình: Lý thuyết t...