Tài liệu cung cấp những kiến thức cơ bản nhất của môn học lý thuyết thông tin. Tài liệu bao gồm những phần lý thuyết cơ bản, câu hỏi trắc nghiệm và công thức tính toán của từng chương. Qua đó bạn đọc có thể học và hiểu một cách đơn giản và dễ dàng nhất
Trang 1LÝ THUYẾT Chương 1: (8 câu)
Lý thuyết: Khái niệm vật mang, thông tin, lý thuyết thông tin, các thành phần cơ bản
của hệ thống truyền tin, nguồn tin là gì, kênh tin là gì, nguồn tin nguyên thuỷ, các khâu rời rạc hoá một nguồn tin lien tục, các thành phần cơ bản của khối phát tin, khối nhận tin, bản chất của thong tin theo quan điểm truyền tin, nhiễu cộng, nhiễu nhân, các phương pháp điều chế và giải điều chế đối với nguồn lien tục và rời rạc
Bài tập: Bài tập về tính lượng tin riêng, định lý lấy mẫu Shannon, xác định độ dài từ mã
khi biết cơ số mã và số kí hiệu nguồn và ngược lại
Chương 2: (20 câu)
Lý thuyết: Khái niệm về Entropy, độ bất ngờ của tin, các tính chất của entropy, tính
chất của độ đo, ý nghĩa của H(X), H()X\Y), H(Y\X), H(X,Y) và tất cả các công thức xác xuất giữa 2 nguồn X,Y và 3 nguồn X,Y,Z (các công thức 3 nguồn cô để ở cuối file
cô đã tập hợp rồi nhé)
Bài tập: Các bài tập tính toán với Entropy và lượng tin, tốc độ lập tin, thong lượng
kênh, độ dư tương đối, xác định xi->yj tương ứng…
Chương 3: (22 câu)
Lý thuyết: Các khái niệm: mã hiệu, mã hoá, cơ số mã m, độ dài từ mã n, độ dài trung
bình từ mã, chỉ số vị trí, trọng số vị trí, trọng số từ mã, khoảng cách mã, điều kiện
Trang 2chung và riêng để thiết lập mã, khái niệm bộ mã phân tách được, các phương pháp biểu diễn bộ mã, điều kiện cần và đủ để mã phân tách được, độ chậm giải mã, công thức xác định dộ chậm giải mã, prefix của một từ mã, giới hạn trên và dưới của độ dài trung bình
từ mã, khái niệm bộ mã sửa sai, bộ mã sai độc lập, bộ mã sai tương quan, cơ chế của bộ
mã phát hiện sai, trọng số Hamming, khoảng cách Hamming, điều kiện phát hiện sai và sửa sai theo quãng cách mã Hamming Các thuật toán mã hoá thống kê tối ưu, thủ tục tạo prefix
Bài tập: Bài tập về các phương pháp mã hoá: Fano, Shanon, Hufman, Lempel ziv, trọng
số hamming, quãng cách Hamming, mã phát hiện sai, mã sửa sai, mã đối xứng, mã tỷ
lệ, parity chẵn, lẻ, biểu diễn mã bởi ma trận sinh
Trang 3TRẮC NGHIỆM
Câu 1: Cho bộ mã: a =00000, 1 a =01101, 2 a =10110, 3 a =11011 Tại nơi nhận tin 4
nhận được tin x=10101 Bằng phương pháp khoảng cách Hamming từ mã nào là từ mã đúng của x
Câu 2: Cho tin x có xác suất P(x) = 1
25 Lượng tin riêng I(x) có giá trị là:
Câu 3: Công thức tính entropi của một tin là:
A H(x) = log p(x) B H(x) = log p x1( )
C H(x) = ( ).log 1
( )
x X
p x
p x
x X
Câu 4: Bộ mã sai độc lập là:
A Những ký hiệu sai phụ thuộc vào nhau thường xảy ra từng chùm liền nhau
B Một hay nhiều ký hiệu sai nhầm nhưng các sai nhầm đó không ảnh hưởng đến nhau
C Một hay nhiều ký hiệu sai nhầm và một trong số các ký hiệu đó ảnh hưởng lẫn nhau
D Những ký hiệu sai phụ thuộc vào nhau thường xảy ra đơn lẻ
Câu 5: Tính chất nào không đúng về hàm độ đo thông tin
A I(x) = log 1
( )
a
p x =0, p(x) = 1
B I(x) = log 1
( )
a
p x , a>1 là hàm nghịch biến với xác suất là p(x)
C I(xy) = log 1
( )
a
( ) ( )
a
( ) ( )
= I(x)I(y) với x,y độc lập thống kê
D I(x) = log 1 0
( )
a
p x , a>1, 0 p x( ) 1
Câu 6: Công thức tính thông lượng kênh rời rạc có nhiễu là
Trang 4Câu 7: Theo lý thuyết xác suất, sự liên hệ giữa các xác suất của các phần tử trong tập
X, Y và U=X.Y là
A Tất cả các đáp án đều đúng
B p(x,y)=p(x)p(y/x) = p(y)(x/y)
C p(x/y) = ( ) ( / )( ) ( / )
y Y
p x p y x
p x p y x
D p(x) = y Y p x y( , )
, p(y) = ( , )
x X
p x y
Câu 8 : Cho hai vecto u=10101, v=11011 Khoảng cách Hamming D(u, v) là
A.2 B.1 C.3 D.4
Câu 9: Cho hai vecto u=01010, v=11111 Khoảng cách Hamming D(u,v) là
A 2 B.3 C.4 D.1
Câu 10: Phát biểu nào đúng về entropi của nguồn X
A Là đại lượng đặc trưng cho phân bố xác suất của nguồn tin
B Là đại lượng đặc trưng cho cấu trúc thống kê của nguồn
C Là đại lượng đặc trưng cho độ bất ngờ trung bình của nguồn tin
D Là đại lượng đặc trưng cho độ bất ngờ của nguồn tin
Câu 11 : Khẳng định nào sai về độ bất ngờ
A Độ bất ngờ và lượng tin có giá trị giống nhau
B Độ bất ngờ và lượng tin về ý nghĩa vật lý như nhau
C Khi nhận được một tin thì tức là nhận được lượng tin trung bình và độ bất ngờ được giải thoát
D Độ bất ngờ và lượng tin về ý nghĩa vật lý trái ngược nhau
Câu 12 : Mã hóa là:
A Mã hóa là phép biến đổi mọi dạng tín hiệu thành tín hiệu rời rạc
B Mã hóa là phép ánh xạ 1-1 từ tập nguồn tới tập đích
C Mã hóa là phép biến đổi mọi dạng tín hiệu thành tín hiệu nhị phân
D Mã hóa là phép biến đổi mọi dạng tín hiệu thành tín hiệu liên tục
Trang 5Câu 13 : Tại đầu ra kênh tin nhận được nguồn tin Y= y1, y2, y3 với xác suất như sau :
i
i
Cấu trúc thống kê của nguồn Y có được từ bảng phân bố nào ?
A
i, j
P x y y1 y2 y3
1
x 1/16 1/4 1/16
2
3
x 1/16 1/8 1/16
C
Câu
14 :
Giới hạn dưới của độ dài trung bình từ mã được xác định bằng công thức
A n H Ulog( )m B n H Ulog( )
m
m
Câu 15 : Cho tin x có xác suất P(x) = 0.5 Giá trị I(x) là ?
D Mã hóa là phép biến đổi mọi dạng tín hiệu thành tín hiệu liên tục
Câu 16: Cho nguồn A= a , 1 a , 2 a , 3 a có các xác suất tương ứng là4
P(A) = 1/2, 1/4, 1/8, 1/8 Giá trị của H(A) là:
i, j
P x y y1 y2 y3
1
x 1/16 1/16 1/8
2
3
x 1/8 1/16 1/16
i, j
P x y y1 y2 y3
1
x 1/16 1/16 1/8
2
3
x 1/8 1/16 1/16
i, j
P x y y1 y2 y3
1
x 1/16 1/16 1/8
2
3
x 1/8 1/16 1/16
B
D
Trang 6A 1 bit B 32 bit
Câu 17: Giới hạn dưới của độ dài trung bình từ mã được xác định bằng công thức n
( )
log
H U
m
Dấu bằng xảy ra khi
Câu 18: Cho từ mã x=10001010, tổ hợp nào không là prefix của từ mã x
Câu 19: Tin x có xác suất p(x) = 39 Áp dụng thuật toán mã hóa Shano thì tin x có độ dài từ mã là bao nhiêu?
Câu 20: H(X) có ý nghĩa:
A Độ mập mờ của trường vào kênh khi biết trường ra kênh
B Sai số trung bình
C Độ bất ngờ trung bình của một cặp (x,y) bất kỳ trong tập tích XY
D Độ bất ngờ trung bình của nguồn tin
CÁC CÔNG THỨC LÀM BÀI TẬP Chương 1
1/ Định lý lấy mẫu Shanon
f 2 fmax
VD: Rời rạc hóa tín hiệu tiếng nói với gt:
Tần số tối đa fmax= 4000Hz
Khả năng phân biệt tai người là: 1%
Cần bao nhiêu bit để có thể truyền tín hiệu tiếng nói bằng tín hiệu số?
f 2 fmax=4000*2=8000
i
=1% => 100 mức (<2 ) => dùng 7 bit7
=> Cần 8000*7=56 000 bit = 56kbps
Chương 2
Trang 7* Các công thức tính xác suất
1/ p(x) = ( , )
y Y
p x y
x X
p x y
* Các công thức liên quan đến lượng tin
1/ Tính lượng tin riêng 2/ Lượng tin trung bình
I(x ) = i 2
1 log
( )i
( )
i
p x
p x
3/ Lượng tin tương hỗ giữa x và y (x->y or y-> x)
p(x,y) = p(x).p(y/x) = p(y).p(x/y)
4/ Lượng tin tương hỗ trung bình
( / ) ( , ) ( , ).log
( )
y Y
p x y
p x
5/ Lượng tin có điều kiện 6/ Lượng tin có điều kiện trung bình
( , ) ( / )
( )
i j
i j
j
p x y
p x y
p y
1 ( / ) ( , ).log
( / )
i j
y Y
p x y
7/ Quan hệ giữa các lượng tin trung bình
I(X,Y) = I(X) – I(X/Y)
* Các công thức liên quan đến Entropi của nguồn
1/ Độ bất ngờ (=lượng tin)
H(x) =log 1
( )
p x
2/ Entropi trung bình của nguồn
H(X) = ( ).log 1
( )
x X
p x
p x
3/ Entropi đồng thời
H(X,Y) = x X ( , ).log ( , )1
y Y
p x y
p x y
4/ Entropi có điều kiện
H(X|Y) = x X ( , ).log ( | )1
y Y
p x y
p x y
H(Y|X) = x X ( , ).log ( | )1
y Y
p x y
p y x
Trang 85/ Mối quan hệ giữa lượng tin tương hỗ tring bình và Entropi
I(X,Y) = H(X) – H(X|Y)
= H(Y) – H(Y|X)
= H(X)+H(Y) – H(X,Y)
6/ Tốc độ lập tin
vao
R = n0.H(X) Rra = n I(X,Y) = 0 n (I(X)-I(X|Y) = 0 n (H(X)-H(X|Y)0
Đơn vị của R là bit/sec nếu dùng cơ số 2
Nat/sec nếu dùng cơ số e Hart/sec nếu dùng cơ số 10
7/ Thông lượng kênh (C = Rmax)
vao
C = n H X0 ( ) max (H(X) max khi p(x ) đẳng xác suất i
ra
C = n H X0( ( )max H X Y( | ))
8/ Độ dư tương đối của nguồn max
max max
( ) ( ) ( )
1 ( ) ( )
r
Chương 3
* Các phương pháp mã hóa Fano, Shanon, Huffman, Lempel-Ziv( xem trong vở)
* Các công thức Hamming
1/ Trọng số Hamming
Là số các ký tự bằng 1 trong chuỗi nhị phân
VD: có chuỗi ‘00111011001’ thì trọng số Hamming = 6
2/ Khoảng cách Hamming
VD: U=010100100
V=001110000
U+V =011010100
Khoảng cách Hamming W(U+V) =4 (Bằng số ký tự 1 của U+V) = D(U,V)(là số các tọa
độ khác nhau giữa U và V)
* Mã phát hiện sai, mã sửa sai, mã đối xứng, mã tỷ lệ, parity chẵn, lẻ, biểu diễn mã bởi ma trận sinh(Giáo trình)