Đề thi lí thuyết thông tin

NGÂN HÀNG THI Môn: LÝ THUY T THÔNG TIN

d Tin là d ng v t ch t đ bi u di n ho c th hi n thông tin

2/ Ch n phát bi u đúng trong nh ng câu sau :

a Thông tin là nh ng tính ch t xác đ nh c a v t ch t mà con ng i nh n đ c t th gi i v t ch t bên ngoài

b Thông tin không th xu t hi n d i d ng hình nh

c Thông tin t n t i m t cách ch quan, ph thu c vào h th c m

d Thông tin không th xu t hi n d i d ng âm thanh

3/ Môn lý thuy t thông tin bao g m vi c nghiên c u:

a Vai trò c a thông tin trong k thu t

b Các quá trình truy n tin và Lý thuy t mã hóa

c Lý thuy t toán xác su t ng d ng trong truy n tin

d Cách ch ng nhi u phi tuy n trong vô tuy n đi n

4/ Ch n câu đúng nh t v ngu n tin

a Ngu n tin là n i s n ra tin

b Ngu n tin là t p h p các tin có xác su t và ký hi u nh nhau

c Ngu n tin liên t c sinh ra t p tin r i r c

d Ngu n tin r i r c sinh ra t p tin liên t c

5/ Ch n câu đúng nh t v đ ng truy n tin

a Là môi tr ng V t lý, trong đó tín hi u truy n đi t máy phát sang máy thu

b Là môi tr ng V t lý đ m b o an toàn thông tin

c Là môi tr ng V t lý trong đó tín hi u truy n đi t máy phát sang máy thu không làm m t thông tin c a tín hi u

d ng truy n tin chính là kênh truy n tin

6/ bi n đ i m t tín hi u liên t c theo biên đ và theo th i gian thành tín hi u s , chúng ta c n

th c hi n quá trình nào sau đây:

a R i r c hóa theo tr c th i gian và l ng t hóa theo tr c biên đ

b K v ng, ph ng sai, hàm t t ng quan, hàm t ng quan là các quy lu t th ng kê

c Các hàm phân b và m t đ phân b là nh ng đ c tr ng th ng kê

d Tín hi u và nhi u không ph i là quá trình ng u nhiên theo quan đi m thông kê

3/ Ch n câu đúng nh t v hàm t t ng quan :

a Hàm t t ng quan là quy lu t th ng kê th hi n c a quá trình ng u nhiên

b Hàm t t ng quan R (t , t )x 1 2 luôn đ c tính b ng bi u th c sau

d

2 T

8/ Trong tr ng h p h th ng tuy n tính th đ ng có suy gi m thì nh ng th i đi m t >> t0= 0 (th i

đi m đ t tác đ ng vào), quá trình ng u nhiên đ u ra s đ c coi là d ng Khi đó hàm t t ng quan

và m t đ ph công su t c a quá trình ng u nhiên đ u ra s liên h v i nhau theo bi u th c sau :

b

a

2

sin2

11/ Cho quá trình ng u nhiên d ng có bi u th c sau: X t ( ) = A cos 2 f t ( π 0 + ϕ )

Trong đó A = const, f0 = const, ϕ là đ i l ng ng u nhiên có phân b đ u trong kho ng ( −π π , ) Tính k v ng M X t{ ( )} theo công th c M X t{ ( )} X t w( ) ( )d

π π

b

2

2 2

4( )

c ( )G x ω = 0

d

2

2 2

4( )

14/ M t quá trình ng u nhiên d ng có hàm t t ng quan: R x( )τ =δ2e−α τ cosω τ0

Khi đó m t đ ph công su t c a các quá trình ng u nhiên trên là

CH NG 3: C S LÝ THUY T THÔNG TIN TH NG KÊ

d N ng l ng c a tín hi u mang tin và ý ngh a c a tin

2/ Ch n phát bi u đúng nh t v Entropy c a ngu n tin, H(X):

a Là đ i l ng đ c tr ng cho đ b t đ nh trung bình c a ngu n tin

b c tính theo công th c ( ) ( ) log ( )

c b t đ nh c a m t ph n t có giá tr 1 bit khi xác su t ch n ph n t đó là 1

d b t đ nh còn đ c g i là l ng thông tin riêng c a bi n c tin

4/ Entropy c a ngu n r i r c nh phân H(A)= −p log p− −(1 p log 1 p) ( − )

Khi p=1/2 thì H(A) đ t max Ch n câu đúng v H A( )max

8/ M t thi t b vô tuy n đi n g m 16 kh i có đ tin c y nh nhau và đ c m c n i ti p Gi s có m t

10/ Ch n câu sai trong các câu sau :

a b t đ nh s tr thành thông tin khi nó b th tiêu

b b t đ nh chính là thông tin

c L ng thông tin = đ b t đ nh tiên nghi m + đ b t đ nh h u nghi m

d L ng thông tin = đ b t đ nh tiên nghi m - đ b t đ nh h u nghi m

11/ Ch n câu đúng sau :

a L ng thông tin = thông tin tiên nghi m - thông tin h u nghi m

b Thông tin h u nghi m chính là thông tin riêng

c L ng thông tin = thông tin h u nghi m - thông tin tiên nghi m

d L ng thông tin = thông tin tiên nghi m + thông tin h u nghi m

12/ Ch n câu sai trong các câu sau :

a Thông tin tiên nghi m (ký hi u I(x )) k đ c xác đ nh theo công th c sau:I(x ) = log P( k x ); k

b Thông tin tiên nghi m còn g i là l ng thông tin riêng;

c Thông tin tiên nghi m (ký hi u I(x )) k đ c xác đ nh theo công th c sau:I(x ) =- log P( k x ); k

d Thông tin tiên nghi m còn g i là l ng thông tin riêng đ c xác đ nh theo công th c sau : I(x ) = k log 1

P y x

P y

14/ I x( k /y l)= −log (p x k/y l)là thông tin h u nghi m v xk p x( k/y l) 1= khi vi c truy n tin không

b nhi u Ch n câu sai trong nh ng câu v I x( k/y d l) i đây:

a I x( k /y =0 khi kênh không có nhi u l)

b I x( k /y là l l) ng tin b m t đi do nhi u

c I x( k /y là l l) ng tin có đi u ki n

d I x( k /y =1/2 khi kênh không có nhi u l)

15/ (I x k/y là thông tin h u nghi m v l) xk p x( k/y l) 1= khi vi c truy n tin không b nhi u Ch n câu sai trong nh ng câu v I x( k/y d l) i đây:

a (I x k/y là l l) ng tin b t n hao do nhi u

b (I x k/y = 0 khi kênh không có nhi u l)

c (I x k/y >1/2 khi kênh không có nhi u l)

d (I x k/y là l l) ng thông tin v x khi k đã bi t y l

16/ (I x k/y là l l) ng thông tin riêng c a x khi k đã bi t y và ( l I x k/y = 0 khi không có nhi u Câu l) này đúng hay sai ?

a úng

b Sai

17/ Ch n câu sai trong nh ng câu sau:

a L ng tin còn l i c a x sau khi k đã nh n đ c y ký hi u là ( l I x k /y l)

b (I x y là l k, l) ng tin riêng c a x và k y l

c L ng tin (I x k)là l ng tin ban đ u c a x k

d L ng tin (I x k)là l ng tin ban đ u c a x , L k ng tin còn l i c a x sau khi k đã nh n đ c

l

y ký hi u là ( I x k/y l)

18/ Cho tin x có xác su t là ( ) i P x i =0, 5, l ng tin riêng ( )I x c a tin này b ng các i đ i l ng nào

d i đây :

a 4 bít

b 1 bít

c 1/4 bít

d 2 bít

19/ Cho tin x có xác su t là ( ) 1/ 4 i P x i = , l ng tin riêng ( )I x c a tin này b ng các i đ i l ng nào d i đây : a 2 bít b 4 bít

c 3 bít

d 1/2 bít

e 1/4 bít

20/ Cho tin x có xác su t là ( ) 1/ 8 i P x i = , l ng tin riêng ( )I x c a tin này b ng các i đ i l ng nào d i đây : a 5 bít

b 3 bít

c 4 bít

d 1/4 bít

21/ Cho tin x có xác su t là ( ) 1/16 i P x i = , l ng tin riêng ( )I x c a tin này b ng các i đ i l ng nào d i đây: a 1/4 bít

b 2 bít

c 3 bít

d 4 bít

22/ Cho tin x có xác su t là ( ) 1/ 27 i P x i = , l ng tin riêng ( )I x c a tin này b ng các i đ i l ng nào

25/ Tìm câu sai trong nh ng câu d i đây

a b t ng c a tin x trong ngu n tin i X N đ c tính b ng entropy c a l p tin x trong ngu n i

tin X N

b b t đ nh c a tin và l ng tin v ý ngh a trái ng c nhau nh ng v giá tr l i b ng nhau

c b t đ nh c a tin và l ng tin có ý ngh a nh nhau nh ng giá tr khác nhau

d L ng tin trung bình đ c hi u là l ng tin trung bình trong m t tin b t k c a ngu n tin đã cho

26/ L ng thông tin riêng ( đ b t đ nh) c a m t bi n ng u nhiên xk là I x ( )k

Ch n bi u th c sai trong các bi u th c d i đây

b Ch n k =-1 ta có I ( ) xk = − ln p ( ) xk ;

k ln10

33/ Entropy có đi u ki n v 1 tr ng tin A khi đã rõ tr ng tin B là H(A/B)

Trong các tính ch t c a H(A/B) d i đây, tính ch t nào sai

36/ L ng thông tin chéo trung bình (ký hi u là I(A,B) có các tính ch t nào sau đây

a I A, B ( ) = − H A ( ) khi kênh có nhi u;

b 0 ≤ I A, B ( ) ≤ H A ( );

c H A ( ) ( ≤ I A, B ) ≤ 0;

d I A, B ( ) = H A ( ) khi kênh có nhi u;

37/ L ng thông tin chéo trung bình (ký hi u là I(A,B) Trong các tính ch t d i đây, tính ch t nào sai:

a I A, B ( ) ≤ H A ( );

b I A, B ( ) = H A ( ) khi kênh có nhi u;

c 0 ≤ I A, B ( );

d I A, B ( ) = H A ( ) khi kênh không có nhi u;

38/ L ng thông tin chéo trung bình (ký hi u là I(A,B) có các tính ch t nào sau đây

a I A, B ( ) = 1 khi kênh b đ t;

b 0 ≤ I A, B ( ) v à I A, B ( ) = 0 khi kênh b đ t;

c 0 ≥ I A, B ( )

d I A, B ( ) = H A ( ) khi kênh có nhi u;

39/ L ng thông tin chéo trung bình (ký hi u là I(A,B) ), trong các tính ch t d i đây c a I(A,B), tính

c I(A,B) = H(A) + H(B) + H(AB);

d I(A,B) = H(A) + H(B) - H(AB);

42/ Ch n ng u nhiên m t trong các s t 0 đ n 7 có xác su t nh nhau b t đ nh c a s đ c

ch n ng u nhiên là

a 1/8 bít;

d H (A)1 − log s ≤ ⇒ 0 H (A)1 ≤ log s

52/ Kh n ng thông qua c a kênh r i r c C’ là giá tr c c đ i c a l ng thông tin chéo trung bình truy n qua kênh trong m t đ n v th i gian l y theo m i kh n ng có th có c a ngu n tin A

υ bi u th s d u mà kênh đã truy n đ c (đ c truy n qua kênh) trong m t đ n v th i gian

I’(A,B) là l ng thông tin đã truy n qua kênh trong m t đ n v th i gian C đ c g i là kh n ng thông qua c a kênh đ i v i m i d u C’ có các tính ch t nào d i đây :

a C’ ≥ 0, C’ = 0 khi A và B đ c l p ; C’≤ υKlog s, '

k

C = v log s khi kênh không nhi u

b C’ = 0 khi và ch khi A và B có nhi u

c C' = v log sk khi kênh có nhi u

d C' = v log sk khi các kênh đ c l p

53/ I(A,B) là l ng thông tin trung bình đ c truy n qua kênh r i r c có tính ch t : I(A,B) ≤ H(A)

υ bi u th s d u mà kênh đã truy n đ c trong m t đ n v th i gian T các tính ch t và đ nh

ngh a trên cho bi t các bi u th c d i đây, bi u th c nào sai

a υK I(A,B) ≥υKH(A);

b υK I(A,B) ≤υKH(A);

c υKmaxI(A,B) ≤υKmaxH(A)

d max(υKI(A,B)) ≤ max(υKH(A));

54/ Cho ngu n r i r c ch có hai d u: 1 2

A p(a ) p(a )

íi x¸c suÊt p(a

íi x¸c suÊt p(a

íi x¸c suÊt p(a

íi x¸c suÊt p(a

trong m i tin đ u thu khi đ u phát đã phát đi m t tin đ c tính theo công th c:

trong m i tin đ u thu khi đ u phát đã phát đi m t tin aiđ c tính theo công th c sau:

Khi đó trong các k t qu tính I(A,B), k t qu nào sai

a I(A,B) = H(A) - H(A/B) ;

b I(A,B) = H(A)+ H(A/B) ;

c I(A,B) = H(A) + H(B) - H(AB);

d I(A,B) = H(B) - H(B/A);

70/ Xét 2 tr ng s ki n A và B sau :

b a

a

( )ii ( )j j

a / b C

b a

C

p(b ) p(a )

73/ Ch n câu sai sau :

a Xác su t xu t p(x) càng l n thì “l ng tin” khi nh n đ c tin này c ng s càng l n

b Xác su t xu t hi n c a m t tin t l ngh ch v i đ b t ng khi nh n đ c m t tin

c Xác su t xu t p(x) càng l n thì “l ng tin” khi nh n đ c tin này c ng s càng nh

d “L ng tin” c a m t tin t l thu n v i s kh n ng c a m t tin và t l ngh ch v i xác su t

xu t hi n c a tin đó

74/ L ng tin có đi u ki n h u nghi m v xK( thông tin riêng v xK sau khi cóy ) đ c đ nh ngh a

là (I x k/y l)= −log (p x k/y l)

Ch n câu sai trong các câu sau :

a Xác su t (P x k/y l) 1= ch x y ra khi kênh truy n không có nhi u

Ch n câu sai sau :

a (p x k/y l) 1= t c là là l ng tin c a xKđ c truy n nguyên v n

Tìm câu sai sau :

a L ng thông tin riêng b ng t ng l ng thông tin chéo và l ng thông tin h u nghi m

b L ng thông tin riêng có th âm

c T ng l ng thông tin chéo và l ng thông tin h u nghi m b ng l ng thông tin riêng

d L ng thông tin riêng luôn d ng

77 / Cho 2 ngu n tin A và B có các xác su t t ng ng là :

d p b ( ) ( ) (1 = p a p b a2 1 1) ( ) ( − p a p b a2 1 2);

93/ Cho m t kênh nh phân nh hình bên:

p(b1/a1) = pd

a1 b1

a2 b2 p(b2/a2) = pd

95/ Cho kênh đ i x ng nh phân nh hình bên:

p(b1/a1) = pd

CH NG 4: C S LÝ THUY T MÃ

1/ Ch n câu đúng v mã hóa

a Mã hóa là phép bi n đ i m i d ng tín hi u thành tín hi u liên t c

b Mã hóa là ánh x che d u thông tin

c Mã hóa là m t ánh x 1- 1 t t p các tin r i r c ai lên t p các t mã n i

d dài t mã nilà m t s nguyên có th âm ho c d ng

5/ dài t mã ni là s các d u mã c n thi t dùng đ mã hóa cho tin ai

Ch n câu sai v đ dài t mã

a N u ni = const v i m i i , khi đó b mã t ng ng đ c g i là b mã đ u

b dài t mã nilà m t s nguyên luôn l n h n ho c b ng 1

c N u ni = const ∀ i có ngh a là t t c các t mã đ u có cùng đ dài

d dài t mã nilà m t s nguyên có th âm

6/ dài t mã ni là s các d u mã c n thi t dùng đ mã hóa cho tin ai

c dài t mã ni là s các d u mã c n thi t dùng đ gi i mã cho tin ai

d dài t mã ni là S các d u mã khác nhau (v giá tr ) đ c s d ng trong gi i mã

11/ N i dung c a đ nh lý mã hoá th nh t c a Shannon (đ i v i mã nh phân) đ c phát bi u nh sau:

“Luôn luôn có th xây d ng đ c m t phép mã hoá các tin r i r c có hi u qu mà đ dài trung bình

c a t mã có th nh tu ý, nh ng không nh h n entropie xác đ nh b i các đ c tính th ng kê c a ngu n” Ch n câu đúng v đ dài t mã :

a S t mã nh nh t

b S t mã không đ i

c Chi u dài trung bình c a các t mã nh h n ho c b ng entropy c a ngu n

d Chi u dài trung bình các t mã nh nh t trong t t c các cách mã hóa

12/ N i dung c a đ nh lý mã hoá th nh t c a Shannon (đ i v i mã nh phân) đ c phát bi u nh sau:

“Luôn luôn có th xây d ng đ c m t phép mã hoá các tin r i r c có hi u qu mà đ dài trung bình

c a t mã có th nh tu ý, nh ng không nh h n entropie xác đ nh b i các đ c tính th ng kê c a ngu n” Ch n câu sai v đ dài t mã :

a Chi u dài trung bình các t mã tho mãn h th c s ( )i i 1( )

i 1

=

b Chi u dài trung bình các t mã nh nh t trong t t c các cách mã hóa

c Chi u dài trung bình c a các t mã l n h n ho c b ng entropy c a ngu n

d Chi u dài trung bình các t mã tho mãn h th c s ( ) ( )

a Mã tuy n tính là mã mà t mã c a nó có các d u mã là phi tuy n

b Mã tuy n tính đ dài n là mã mà t mã c a nó có các d u mã là các d ng tuy n tính

c Mã tuy n tính là mã mà t mã c a nó v a có các d u mã là phi tuy n v a ng u nhiên

d Mã tuy n tính đ dài n là mã mà t mã c a nó có các d u mã là các d ng ng u nhiên

22/ Ch n câu đúng v mã h th ng tuy n tính :

a Mã h th ng tuy n tính (n,k) là mã tuy n tính đ dài n trong đó ta có th ch ra đ c v trí c a k-1 d u thông tin trong t mã

b Mã h th ng tuy n tính (n,k) là mã tuy n tính đ dài n trong đó ta có th ch ra đ c v trí c a

k d u thông tin trong t mã

c Mã h th ng tuy n tính (n,k) là mã tuy n tính đ dài n trong đó ta có th ch ra đ c v trí c a n-k d u thông tin trong t mã

d Mã h th ng tuy n tính (n,k) là mã tuy n tính đ dài n trong đó ta có th ch ra đ c v trí c a r= n - k d u thông tin trong t mã

23/ Ch n câu đúng v mã tuy n tính ng u nhiên :

a Mã tuy n tính ng u nhiên là mã tuy n tính có các d u mã đ c ch n ng u nhiên t phép ánh

x trong không gian phi tuy n

b Mã tuy n tính ng u nhiên là mã tuy n tính có các d u mã đ c ch n ng u nhiên t các d ng tuy n tính có th có

c Mã tuy n tính ng u nhiên là mã tuy n tính có phép ánh x phi tuy n ng u nhiên

d Mã tuy n tính ng u nhiên là mã ng u nhiên có các d u mã đ c ch n tuy n tính t các d ng tuy n tính có th có

24/ mô t mã tuy n tính, có th s d ng ma tr n sinh Gk,nTrong đ i s tuy n tính ta bi t r ng

d Gk,n không nh t thi t là ma tr n sinh

25/ Gi s sau khi th c hi n mã hóa, tin a i đ c mã hóa thành 1001, khi đó đ dài t mã n c a tin i

a n=1,45;