Bài tập Lý thuyết thông tin

Cho ma trận kênh Q của kênh truyền nhị phân DMC: Giả thiết phía thu nhận được bản tin y3. Hãy xác định bản tin nào được phía phát gửi đi Cho kênh truyền BSC với xác suất truyền thành công bit thông tin là 0,9 và pbxs của nguồn phát X là p(x0)=0,1; p(x1)=0,9 Mã hoá Huffman, mã hoá Fano Cho mạch mã hoá xoắn có cấu trúc Xác định bản tin ở phía thu nếu nhận được từ mã

Bài 1: Cho ma trận kênh Q kênh truyền nhị phân DMC: Q= 1/2 1/3 1/6 1/6 1/2 /3 1/3 1/6 /2 với phân bố xs nguồn p(X)={1/2;1/4;1/4} a) Vẽ mơ hình kênh truyền với nguồn đầu vào X={x1,x2,x3}, đầu Y={y1,y2,y3} b) Xác định bảng ppxs P(X,Y) Từ ct p(y/x)= p (x , y ) p( x)  p(x1,y1)=p(y1/x1).p(x1) p(x1,y2)=p(y2/x1).p(x1) …  bảng P(X,Y) c) Giả thiết phía thu nhận tin y3 Hãy xác định tin phía phát gửi p(y1)=p(x1,y1)+p(x2,y1)+p(x3,y1) p(y2), p(y3) Tính: p(x1/y3) = So sánh p (x 1/ y 2) p( x 1) p (x , y 3) p ( y 3) , , p(x2/y3) = p (x 2/ y 3) p( x 2) với p (x / y 3) p(x 3) p (x , y 3) p ( y 3) , p(x3/y3) =  Tỉ số lớn p (x , y 3) p ( y 3) Bài 2: Cho kênh truyền có mơ hình sau; với pbxs nguồn X, p(X) = {0,3;0,4;0,3} a) Xác định pbxs đồng thời X,Y Q= ( 0,8 0,2 0,3 0,7 0 0,7 ) Tính p(x1,y1)=p(y1/x1).p(x1);….;p(x3,y3)=p(y3/x3).p(x3) bảng b) Tính H(X),H(Y),I(X,Y) p(y)=∑ p ( xk ) p ( y , xk ) H(X),H(Y) I(X,Y)=H(X)+H(Y)-H(X,Y) c) tính xác suất truyền lỗi Pe Pe=P[X#Y]=P(y#x,x).P(x) Bài 3: Cho kênh truyền BSC với xác suất truyền thành công bit thông tin 0,9 pbxs nguồn phát X p(x0)=0,1; p(x1)=0,9 a) Xđ ma trận Q vẽ mơ hình kênh truyền Xs lỗi trung bình p=1-0,9=0,1 Q = [ 0,9 0,1 0,1 0,9 ] Bài 4: *Mã hoá Huffman *Mã hoá Fano Bài 5: Cho mã khối có ma trận sinh sau: G4x7 =  11 01 000   01 01100     010110     001 011  a) Xác định từ mã tương ứng với tin m = ( 1 ) Từ mã tính được: U m.G (0111)  G   u u   u 0.1  1.0  1.1  1.1 0 u1 0.1  1.1  1.0  1.0 1 u 1, u3 0, u 0, u5 0, u 1  U (0110001) b) Xác định tin phía thu nhận từ mã: U=(1 0 0) U m.G  m0 m3 G  1000100  m0.1  m1.0  m 2.1  m3.1 1  m0.1  m1.1  m2.0  m3.0 0   m0.0  m1.0  m 2.1  m3.0 0   m0.1  m1.1  m2.0  m3.1 0  m0.0  m1.1  m 2.1  m3.0 1   m0.0  m1.0  m 2.1  m3.1 0  m0.0  m1.0  m 2.0  m3.1 0  m0  m  m3 1 m0  m1 0  m2 0  m0  m1  m3 0 m1  m2 1  m2  m3 0 m3 0 =>  m0 1 m3 0   m1 1 m2 0 => Vậy tin nhận m=(1 0) c) Xác định ma trận H mã khối H G T 0   h0 h6 G T 0 1 1  0  G T  0  0 0  1 0 1 1 1  0  1 0  1 1 h0.1  h1.1  h 2.0  h3.1  h4.0  h5.0  h6.0 0 h0.0  h1.1  h 2.0  h3.1  h 4.1  h5.0  h6.0 0    h0.1  h1.0  h 2.1  h3.0  h 4.1  h5.1  h6.0 0 h0.1  h1.0  h 2.0  h3.1  h 4.0  h5.1  h6.1 0 h0  h1  h3 0 h1  h3  h 0   h0  h  h  h5 0 h0  h3  h5  h6 0 Giả thiết h1=(001), h2=(010), h3=(100)  h0 h1  h3 (001)  (010) (011) h h1  h3 (011) h h0  h  h5 (100) h6 h0  h3  h5 (101)  0 00 1  H  0 11 0   1 01  Bài 5: Cho mạch mã hố xoắn có cấu trúc: Giả thiết: Trong chu kì có bit dc dịch vào a) Xđ giản đồ chuyển trạng thái mạch mơ tả q trình mã hố theo giản đồ mắt lưới với chuỗi bit đầu bào m = (1011) b) Phân tích q trình giải mã hố phía thu nhận chuỗi thông tin ( 000 011 011 101 101) Giải a) V1=m(t)+R2(t-1) V2=R1(t-1)+R2(t-1), V3=m(t)+R1(t-1)  V=(101 011 011 110 101 110) Bài 1: Tín hiệu thuộc loại nào? Tính cơng suất trung bình lượng trung bình (nếu có) a) x(t) = 3cos6t (    t   ) Tín hiệu: xác định, tuần hồn, tương tự, tín hiệu cơng suất T /2 Px lim  x (t )dt T  T  T /2 Cơng suất tín hiệu: Px  To T /2  /6 x (t )dt  18(1  cos12t ) dt 18W     /6  T /2  4e(  5/2) t y (t )  0 b) t 0 t 0 Tín hiệu: xác định, tương tự, lượng T /2 Năng lượng tín hiệu:  E y lim T  y  (t )dt  T /2  16 E y  y (t )dt 16e dt  ( J )    5t Bài 2: Cho kênh truyền nhị phân DMC có bảng ppxs chuyển đổi P(Y/X) X1 X2 X3 Y1 0,8 0 Y2 0,2 0,3 Y3 0 0,7 Với p(x1)=0,2; p(x2)=0,3; p(x3)=0,5 a) H(X), H(Y) I(X,Y) b)Giả sử phía thu nhận tin y2.Hãy xđ tin phát So sánh p (xi/ y 2) p( xi)  tỉ số lớn tin tương ứng Bài 3: Cho mơ hình kênh truyền: Biết pbxs đồng thời X,Y P(x,y) X0 X1 Y0 2/15 2/5 Y1 1/15 2/5 Và kênh truyền BSC có xs thành cơng 0,75 Giải Mơ hình kênh truyền tương đương với ma trận kênh Q Tính Q=QDMC1*QBSC Đối với DMC1, ta phải xác định ma trận kênh P(Y/X) Và BSC có xs thành công 0,75xs truyền lỗi p=0,25 1  p p  Q   p  p   Bài 4: Cho khối xử lí mã hố xoắn có giản đồ chuyển trạng thái sau: Giả thiết chu kì xử lí có bit thơng tin dịch vào tuần tự, bit trái chuỗi bit thông tin dịch vào trước a) Vẽ chuỗi chuyển trạng thái thông qua giản đồ mắt lưới xác định thông tin xuất mạch mã hố thơng tin đầu vào m=(1110)? m 1 0 S0 S2 S1 S3 Xác định chuỗi bit: 11 01 10 01 11 00 (Nếu giả thiết bit phải bit trọng số cao (MSB), dịch vào trước, đồng thời dịch trước => 00 11 10 01 10 11 b) Vẽ cấu trúc mạch mã hoá tương ứng V m  R1  R Giả thiết: V m  R1  R Xét trạng thái ban đầu S0: m R1R2 00 00 S0 S0 V1V2 m R1R V1V2 0 S0 00 10 11 S1 V m  R1  R V m  R1  R Xét trạng thái S1: m R1R2 01 00 S1 S0 V1V2 m R1R V1V2 1 S1 11 10 00 S2 V m  R1  R Ta có: V m  R1  R Xét trạng thái S2: m R1R2 V1V2 m R1R V1V2 S2 1 S2 01 10 11 01 S1 S3 Ta có: V m  R1  R V m  R V m Với V R