[Viễn Thông] Giáo Trình: Lý Thuyết Thông Tin phần 2 pot

... Entropy 20 7. Bài tập 21 BÀI 2. 3: ENTROPY CỦA NHIỀU BIẾN 22 1. Mục tiêu 22 2. Định nghĩa Entropy của nhiều biến 22 3. Ví dụ Entropy của nhiều biến 22 4. Định nghĩa Entropy có điều kiện 22 Biên ... nghệ thông tin của Khoa Công nghệ thông tin và Truyền thông – Đại Học Cần Thơ theo dự án ASVIET002CNTT “Tăng cường hiệu quả đào tạo và năng lực đào tạo của sinh viên khoa...

Ngày tải lên: 14/07/2014, 01:21

... hiện là 1 /2 thì h(A)=h(1 /2) = -log(1 /2) = 1 (bit) Xét BNN X có phân phối sau: X x 1 x 2 x 3 P 1 /2 1/4 1/4 H(X) = H(1 /2, 1/4, 1/4) = -(1/2log(1 /2) +1/4log(1/4)+1/4log(1/4)) =3 /2 (bit) Bài ... phần lượng tin không chắc chắn thông qua lượng tin đã biết của Y (hay thông tin về Y đã được biết). Trong trường hợp này, một phần lượng tin không chắc chắn của thông...

Ngày tải lên: 14/07/2014, 01:21

... p(X=1)p(Y=1/X=1)+p(X =2) p(Y=1/X =2) = 0,5 x 0,5 +0,5 x 0 =0 .25 0 P(Y =2) = p(X=1)p(Y =2/ X=1)+p(X =2) p(Y =2/ X =2) = 0,5 x 0 ,25 + 0,5 x 1=0. 625 Y 0 1 2 P 0. 125 0 .25 0. 625 Minh họa Entropy H(X), H(Y) ... . 2 P 0.5 0.5 Phân phối của Y có điều kiện X: Y/X=1 0 1 2 P 0 .25 0.5 0 .25 Y/X =2 0 1 2 P 0 0 1 Entropy của Y/X=1 và Y/X =2 như sau : H(Y/X=1)=H(0 .25...

Ngày tải lên: 14/07/2014, 01:21

... 1 00 01 02 10 11 12 20 21 22 0 1 2 Tính chất: + Các nút (trừ nút gốc) của cây đều được mã hóa từ bảng chữ cái {0, 1, 2, …, D-1} + Mỗi ... ∑ = −−− <=++= − 3 1 321 1 8 7 22 22 i i n => W= {w 1 , w 2 , w 3 } là bảng mã tức thời Ta Xây dựng bảng mã như sau: 000 001 010 011 100 101 110 111 00 01 10...

Ngày tải lên: 14/07/2014, 01:21

... thuyết thông tin. Thủ tục lùi: Bước 1 Bước 2 Bước 3 Bước 4 Bước 5 X P X P X P X P X P x 1 0.3 x 1 0.3 x 1 0.3 x 23 0.45 x 1564 0.55 0 x 2 0 .25 x 2 0 .25 x 564 0 .25 x 1 0.3 x 23 ... 10=w 2 11=w 01 00=w 1 010 0 0100=w 5 0101=w 6 n =(0.3 x 2) + (0 .25 x 2) + (0 .2 x 2) + (0.1 x 3) +(0.1 x 4) + (0.05 x 4) = 2. 4 Entropy của X: H(X) = H(0.3, 0 .25 ; 0...

Ngày tải lên: 14/07/2014, 01:21

... B 1 ={y 1 }. Bước 2: Nhận giá trị y 2 , ta tính: + p(x 1 ).p(y 2 /x 1 )= 1 /2 . 1/3 = 1/6 (Max) + p(x 2 ).p(y 2 /x 2 )= 1/4 . 1/6 = 1 /24 + p(x 3 ).p(y 2 /x 3 )= 1/4 . 1 /2 = 1/8 Do p(x 1 ).p(y 1 /x 1 ) ... từ mã x 2 : p(e/x 2 )= ∑ p(Y=y j ∉B 2 /X=x 2 ) = p(y 1 /x 2 ) + p(y 2 /x 2 ) =1/3+1/6=1 /2 Xác suất truyền sai từ mã x 3 : p(e/x 3 )= ∑ p(Y=y j ∉B 3...

Ngày tải lên: 14/07/2014, 01:21

... & Ks. Dương Văn Hiếu. 61 Giáo trình: Lý thuy ế t thông tin. ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ = mkmm k k m bbb bbb bbb IA 21 22 221 1 121 1 Trong đó: - Ma trận A có m dòng và n cột. - I m ... trận A) Số bit thông tin k = n – m = 3 => Số từ mã s =2 k =8 từ mã. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 66 Giáo trình: Lý thuyết thông...

Ngày tải lên: 14/07/2014, 01:21

... ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎩ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪ ⎨ ⎧ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ + ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎝ ⎛ 1 0 1 0 1 0 1 0 0 0 0 1 1 0 1 0 1 0 1 0 0 1 1 0 1 0 1 0 1 0 1 0 0 0 1 1 33 323 1 23 222 1 13 121 1 bbb bb...

Ngày tải lên: 14/07/2014, 01:21

... 1+x 3 +x 10 21 1+x 2 +x 21 11 1+x 2 +x 11 22 1+x+x 22 12 1+x+x 4 +x 6 +x 12 23 1+x 3 +x 23 13 1+x+x 3 +x 4 +x 13 24 1+x+x 2 +x 7 +x 24 Bài tập 1. Tìm bộ mã vòng có độ dài 7 bit. 2. Tìm thanh ghi sinh ... 1+x 2 +x 5 16 1+x+x 3 +x 12 +x 16 6 1+x+x 6 17 1+x 3 +x 7 7 1+x 3 +x 7 18 1+x 7 +x 18 8 1+x 2 +x 3 +x 4 +x 8 19 1+x+x 2 +x 5 +x 19 9 1+x 4 +x 9 20 1+x 3 +x...

Ngày tải lên: 14/07/2014, 01:21

... chẩn đoán đúng.(Lượng thông tin biết về Bệnh thông qua Triệu chứng) và tỷ lệ chẩn đoán đúng là bao nhiêu phần trăm. Câu 3: Bây giờ người ta sử dụng 2 bit để mã thông tin về Triệu chứng (có ... 20 . http://www.cs.ucl.ac.uk/staff/S.Bhatti/D51-notes/node27.html. 21 . http://guest.engelschall.com/~sb/hamming/. 22 . http://www2.rad.com/networks/1994/err_con/hamming.htm. Bi...

Ngày tải lên: 14/07/2014, 01:21