Giáo trình lý thuyết thông tin 1 potx
Giáo trình lý thuyết thông tin 1 potx
... sở lý thuyết truyền tin ) chỉ là
một bộ phận của lý thuyết thông tin chung – Nó là phần áp dụng của Lý thuyết thông tin vào kỹ
thuật thông tin liên lạc.
Trong các quan hệ của Lý thuyết thông ... loạt định lý về khả năng thông qua của kênh truyền tin khi có nhiễu và các định lý mã
hoá. Những công trình này là nền tảng vững chắc của lý thuyết thôn...
GIÁO TRÌNH LÝ THUYÊT THÔNG TIN-THÁI NGUYÊN – NĂM 2010 potx
...
1/ 8
1 1 0
x y z
1/ 4 0 0
4
u
1/ 16
0 0 1
x y z
0 0 0
5
u
1/ 16
1 0 1
x y z
1/ 8 1/ 5 1
6
u
1/ 16
0 1 1
x y z
0 0 0
7
u
1/ 16
1 1 1
x y z
1/ 8 0 0
B
ả
ng 3 .1
3.2.2 Lượng tin ... ki
ệ
n
)(
),,(
)/,(
1
1
1
xp
zyxp
xzyp =
trong
ñ
ó
2
1
16
1
16
1
8
1
4
1
)()()()()(
75 311
=+++=+++= upupupupxp
Xác su
ấ
t c
ủ
a tin
i
u
sau k...
Giáo trình: Lý thuyết thông tin part 5 potx
... x
564
01 x
2
10 x
3
11 x
3
11 = w
3
x
3
11 x
56
010 x
4
011 = w
4
x
4
011 x
5
010 0 = w
5
x
6
010 1 = w
6
Nhận xét tính tối ưu của bảng mã Huffman
0
1
0
1
0
1
0
1
Vẽ ...
3 21
3
2
1
3 /12 /16 /1
2 /16 /13 /1
6 /13 /12 /1
yyy
x
x
x
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
50
Giáo trình: Lý...
Giáo trình: Lý thuyết thông tin part 1 pdf
...
8
Giáo trình: Lý thuyết thông tin.
GIỚI THIỆU TỔNG QUAN
GIÁO TRÌNH LÝ THUYẾT THÔNG TIN
MỤC ĐÍCH
Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin ... kênh truyền 13
11 . Vấn đề sinh mã 13
12 . Vấn đề giải mã 13
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN 15
BÀI 2 .1: ENTROPY 15
1. Mục tiêu 15
2. Ví dụ về entropy 15
3. Nhậ...
Giáo trình lý thuyết thông tin
... {0, 1, 2, …, D -1} thay cho bảng chữ cái A={a
1
, a
2
, …, a
D
}.
Ví dụ 1: Cây bậc D=2 cỡ k=3 Ví dụ 2: Cây bậc D=3 cỡ k=2.
000
0 01
010
011
10 0
10 1
11 0
11 1
00
01
10
11
0 ...
=> W= {w
1
, w
2
, w
3
} là bảng mã tức thời
Ta Xây dựng bảng mã như sau:
000
0 01
010
011
10 0
10 1
11 0
11 1
00
01
10
11
0
1
w
2
=
w
3
=...
Giáo trình: Lý thuyết thông tin 2
... 000 10 0 0
000 10 1 1
000 011 1
000 11 0 1
000 11 1 1
1 111 000 0
11 1 0 01 0
11 1 010 0
11 1 10 0 0
11 1 011 1
11 1 11 0 1
11 1 11 1 1
11 1 11 1 1
Thật vậy:
Giả sử X
i
... xuất hiện là 1/ 2 thì h(A)=h (1/ 2)= -log (1/ 2) = 1 (bit)
Xét BNN X có phân phối sau:
X x
1
x
2
x
3
P 1/ 2 1/ 4 1/ 4
H(X) = H (1/...
Giáo trình: Lý thuyết thông tin 3
...
X =1 0 1
P 0.5 0.5
Y 0 1 2
P 0.25 0.5 0.25
Tính H(X,Y).
- Lập phân phối của P(X,Y)
X,Y X=0,Y=0 X=0,Y =1 X=0,Y=2 X =1, Y=0 X =1, Y =1 X =1, Y=2
P(X,Y) 0 .12 5 0.25 0 .12 5 0 .12 5 0.25 0 .12 5
... 0,25 +0,5 x 0 =0 .12 5
P(Y =1) = p(X =1) p(Y =1/ X =1) +p(X=2)p(Y =1/ X=2) = 0,5 x 0,5 +0,5 x 0 =0.250
P(Y=2) = p(X =1) p(Y=2/X =1) +p(X=2)p(Y=2/X=2) = 0,5 x 0,25 + 0,5 x...
Giáo trình: Lý thuyết thông tin 4
... Giáo trình: Lý thuyết thông tin.
Tập hợp S
4
={00, 11 0}
Tập hợp S
5
={ 01, 0, 011 , 11 0}
Tập hợp S
6
={0, 10 , 0 01, 11 0, 0 011 , 011 0}
Tập hợp S
6
chứa từ mã 011 0 nên bảng mã này ... {0, 1, 2, …, D -1} thay cho bảng chữ cái A={a
1
, a
2
, …, a
D
}.
Ví dụ 1: Cây bậc D=2 cỡ k=3 Ví dụ 2: Cây bậc D=3 cỡ k=2.
000
0 01
010
011
10 0
10 1
11 0
11 1
00...
Giáo trình: Lý thuyết thông tin 5
...
x
15 64
0 x
23
1 x
1
00 x
1
00 x
1
00 = w
1
x
23
1 x
1
00 x
564
01 x
2
10 x
2
10 = w
2
x
564
01 x
2
10 x
3
11 x
3
11 = w
3
x
3
11 x
56
010 x
4
011 = w
4
x
4
011 x
5
010 0 ... Ks. Dương Văn Hiếu.
43
Giáo trình: Lý thuyết thông tin.
w
1
000
00
01
10
11
010
0 01
011
10 0
10 1
11 0
11 1
w...
Từ khóa:
- giáo trình lý thuyết thông tin ptit
- giao trinh lý thuyết thông tin va mã hóa
- giáo trình lý thuyết thống kê trường đh ktqd
- giáo trình lý thuyết thống kê đại học thương mại
- giáo trình lý thuyết thống kê kinh tế quốc dân
- giáo trình lý thuyết thống kê hà văn sơn
- giáo trình lý thuyết thống kê của trần ngọc phác
- giáo trình lý thuyết thống kê trần ngọc phác
- giáo trình lý thuyết thống kê kinh tế