Giáo trình lý thuyết thông tin 2 pdf

Giáo trình lý thuyết thông tin 2 pdf

... là thông tin. Do đó: Lượng thông tin = thông tin tiên nghiệm – thông tin hậu nghiệm (*) Thông tin tiên nghiệm (hay còn gọi là lượng thông tin riêng) được xác định theo (3.9). Còn thông tin ... dùng H(A/A) và ký hiệu là H 2 (A). Ví dụ: H 2 (Việt) = 3 ,22 23 bit H 2 (Nga) = 3, 52 bit H 2 (Anh) = 3, 32 bit Chương 3: Cơ sở lý thuyết thông tin th...

Ngày tải lên : 13/08/2014, 03:21

40
496
1

Giáo trình: Lý thuyết thông tin 2

... ∑∑∑ === ==−≤− M i i M i i M i ii MpM M ppp 1 22 1 2 1 2 loglog 1 loglog Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 20 Giáo trình: Lý thuyết thông tin. BÀI 2. 2: CÁC TÍNH CHẤT CỦA ... Giáo trình: Lý thuyết thông tin. CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về...

Ngày tải lên : 09/10/2012, 14:53

10
825
5

Giáo trình: Lý thuyết thông tin part 6 pdf

... truyền tin sau: ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 12/ 7 12/ 2 12/ 3 12/ 3 12/ 7 12/ 2 12/ 2 12/ 3 12/ 7 3 2 1 x x x y 1 y 2 y 3 Biết xác suất ở đầu truyền: p(x 1 )=1/3, p(x 2 )=1/3, p(x 3 )=1/3. - Tính dung lượng ... Ks. Dương Văn Hiếu. 59 Giáo trình: Lý thuyết thông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ 3/ 12/ 16/1 2/ 16/13/1 6/13/ 12/ 1 3 2...

Ngày tải lên : 27/07/2014, 16:21

10
399
1

Giáo trình: Lý thuyết thông tin part 2 doc

... Giáo trình: Lý thuyết thông tin. CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên X. Tính toán các lượng tin ... sau: Y x 1 x 2 x 3 x 4 P 1/6 2/ 6 1/6 2/ 6 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 18 Giáo trình: Lý thuyết thông tin. BÀI...

Ngày tải lên : 27/07/2014, 16:21

10
355
0

Giáo trình: Lý thuyết thông tin part 1 pdf

... 8 Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH  Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý thuyết thông tin ... 7. Bài tập 21 BÀI 2. 3: ENTROPY CỦA NHIỀU BIẾN 22 1. Mục tiêu 22 2. Định nghĩa Entropy của nhiều biến 22 3. Ví dụ Entropy của nhiều biến 22 4. Định nghĩa Entro...

Ngày tải lên : 27/07/2014, 16:21

10
472
0

Giáo trình: Lý thuyết thông tin.H(X) = H(p1 , p 2 ,..., p M ) = −∑ pi log 2 ( pi )i ppsx

... Văn Hiếu. 24 Giáo trình: Lý thuyết thông tin. Entropy của Y: H(Y) = H(0. 125 , 0 .25 , 0. 625 ) = 1.3 (bit) Entropy của Y khi biết X H(Y/X=1) = H(0 .25 , 0.5 , 0 .25 )= 1.5 (bit) H(Y/X =2) = H(0, 0, ... 0 1 2 P 0 .25 0.5 0 .25 Tính H(X,Y). - Lập phân phối của P(X,Y) X,Y X=0,Y=0 X=0,Y=1 X=0,Y =2 X=1,Y=0 X=1,Y=1 X=1,Y =2 P(X,Y) 0. 125 0 .25 0. 125 0. 125 0 .25 0....

Ngày tải lên : 13/08/2014, 06:22

16
738
3

Giáo trình lý thuyết thông tin

... 0 1 2 P 0 .25 0.5 0 .25 Tính H(X,Y). - Lập phân phối của P(X,Y) X,Y X=0,Y=0 X=0,Y=1 X=0,Y =2 X=1,Y=0 X=1,Y=1 X=1,Y =2 P(X,Y) 0. 125 0 .25 0. 125 0. 125 0 .25 0. 125 - H(X,Y) =H(0. 125 , 0 .25 , ... ∑∑∑ === ==−≤− M i i M i i M i ii MpM M ppp 1 22 1 2 1 2 loglog 1 loglog Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 20 Giáo trình: Lý...

Ngày tải lên : 23/08/2012, 16:23

95
1.6K
10

Giáo trình: Lý thuyết thông tin 3

... p(X=1)p(Y=0/X=1)+p(X =2) p(Y=0/X =2) = 0,5 x 0 ,25 +0,5 x 0 =0. 125 P(Y=1) = p(X=1)p(Y=1/X=1)+p(X =2) p(Y=1/X =2) = 0,5 x 0,5 +0,5 x 0 =0 .25 0 P(Y =2) = p(X=1)p(Y =2/ X=1)+p(X =2) p(Y =2/ X =2) = 0,5 x 0 ,25 + 0,5 x 1=0. 625 Y 0 1 2 P ... Văn Hiếu. 22 Giáo trình: Lý thuyết thông tin. Entropy của Y: H(Y) = H(0. 125 , 0 .25 , 0. 625 ) = 1.3 (bit) Entropy của Y khi biết X...

Ngày tải lên : 09/10/2012, 14:53

10
767
5

Giáo trình: Lý thuyết thông tin 4

... n 3 =3; D =2 1 8 7 2 1 2 1 2 1 321 1 <=++= ∑ = − M i n i D => Tồn tại bảng mã tức thời. Ví dụ 2: Bộ mã W={w 1 , w 2 , w 3 } với M=3; n 1 =n 2 =1; n 3 =2; D =2 1 4 5 2 1 2 1 2 1 21 1 1 >=++= ∑ = − M i n i D ... H(0.5, 0 .25 , 0. 125 , 0. 125 ) = 0.5 +0.5 + 0.375 + 0.375 =1.75 Log 2 D=1. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài &...

Ngày tải lên : 09/10/2012, 14:53

10
753
4