Giáo trình: Lý thuyết thông tin 3

... ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 24 Giáo trình: Lý thuyết thông tin. Chứng minh định lý 3: Từ định lý 1 và định lý về quan hệ giữa các Entropy, ta có: H(X,Y)=H(X)+H(Y/X)≤ ... lại tính chất 3. - Kiểm tra lại định lý cực đại từ dữ liệu cho trên. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 21 Giáo trình: Lý thuyết thông tin. ... các định lý 1,2 và 3 cùng với các kết quả đã tính được để so sánh và minh họa. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 27 Giáo trình: Lý thuyết thông tin. ...

Giáo trình lý thuyết thông tin

... 5 Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH  Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý ... 13 Giáo trình: Lý thuyết thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin ... “xử lý tín hiệu” đã đề cập đến vấn đề này. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 9 Giáo trình: Lý thuyết thông tin. Mô hình lý thuyết thông...

95
1,583
10

Giáo trình: Lý thuyết thông tin 1

... 5 Giáo trình: Lý thuyết thông tin. GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH  Giáo trình này sẽ cung cấp cho người đọc những khối kiến thức cơ bản của lý ... Hiếu. 8 Giáo trình: Lý thuyết thông tin. CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đối tượng nghiên cứu, - Mô hình lý thuyết thông tin ... “xử lý tín hiệu” đã đề cập đến vấn đề này. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 9 Giáo trình: Lý thuyết thông tin. Mô hình lý thuyết thông...

10
1,001
9

Giáo trình: Lý thuyết thông tin 2

... 13 Giáo trình: Lý thuyết thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thông tin ... )!(!!inininC−= Vậy truyền sai khi Y ∈ {2, 3} có xác xuất là: Psai= P(y≥2) = P(Y=2) + P(Y =3) = B(2 ,3) + B(2 ,3) Hay 416410)) 43( )41(()) 43. ()41(( Psai 033 312 23& lt;=+= CC (đpcm). Chi phí phải ... tin của kênh, thì cần phải giảm tốc độ nạp thông tin sao cho nhỏ hơn tốc độ truyền tin. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 14 Giáo trình: Lý thuyết thông...

Giáo trình: Lý thuyết thông tin 4

... Ks. Dương Văn Hiếu. 39 Giáo trình: Lý thuyết thông tin. BÀI 3. 3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể: - Hiểu định lý Shannon (1948), ... hợp S2 ={100, 1110, 01011} Tập hợp S3={11} Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 34 Giáo trình: Lý thuyết thông tin. Tập hợp S4={00, ... ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 36 Giáo trình: Lý thuyết thông tin. Ví dụ: cây bậc D=2 và cỡ k =3 Vấn đề sinh mã cho cây bậc D cỡ k Sinh mã cho...

Giáo trình: Lý thuyết thông tin 5

... Px’ .A1 = 0 .37 5 p(y2) = Px’ .A2 = 0 .3 p(y3) = Px’ .A3 = 0 .32 5 ⇒ PY’ =(0 .37 5, 0 .3, 0 .32 5) Lượng tin trên kênh truyền Ví dụ: cho ma trận truyền tin như sau: 32 132 15. 03. 02.02.05. 03. 03. 02.05.0yyyxxxA⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=Xác ... = Px’ .A1 = 0 .37 5 p(y2) = Px’ .A2 = 0 .3 p(y3) = Px’ .A3 = 0 .32 5 ⇒ PY’ =(0 .37 5, 0 .3, 0 .32 5) Tính các Entropy: H(Y) = H(0 .37 5, 0 .3, 0 .32 5) = 1.58 (bit) H(Y/X=x1) = H(0.5, 0.2, 0 .3) = 1.49 (bit) ... x1 x2 x3 x4 P 0.4 0 .3 0.2 0.1 Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 43 Giáo trình: Lý thuyết thông tin. ...

Giáo trình: Lý thuyết thông tin 6

... Dương Văn Hiếu. 57 Giáo trình: Lý thuyết thông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣ 3/ 12/16/12/16/ 13/ 16/ 13/ 12/ 132 1xxx y1 y2 y3Biết xác suất ở ... p(Y=yj ∉B2/X=x2) = p(y1/x2) + p(y2/x2) =1 /3+ 1/6=1/2 Xác suất truyền sai từ mã x3: p(e/x3)= ∑ p(Y=yj ∉B3/X=x3) = p(y1/x3) + p(y2/x3) + p(y3/x3) =1/6+1 /3+ 1/2=1 Xác suất truyền sai trung bình: ... Phan Tấn Tài & Ks. Dương Văn Hiếu. 53 Giáo trình: Lý thuyết thông tin. Các khái niệm cơ bản của kỹ thuật truyền tin Xét sơ đồ truyền tin như sau: R Kênh Bộ tạo mã Bộ giải...

Giáo trình: Lý thuyết thông tin 7

... bit thông tin ⇒ s=2k (vì với k bit thông tin thì ta chỉ có thể biểu diên tối đa 2k trạng thái thông tin k bit). + Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai. + Đoạn thông tin: gồm k bit thông ... m =3 (= số cột của ma trận A) Số bit thông tin k = n – m = 3 => Số từ mã s=2k=8 từ mã. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 66 Giáo trình: Lý thuyết thông ... w’2=r1r2r3010 (010 là triển khai nhị phân k =3 bits của số i=2) w 3= r1r2r3011 (011 là triển khai nhị phân k =3 bits của số i =3) w’4=r1r2r3100 (100 là triển khai nhị phân k =3 bits của...

Giáo trình: Lý thuyết thông tin 8

... Giáo trình: Lý thuyết thông tin. Như vậy: ma trận kiểm tra chẵn lẻ có dạng như sau: ⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡ =33 3 231 232 221 131 2113bbbbbbbbbIA Các bij (3, 1, =∀ ii) được xác ... ⎪⎪⎪⎪⎪⎪⎩⎪⎪⎪⎪⎪⎪⎨⎧⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛+⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛=⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛10101010000110101010011010101010001 133 3 231 232 221 131 211bbbbbbbbb b11 = 1 b12 = 1 b 13 = 1 => b21 = 1 b22 = 1 b 23 = 0 b31 = 1 b32 = 0 b 33 = 1 => A= ⎟⎟⎟⎠⎞⎜⎜⎜⎝⎛101100011010111001 ... n = 6, m = 3, k = 3, s = 2k = 8. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 71 Giáo trình: Lý thuyết thông tin. Bước 1: Sinh k = 3 từ độc lập...

Giáo trình: Lý thuyết thông tin 9

... 1+x+x2+x5+x199 1+x4+x920 1+x 3 +x2010 1+x 3 +x1021 1+x2+x2111 1+x2+x1122 1+x+x2212 1+x+x4+x6+x12 23 1+x 3 +x 23 13 1+x+x 3 +x4+x 13 24 1+x+x2+x7+x24Bài tập 1. ... dài 15 bit. 3. Tìm thanh ghi sinh bộ mã vòng có độ dài 31 bit. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 90 Giáo trình: Lý thuyết thông tin. Đặc giá ... Hiếu. 81 Giáo trình: Lý thuyết thông tin. Bước 1: Sinh mã xoay vòng đầu tiên w1 =110010000000000 Bước 2: Sinh k -1 từ mã độc lập tuyến tính còn lại w2 =011001000000000 w3 =001100100000000...

Xem thêm