Chương 3 cung cấp cho người học những hiểu biết về kênh rời rạc không phụ thuộc thời gian. Trong chương này chúng ta sẽ cùng tìm hiểu kênh và dung lượng kênh với các nội dung cụ thể như: Kênh truyền thông, kênh rời rạc không phụ thuộc thời gian, ma trận kênh, dung lượng kênh,... Mời các bạn cùng tham khảo.
Chương 3: Kênh rời rạc không phụ thuộc thời gian 3.1 Kênh dung lượng kênh Huỳnh Văn Kha 9/30/2010 Kênh truyền thơng • Kênh truyền thơng thiết bị hoạt động input để cung cấp output • Thông tin chuyển qua kênh dãy ký tự Nếu ký tự thuộc tập hữu hạn ta gọi kênh rời rạc • Trong trường hợp tổng quát, phân phối xác suất output phụ thuộc vào việc input truyền qua kênh, mà phụ thuộc vào trạng thái kênh thời điểm input truyền Huỳnh Văn Kha 9/30/2010 Kênh rời rạc không phụ thuộc thời gian • Nếu phân phối output kênh khơng phụ thuộc vào trạng thái kênh thời điểm input truyền, kênh khơng phụ thuộc thời gian Trong chương kênh có nghĩa kênh rời rạc khơng phụ thuộc thời gian • Có thể đặc trưng kênh rời rạc không phụ thuộc thời gian ma trận xác suất có điều kiện, gọi ma trận kênh Huỳnh Văn Kha 9/30/2010 Ma trận kênh • Ký hiệu ký tự input là: x1, x2, …, xM • Ký hiệu ký tự output là: y1, y2, …, yL • Đặt aij = p(yj|xi) ma trận [aij] gọi ma trận kênh • Input biến ngẫu nhiên nên output • Biết trước xác suất input là: p(x1), p(x2), …, p(xM), biết xác suất output xác suất đồng thời input output Huỳnh Văn Kha 9/30/2010 Dung lượng kênh • Với kênh cho trước, biết input X tính H(X), H(Y), H(X,Y), H(X|Y), H(Y|X) • Ta định nghĩa thông tin xử lý kênh lượng I(X|Y) = H(X) – H(X|Y) • Chú ý: I(X|Y) = I(Y|X) = H(Y) – H(Y|X) = H(X) + H(Y) – H(X,Y) • Thông tin xử lý kênh phụ thuộc vào phân phối xác suất input Dung lượng kênh định nghĩa là: Huỳnh Văn Kha 9/30/2010 Một số kênh ñặc biệt Một kênh lossless H(X|Y) = với input Một kênh deterministic H(Y|X) = với input Một kênh noiseless vừa lossless vừa deterministic Một kênh useless I(X|Y) = với input Huỳnh Văn Kha 9/30/2010 Kênh ñối xứng (symmetric) • Kênh đối xứng dòng ma trận kênh tập số p’1, p’2, …, p’L cột ma trận kênh tập số q’1, q’2, …, q’M • Ví dụ y1 y2 y3 y1 y2 y3 y4 x1 1/2 1/3 1/6 x1 1/3 1/3 1/6 1/6 x2 1/6 1/2 1/3 x2 1/6 1/6 1/3 1/3 x3 1/3 1/6 1/2 Huỳnh Văn Kha 9/30/2010 Kênh nhị phân ñối xứng 1–β 0 β [p(yj|xi)] = β 1–β 1–β β β 1–β Huỳnh Văn Kha 9/30/2010 Tính chất kênh đối xứng • Do tập p’j hàng nên H(Y|X=xi) khơng phụ thuộc i ta có: • Vậy H(Y|X) không phụ thuộc phân phối xác suất input mà phụ thuộc vào p(yj|xi) kênh 10 Huỳnh Văn Kha 9/30/2010 Dung lượng kênh ñối xứng I(X|Y) = H(Y) – H(Y|X) • Do H(Y|X) khơng phụ thuộc X nên cực đại H(Y) làm cực đại I(X|Y) • H(Y) đạt cực đại log L Y có phân phối đồng xác suất • Nhận xét rằng, X có phân phối đồng xác suất Y đồng xác suất, thật vậy: 11 Huỳnh Văn Kha 9/30/2010 Dung lượng kênh đối xứng • Như input đồng xác suất thơng tin xử lý kênh đối xứng cực đại • Dung lượng kênh đối xứng là: • Ví dụ, kênh nhị phân đối xứng có dung lượng là: CBSC = – H(β, – β) 12 Huỳnh Văn Kha 9/30/2010 Tính dung lượng kênh (tổng qt) • Người ta chứng minh tồn phân phối input để I(X|Y) đạt max • Tính dung lượng kênh trường hợp tổng quát toán phức tạp, người ta thường sử dụng phương pháp số để tính • Dựa vào tính chất I(X|Y) hàm lồi theo phân phối xác suất X, sử dụng phương pháp giải tích người ta tìm cơng thức để tính dung lượng kênh trường hợp đặc biệt sau 13 Huỳnh Văn Kha 9/30/2010 ðịnh lý 3.1 Giả sử ma trận kênh Π kênh rời rạc không phụ thuộc thời gian ma trận vuông khả nghịch Gọi qij phần tử hàng i cột j ma trận Π-1 Giả sử với k = 1, 2, …, M, ta có: 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý 3.1 Thì dung lượng kênh là: Và phân phối xác suất input để lượng thông tin xử lý kênh đạt max ... ? ?-1 Giả sử với k = 1, 2, …, M, ta có: 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý 3.1 Thì dung lượng kênh là: Và phân phối xác suất input để lượng thông tin xử lý kênh đạt max ... đặc biệt sau 13 Huỳnh Văn Kha 9/30/2010 ðịnh lý 3.1 Giả sử ma trận kênh Π kênh rời rạc không phụ thuộc thời gian ma trận vuông khả nghịch Gọi qij phần tử hàng i cột j ma trận ? ?-1 Giả sử với k... x2 1/6 1/2 1/3 x2 1/6 1/6 1/3 1/3 x3 1/3 1/6 1/2 Huỳnh Văn Kha 9/30/2010 Kênh nhị phân ñối xứng 1–β 0 β [p(yj|xi)] = β 1–β 1–β β β 1–β Huỳnh Văn Kha 9/30/2010 Tính chất kênh ñối xứng • Do tập p’j