Ví dụ: kênh nhị phân đối xứng

Giả sửp(y0|x0) =p(y1|x1) =pd,p(y0|x1) =p(y1|x0) = ps,p(x0) =p,p(x1) =q. Khi đópd+ps=1,p+q=1 Tìm lượng tin tương hỗ trung bình giữaX,Y?

Sử dụng công thứcI(X;Y) =H(Y)−H(Y|X)

Tính H(Y) Tính H(Y|X)

Ví dụ: kênh nhị phân đối xứng

Giả sửp(y0|x0) =p(y1|x1) =pd,p(y0|x1) =p(y1|x0) = ps,p(x0) =p,p(x1) =q. Khi đópd+ps=1,p+q=1 Tìm lượng tin tương hỗ trung bình giữaX,Y?

Sử dụng công thứcI(X;Y) =H(Y)−H(Y|X)

Tính H(Y) Tính H(Y|X)

Ví dụ: kênh nhị phân đối xứng

Giả sửp(y0|x0) =p(y1|x1) =pd,p(y0|x1) =p(y1|x0) = ps,p(x0) =p,p(x1) =q. Khi đópd+ps=1,p+q=1 Tìm lượng tin tương hỗ trung bình giữaX,Y?

Sử dụng công thứcI(X;Y) =H(Y)−H(Y|X) Tính H(Y)

Tính H(Y|X)

Ví dụ: kênh nhị phân đối xứng

Giả sửp(y0|x0) =p(y1|x1) =pd,p(y0|x1) =p(y1|x0) = ps,p(x0) =p,p(x1) =q. Khi đópd+ps=1,p+q=1 Tìm lượng tin tương hỗ trung bình giữaX,Y?

Sử dụng công thứcI(X;Y) =H(Y)−H(Y|X) Tính H(Y)

Tính H(Y|X)

Ví dụ: kênh nhị phân đối xứng

Giả sửp(y0|x0) =p(y1|x1) =pd,p(y0|x1) =p(y1|x0) = ps,p(x0) =p,p(x1) =q. Khi đópd+ps=1,p+q=1 Tìm lượng tin tương hỗ trung bình giữaX,Y?

Sử dụng công thứcI(X;Y) =H(Y)−H(Y|X) Tính H(Y)

Tính H(Y|X)

Ví dụ: kênh nhị phân đối xứng

Xác định xác suất của các tin đầu ra p(y) =X X p(x,y) =X X p(x)p(y|x) p(y0) =p(x0)p(y0|x0) +p(x1)p(y0|x1) = =p(1−ps) + (1−p)ps=p−2pps+ps p(y1) =1−(p−2pps+ps) Entropi đầu ra H(Y) =−p(y0)logp(y0)−p(y1)logp(y1) = −(p−2pps+ps)log(p−2pps+ps)− −(1−(p−2pps+ps))log(1−(p−2pps+ps))