GIÁO TRÌNH lý THUYẾT THÔNG TIN

1 CHƯƠNG 1: NHỮNG KHÁI NIỆM CƠ BẢN1.1 Giới thiệu về lý thuyết truyền tin1.1.1 Giới thiệu về lý thuyết truyền tin Vật liệu ban đầu được gia công trong hệ thống truyền tin là thông tin.Thô

GIÁO TRÌNH

LÝ THUYẾT THÔNG TIN

Bộ môn Khoa học máy tính

2010

Mục lục

1 CHƯƠNG 1: NHỮNG KHÁI NIỆM CƠ BẢN 5

1.1 Giới thiệu về lý thuyết truyền tin 5

1.1.1 Giới thiệu về lý thuyết truyền tin 5

1.2 Hệ thống truyền tin 5

1.2.1 Các quan điểm để phân loại các hệ thống truyền tin 5

1.2.2 Sơ đồ truyền tin và một số khái niệm trong hệ thống truyền tin 6

1.2.3 Nguồn tin nguyên thuỷ 7

1.2.3.1 Khái niệm 7

1.2.3.2 Bản chất của thông tin theo quan điểm truyền tin 8

1.2.4 Kênh tin 12

1.2.5 Nhận tin 14

1.2.6 Vấn đề cơ bản của hệ thống truyền tin 14

1.2.6.1 Là khả năng giảm tối đa sai nhầm thông tin trên đường truyền 15

1.3 Rời rạc hóa một nguồn tin liên tục 15

1.3.1 Lấy mẫu 15

1.3.2 Lượng tử hoá 17

Tóm lại: Việc biến một nguồn liên tục thành một nguồn rời rạc cần hai phép biến đổi: lấy mẫu và lượng tử hoá Thứ tự thực hiện hai phép biến đổi này phụ thuộc vào điều kiện cụ thể của hệ thống: 18

1.4 Độ đo thông tin 18

1.5 Mã hoá 20

1.5.1 Khái niệm 20

1.5.2 Phương pháp mã hoá 20

1.6 Điều chế 21

1.6.1 Khái niệm điều chế 21

1.6.2 Các phương pháp điều chế 21

1.6.3 Giải điều chế 22

CHƯƠNG 2 LƯỢNG TIN VÀ ENTROPI NGUỒN RỜi RẠC 23

1.7 Lượng tin nguồn rời rạc 23

1.7.1 Mối liên hệ của lượng tin và lý thuyết xác suất 23

1.7.2 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện 28

1.7.3 Tính chất của lượng tin 31

1.7.4 Lượng tin trung bình 32

Đối với trường hợp nguồn phức tạp 33

1.8 Entropi của nguồn rời rạc 33

1.8.1 Khái niệm entropi 33

1.8.2 Entropi nguồn Markov 34

1.8.3 Tính chất của entropi 35

1.8.4 Entropi đồng thời và Entropi có điều kiện 35

1.9 Mối quan hệ giữa lượng tin tương hỗ trung bình và Entropi 36

1.10 Tốc độ lập tin nguồn rời rạc và thông lượng kênh rời rạc 38

1.10.1 Tốc độ lập tin 38

1.10.1.1 Khái niệm 38

1.10.1.2 Độ dư của nguồn 39

1.10.2 Thông lượng kênh 39

2 CHƯƠNG 3 LÝ THUYẾT MÃ 42

2.1 Khái niệm và điều kiện thiết lập mã 42

2.1.1 Mã hiệu và các thông số cơ bản 42

2.1.2 Điều kiện thiết lập bộ mã 44

2.2 Các phương pháp biểu diễn mã 46

2.2.1 Biểu diễn bằng bảng liệt kê (Bảng đối chiếu mã) 46

2.2.2 Biểu diễn bằng toạ độ mã 46

2.2.3 Đồ hình mã 47

2.2.4 Phương pháp hàm cấu trúc mã 49

2.3 Mã có tính phân tách được, mã có tính prefix 49

2.3.1 Điều kiện để mã phân tách được 50

2.3.2 Mã có tính prefix 52

2.3.3 Bất đẳng thức Kraft 53

2.4 Mã thống kê tối ưu 54

2.4.1 Giới hạn độ dài trung bình của từ mã 54

2.4.1.1 Giới hạn dưới 54

2.4.1.2 Giới hạn trên 55

2.4.2 Tiêu chuẩn mã kinh tế tối ưu 55

2.4.3 Mã thống kê Fano –Shanon 56

2.4.3.1 Phương pháp mã theo Fano 56

2.4.3.2 Phương pháp mã theo Shanon 57

2.4.4 Mã Huffman 59

2.5 Thuật toán mã hoá Lempel-Ziv 61

2.5.1 Lập mã 62

2.5.2 Giải mã 63

2.6 Mã chống nhiễu 64

2.6.1 Khái niêm về mã phát hiện sai và sửa sai 64

2.6.2 Cơ chế phát hiện sai 65

2.6.3 Cơ chế sửa sai 66

2.6.4 Xây dựng bộ mã sửa sai bằng bảng chọn 68

B3: 1011, 1110 , 0100 sẽ sửa duy nhất thành a3 69

2.6.5 Xây dựng bộ mã sửa sai bằng trọng số Hamming và khoảng cách Hamming 70 2.6.5.1 Trọng số Hamming 70

2.6.5.2 Khoảng cách Hamming 70

2.6.5.3 Cơ chế phát hiện sai bằng khoảng cách Hamming 71

2.6.5.4 Cơ chế sửa sai bằng khảng cách Haming 71

2.6.6 Một số biện pháp phát hiện sai đơn giản 72

2.6.6.1 Dùng Parity 72

2.6.6.2 Mã khối 72

2.7 Mã tuyến tính 73

2.7.1 Phương pháp xây dựng mã tuyến tính 73

2.7.1.1 Biểu diễn bằng ma trận sinh 73

2.7.1.2 Biểu diễn bằng ma trận thử 74

2.7.1.3 Mã hệ thống 75

2.7.2 Nguyên lý giải mã 75

2.7.3 Một số giới hạn của mã tuyến tính 77

2.7.3.1 Giới hạn trên của khoảng cách mã tối thiểu 77

2.7.3.2 Giới hạn Plotkin(về số ký hiệu thử) 78

2.7.3.3 Giới hạn Haming 78

2.8 Mã vòng 78

2.8.1 Khái niệm: 78

2.8.2 Nguyên lý lập mã 79

2.8.3 Nguyên lý giải mã 80

1 CHƯƠNG 1: NHỮNG KHÁI NIỆM CƠ BẢN1.1 Giới thiệu về lý thuyết truyền tin

1.1.1 Giới thiệu về lý thuyết truyền tin

Vật liệu ban đầu được gia công trong hệ thống truyền tin là thông tin.Thông tin được mang dưới dạng năng lượng khác nhau gọi là vật mang, vật mang

có chứa thông tin gọi là tín hiệu

Lý thuyết về năng lượng giải quyết tốt vấn đề xây dựng mạch, tín hiệunhưng vấn đề về tốc độ, hiện tượng nhiễu, mối liên hệ giữa các dạng năng lượngkhác nhau của thông tin…chưa giải quyết được mà phải cần có một lý thuyết khác

đó là lý thuyết truyền tin

Lý thuyết về truyền tin giải quyết vấn đề cơ bản của truyền tin là tốc độ,khả năng chống nhiễu của hệ thống

1.2 Hệ thống truyền tin

Những hệ thống truyền tin cụ thể mà con người đã sử dụng và khai thác córất nhiều dạng, và khi phân loại chúng người ta có thể dựa trên nhiều cơ sở khácnhau

1.2.1 Các quan điểm để phân loại các hệ thống truyền tin

-Năng lượng một chiều (điện tín)

-Vô tuyến điện (sóng điện từ)

-Quang năng (cáp quang)

-Sóng siêu âm (la-de)

-Hệ thống truyền số liệu

-Hệ thống truyền hình phát thanh

-Hệ thống thông tin thoại

-Hệ thống truyền tin rời rạc

-Hệ thống truyền tin liên tục

1.2.2 Sơ đồ truyền tin và một số khái niệm trong hệ thống truyền tin

Truyền tin(transmission): Là quá trình dịch chuyển thông tin từ điểm này

sang điểm khác trong một môi trường xác định Hai điểm này sẽ được gọi là điểmnguồn tin (information source) và điểm nhận tin (information destination) Môitrường truyền tin còn được gọi là kênh tin (chanel)

Sơ đồ khối chức năng của một hệ thống truyền tin tổng quát gồm có 3 khâuchính: Nguồn tin, kênh tin và nhận tin

Nguồn tin: là nơi sản sinh ra hay chứa các tin cần truyền đi.

Khi một đường truyền được thiết lập để truyền tin từ nguồn tin đến nhậntin, một dãy các phần tử cơ sở (các tin) của nguồn sẽ được truyền đi với một phân

bố xác suất nào đó Dãy này được gọi là một bản tin (Message) Vậy ta còn có thể

định nghĩa: Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin khác nhau để truyền tin.

Kênh tin: là môi trường lan truyền thông tin.

Để có thể lan truyền được thông tin trong một môi trường vật lý xác định,thông tin phải được chuyển thành tín hiệu thích hợp với môi trường truyền lan

Vậy Kênh tin là nơi hình thành và truyền tín hiệu mang tin đồng thời ở đấy sinh

ra các tạp nhiễu phá huỷ thông tin.

Trong lý thuyết truyền tin kênh là một khái niệm trìu tượng đại biểu chohỗn hợp tín hiệu và tạp nhiễu Từ khái niệm này, sự phân loại kênh sẽ dễ dànghơn, mặc dù trong thực tế các kênh tin có rất nhiều dạng khác nhau, ví dụ

-Truyền tin theo các dây song hành, cáp đồng trục, ống dẫn sóng

-Tín hiệu truyền lan qua các tầng điện ly

-Tín hiệu truyền lan qua các tầng đối lưu

-Tín hiệu truyền lan trên mặt đất, trong đất

-Tín hiệu truyền lan trong nước

Nhận tin: Là cơ cấu khôi phục thông tin ban đầu từ tín hiệu lấy được từ

đầu ra của kênh

Để tìm hiểu chi tiết hơn ta đi sâu vào các khối chức năng của sơ đồ truyềntin và xét đến nhiệm vụ của từng khối.

1.2.3 Nguồn tin nguyên thuỷ

1.2.3.1 Khái niệm

Nguồn tin nguyên thuỷ là tập hợp những tin nguyên thuỷ (chưa qua một phép biến đối nhân tạo nào)

hoặc là những hàm biến đổi theo thời gian và một hoặc nhiều thông số khác như

(

),,

(

),,

(

z y

x

h

z y x

g

z y x

f

Các tin nguyên thuỷ phần lớn là hàm liên tục của thời gian và mức: Nghĩa

Smax

Smin

Tin nguyên thuỷ có thể trực tiếp đưa vào truyền nhưng thường qua biến đổisao cho phù hợp với hệ thống Xét về quan điểm truyền tin thì có hai loại tin và hailoại hệ thống tương ứng:

Tin rời rạc

Nói chung các tin rời rạc, hoặc nguyên thuỷ rời rạc, hoặc nguyên thuỷ liêntục đã được rời rạc hoá trước khi đưa vào kênh thông thường đều qua thiết bị mãhoá.

Thiết bị mã hoá biến đổi tập tin nguyên thuỷ thành tập hợp những tin thích hợp vớiđặc điểm cơ bản của kênh như khả năng cho qua (thông lượng), tính chất tín hiệu

và tập nhiễu Tóm lại mã hoá là phép biến đổi tính thống kê và tính chất chốngnhiễu của nguồn tin

1.2.3.2 Bản chất của thông tin theo quan điểm truyền tin

Chỉ có quá trình ngẫu nhiên mới tạo ra thông tin Một hàm gọi là ngẫu nhiên nếu với một giá trị bất kì của đối số giá trị của một hàm là một đại lượng ngẫu nhiên (các đại lượng vật lí trong thiên nhiên như nhiệt độ môi trường, áp

suất không khí… là hàm ngẫu nhiên của thời gian)

Một quá trình ngẫu nhiên được quan sát bằng một tập các thể hiện Quátrình ngẫu nhiên được gọi là biết rõ khi thu nhận và xử lí được một tập đủ nhiềucác thể hiện đăc trưng của nó Giả sử quá trình ngẫu nhiên X(t) có một tập cácmẫu (hay còn được gọi là thể hiện) x(t) ta biểu diễn như sau:

X(t) = {x(t) } Việc đoán trước một giá trị ngẫu nhiên là khó khăn Ta chỉ có thể tìm được

quy luật phân bố của các thể hiện thông qua việc áp dụng các qui luật của toán thống kê để xử lý các giá trị của thể hiện mà ta thu được từ các tín hiệu Quá trình

ngẫu nhiên có thể là không gian nhiều chiều, xét theo từng chiều ta có luật phân bốmột chiều: (F)

F1(x,t1) = P (ξ (t1) ≤ x)

Mật độ phân bố xác suất một chiều W1(x,t)

dx

x: Các thể hiện của quá trình ngẫu nhiên

Xét theo hai chiều ta có luật phân bố hai chiều:

F2(x1,t1;x2,t2) = P(ξ (t1) ≤ x1; ξ (t2) ≤ x2)

∂2F2

⇒ W2(x1,t1;x2,t2) =

∂x1 ∂x2

Hàm này phản ánh thống kê hai thể hiện tại hai thời điểm tuy vậy vẫn chưa

đủ Vậy phải dùng W(nhiều, nhiều) là qui luật phân bố của số thể hiện tuỳ ý với sốchiều n tuỳ ý Vấn đề thực tế là cần n bằng bao nhiêu để hiểu rõ quá trình ngẫunhiên Ta khó có thể nói chính xác n nhưng ta có thể xét một tập đủ nhiều trên một

số điều kiện sau:

nào vẫn có:

W2(x1,t1;x2,t2) = W2(x2,t2;x1,t1)

Điều kiện kết hợp: Mọi qui luật phân bố k chiều đều có thể lấy ra từ qui luật

Qui luật phân bố n chiều đầy đủ nhưng quá nhiều phức tạp Thông thườngngười ta dùng một số đặc tính thống kê đơn giản hơn nhưng cũng giải quyết đượcyêu cầu đặt ra

(1) Trị trung bình (kì vọng toán học) của một quá trình ngẫu nhiên x(t)

= M[x(t)] = +∞∫

∞

−

dx t x

xW1( 1, )

(2) Trị trung bình bình phương

x (t) =

= M[x2(t)] = +∞∫

∞

−

dx t x W

1x w (x t ;x t )dx dx x

Nếu hai quá trình khác nhau ở hai thời điểm khác nhau:

Để giải quyết bài toán một cách thực tế người ta không thể xác định tứcthời mà lấy trị trung bình của quá trình ngẫu nhiên Có hai loại trị trung bình theotập hợp và trị trung bình theo thời gian Ta cần nghiên cứu trị trung bình theo tậphợp gặp tuy vậy nhiều khó khăn khi nhận xử lý tức thời các thể hiện vì các thểhiện luôn biến đổi theo thời gian Tính trị trung bình theo thời gian ta chọn thờigian đủ lớn để quan sát các thể hiện dễ hơn vì có điều kiện quan sát và sử dụng cácthuật toán thông kê:

Khi thời gian quan sát T dần đến vô cùng thì trị trung bình tập hợp bằng trịtrung bình thời gian

x2(t)

Thực tế ta thường chọn thời gian quan sát đủ lớn chứ không phải vô cùng,như vậy vẫn thoả mãn các điều kiện cần nhưng đơn giản hơn, khi đó ta có trịtrung bình theo tập hợp bằng trị trung bình theo thời gian Ta có:

X(t) = +∞∫

∞

−

dx x

Trường hợp này gọi chung là quá trình ngẫu nhiên dừng theo hai nghĩa:

-Theo nghĩa rộng: Gọi là quá trình ngẫu nhiên dừng, khi trị trung bình là

Tóm lại: Để nghiên cứu định lượng nguồn tin, hệ thống truyền tin mô hình hoá

nguồn tin bằng 4 quá trình sau:

1) Quá trình ngẫu nhiên liên tục: Nguồn tiếng nói, âm nhạc, hình ảnh là tiêubiểu cho quá trình này Trong các hệ thống thông tin thoại, truyền thanh, truyềnhình với các tín hiệu điều biên, điều tần thông thường ta gặp các nguồn như vậy.2) Quá trình ngẫu nhiên rời rạc: là quá trình ngẫu nhiên liên tục sau khi đượclượng tử hoá theo mức trở thành quá trình ngẫu nhiên rời rạc

3) Dãy ngẫu nhiên liên tục: Đây là trường hợp một nguồn liên tục đã được giánđoạn hóa theo thời gian, như thường gặp trong các hệ thông tin xung điều biênxung, điều tần xung không bị lượng tử hóa.

4) Dãy ngẫu nhiên rời rạc: Nguồn liên tục được gián đoạn hoá theo thời gianhoặc trong hệ thống thông tin có xung lượng tử hoá

Nhiệm vụ mã hoá là phối hợp nguồn và kênh nghĩa là biến đổi các thông số củanguồn thích ứng với các thông số của kênh Chuyển nguồn (A,p) thành nguồn(A',p') sao cho nguồn mới đáp ứng được các yêu cầu kỹ thuật của kênh

1.2.4 Kênh tin

Ta biết rằng, cho đến nay khoa học thừa nhận rằng: Vật chất chỉ có thể dịchchuyển từ điểm này đến một điểm khác trong một môi trường thích hợp và dướitác động của một lực thích hợp Trong quá trình dịch chuyển của một hạt vật chất,những thông tin về nó hay chứa trong nó sẽ được dịch chuyển theo Đây chính làbản chất của sự lan truyền thông tin

Bản chất của sự lan truyền thông tin.

Vậy có thể nói rằng việc truyền tin chính là sự dịch chuyển của dòng cáchạt vật chất mang tin (tín hiệu) trong môi trường truyền tin Trong quá trình truyềntin, hệ thống truyền tin phải gắn được thông tin lên các dòng vật chất tạo thành tínhiệu và lan truyền nó đi

Khái niệm kênh tin.

Việc tín hiệu lan truyền trong một môi trường xác định chính là dòng cáchạt vật chất chịu tác động của lực, lan truyền trong một cấu trúc xác định của môitrường Dòng vật chất mang tin này ngoài tác động để dịch chuyển, còn chịu tácđộng của các lực không mong muốn sẵn có trong cũng như ngoài môi trường vàchịu va đập với các hạt của môi trường Đây cũng chính là nguyên nhân làm biếnđổi dòng vật chất không mong muốn hay là nguyên nhân gây ra mhiễu trong quátrình truyền tin

nhiễu.

Phân loại môi trường truyền tin

Kênh tin là môi trường hình thành và truyền lan tín hiệu mang tin Để mô tả

về kênh chúng ta phải xác định được những điểm chung, cơ bản để có thể tổngquát hoá về kênh

Khi tín hiệu đi qua môi trường do tác động của tạp nhiễu trong môi trường

sẽ làm biến đổi năng lượng, dạng của tín hiệu Mỗi môi trường có một dạng tạpnhiễu khác nhau Vậy ta có thể lấy sự phân tích, phân loại tạp nhiễu để phân tích,phân loại cho môi trường (kênh)

là nhiễu sinh ra một tín hiệu ngẫu nhiên không mong muốn và tác động cộng thêm vào tín hiệu ở đầu ra (Nhiễu cộng là do các nguồn nhiễu

công nghiệp, vũ trụ sinh ra, luôn luôn tồn tại trong các môi trườngtruyền lan tín hiệu)

tác động nhân vào tín hiệu, nhiễu này gây ra do phương thức truyền lan của tín hiệu, hay là sự thay đổi thông số vật lý của bộ phận môi trường truyền lan khi tín hiệu đi qua Nó làm nhanh, chậm tín hiệu (thường ở

sóng ngắn) làm tăng giảm biên độ tín hiệu (lúc to, lúc nhỏ, có lúc tắthẳn)

- Môi trường gồm cả nhiễu cộng và nhiễu nhân

Mô tả sự truyền tin qua kênh :

SV(t) SR(t)

Ta có biểu thức mô tả nhiễu: SR(t) = Sv(t) Nn(t) + Nc(t)

ở đây H(t) là đặc tính xung của kênh Đặc tính kênh không lý tưởng này sẽ gây ramột sự biến dạng của tín hiệu ra so với tín hiệu vào, gọi là méo tín hiệu và méo lại

là một nguồn nhiễu trong quá trình truyền tin

Tín hiệu vào của kênh truyền hiện nay là những dao động cao tần vớinhững thông số biến đổi theo quy luật của thông tin Các thông số có thể là biên

độ, tần số hoặc góc pha, dao động có thể liên tục hoặc gián đoạn, nếu là gián đoạn

Kênh

sẽ có những dãy xung cao tần với các thông số xung thay đổi theo thông tin nhưbiên độ xung, tần số lặp lại, thời điểm xuất hiện

Trong trường hợp dao động liên tục biểu thức tổng quát của tín hiệu códạng sau:

Sv(t) = a(t) cos(ω(t) - ψ(t))

đổi theo quy luật của thông tin để mang tin và nhiễu tác động sẽ làm thay đổi cácthông số này làm sai lạc thông tin

Đặc tính truyền tin của kênh

Theo mô hình mạng 2 cửa của kênh tin, nếu đầu vào ta đưa vào tin x(t) vớixác suất xuất hiện là p(x) ta nhận được ở đầu ra một tin y(t) với xác suất xuất hiệnp(y) đại diện cho x(t) Với yêu cầu truyền tin chính xác, ta cần y(t) phải là đại diệncho x(t), hay xác suất nhận được y(t) là đại diện của x(t) khi truyền x(t) là p(y|x)=1 Điều này chỉ có được khi kênh không có nhiễu Khi kênh có nhiễu, có thểtrên đầu ra của kênh chúng ta nhận được một tin khác với tin được phát, có nghĩa

là xác suất để nhận được y(t) là đại diện của x(t) là p(y|x) với 0 < p(y|x) <1, và nếunhiễu càng lớn, xác suất này càng nhỏ Vậy có thể sử dụng xác suất p(y|x) để đặctrưng cho đặc tính truyền tin của kênh

1.2.5 Nhận tin

Nhận tin là đầu cuối của hệ thống truyền tin Nhận tin thường gồm có bộnhận biết thông tin được phát và xử lý thông tin Nếu bộ phận xử lý thông tin làthiết bị tự động ta có một hệ thống truyền tin tự động

Vì tín hiệu nhận được ở đầu ra của kênh là một hỗn hợp tín hiệu và tạpnhiễu xảy ra trong kênh, nên nói chung tín hiệu ra không giống với tín hiệu đưavào kênh Nhiệm vụ chính cần thực hiện tại nhận tin là từ tín hiệu nhận được y(t)phải xác định được x(t) nào được đưa vào ở đầu vào của kênh Bài toán này đượcgọi là bài toán thu hay phục hồi tín hiệu tại điểm thu

1.2.6 Vấn đề cơ bản của hệ thống truyền tin

Lý thuyết truyền tin có hai vấn đề cơ bản phải giải quyết đó là: Hiệu suất, Độ

chính xác

(1) Hiệu suất: (hay tốc độ truyền tin)

Là lượng tin tức cho phép truyền đi trong một đơn vị thời gian với độ sai sót chophép

(2) Độ chính xác: (hay khả năng chống nhiễu của hệ thống)

1.2.6.1 Là khả năng giảm tối đa sai nhầm thông tin trên đường truyền

Yêu cầu tối đa với bất kỳ một hệ thống truyền tin nào là thực hiện được sựtruyền tin nhanh chóng và chính xác Những khái niệm về lý thuyết thông tin chobiết giới hạn tốc độ truyền tin trong một kênh tin, nghĩa là khối lượng thông tinlớn nhất mà kênh cho truyền qua với một độ sai nhầm nhỏ tùy ý

Trong nhiều trường hợp nguồn tin nguyên thủy là liên tục nhưng dùng kênh rời rạc để truyền tin Vậy nguồn tin liên tục trước khi mã hóa phải được rời rạc hóa Để xác minh phép biến đổi nguồn liên tục thành nguồn rời rạc là một phép biến đổi tương đương 1 – 1 về mặt thông tin, trước hết ta khảo sát cơ sở lý thuyết của phép rời rạc hóa gồm các định lý lấy mẫu và quy luật lượng tử hóa

1.3 Rời rạc hóa một nguồn tin liên tục

Trong các hệ thống truyền tin mà đầu cuối là những thiết bị xử lý thông tinrời rạc ( ví dụ máy tính số) như các hệ thống truyền số liệu Do vậy nếu các nguồntin là liên tục, nhất thiết trước khi đưa tin vào kênh phải thông qua một phép biếnđổi liên tục thành rời rạc Sau đó sẽ áp dụng các phương pháp mã hóa để đáp ứngđược các chỉ tiêu kỹ thuật của hệ thống truyền tin cụ thể

Phép biến đổi nguồn tin liên tục thành rời rạc gồm hai khâu cơ bản:

(1) Khâu rời rạc hóa theo thời gian hay là khâu lấy mẫu

(2) Khâu lượng tử hóa

Cơ sở lý thuyết của phép biến đổi này gồm các định lý lấy mẫu và luật lượng tửhóa

Tương đương ở đây là về ý nghĩa thông tin, nghĩa là hàm thay thế không bị mấtmát thông tin so với hàm được thay thế.

Việc lấy mẫu có thể thực hiện bằng một rơ le điện, điện tử bất kì đóng mởdưới tác động của điện áp u(t) nào đó Thời gian đóng mạch của rơ le là thời gian

được gọi là có băng tần hạn chế nếu S(f) = 0 với |f| > f(max).Ở đây f(max) là tần

số cao nhất của tín hiệu s(t) Một tín hiệu như thế được biểu diễn một cách duy

Ta thấy ngoài tần số ± f(max) năng lượng coi như bằng 0 nên:

Tín hiệu có băng tần hạn chế được lấy mẫu với tần số lấy mẫu là

f

f

n t

f f

n s

t

s

(max)2

(max)2

(max)2

(max)2

sin(max)2

)

(

ππ

Vậy nếu thời gian lấy mẫu đủ dài và số mẫu đủ lớn thì năng lượng của tínhiệu lấy mẫu tương đương với năng lượng của tín hiệu gốc

1.3.2 Lượng tử hoá

Giả thiết hàm tin S(t) biến thiên liên tục nên biên độ của nó thay đổi trong

Smin = S0 , S1 , S2 Sn = Smax

nó tăng hoặc giảm gần đến mức đó Như vậy s(t) sẽ trở thành s’(t) có dạng biến

mức thích hợp sẽ giảm sự sai khác giữa S(t) và S’(t)

∆i

Phép biến đổi S(t) thành S '(t) gọi là phép lượng tử hoá ∆i gọi là mức

nhau ta có luật lượng tử hoá không đều Do sự biến thiên S (t) thường là khôngđều nên thường dùng qui luật lượng tử không đều Việc chia không đều này phụthuộc vào mật độ xác suất các trị tức thời của S (t)

Tóm lại: Việc biến một nguồn liên tục thành một nguồn rời rạc cần hai phép biến

đổi: lấy mẫu và lượng tử hoá Thứ tự thực hiện hai phép biến đổi này phụ thuộcvào điều kiện cụ thể của hệ thống:

-Lượng tử hoá sau đó lấy mẫu: ĐBX, ĐTX…

-Lấy mẫu sau đó lượng tử hoá

-Thực hiện đồng thời hai phép trên

1.4 Độ đo thông tin

Khái niệm độ đo: độ đo của một đại lượng là cách ta xác định độ lớn của đại

lượng đó Mỗi độ đo phải thỏa mãn 3 tính chất sau:

Độ đo phải cho phép ta xác định được độ lớn của đại lượng đó Đại lượngcàng lớn, giá trị đo được phải càng cao

Độ đo phải không âm

Độ đo phải tuyến tính: Tức là giá trị đo được của đại lượng tổng cộng phảibằng tổng giá trị của các đại lượng riêng phần khi sử dụng độ đo này để đo chúng

Độ đo thông tin.

Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin càng có ýnghĩa khi nó càng ít gặp, nên độ lớn của nó phải tỷ lệ nghịch với xác suất xuất hiệncủa tin

Vậy độ đo thông tin là một hàm tỷ lệ nghịch với xác suất xuất hiện của tin

p(xi) =1

Để xác định dạng của hàm này, chúng ta sử dụng tính chất thứ 3 Giả sử hai

và f(1/p(xj))

chúng phải bằng tổng lượng tin của từng tin Khi hai tin đồng thời xuất hiện, xác

f(1/p(xi,xj)) = f(1/p(xi)) + f(1/p(xj))

Vì hai tin độc lập thống kê nên p(xi,xj) = p(xi) p(xj)

Kiểm tra tính không âm: do p(xi) ≤ 1 => 1/p(xi) ≥ 1 => log(1/p(xi)) ≥ 0

Khi một tin luôn xuất hiện thì lượng tin nhận được khi này bằng không

I(x i ) = log(1/p(x i )).

Trong công thức xác định độ đo thông tin này, cơ số của hàm loga chưađược chỉ ra Tùy vào cơ số của hàm log này ta sẽ có các đơn vị đo độ lớn thông tinxác định Hiện nay ta thường dùng các đơn vị sau:

Bit hay đơn vị nhị phân khi cơ số là 2

Nat hay đơn vị tự nhiên khi cơ số là e

Hartley hay đơn vị thập phân khi cơ số là 10

Ví dụ:

Nguồn A có m ký hiệu đẳng xác suất, một tin do nguồn A hình thành là một

a i đều có p(a i ) = 1/m vậy => I(a i )=logm.

Lượng tin chứa trong một dãy x gồm n ký hiệu là p(x) = nlogm.

Đơn vị lượng tin tùy theo cách chọn cơ số của log là bit, nat hay Hartley nếu cơ số là 2, e hay 10.

Dễ thấy khi m ký hiệu của nguồn có xác suất khác nhau và không độc lập thống kê với nhau thì lượng tin riêng từng ký hiệu phụ thuộc vào p(a i ) : I(a i )=logp(a i ).

Vậy lượng tin chứa trong một dãy ký hiệu của nguồn không những phụ

1.5 Mã hoá

1.5.1 Khái niệm

Mã hoá là một phép biến đổi tương đương về mặt tin tức cấu trúc thống kê của nguồn nhằm mục đích cải tiến các chỉ tiêu kĩ thuật của hệ thống thích hợp với kênh (về tốc độ, nhiễu).

1.5.2 Phương pháp mã hoá

Trên thực tế có nhiều phương pháp mã hoá Ta chỉ xét phương pháp mã hoácho tín hiệu rời rạc, tức là biến nguồn rời rạc thành một nguồn rời rạc khác có cấutrúc thống kê tốt hơn cho hệ thống

Giả sử nguồn A có số kí hiệu là m mã hóa thành A’ có số kí hiệu là m’ Số

kí hiệu trong một từ mã là n và n’ Như vậy số phân tử của mạch biểu thị thông tin

là m và m’ Vấn đề phải giải quyết là:

+ Sau mã hoá lượng tin không đổi

+ Số phân tử mạch mã hoá tối thiểu

Với yêu cầu lượng tin không đổi sao cho:

I(A) = I(A’) Hay nlogm = n’logm’

Với yêu cầu số phần tử mạch tối thiểu, bằng thực nghiệm ta thấy nếu m = e(cơ số tự nhiên bằng 2,7) thì số phần tử mạch sẽ tối thiểu, thông thường chọn m =

2 ta được bộ mã nhị phân

Ví dụ:

Mã hoá nguồn này thành nguồn B như sau:

a1= b1b1a2= b1b2a3= b2b1a4= b2b2

Ta thấy với nguồn A mạch cần 4 phần tử còn nguồn B cần 2 phần tử Tuy vậy vềlượng tin hai nguồn bằng nhau Rõ ràng khi mã hoá cho ta lợi hơn nguồn ban đầu

1.6 Điều chế

1.6.1 Khái niệm điều chế

Trong các hệ thống truyền tin liên tục, các tin hình thành từ nguồn tin liêntục được biến đổi thành các đại lượng điện (áp, dòng) và chuyển vào kênh Khimuốn chuyển các tin ấy qua một cự ly lớn, phải cho qua một phép biến đổi khácgọi là điều chế

Vậy: Điều chế là chuyển thông tin ban đầu thành một dạng năng lượng thích hợp với môi trường truyền lan, sao cho năng lượng ít bị tổn hao, ít bị nhiễu trên đường truyền tin.

1.6.2 Các phương pháp điều chế

Các phương pháp điều chế cao tần thường dùng với tín hiệu liên tục

-Điều chế biên độ AM (Amplitude Modulation)

-Điều chế Đơn biên SSB (Single Side Bande)

-Điều tần FM (Frequency Modulation)

-Điều pha PM (Phase Modulation)

Với tín hiệu rời rạc, các phương pháp điều chế cao tần cũng giống như trường hợpthông tin liên tục, nhưng làm việc gián đoạn theo thời gian, gọi là manip hay khóadịch Gồm các phương pháp sau

- Manip biên độ ASK (Amplitude Shift Key)

- Manip tần số FSK (Frequency Shift Key)

- Manip pha PSK (Phase Shift Key)

1.6.3 Giải điều chế

Định nghĩa: Giải điều chế là nhiệm vụ thu nhận lọc tách thông tin nhận được

dưới dạng một điện áp liên tục hay một dãy xung điện rời rạc giống như đầu vào, với một sai số cho phép

Các phương pháp giải điều chế

Về phương pháp giải điều chế, nói cách khác là phép lọc tin, tùy theo hỗnhợp tín hiệu nhiếu và các chỉ tiêu tối ưu về sai số (độ chính xác) phải đạt được màchúng ta có các phương pháp lọc tin thông thường như:

+Tách sóng biên độ,

+Tách sóng tần số

+Tách sóng pha

CHƯƠNG 2 LƯỢNG TIN VÀ ENTROPI NGUỒN RỜi RẠC1.7 Lượng tin nguồn rời rạc

1.7.1 Mối liên hệ của lượng tin và lý thuyết xác suất

Sự tiếp xúc của con người với ngoại vật, nhận thức được ngoại vật làthông qua thông tin tiếp thu được Khái niệm thông tin là một khái niệm đã hìnhthành từ lâu trong tư duy của con người Để diễn tả khái niệm này, ta giả thiết rằngtrong một tình huống nào đó, có thể xảy ra nhiều sự kiện khác nhau và việc xảy ramột sự kiện nào đó trong tập hợp các sự kiện có thể làm cho ta thu nhận đượcthông tin

Một tin đối với người nhận có hai phần, hay hai nội dung

(1) Độ bất ngờ của tin

(2) ý nghĩa của tin

Để so sánh các tin với nhau, ta có thể lấy một trong hai hoặc cả hai nộidung trên làm thước đo Nhưng nội dung hay ý nghĩa của tin mà ta còn gọi là tínhhàm ý của tin, không ảnh hưởng đến các vấn đề cơ bản của hệ thống truyền tinnhư tốc độ hay độ chính xác Nó chính là ý nghĩa của những tin mà con ngườimuốn trao đổi với nhau thông qua việc truyền tin

Độ bất ngờ của tin lại rất liên quan đến các vấn đề cơ bản của hệ thốngtruyền tin Ví dụ: một tin càng bất ngờ, sự xuất hiện của nó càng hiếm, thì rõ ràngthời gian nó chiếm trong một hệ thống truyền tin càng ít

Như vậy, muốn cho việc truyền tin có hiệu suất cao thì không thể coi cáctin như nhau nếu chúng xuất hiện ít nhiều khác nhau

Để định lượng thông tin trong các hệ thống truyền tin, ta lấy độ bất ngờcủa tin để so sánh các tin với nhau Ta quy ước rằng lượng tin càng lớn nếu độ bấtngờ của tin càng cao Điều này là hợp lý vì khi ta nhận được một tin đã biết trướcthì xem như không nhận được gì, và việc nhận được một tin mà ta ít có hy vọngnhận được thì lại rất quý đối với chúng ta

Mỗi tin tức đực thể hiện qua mỗi sự kiện Các sự kiện là các hiện tượngngẫu nhiên có thể được mô tả bởi các quy luật thống kê

Về mặt truyền tin ta chỉ quan tâm đến độ bất ngờ của tin hay xác suất xuâthiện các ký hiệu Để nghiên cứu vấn đề này ta dùng các quy luật thống kê Phép

biến đổi tổng quát trong hệ thống truyền tin là phép biến đổi cấu trúc thống kê củanguồn

Bây giờ chúng ta xem xét mối liên hệ giữa khái niệm tin tức với lý thuyết xác

Phép biến đổi tổng quát trong một hệ thống truyền tin là phép biến đổi cócấu trúc thống kê của nguồn Chúng ta có thể lấy bất kỳ một khâu xử lý tin tức nào

đó trong hệ thống như rời rạc hóa, mã hóa, điều chế, truyền lan, giải điều chế, giải

mã đều có thể xem như một phép biến đổi nguồn Nói cách khác phép xử lý đó đãbiến đổi cấu trúc thống kê của tập tin ở đầu vào khâu hệ thống trở thành một tậptin mới với một cấu trúc thống kê mong muốn ở đầu ra

Nếu ε là quy luật biến đổi thì ta có mối quan hệ ε ={B,p(b)}

n

Các tin u (i) hay v ( j) được xem như những phần tử của tập U hay V ; hoặc

Q P O

Nguồn tin được xem như không gian điểm rời rạc nhiều chiều, mỗi mộtđiểm đại diện cho một tin Phép biến đổi nguồn chuyển một không gian tin nàysang một không gian tin khác Ví dụ phép rời rạc hóa, chuyển một không gian tinliên tục thành không gian tin rời rạc

Phép biến đổi trong kênh cũng có thể được xem như những phép biến đổinguồn khác, tuy nhiên vì có tác động của nhiễu nên sự chuyển đổi giữa các tinthông thường không phải là một – một

Ví dụ 1: Phép biến đổi trong kênh nhị phân đối xứng Tập vào gồm hai ký

thể gây ra những kết quả sau:

Nếu vào là x0 thu được y0 ta có (x0,y0)

Nếu vào là x0 thu được y1 ta có (x0,y1)

Nếu vào là x1 thu được y0 ta có (x1,y0)

Nếu vào là x1 thu được y1 ta có (x1,y1)

Kết quả biến đổi các tin trong kênh có thể được xem như các phần tử của tập

xác suất chuyển đổi từ tin x thành tin y: p(y|x) p(xy)= p(x)p(y|x).

nguồn Y ={y1,y2, ,y n} Ta xét như sau:

cặp (x i,y j), trong đó x i ∈X , y j ∈Y , theo quy luật phân bố xác suất p(x i,y j).

Theo lý thuyết xác suất, sự liên hệ giữa các xác suất của các phần tử trong

y

y x p y

p y x p x

p( ) ( , ); ( ) ( , )

)/()()/()(),

x y p x p

x y p x p y

x

p

)/()(

)/()()/

(

phân để mã hóa nguồn tin, với phép mã hóa như sau:

u0 →x0y0z0

0 0 1

1 x y z

u →

0 1 0

2 x y z

u →

0 1 1

3 x y z

u →

1 0 0

4 x y z

u →

1 0 1

5 x y z

u →

1 1 0

6 x y z

u →

1 1 1

7 x y z

u →

Trong đó x0 = y0 =z0 =0; x1 = y1 =z1 =1; các mã hiệu thiết lập như trên là

trong một không gian 3 chiều

Sự liên hệ giữa quy luật phân bố xác suất trong các tập hợp và tập tích đãcho trong lý thuyết xác suất như sau:

y

z y x p y

x p x

p

;

),,()

,()

x

z y x p y

x p y

p

;

),,()

,()

x

z y x p z

x p z

p

;

),,()

,()

z y x p y

z y x p z

z y x p z

y

p( , ) ( , , )

)/()()/()()/()(),,

(x y z p x p yz x p y p xz y p z p xy z

Áp dụng các biểu thức trên trong việc xác định xác suất của mã hiệu, khinhận được ở đầu ra của bộ mã hóa lần lượt các ký hiệu của một dãy nào đó Giả sử

lượt các ký hiệu của dãy

1

1 1

x p

z y x p x

116

18

14

1)()()()()(x1 = p u1 + p u3 + p u5 + p u7 = + + + =

p

0 1

0 1 0

1

y x p

z y x p y x z

Trong đó

16

516

14

1),(x1 y0 = + =

p

Xác suất của tin u i sau khi nhận được ký hiệu x1, y0, z1 chỉ có khả năng

),,(

),,(),,/(

1 0 1

1 0 1 1

0 1

z y x p

z y x p z y x u

bằng 0 Kết quả tính toán được cho trong bảng sau:

1.7.2 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện

Như trong phần trước ta đã đề cập về độ đo thông tin, hàm loga đã được

có lượng tin riêng như trên ta đã biết:

)(

1log)(

i i

x p x

qua sự truyền lan trong kênh thì phép biến đổi đó có thể không phải là 1-1

của kênh với những xác suất chuyển đổi khác nhau tùy thuộc theo tính chất nhiễutrong kênh.

Bài toán truyền tin trong trường hợp này đặt ra là: Cho biết cấu trúc thống

Đây là bài toán thống kê, lời giải khẳng định là không có được Lời giải tìm

năng đã được phát đi nhất

Muốn giải quyết vấn đề này ta lần lượt qua hai bước

Muốn xác định lượng tin tương hỗ ta phải tìm lượng tin ban đầu có trong

i

Lượng tin ban đầu là lượng tin riêng được xác định bằng xác suất tiên

i i

x p x

j i j

i

y x p y

x

tin có điều kiện, trong quá trình truyền tin, lượng tin đó chính là lượng tin

đã bị tạp nhiễu phá hủy không đến đầu thu được

Như vậy lượng tin tương hỗ được tính theo công thức sau:

)(

)

|(log)

|()(),(

i

j i j

i i

j i

x p

y x p y

x I x I y x

x

p( | )/ ( ) ( | )log

(2) Đem so sánh các lượng tin tương hỗ với nhau, và lượng tin nào cực đại

trình truyền tin

Trong trường hợp phức tạp

Mở rộng khái niệm lượng tin tương hỗ trong trường hợp mã hóa hay phépbiến đổi phức tạp hơn Lúc đó lượng tin tương hỗ cũng được xác định theo cáccông thức xác suất tiên nghiệm và xác suất hậu nghiệm của tin đang xét Ví dụ

)

|

(x i y j z k

nghiệm thì ta lại trở lại trường hợp biến đổi đơn giản đã nói ở trên và có lượng tintương hỗ giữa x i và y j: I(x i,y j)

Nếu ta xem p(x i | y j) là xác suất tiên nghiệm và p(x i |y j z k) là xác suất hậu

j

y ; ( , | ) log (( || ))

j i

k j i j

k

i

y x p

z y x p y

z

x

Nếu ta xem p(x i) là xác suất tiên nghiệm và p(x i | y j z k) là xác suất hậu

)(

)

|(log),(

i

k j i k

j i

x p

z y x p z

y x

sau:

|,(),()

|(

)

|()(

)

|(log),

j i

j i i

k j i k

j

y x p

y x p x

p

z y x p z

y

x

hoàn toàn không thay đổi

được, trong ví dụ mã hóa nhị phân đã nêu trong ví dụ trước

2log16/1

8/1log),

(u5 x1 = =

I

5

8log8/1

5/1log)

|,

(u5 y0 x1 = =

I

5log5/1

1log)

|,

(u5 z1 x1y0 = =

I

1.7.3 Tính chất của lượng tin

(1) Lượng tin riêng bao giờ cũng lớn hơn lượng tin về nó chứa trong bất kỳ ký hiệu nào có liên hệ thống kê với nó.

)(

)

|(log),

(

i

j i j

i

x p

y x p y

x

)(

)

|(log

j

i j y p

x y p

≤ ( ) log (1 )

i i

x p x

Nhưng lượng tin tương hỗ có thể dương, có thể âm do phụ thuộc lượng tin cóđiều kiện

(3) Lượng tin của một cặp (x i y j ) bằng tổng lượng tin riêng của từng tin trừ đi lượng tin tương hỗ giưã chúng.

),()()()(x i y j I x i I y j I x i y j

Khi x i và y j độc lập thống kê I(x i,y j)=0

Đối với trường hợp nguồn phức tạp U=XYZ:

+ I(x i |z k)=−logp(x i |z k)≥ I(x i,y j |z k)

như giải thích lượng tin riêng Lượng tin riêng có điều kiện chính là lượng tintương hỗ với cùng một điều kiện đã xác định một cách đơn trị giữa các tin vớinhau

+ Lượng tin tương hỗ có thể phân thành tổng của những lượng tin tương hỗkhác: I(x i,y j z k)=I(x i,y j)+I(x i,z k | y j)

1.7.4 Lượng tin trung bình

Lượng tin riêng chỉ có ý nghĩa đối với một tin nào đó, nhưng không phản

mặt tin tức của một tin khi nó đứng riêng rẽ, nhưng không thể dùng để đánh giá về

trị tin tức của một tập hợp chứ không phải giá trị tin tức một phần tử nào đó trongtập hợp

dùng khái niệm lượng tin trung bình

Lượng tin trung bình là lượng tin tức trung bình chứa trong một ký hiệu bất

kỳ của nguồn đã cho.

x p x p X

này không còn bất ngờ nên giá trị tin tức rất nhỏ Thế nhưng xét lượng tin riêngcủa x1:

(x1 =− ≈

Đó là giá trị rất lớn, điều đó không phản ánh đúng giá trị của tin như đã xét

ở trên Nếu xét lượng tin trung bình:

08,0014,0066,0)(log)()(log)()

y x p y x p Y

y x p y x p Y

(X Y I X I X Y

0),(),

Z z Y y X x

y x p

yz x p z y x p Z

Y

X

I

x p

yz x p z y x p YZ

)

|(log),,()

/,

(

)(

)

|(log),,()

,

(

1.8 Entropi của nguồn rời rạc

1.8.1 Khái niệm entropi

Khi ta nhận được một tin ta sẽ nhận được một lượng tin trung bình, đồngthời độ bất ngờ về tin đó cũng đã được giải thoát, cho nên độ bất ngờ và lượng tin

về ý nghĩa vật lý trái ngược nhau, nhưng về số đo thì giống nhau và được xác địnhtheo công thức sau:

)(

1log)(

x p x

∈

−

=

X x

x p x p X

H( ) ( )log ( )

1.8.2 Entropi nguồn Markov

Nguồn Markov giữ vai trò quan trọng trong lĩnh vực truyền thông Nó được

1 2

và không phụ thuộc vào các ký hiệu đã tạo ra ở các thời điểm n-2, n-3,…

khi khi ở thời điểm n-1 nguồn đã ở trạng thái i.

Xác suất p(x j n/x i n−1)= p j gọi là xác suất chuyển đổi từ trạng thái i sang

Xác suất để nguồn ở trạng thái j tại thời điểm n là:

m j

p x p x

i

j i

)(

)(2 1

n

n n

m

n

x p

x p

x p

)(

)(

1

1

1 2 1

1

n

n n

m

n

x p

x p

x p

mn m

m

m m

p p

p

p p

p

p p

2 22

21

1 12 11

H

1

log

Nếu tính tới tất cả các trạng thái của nguồn, entropi của nguồn là giá trị

1.8.3 Tính chất của entropi

(2) H(X) = 0 khi nguồn có một ký hiệu bất kỳ có xác suất xuất hiện bằng 1 và xác suất xuất hiện tất cả các ký hiệu còn lại bằng không.

Nghĩa là nguồn có một tin luôn được xác định, như vậy giá trị thông tin củanguồn bằng không

(3) Entropi cực đại khi xác suất xuất hiện của các ký hiệu bằng nhau

x p x p X

H( ) ( )log ( )

∈X x x

x p x

p x

0)

p x

Nếu nguồn có m ký hiệu đẳng xác suất thì xác suất xuất hiện một ký hiệu

1.8.4 Entropi đồng thời và Entropi có điều kiện

Entropi đồng thời

xy p xy p Y

X

H

;

)(log)()

,

(

Entropi có điều kiện

Khi cần đánh giá sự ràng buộc thống kê giữa các cặp ( y x, ) ta dùng khái

ta có biểu thức định nghĩa sau:

Y y X x

x y p y x p X

Y

H

y x p y x p Y

|

(

)

|(log).()

)

|()(),(

Y X H Y H Y X H

X Y H X H Y X H

Z z Y y X x

z y x p z y x p YZ

X

H

z y x p z y x p XYZ

|(log) ()

|

(

) (log) ()

y X x

x p y

x p y x p x

p

y x p y x p Y

|()(log,()

(

)

|(log),()

y X x

x p y x p y

x p y x p

, ,

)(log),()

|(log),(

)

|()(X H X Y

)

|()(),(X Y H Y H Y X

1)

(x0 = p x1 =

p

3/1)

|()

|(

;3/2)

|()

(X =− p x0 p x0 + p x1 p x1 =

H

+ Tính Entropi đầu ra:

417,0)

|()()

|()()

(y0 = p x0 p y0 x0 + p x1 p y0 x1 =

p

583,0)

|()()

|()()

(y1 = p x0 p y1 x0 + p x1 p y1 x1 =

p

98,0))(log)()(log)(()

xy p xy p Y

X H

;

)(log)()

,(

17,0)

|()()(x0y0 = p x0 p y0 x0 =

p

08,0)

|()()(x0y1 = p x0 p y1 x0 =

p

25,0)

|()()(x1y0 = p x1 p y0 x1 =

p

5,0)

|()()(x1y1 = p x1 p y1 x1 =

p

73,1),

(X Y =

H

)

| (y0 x0p

)

| (y1 x1p

)

| (y0 x1p

)

| (y1 x0p

)

| (y1 x0p

+ Tính H(X |Y)

75,098,073,1)(),()

Cho nên số ký hiệu lập được trong một đơn vị thời gian rất khác nhau Vídụ: con người vì kết cấu của cơ quan phát âm hạn chế nên một giây chỉ phát âmđược từ 5-7 âm tiết trong lời nói thông thường, trong khi máy điện báo có thể tạo

ra từ 50-70 ký hiệu trong một giây

Như vậy thông số thứ hai của nguồn là tốc độ thiết lập tin R (Lượng thôngtin nguồn lập được trong một đơn vị thời gian), Tốc độ thiết lập tin tại đầu vào

gian, trong trường hợp dùng loga cơ số hai thì đơn vị của R là bit/sec

)(

0H X n

R=

của nguồn như vậy sẽ đơn giản không tốn kém

do vậy ta dùng phép mã hoá để thực hiện việc này mã hoá nguồn tin ban đầu thànhnguồn tin mã hoá sao cho xác suất các ký hiệu tương đương nhau

Ví dụ:

Cho nguồn tin X ={x1,x2,x3,x4} với xác suất tương ứng là:

8/1)(

;8/1)(

;4/1)(

;2/1)(x1 = p x2 = p x3 = p x4 =

p

8/7)(X =

H

Nếu có một tin gồm các ký hiệu: x1x1x4x2x1x2x1x3 Để có H (X) cực đại phải cóxác suất các ký hiệu bằng nhau bằng 1/8

Muốn vậy ta mã hoá nguồn X trên thành nguồn Ynhư sau:

1 1 1 4

0 1 1 3

0 1 2

0 1

y y y x

y y y x

y y x

y x

0 1 3

1 0 2

0 0 1

y y z

y y z

y y z

y y z

=

=

=

=

Ta được dãy các ký hiệu của tin : z1z4z4z1z3z2z3

24log)

H

các bản tin được bảo toàn và có cùng giá trị là 14 (bit)

1.10.1.2 Độ dư của nguồn

Để chỉ ra sự chênh lệch giữa entropi của nguồn và giá trị cực đại có thể có

Ngoài ra còn có thể dùng độ dư tương đối của nguồn để đánh giá:

max max

max

)(

)(1)

(

)()

(

X H

X H X

H

X H X

H

1.10.2 Thông lượng kênh

thời gian mà không gây ra sai nhầm

Vậy:

max

R

C =

Nhiệm vụ của mã hoá thống kê là bằng cách mã hoá để thay đổi Entropi

nguồn với kênh về phương diện tốc độ truyền tin Khi truyền tin trong kênh có

nhiễu đồng thời tăng tốc độ lập tin

Thông lượng kênh rời rạc không có nhiễu

Khi kênh rời rạc không có nhiễu toàn bộ tin tức được thiết lập đều có thểtruyền qua kênh mà không bị sai Vậy ở đầu thu ta nhận được lượng tin bằng vớiđầu vào hay ta có:

max 0

max n H (X)

R

max

Nếu kênh có R < C thì ta có thể mã hoá để tăng R sao cho:

C – R < ε với ε nhỏ tuỳ ý

lệch gọi là độ dư tương đối của nguồn

max max

max

)(

)(1)

(

)()

(

X H

X H X

H

X H X

H

Vậy phép mã hoá tối ưu cũng có thể coi là phương pháp làm giảm độ dưcủa nguồn ban đầu

Thông lượng kênh rời rạc có nhiễu

Thông thường tốc độ lập tin bé hơn nhiều so với thông lượng kênh, nhiệm

vụ của mã hóa thống kê là thay đổi tốc độ lập tin của nguồn bằng cách thay đổientropi, để tốc độ lập tin tiệm cận với thông lượng, gọi là phối hợp với nguồn vàkênh về phương diện tốc độ truyền tin