Bai Giang Lttt.docx

Tập bài giảng “Lý thuyết thông tin” được biên soạn nhằm phục vụ công tác giảng dạy học phần Lý thuyết thông tin. Tập bài giảng được biên soạn với các nội dung cơ bản về lý thuyết thông tin (Information Theory). Nội dung tập bài giảng được chia thành 4 chương, bao gồm: - Chương 1: Cơ sở lý thuyết thông tin. Chương này giới thiệu những khái niệm cơ bản trong lý thuyết truyền tin, vấn đề định lượng thông tin của các nguồn tin, 2 định lý Shannon - Chương 2: Lý thuyết mã. Trong chương này tập trung vào các khái niệm, mục đích và phân loại mã hiệu, nghiên cứu vấn đề mã hóa nguồn trên cơ sở các khái niệm về lượng tin đã xét ở chương 1, phương pháp mã hóa và giải mã hóa kênh - Chương 3: Tín hiệu và nhiễu. Chương này trình bày về tín hiệu ngẫu nhiên và nhiễu; các đặc trưng vật lý của tín hiệu, giải quyết bài toán tìm hàm tự tương quan của quá trình ngẫu nhiên - Chương 4: Phổ tín hiệu - Hệ thống xử lý tin. Chương 4 trình bày về phổ tín hiệu; hệ thống truyền đạt tín hiệu; hàm truyền đạt của hệ thống; kênh truyền. Giải quyết bài toán tính toán phổ của tín hiệu tuần hoàn và không tuần hoàn.

BÀI GIẢNG

LÝ THUYẾT THÔNG TIN

DÙNG CHO ĐÀO TẠO TRÌNH ĐỘ ĐẠI HỌC

LƯU HÀNH NỘI BỘ

LỜI NÓI ĐẦU

Tập bài giảng “Lý thuyết thông tin” được biên soạn nhằm phục vụ công tácgiảng dạy học phần Lý thuyết thông tin Tập bài giảng được biên soạn với các nội

dung cơ bản về lý thuyết thông tin (Information Theory) Nội dung tập bài giảng đượcchia thành 4 chương, bao gồm:

- Chương 1: Cơ sở lý thuyết thông tin Chương này giới thiệu những khái niệm

cơ bản trong lý thuyết truyền tin, vấn đề định lượng thông tin của các nguồn tin, 2 địnhlý Shannon

- Chương 2: Lý thuyết mã Trong chương này tập trung vào các khái niệm, mục

đích và phân loại mã hiệu, nghiên cứu vấn đề mã hóa nguồn trên cơ sở các khái niệmvề lượng tin đã xét ở chương 1, phương pháp mã hóa và giải mã hóa kênh

- Chương 3: Tín hiệu và nhiễu Chương này trình bày về tín hiệu ngẫu nhiên và

nhiễu; các đặc trưng vật lý của tín hiệu, giải quyết bài toán tìm hàm tự tương quan củaquá trình ngẫu nhiên

- Chương 4: Phổ tín hiệu - Hệ thống xử lý tin Chương 4 trình bày về phổ tín

hiệu; hệ thống truyền đạt tín hiệu; hàm truyền đạt của hệ thống; kênh truyền Giảiquyết bài toán tính toán phổ của tín hiệu tuần hoàn và không tuần hoàn.

Đây là lần biên soạn đầu tiên, chắc chắn tài liệu còn nhiều thiếu sót, cần đượcchỉnh sửa Tác giả rất mong nhận được sự đóng góp ý kiến của các đồng nghiệp, cácđồng chí học viên để có thể chỉnh lí, bổ sung phù hợp với chương trình đào tạo vàtrình độ công nghệ hiện tại.

Xin chân thành cảm ơn sự đóng góp ý kiến!

MỤC LỤC

LỜI NÓI ĐẦU 3

MỤC LỤC 5

DANH MỤC HÌNH VẼ 7

DANH MỤC KÝ HIỆU TOÁN HỌC 9

Chương 1 CƠ SỞ LÝ THUYẾT THÔNG TIN 1

1.1 KHÁI NIỆM CHUNG VỀ TIN TỨC VÀ HỆ THỐNG TRUYỀN TIN 1

1.1.1 Một số khái niệm cơ bản 1

1.1.2 Hệ thống truyền tin 1

1.2 LƯỢNG TIN VÀ ENTROPY CỦA NGUỒN TIN 4

1.2.1 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện và lượngtin trung bình 4

1.2.2 Entropy của nguồn rời rạc 9

1.2.3 Entropy nguồn liên tục 14

1.3 THÔNG LƯỢNG CỦA KÊNH THÔNG TIN 17

1.3.1 Khái niệm 17

1.3.2 Thông lượng kênh rời rạc 17

1.3.3 Thông lượng kênh liên tục 17

1.4 CÁC ĐỊNH LÝ SHANNON 18

1.4.1 Định lý thứ nhất 18

1.4.2 Định lý thứ hai 19

Chương 2 LÝ THUYẾT MÃ 21

2.1 KHÁI NIỆM VÀ PHÂN LOẠI MÃ 21

2.1.1 Một số khái niệm cơ bản 21

2.1.2 Mục đích của mã hóa thông tin 26

Chương 3 TÍN HIỆU VÀ NHIỄU 51

3.1 TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍNHIỆU XÁC ĐỊNH 51

3.1.1 Tín hiệu xác định 51

3.1.2 Các đặc trưng vật lý của tín hiệu xác định 54

3.2 TÍNH NGẪU NHIÊN CỦA TÍN HIỆU VÀ NHIỄU 54

3.2.1 Bản chất ngẫu nhiên của tín hiệu và nhiễu 54

3.2.2 Định nghĩa và phân loại nhiễu 55

3.3 CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀNHIỄU 56

3.3.1 Các đặc trưng thống kê 56

3.3.2 Khoảng tương quan 61

Chương 4 PHỔ TÍN HIỆU – HỆ THỐNG XỬ LÝ TIN 65

4.1 KHÁI NIỆM PHỔ TÍN HIỆU VÀ CÁC PHƯƠNG PHÁP BIỂU DIỄN.654.1.1 Khái niệm phổ tín hiệu 65

4.1.2 Các phương pháp biểu diễn 67

4.2 PHỔ TÍN HIỆU TUẦN HOÀN VÀ KHÔNG TUẦN HOÀN 67

4.2.1 Phổ của tín hiệu tuần hoàn 68

4.2.2 Phổ của tín hiệu không tuần hoàn 72

4.3 TRUYỀN TÍN HIỆU 75

4.3.1 Khái niệm về hệ thống truyền đạt tín hiệu 75

4.3.2 Hàm truyền đạt của hệ thống 77

4.4 KÊNH TRUYỀN 78

4.4.1 Một số khái niệm cơ bản 78

4.4.2 Đặc điểm và mô hình kênh truyền 79

4.4.3 Các dạng kênh truyền 80

DANH MỤC BẢNG

Bảng 2.1 Bảng mã hóa Shannon-Fano cho nguồn X 29

Bảng 2.2 Bảng mã hóa Shannon-Fano cho nguồn rời rạc không nhớ X 31

Bảng 2.3 Bảng mã hóa Huffman cho chuỗi ký tự 32

Bảng 2.4 Bảng lỗi cho mã khối tuyến tính 36

Bảng 2.5 Bảng lỗi của mã khối tuyến tính trong hệ thống 38

Bảng 2.6 Từ mã của bộ mã (7,4) tạo bởi đa thức g p1( )p3 p2 401Bảng 2.7 Bảng thực hiện nhân mã vòng 45

Bảng 2.8 Bảng thực hiện chia mã vòng 46

DANH MỤC HÌNH VẼ

Hình 1.1 Sơ đồ khối chức năng hệ thống truyền tin tổng quát 2

Hình 1.2 Sơ đồ khối chức năng hệ thống truyền tin cụ thể 3

Hình 2.1 Ví dụ cây mã không đồng đều 26

Hình 3.7 Kỳ vọng toán học của tín hiệu ngẫu nhiên 59

Hình 3.8 Khoảng tương quan tq 62

Hình 3.9 Hàm ngẫu nhiên dừng rời rạc X(t) 63

Hình 4.1 Phổ của tín hiệu xung vuông 66

Hình 4.2 Phổ biên độ của tín hiệu S(t) 67

Hình 4.3 Phổ pha của tín hiệu S(t) 67

Hình 4.4 Tín hiệu tuần hoàn x(n) 71

Hình 4.5 Phổ của tín hiệu tuần hoàn x(n) 71

Hình 4.12 Kênh phức hợp đầu vào và đầu ra rời rạc 80

Hình 4.13 Kênh nhị phân đối xứng 81

DANH MỤC KÝ HIỆU TOÁN HỌC

I X Lượng tin trung bình của một nguồn tin X

( | ) Lượng tin có điều kiện trung bình của nguồn X khi đã biết nguồn Y

( , ) Lượng tin tương hỗ trung bình giữa nguồn X và nguồn Y( )

P X Xác suất của nguồn tin X i| j

p x y Xác suất x được truyền đi với điều kiện ở bên thu nhận đượcij

 i, j

p x y Xác suất xuất hiện đồng thời tin x và iyj

R Độ dài trung bình của bộ mã

x Tin thứ i trong nguồn tin X

 

X f Biến đổi fourier của tín hiệu x t không tuần hoàn liên tục theo  

thời gian( )

( )

X  Biến đổi fourier của tín hiệu ( )x n không tuần hoàn rời rạc theo

thời gian(t tu)

 Tần số của tín hiệu liên tục( )

  Pha của tín hiệu ( )x n không tuần hoàn rời rạc theo thời gian

Chương 1 CƠ SỞ LÝ THUYẾT THÔNG TIN

(4 tiết lý thuyết, 5 tiết bài tập)

Do sự phát triển mạnh mẽ của kỹ thuật tính toán và các hệ tự động, một ngànhkhoa học mới ra đời và phát triển nhanh chóng, đó là “Lý thuyết thông tin” Để tìmhiểu về lý thuyết thông tin chúng ta cần phải biết được cơ sở lý thuyết thông tin, hiểucác khái niệm về tin tức, tín hiệu, mô hình hệ thống truyền tin và chức năng các thànhphần trong hệ thống, vấn đề định lượng và tính toán thông tin trong các hệ thốngtruyền tin, sự phối hợp giữa nguồn tin và kênh tin trong hệ thống.

Chương này sẽ cung cấp cho sinh viên những khái niệm cơ sở đầu tiên của mônhọc như: khái niệm về tin tức và hệ thống truyền tin, mô hình một hệ thống truyền tintổng quát, những vấn đề cơ bản trong một hệ thống truyền tin, độ đo thông tin để sửdụng trong việc định lượng và tính toán trong các hệ thống truyền tin, cuối cùng là haiđịnh lý Shannon liên quan tới sự phối hợp giữa nguồn tin và kênh thông tin.

Nội dung bài tập của chương sẽ bao gồm bài toán tính toán lượng tin, entropycủa các nguồn tin rời rạc và nguồn tin liên tục

1.1 KHÁI NIỆM CHUNG VỀ TIN TỨC VÀ HỆ THỐNG TRUYỀN TIN

1.1.1 Một số khái niệm cơ bản

1.1.1.1 Thông tin

Thông tin là sự cảm hiểu của con người về thế giới xung quanh (Thông qua sự

tiếp xúc với nó) Như vậy thông tin là sự hiểu biết của con người và càng tiếp xúc vớimôi trường xung quanh con người càng hiểu biết và làm tăng lượng thông tin thu nhậnđược.

1.1.1.2 Tin

Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin Có hai dạng: tin

rời rạc và tin liên tục Ví dụ: Tấm ảnh, bản nhạc, bảng số liệu…là các tin.

1.1.1.3 Tín hiệu

Tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền

Chú ý: Không phải bản thân quá trình vật lý là tín hiệu, mà sự biến đổi các thamsố riêng của quá trình vật lý mới là tín hiệu.

Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm thanh, trườngđiện từ.

- Hệ thống điện tín dùng năng lượng điện một chiều

- Hệ thống thông tin vô tuyến điện dùng năng lượng sóng điện từ- Hệ thống thông tin quang

- Hệ thống thông tin dùng sóng âm, siêu âm (năng lượng cơ học)

Chúng ta cũng có thể phân loại hệ thống truyền tin dựa trên cơ sở biểu hiện bênngoài của thông tin như:

- Hệ thống truyền số liệu- Hệ thống truyền hình

- Hệ thống thông tin thoại…

Những phương pháp phân loại trên dựa theo nhu cầu kỹ thuật, giúp các cán bộ kỹthuật nhận thức vấn đề một cách cụ thể và tìm hiểu khai thác các loại hệ thống được dễdàng Sự phân loại như vậy đã được ứng dụng rộng rãi và gần như thống nhất trongcác tài liệu và sách kỹ thuật Nhưng ở đây để đảm bảo tính logic của vấn đề được trìnhbày, chúng ta căn cứ đặc điểm của thông tin đưa vào kênh để phân loại các hệ thốngtruyền tin và như vậy chúng ta phân làm hai loại hệ thống truyền tin:

- Hệ thống truyền tin rời rạc- Hệ thống truyền tin liên tục

Ta có thể định nghĩa: Truyền tin (Transmission) là dịch chuyển thông tin từ điểm

này đến điểm khác trong một môi trường xác định Hai điểm này sẽ được gọi là điểm

nguồn tin (Information Source) và điểm nhận tin (Information Destination) Môi

trường truyền tin (Transmission Media) còn được gọi là kênh tin (Channel).

Sơ đồ khối chức năng của một hệ thống truyền tin tổng quát gồm có ba khâuchính: nguồn tin, kênh tin và nhận tin

Hình 1.1 Sơ đồ khối chức năng hệ thống truyền tin tổng quát

Trong sơ đồ này:

Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi.

Khi một đường truyền tin được thiết lập để truyền tin từ nguồn tin đến nhận tin,một dãy các phần tử cơ sở (các tin) của nguồn sẽ được truyền đi với một phân bố xác

suất nào đó Dãy này được gọi là một bản tin (Message) Vậy ta có thể định nghĩa:

Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin khác nhauđể truyền tin.

Kênh tin là môi trường lan truyền thông tin Để có thể lan truyền được thông tin

trong một môi trường vật lý xác định, thông tin phải được chuyển thành tín hiệu thíchhợp với môi trường truyền lan Vậy kênh tin là nơi hình thành và truyền tín hiệu mangtin đồng thời ở đấy sinh ra các tạp nhiễu phá hủy thông tin Trong lý thuyết truyền tin

kênh là một khái niệm trừu tượng đại biểu cho hỗn hợp tín hiệu và tạp nhiễu Từ khái

niệm này, sự phân loại kênh sẽ dễ dàng hơn, mặc dù trong thực tế các kênh tin có rấtnhiều dạng khác nhau:

- Truyền tín hiệu theo các dây song hành, cáp đồng trục, ống dẫn sóng- Tín hiệu truyền lan qua các tầng điện ly, không hoặc có phản xạ

- Tín hiệu truyền lan qua các tầng đối lưu, không hoặc có phản xạ và khúc xạ- Tín hiệu truyền lan trên mặt đất, trong đất

- Tín hiệu truyền lan trong nước…

Thu tin là cơ cấu khôi phục thông tin ban đầu từ tín hiệu lấy ở đầu ra của kênh.

Để có thể thực hiện được chức năng truyền tin, các thành phần của hệ thốngtruyền tin: nguồn tin, kênh tin, nhận tin cần phối hợp với nhau Giữa các thành phầnnày cần có sự đồng bộ về định dạng tín hiệu, khuôn dạng dữ liệu, tốc độ truyền tin vàtrong trường hợp cần thiết phải có những cơ chế đồng bộ Mô hình 3 khối nói trênchưa phản ánh được tính chất đồng bộ giữa 3 thành phần của kênh truyền tin Để biểudiễn chính xác được tính chất của một hệ thống truyền tin ở khía cạnh tín hiệu và dữliệu ta sẽ sử dụng một mô hình hệ thống truyền tin cụ thể hơn, được bổ sung thêm mộtsố khối như sau:

Hình 1.2 Sơ đồ khối chức năng hệ thống truyền tin cụ thể

Trước khi được truyền lên kênh tin, thông tin được biểu diễn một cách tối ưunhất, sử dụng lượng tài nguyên tối thiểu Quá trình này được gọi là quá trình nén dữliệu Tất nhiên tại điểm đến của thông tin, cần thực hiện quá trình ngược lại là quátrình giải nén dữ liệu Việc nén dữ liệu chủ yếu dựa vào tính chất, đặc điểm của nguồntin từ đó đưa ra cách thức biểu diễn tối ưu nhất Chính vì vậy, nén dữ liệu còn được gọilà mã hóa nguồn, giải nén gọi là giải mã nguồn.

Sau khi đã được biểu diễn một cách tối ưu, thông tin cần được bảo vệ khi truyềnqua kênh tin Quá trình biến đổi này phụ thuộc vào tính chất của kênh tin Nếu kênh tincó tính chất nhiễu tác động mạnh đến thông tin, khi đó sẽ cần lượng tài nguyên lớn đểthực hiện các biện pháp bảo vệ thông tin Nếu nhiễu có tác động yếu đến thông tin, khiđó có thể lựa chọn các giải pháp ít tốn kém tài nguyên hơn để bảo vệ thông tin Bộphận thực hiện nhiệm vụ này được gọi là bộ phận mã hóa chống nhiễu Vì việc mã hóachống nhiễu chỉ phụ thuộc vào kênh truyền tin do đó bộ phận này còn được gọi là mãhóa kênh Thành phần đối xứng tương ứng được gọi là bộ phận giải mã kênh hay giảinén.

Bộ phận phát tín hiệu có chức năng biến đổi thông tin của nguồn tin thành dạngtín hiệu phù hợp với kênh tin Bộ phận thu tín hiệu có chức năng biến đổi tín hiệu đầura của kênh tin thành các thông tin phù hợp với bộ phận thu tin Ví dụ trong hệ thốngđiện thoại, để sử dụng môi trường truyền tin là dây điện, chỉ có khả năng lan truyền tínhiệu điện, cần biến đổi thông tin phát ra bởi nguồn tin dưới dạng sóng âm thanh sẽ

được biến đổi thành tín hiệu âm tần sử dụng bộ phận phát tín hiệu (micro) Tín hiệuthu được tại đầu ra của kênh tin được biến đổi thành tín hiệu cơ học để có thể đưa đếnnơi nhận tin (tai) bằng thiết bị thu tín hiệu (loa) Một ví dụ khác là trường hợp phátthanh radio Để có thể truyền tín hiệu điện từ đi xa, cần có các tín hiệu với tần số đủlớn Các tín hiệu điện biểu diễn tiếng nói có tần số thấp (4Khz) do đó cần được biếnđổi bởi một bộ phát tín hiệu để có tần số cao hơn Tại đích, tín hiệu có tần số cao hơnnày được bộ thu tín hiệu biến đổi về tín hiệu có tần số thấp.

Những vấn đề cơ bản của hệ thống truyền tin gồm:

- Hiệu suất truyền tin, hay là tốc độ truyền tin của hệ thống Đó là lượng thông

tin hệ thống cho phép (hay có thể) truyền đi trong một đơn vị thời gian.

- Độ chính xác truyền tin, nói cách khác là khả năng chống nhiễu của hệ thống.

Yêu cầu tối đa với bất kỳ một hệ thống truyền tin nào là thực hiện được sự truyềntin nhanh chóng và chính xác Những cơ sở lý thuyết được đề cập ở các phần sau sẽgiải đáp những vấn đề này.

Khi sự truyền tin tiến hành trên những cự ly rất lớn, người ta thường dùng nănglượng mang tin là sóng điện từ Trong trường hợp này nếu công suất máy phát bị hạnchế, năng lượng tín hiệu và tạp nhiễu ở đầu thu sẽ xấp xỉ bằng nhau, một vấn đề lýthuyết đặt ra là xác định cấu trúc của thiết bị thu tín hiệu lý tưởng, nghĩa là có thể pháthiện và tách tín hiệu trong nền tạp âm lớn Đó là một nội dung lớn của lý thuyết chốngnhiễu

1.2 LƯỢNG TIN VÀ ENTROPY CỦA NGUỒN TIN

1.2.1 Lượng tin riêng, lượng tin tương hỗ, lượng tin có điều kiện và lượngtin trung bình

1.2.1.1 Độ đo thông tin

Độ đo (Metric) của một đại lượng là cách ta xác định độ lớn của đại lượng đó

Ta có thể xét một ví dụ về khái niệm độ đo của một lượng tin dựa vào các sự kiệnhay các phân phối xác suất ngẫu nhiên như sau Xét 2 biến ngẫu nhiên X và Y có phânphối sau:

X={1,2,3,4,5} có phân phối đều hay (p X  i) 1/ 5, Y={1,2} cũng có phân phốiđều hay (p Y i ) 1/ 2.

Bản thân X và Y đều mang một lượng tin và thông tin về X và Y chưa biết dochúng là ngẫu nhiên Do đó, X hay Y đều có một lượng tin không chắc chắn và lượngtin chắc chắn, tổng của 2 lượng tin này là không đổi và thực tế nó bằng bao nhiêu thì tachưa thể biết Lượng tin không chắc chắn của X (hay Y) được gọi là entropy.

Tuy nhiên, nếu X và Y có tương quan nhau thì X cũng có một phần lượng tinkhông chắc chắn thông qua lượng tin đã biết của Y (hay thông tin về Y đã được biết).Trong trường hợp này, một phần lượng tin không chắc chắn của X thông qua lượng tinđã biết của Y được gọi là entropy có điều kiện.

Rõ ràng, ta cần phải xây dựng một đại lượng toán học rất cụ thể để có thể đođược lượng tin chưa biết từ một biến ngẫu nhiên Một cách trực quan, lượng tin đóphải thể hiện được các vấn đề sau:

Một sự kiện có xác suất càng nhỏ thì sự kiện đó ít xảy ra, cũng có nghĩa là tínhkhông chắc chắn càng lớn Nếu đo lượng tin của nó thì sẽ thu được một lượng tinkhông biết càng lớn Một tập hợp các sự kiện ngẫu nhiên (hay biến ngẫu nhiên) càng

nhiều sự kiện có phân phối càng đều thì tính không chắc chắn càng lớn Nếu đo lượngtin của tập hợp đó thì sẽ được lượng tin không biết càng lớn Hay lượng tin chắc chắncàng nhỏ.

Một phân phối xác suất càng lệch nhiều (có xác xuất rất nhỏ và rất lớn) thì tínhkhông chắc chắn càng ít và do đó sẽ có một lượng tin chưa biết càng nhỏ so với phânphối xác suất đều, hay nói cách khác lượng tin chắc chắn của nó càng cao.

Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin càng có ý nghĩakhi nó càng hiếm gặp, nên độ lớn của nó phải tỷ lệ nghịch với xác suất xuất hiện củatin Vậy độ đo thông tin phải là một hàm tỷ lệ nghịch với xác suất xuất hiện tin, hay nólà hàm (1/ ( ))fp x cho tin ix có xác suất xuất hiện ( )ip x Một tin không cho chúng tai

lượng tin nào khi chúng ta đã biết trước về nó hay nó có xác suất bằng 1 Để xác địnhdạng hàm này Chúng ta giả sử rằng có hai tin x và ixj

là độc lập thống kê để mỗi tinkhông chứa thông tin về tin còn lại Nếu hai tin đó có xác suất xuất hiện là ( )p x vài

( )j

p x

, lượng tin của mỗi tin sẽ là (1/ ( ))fp x , (1/ ( ))ifp xj

Giả sử hai tin này cùngđồng thời xuất hiện, ta có tin ( , )x xij

, lượng tin chung của chúng phải bằng tổng lượngtin của từng tin Khi hai tin đồng thời xuất hiện, xác suất xuất hiện đồng thời củachúng là p x x( , )ij

, và ta có : f(1/ ( , ))p x xij f(1/ ( ))p xi  f(1/ ( ))p xj

Vì hai tinđộc lập thống kê nên:p x x( , )ij p x p x( ) ( )ij

Vậy: f(1/ ( ( ) ( )))p x p xij f(1/ ( ))p xi  f(1/ ( ))p xj

Trong trường hợp này, hàm f phải là hàm dạng loga Vậy hàm log(1/ ( ))p xi là

dạng hàm có thể chọn làm độ đo thông tin Ta cần kiểm tra tính không âm của hàmnày Vì 0p x( ) 1i  , nên 1/ ( ) 1p x  hay log(1/ ( ))ip x không âm.i

Thêm nữa khi một tín hiệu luôn luôn xuất hiện thì lượng tin nhận được khi nàybằng không, ta cần kiểm tra điều kiện này Rõ ràng khi ( ) 1p x  thì log(1/ ( )) 0ip xi  Vậy hàm log (1/ ( ))p x được chọn làm độ đo thông tin hay lượng đo thông tini

của một tin của nguồn Lượng đo thông tin của một tin x của nguồn thường được kýi

hiệu là ( )I x được tính bởi biểu thức sau:i

1.2.1.2 Lượng tin riêng, lượng tin tương hỗ và lượng tin có điều kiện

Đối với mỗi tin x của nguồn X đều có một lượng tin riêng được đánh giá bởii

xác suất xuất hiện của tin đó: ( )I xi  log ( )p xi

Nếu nguồn X thông qua một phép biến đổi trở thành nguồn Y ví dụ như thôngqua sự truyền lan trong kênh, thì phép biến đổi đó có thể không phải là một - một Ởđầu vào của kênh là các tin của nguồn X, các tin trong quá trình truyền lan trong kênhbị nhiễu phá hoại, làm cho sự chuyển đổi từ nguồn X sang nguồn Y không phải là một-một Một tin x có thể chuyển thành một tin iyj bất kì trong nguồn Y ở đầu ra của

kênh Bài toán truyền tin trong trường hợp này là: cho biết cấu trúc thống kê củanguồn X, tính chất tạp nhiễu của kênh biểu thị dưới dạng các xác suất chuyển đổi củatin, khi nhận được ở đầu ra của kênh một tin yj

thuộc nguồn Y, hãy xác định tintương ứng của nguồn X.

Đây là một bài toán thống kê, lời giải khẳng định nói chung là không thể cóđược Lời giải tìm được nói chung có dạng: với tin yj

nhận được, tin nào của nguồn X(phía phát) có nhiều khả năng đã được phát đi nhất.

Các bước giải quyết bài toán:

Bước 1: Tính các lượng tin về một tin bất kì x của tập X chứa trong tin iyj

nhậnđược, lượng tin đó gọi là lượng tin tương hỗ giữa x và iyj

(xác suất x được truyền đi với điều kiện ở bên thu nhận đượcij

) gọi là lượng tin có điều kiện I x y i | j: i| j log  i | j

 i | j

p x y

.

1.2.1.3 Tính chất của lượng tin

Tính chất 1: Lượng tin riêng bao giờ cũng lớn hơn lượng tin về nó chứa trong bất

kì một kí hiệu nào có liên hệ thống kê với nó Khi x và iyj

độc lập thống kê với nhau,lưọng tin tương hỗ bằng không và lượng tin tương hỗ trở thành cực đại, đồng thờibằng lượng tin riêng khi biết y xác định được ix , nghĩa là xác suất có điều kiệni

Tính chất 2: Lượng tin riêng là một đại lượng không âm vì p x  1, nhưng i

lượng tin tương hỗ có thể dương hoặc âm Khi xác suất xuất hiện x với điều kiện đãi

xảy ra yj

lớn hơn xác suất của x khi nó xảy ra một cách độc lập với iyj

, thì lượng tintương hỗ sẽ dương, ngược lại lượng tin tương hỗ sẽ là một đại lượng âm.

Tính chất 3: Lượng tin của một cặp x yi j

bằng tổng lượng tin riêng của từng tintrừ đi lượng tin tương hỗ giữa chúng:

 i j i  i  i, j

1.2.1.4 Lượng tin trung bình

Lượng tin riêng chỉ có ý nghĩa đối với một tin nào đó nhưng không phản ánhđựoc giá trị tin tức của nguồn Nói một cách khác, I x mới đánh giá được về mặt tin i

tức của một tin khi nó đứng riêng rẽ chứ không đánh giá được về mặt tin tức của tậphợp trong đó x tham gia Trong thực tế, điều người ta quan tâm là giá trị tin tức củai

một tập hợp chứ không phải giá trị tin tức của một phần tử nào đó trong tập hợp.

Ví dụ, một nguồn gồm có hai kí hiệu X  x x0, 1 với xác suất x 0 0.99 và

x  Khi nhận được kí hiệu của nguồn này người ta có thể tin chắc 99% là kí

hiệu x và có thể xem như một tin đã biết trước Đứng về quan điểm thông tin, tin0

nhận được của nguồn tin này ít có giá trị tuy rằng trong đó có tin x với lượng tin riêng1

định, nghĩa là mới cho biết sự ràng buộc thống kê giữa một cặp tin x yi j

nào đó.Nhưng quan trọng hơn là khi xác định trong thực tiễn mối liên hệ thống kê giữa hai tậpX, Y, nghĩa là lượng tin trung bình về một tin bất kì của nguồn X chứa trong một tinbất kì của nguồn Y sẽ sử dụng biểu thức sau:

 ,  , log ( | )( )

I X Y gọi là lượng tin tương hỗ trung bình.

Tương tự lượng tin riêng trung bình có điều kiện I Y X là lượng tin trung bình | 

của một tin bất kì của Y khi đã biết một tin bất kì của X và được xác định như sau:

( )

( )

p y

(bit)

- Tính lượng tin có điều kiện

p y

(bit)

1.2.2 Entropy của nguồn rời rạc

Lượng tin trung bình là lượng tin trung bình chứa trong một tin bất kì của mộtnguồn đã cho Khi chúng ta nhận được một tin chúng ta sẽ nhận được một lượng tintrung bình, đồng thời độ bất ngờ về tin đó cũng được giải thoát, cho nên độ bất ngờ vàlượng tin về ý nghĩa vật lý trái ngược nhau, nhưng về số đo lại giống nhau Độ bất ngờcủa tin xi tính bằng:

Tính chất 1: Entropy là một đại lượng không âm: H X   0

Tính chất 2: Entropy bằng không khi nguồn có một tin bất kì có xác xuất xuất

hiện bằng một và tất cả các tin còn lại có xác suất xuất hiện bằng không.

Tính chất 3: Entropy cực đại khi xác suất xuất hiện các tin của nguồn bằng nhau,

lúc đó độ bất định của một tin bất kì trong nguồn là lớn nhất.

gian các tin đầu ra là liên tục

Nếu sự truyền tin trong kênh là liên tục theo thời gian thì kênh được gọi là liên

tục theo thời gian và nếu sự truyền tin chỉ thực hiện ở những thời điểm rời rạc theo

thời gian thì kênh được gọi là rời rạc theo thời gian.

Nếu sự chuyển đổi từ tin đầu vào thành tin đầu ra không phụ thuộc vào các tin

trước đó thì kênh được gọi là không nhớ Nếu như sự chuyển đổi đó không phụ thuộcvào việc chọn gốc thời gian thì kênh được gọi là dừng.

Trong phần này chúng ta chỉ quan tâm tới kênh rời rạc dừng, không nhớ.

1.2.2.3 Entropy ở đầu vào và ở đầu ra của kênh

Ta gọi X là tập hợp tất cả các tin ở đầu vào của kênh, tạo nên một trường các sựkiện Nếu có n tin thì không gian các tin ở đầu vào của kênh là:

Giả sử mỗi tin xi được sử dụng với xác suất pi thì tập hợp xác suất sử dụng của

các tin ở đầu vào kênh là:12

Do tính chất của nhiễu trên kênh, không gian [Y] có thể khác với không gian [X],

cũng như các xác suất [ ]PY cũng có thể khác các xác suất ở đầu vào [PX] Với không

gian các ký hiệu ở đầu vào kênh và ở đầu ra kênh, ta có thể định nghĩa một trườngtích:

Trong đó tích x yi j là sự xuất hiện đồng thời hai sự kiện xi và yj Ma trận trên

tương ứng với ma trận xác suất:

( , ) ( , ) ( , )

mm

- Trường ở đầu vào của kênh với entropy H X  

- Trường ở đầu ra của kênh với entropy H Y 

- Trường hợp giữa đầu vào với đầu ra với entropy H X Y ( , )

Entropy tương ứng với ba trường là:

1.2.2.4 Entropy có điều kiện

Khi trường sự kiện ở đầu ra của kênh đã biết, do có nhiễu tác động, vẫn còn sựbất định về trường vào của kênh Giá trị trung bình của sự bất định này gọi là entropycủa trường X khi trường Y đã biết, ký hiệu là H X Y , biểu thị độ bất định trung | 

bình của một ký hiệu xi bất kỳ thuộc X khi đã biết một ký hiệu yj

thuộc Y Xuất pháttừ các xác suất có điều kiện ( | )p x y và ( | )p y x cũng như theo định nghĩa về entropy,

ta xây dựng được biểu thức cho entropy có điều kiệnH X Y như sau: | 

Entropy H X Y được gọi là “độ mập mờ” vì nó cho biết sự mập mờ của | 

trường vào kênh khi đã biết trường ra kênh.

Tương tự ta cũng xác định được entropy của trường ra khi đã biết trường vàokênh:

Entropy H Y X gọi là sai số trung bình bởi vì nó cho biết độ bất định (sai số) | 

của trường ra khi đã biết trường vào.

Cuối cùng, để xác định được các entropy có điều kiện, ta cần biết ma trận xácsuất có điều kiện

P Y X còn gọi là ma trận nhiễu trên kênh.

Ví dụ: Cho nguồn đầu vào X { , }x x01 được biến đổi thành nguồn đầu ra01

( )

p x yp x y

Sự liên hệ giữa lượng tin tương hỗ trung bình và các entropy

Ví dụ: Cho ma trận 3 đầu vào, 3 đầu ra có ma trận kênh tương ứng như sau:

0,1 0,15 0,06( , ) 0,06 0, 2 0, 250,07 0,05 0,06

1.2.3 Entropy nguồn liên tục

Ta biết rằng nguồn liên tục có thể xem như tập các thể hiện của một quá trìnhngẫu nhiên Nếu tập các quá trình ngẫu nhiên đó có năng lượng tập trung trong một

giải phổ nhất định, một thời gian tồn tại hữu hạn, điều này thường gặp trong thực tế,

thì theo định lý lấy mẫu có thể thay mỗi thể hiện bằng n trị tức thời lấy ở những thời

điểm cách nhau một quãng  T 1/ 2 , (f là dải phổ trong đó năng lượng của tínf

hiệu được tập trung):

Với Ts là thời gian tồn tại của một thể hiện đó.

Mỗi thể hiện x t là một hàm theo biến thời gian t tồn tại trong quãng thời gian 

T và được xác định bởi n trị tức thời x ii, 1,2, ,   n Các trị xi có thể lấy bất kì

trong phạm vi dải động của tín hiệu (Smin,Smax) Muốn biết tính chất thống kê của

nguồn phải biết qui luật phân bố xác suất nhiều chiều: 121 2

( , , , ; , , , )nn

Trong thực tiễn truyền tin, thường gặp các quá trình ngẫu nhiên dừng, tính chấtthống kê của các quá trình này không phụ thuộc gốc thời gian Nói một cách chính xáccác quá trình có thời gian tồn tại nhất định không phải là quá trình dừng, nhưng ở đâycó thể xem gần đúng như dừng vì mối liên hệ thống kê giữa các trị lấy tại những thờiđiểm t1, t2 rất lỏng lẻo Do vậy việc xác định qui luật phân bố nhiều chiều của các quá

trình đang nghiên cứu trở nên dễ dàng hơn:

chữ của nguồn rời rạc và kí hiệu đó của bộ chữ có một xác suất nhất định Còn x t i

thì có thể lấy một trị bất kì trong phạm vi Smin,Smax, số trị như vậy là không đếm

được, cho nên nói xác suất xuất hiện của một trị bất kì là vô nghĩa Nhưng nếu biết quiluật phân bố xác suất (mật độ phân bố xác suất các trị tức thời của mẫu x t là  ip x ) 

thì có thể xây dựng khái niệm entropy về nguồn liên tục tương tự như trường hợpnguồn rời rạc.

Entropy là đại lượng đo độ bất định trung bình của mỗi trị bất kì mà mẫu x t i

có thể lấy Về số đo mà nói thì đó cũng là lượng tin trung bình của một mẫu bất kì

 i

x t Với giả thiết các mẫu x t độc lập thống kê với nhau và cùng một qui luật i

phân bố xác suất p x , entropy của nguồn liên tục sẽ là : 

Nếu giá trị x t phụ thuộc thống kê với nhau, cần phải xác định  iH X theo qui 

luật phân bố nhiều chiều.

Khi sự truyền tin xảy ra trong kênh có nhiễu, ứng với một thể hiện x t ở đầu 

vào của kênh có thể hiện y t ở đầu ra đã bị sai lệch ít nhiều Tại một thời điểm bất kì 

một trị nào đó x t qua kênh sẽ chuyển đổi thành một trị nào đó  iy t theo xác suất i

có điều kiện p x y  | 

Xác suất có điều kiện p x y cho phép xác định độ bất định trung bình về một | 

trị x nào đó khi nhận được một trị y, nghĩa là xác định được entropy có điều kiện của

Lượng tin tương hỗ giữa x và y cũng được định nghĩa như trong trường hợpnguồn tin rời rạc Lượng tin tương hỗ trung bình giữa một tin bất kì của nguồn Y vàmột tập tin bất kì của nguồn X được xác định theo biểu thức:

x, y cho nên entropy nguồn liên tục không mang một ý nghĩa vật lí đầy đủ như trường

hợp nguồn rời rạc và chỉ là những khái niệm mở rộng dùng trong bước tính trung gian.Ý nghĩa vật lí của lượng tin tương hỗ là hiệu của hai entropy không phụ thuộc hệ toạđộ.

Điều đáng chú ý cuối cùng là entropy nguồn liên tục phụ thuộc qui luật phân bố

p x p yp x yp x y Khi tính cụ thể chỉ giới hạn trong một số qui luật có

hạn và gần với thực tế để đơn giản hoá các bước tính.1.3 THÔNG LƯỢNG CỦA KÊNH THÔNG TIN

1.3.1 Khái niệm

Thông lượng của kênh là lượng thông tin tối đa mà kênh cho phép truyền qua

trong một đơn vị thời gian mà không gây ra sai nhầm, ký hiệu là C và đơn vị bit/s

1.3.2 Thông lượng kênh rời rạc

Thông số thống kê cơ bản thứ nhất của nguồn tin là entropy, tuỳ thuộc vào cấutrúc thống kê của nguồn Nhưng sự hình thành tin nhanh hay chậm để đưa vào kênh lạituỳ thuộc vào tính chất vật lý khác của nguồn như quán tính, độ phân biệt , cho nênsố ký hiệu lập được trong một đơn vị thời gian rất khác nhau.

Thông số cơ bản thứ hai của nguồn là tốc độ tạo thông tin:

1.3.3 Thông lượng kênh liên tục

Giả thiết ở đầu ra của kênh y(t) tương ứng là hỗn hợp của x(t) và nhiễu cộngn(t) :

 

x t X , y t  và Yn t N N với X là tập nguồn, Y là tập đích và N là tậpnhiễu, H X ,   H Y và   H N là entropy các tập tương ứng Giữa nguồn X và nguồn 

nhiễu N không có sự liên hệ thống kê nào, ta có thể viết entropy đồng thời của X và Ynhư sau:

Từ đây ta thấy rằng H Y X là entropy của nguồn nhiễu Tốc độ lập tin ở đầu ra( | )

của kênh xác định theo:

 

sH YH Nf

1.4.1 Định lý thứ nhất

Giả sử nguồn tin có entropy H (bit/ký hiệu), và kênh có thông lượng C (bit/s), có

thể mã hóa tin tức ở đầu ra của nguồn làm cho sự truyền tin trong kênh không nhiễutheo một tốc độ trung bình

H   (ký hiệu/s) với  bé tùy ý, và không thể truyềnnhanh hơn

1.4.2 Định lý thứ hai

Kênh có thông lượng C (bit/s), tốc độ lập tin của nguồn là R (bit/s)

Nếu R C : Có thể tìm được một phương pháp mã hóa để cho sự truyền tin trongkênh có nhiễu với sai bé tùy ý.

Nếu R C : Có thể mã hóa nguồn để cho lượng tin sai bé hơn R C  , với  

bé tùy ý, không tồn tại mã hiệu đảm bảo độ sai của sự truyền tin nhỏ hơn R C

CÂU HỎI ÔN TẬP, BÀI TẬP

Định nghĩa entropy của nguồn rời rạc? Trình bày các tính chất của entropy củanguồn rời rạc?

 víi c¸c gi¸ tri kh¸c( )

trong các trường hợp:a a  1

b a  4

c a 1/ 4

Câu 1.7

Gọi X là một biến ngẫu nhiên với hàm mật độ phân bố xác suất p xx( ) và đặt

Y aX b là một biến đổi tuyến tính của X, a và b là hai hằng số Tính H Y theo  



- Nguồn X gồm 2 tin : x1 đại điện cho bit 0, x2 đại diện cho bit 1

- Nguồn Y gồm 2 tin: y1 đại diện cho bit 0, y2 đại diện cho bit 1

Thực hiện truyền tin với xác suất truyền tin x1 là p x( )1 p0 và xác suất truyềnđúng p y x( | )11 p y x( 2| )2 q0

Hãy tính lượng tin I X ,   I Y X ,  |  I Y ,  I X Y  , 

Chương 2 LÝ THUYẾT MÃ

(6 tiết lý thuyết, 2 tiết thảo luận, 6 tiết bài tập)

Trong các hệ thống truyền tin, bản tin thường được cho qua một số phép biến đổinhư số hóa, mã hóa và ở phía thu người ta sẽ thực hiện những phép biến đổi ngượclại để thu nhận lại được thông tin ban đầu Đối với hệ thống truyền tin, việc mã hóa sẽcho phép tăng tính hữu hiệu và tăng độ chính xác khi truyền Chương lý thuyết mã nàylà chương quan trọng trong môn học, sinh viên cần nắm vững khái niệm về mã hiệu, ýnghĩa của mã hiệu, các thông số cơ bản của mã hiệu, các phương pháp biểu diễn mã vàcác khái niệm khác trong chương, các kỹ thuật mã hóa nguồn được sử dụng trong thựctế, lý thuyết và các phương pháp lập mã cụ thể cho các loại mã chống nhiễu.

Trong chương này, chúng ta sẽ giới thiệu các định nghĩa chung về mã hiệu, cácthông số cơ bản, các điều kiện của mã hiệu, các phương pháp biểu diễn mã, phân loạimã, phương pháp mã hóa và giải mã hóa nguồn Huffman, phương pháp mã hóa và giảimã hóa nguồn Shannon-Fano, nguyên lý phát hiện sai và sửa sai trong mã hóa kênh,các phương pháp mã hóa và giải mã hóa kênh bằng mã khối tuyến tính và mã vòng,các mạch thực hiện mã vòng.

Nội dung bài tập chương 2 sẽ bao gồm các bài tập mã hóa và giải mã nguồn bằngphương pháp mã hóa Huffman, Shannon-Fano, mã hóa và giải mã kênh bằng mã khốituyến tính và mã vòng, thực hiện mã hóa và giải mã vòng bằng các mạch thực hiện mãvòng

2.1 KHÁI NIỆM VÀ PHÂN LOẠI MÃ

2.1.1 Một số khái niệm cơ bản

2.1.1.1 Mã hóa

Khái niệm: mã hóa là việc chuyển đổi các phần tử của một tập đại lượng này

thành một tập các đại lượng khác (theo mối quan hệ 1-1) nhằm mục đích tiện lợi choviệc lưu trữ và trao đổi thông tin.

Mã hoá trong lý thuyết thông tin là một phép biến đổi cấu trúc thống kê của

nguồn Phép biến đổi ấy tương đương trên quan điểm thông tin, nhằm thoả mãn một sốyêu cầu do hệ thống truyền tin đề ra Đối với một hệ thống truyền tin, việc mã hóa sẽcho phép tăng tính hữu hiệu và độ tin cậy của hệ thống truyền tin, nghĩa là tăng tốc độtruyền tin và khả năng chống nhiễu của hệ thống.

2.1.1.2 Mã hiệu

Chúng ta đã định nghĩa nguồn tin rời rạc như một tập hữu hạn các tin có một cấutrúc thống kê nhất định được mô tả bằng một bảng chữ với quy luật phân bố xác suấtxác định của các chữ.

Khái niệm mã hiệu: Là một nguồn tin với một sơ đồ thống kê được xây dựngnhằm thoả mãn một số yêu cầu do hệ thống truyền tin đề ra, ví dụ như thoả mãn về tốcđộ truyền tin hay về độ chính xác của các tin truyền đi.

Như vậy, mã hiệu chính là một tập hữu hạn các dấu hiệu riêng (symbol) hay bảngchữ riêng (còn gọi là các dấu mã) có phân bố xác suất thoả mãn một số yêu cầu nhấtđịnh.

2.1.1.3 Các thông số cơ bản của mã hiệu

Cơ số của mã (kí hiệu m): là số các dấu mã (kí hiệu mã) khác nhau trong bảngchữ của mã

Khi mã có cơ số hai gọi là mã cơ số hai hoặc là mã nhị phân, mã có cơ số bằngba, bốn được gọi là mã cơ số ba, cơ số bốn hoặc là mã tam phân, mã tứ phân

Quá trình mã hoá (encoding) là việc sử dụng mã hiệu để biểu diễn các tin củanguồn tin, hay là phép biến đổi từ một tập tin này thành một tập tin khác có đặc tínhthống kê yêu cầu

Thông tin là sự cảm nhận của con người về thế giới xung quanh nên số lượng bảntin luôn rất lớn và tăng lên không ngừng, số ký hiệu mã (cơ số của mã) không thể bằng

hoặc nhiều hơn số tin Phép biến đổi từ một tập tin nhiều tin hơn về một tập tin có ít

tin hơn là mã hoá Phép biến đổi ngược lại được gọi là giải mã (decoding).

Vì số kí hiệu mã nhỏ hơn số tin của nguồn được mã hoá nên để mã hoá một tin

của nguồn, phải dùng một tổ hợp của kí hiệu mã, dãy này được gọi là một từ mã

(codeword) Như vậy mã hoá là một phép biến đổi một- một giữa một tin của nguồn và

một từ mã của bộ mã Từ mã chính là một dãy liên tục các kí hiệu mã (hay tổ hợp mã)

được dùng để mã hoá (biểu diễn) một tin của nguồn

Ví dụ: Mã nhị phân có các mã hiệu là 0,1 Giả sử ta sử dụng các từ mã sau để

biểu diễn các tin của nguồn tin gồm các số từ 0 đến 7.

Độ dài từ mã (hay còn gọi tính dấu của mã, kí hiệu n): là số các kí hiệu mã cótrong một từ mã Nếu các từ mã của một bộ mã cùng một tính dấu nghĩa là cùng một

độ dài được gọi là mã đồng đều, ví dụ trên chính là ví dụ mã đồng đều Nếu độ dài cáctừ mã khác nhau như các loại mã thống kê được gọi là mã không đồng đều Với mã

không đồng đều, độ dài trung bình được kí hiệu bằng

R là một thông số cơ bản của

mã và được tính theo biểu thức:

n là độ dài từ mã tương ứng với tin xi

L là tổng số từ mã tương ứng với tổng số các tin của X

Ví dụ: Giả sử ta có nguồn X { , , , , , , , }x x x x x x x x12345678 với xác suất tương ứng( ) {0,1;0,15;0,0625;0,0625;0,2;0,3;0,075;0,05}

pháp mã hóa thống kê với mã hiệu nhị phân ta thu được bảng mã như sau:

Tất cả các từ mã để mã hoá các tin của nguồn làm thành bộ mã mã hóa nguồn.

Như vậy ở đây ta sẽ có thêm một thông số của mã hiệu là tổng số từ mã (kí hiệu L).

Tổng số từ mã là số tin sẽ được mã hoá hoặc số khối tin sẽ được mã hoá trong trườnghợp chúng ta mã hoá mỗi khối tin bằng một từ mã Trong trường hợp mã đồng đều,nếu tất cả các tổ hợp mã gồm n kí hiệu với m trị khác nhau đều được dùng làm từ mã,lúc đó sẽ có:

Và bộ mã được gọi là mã đầy, ví dụ phần trên chính là ví dụ về bộ mã đầy với8, 3, 2

L n m Nếu L m< n, bộ mã được gọi là mã vơi Trong trường hợp mã vơi,

trong số các tổ hợp có độ dài n kí hiệu sẽ được gọi là tổng số tổ hợp có thể dùng làm từmã và được kí hiệu là M Ví dụ về nguồn tin X ở trên là ví dụ về bộ mã vơi với

4, 16

Giá trị riêng (trị) mỗi kí hiệu mã (kí hiệu a).

Mỗi mã hiệu có m kí hiệu mã khác nhau, nếu cơ số của nó là m Mỗi kí hiệu mã

là một dấu hiệu riêng, và được gán một giá trị xác định theo một độ đo xác định(metric xác định) Các giá trị này được gọi là các giá trị riêng của các kí hiệu mã.Trong trường hợp số, mỗi kí hiệu mã được gán một giá trị riêng nằm trong khoảng từ 0tới m-1

Ví dụ: mã nhị phân (m  ) có 2 kí hiệu mã “0”, “1” được gán giá trị riêng 0 và2

1 Mã thập lục phân (m  ) có 16 kí hiệu mã được gán giá trị riêng từ 0 đến 15.16

Chỉ số vị trí (code digit) của kí hiệu mã trong từ mã

Vị trí mã là một chỗ trong từ mã để đặt một kí hiệu mã vào đó Một từ mã có n kíhiệu (độ dài n) sẽ có n vị trí mã Một vị trí mã nhị phân còn gọi là một vị trí nhị phân

hay một bit Một vị trí mã thập phân còn được gọi là một vị trí thập phân hay một

digit Chỉ số vị trí là số hiệu của vị trí mã trong từ mã theo một cách đánh số cụ thể.Hiện nay thường đánh số vị trí mã bên phải nhất của từ mã là vị trí 0 và sau đó cứ dịchsang trái một vị trí thì chỉ số vị trí tăng thêm một Ví dụ từ mã thập lục phân 12A3B có

n  vị trí mã, với chỉ số vị trí 0 tương ứng với mã hiệu B, chỉ số vị trí 1 tương ứng

với mã hiệu 3, chỉ số vị trí 2 tương ứng với mã hiệu A, chỉ số vị trí 3 tương ứng với mãhiệu 2 và chỉ số vị trí thứ 4 tương ứng với mã hiệu 1.

Trọng số vị trí (kí hiệu wi), i là chỉ số của vị trí cần xác định trọng số Đây là

một hệ số nhân làm thay đổi giá trị của kí hiệu mã khi nó nằm ở những vị trí khácnhau

Trọng số vị trí phụ thuộc vào mỗi mã hiệu cụ thể Trong trường hợp số (mã hiệulà một hệ đếm), trọng số vị trí là luỹ thừa bậc chỉ số vị trí của cơ số mã Cụ thể trọngsố vị trí i của mã hiệu dạng hệ đếm có cơ số m là mi.

Giá trị (hay trọng số) của từ mã (kí hiệu là b): là tổng các giá trị của các kí hiệu

11 1 4 16 10 256 2 4096 1 65536 76363

Quãng cách mã (kí hiệu D): là khoảng cách giữa 2 trọng số của 2 từ mã Tuỳ vào

định nghĩa giá trị riêng và trọng số vị trí của các kí hiệu mã, có những định nghĩa khácnhau cho quãng cách mã Ví dụ quãng cách mã của từ mã thập lục phân 12A3B và12A4B là D 76363 76347 16 

2.1.1.4 Các phương pháp biểu diễn mã

a Bảng mã

Bảng đối chiếu mã

Bảng đối chiếu mã là cách trình bày đơn giản nhất, liệt kê trong bảng những tincủa nguồn và kèm theo là từ mã tương ứng với nó Bảng đối chiếu mã có ưu điểm làcho thấy cụ thể và tức thời bản tin và từ mã của nó Nhưng với những bộ mã lớn thìcồng kềnh và khuyết điểm chính là không cho phép thấy các tính chất quan trọng củabộ mã Ví dụ bộ đối chiếu mã trong bảng sau:

Trong một bảng đối chiếu mã, số thứ tự từ mã trong bộ mã là số thứ tự người taliệt kê từ mã.

Mặt toạ độ của mã

Mặt toạ độ mã là một biểu diễn dựa trên hai thông số của từ mã, thường là độ dài

n và trọng số b để lập một mặt phẳng có hai toạ độ, trên đó mỗi từ mã được biểu diễn

bằng một điểm Trọng số b của từ mã là tổng trọng số các kí hiệu trong từ mã.

Với ak là giá trị riêng của kí hiệu thứ k trong từ mã kể từ trái sang phải,

với mã nhị phân ak có hai giá trị 0 hoặc 1, k là số thứ tự của kí hiệu trong từ mã, m là

Thật vậy, giả thiết ni nj

, để hai từ mã khác nhau thì ít nhất tại một vị trí k nào

đó giá trị của hai ký hiệu mã của hai từ mã phải khác nhau, nghĩa là bi bj

Hoặc làgiả thiết bi  , để hai từ mã khác nhau, độ dài từ mã phải khác nhau bjni nj

b Đồ hình mã

Các phương pháp đồ hình sử dụng một đồ hình để biểu diễn một mã hiệu Nó chophép trình bày mã một cách ngắn gọn hơn bảng mã, đồng thời cho thấy rõ các tínhchất quan trọng của mã hiệu một cách trực quan hơn

Cây mã

Cây mã là một đồ hình gồm các nút và các nhánh Cao nhất của cây là nút gốc.

Từ nút gốc phân ra m nhánh hoặc ít hơn, mỗi nhánh đại biểu một trị của ký hiệu nằm ở

vị trí bên trái nhất của mọi từ mã của bộ mã Mỗi nhánh kết thúc tại một nút ở cấp cao

hơn nút xuất phát Tiếp tục từ mỗi nút ở cấp i sẽ phân ra m nhánh hoặc ít hơn, mỗinhánh đại biểu cho một trị của ký hiệu có tại vị trí i+1 (tính từ bên trái) của những từmã mà i ký hiệu bên trái nó được biểu diễn bằng một đường liên tục các nhánh tính từnút gốc đến nút cấp i được phân nhánh này Mỗi nhánh phân ra từ nút cấp i này sẽ kếtthúc ở một nút cấp i+1.

Mỗi nút cuối (là nút kết thúc của nhánh đại biểu cho kí hiệu cuối cùng của một từmã) sẽ đại biểu cho một từ mã mà thứ tự các trị kí hiệu mã là thứ tự các trị trên cácnhánh đi từ nút gốc đến nút cuối qua các nút trung gian.

Có thể có những nút cuối mà không có nhánh nào đi ra từ nó, và cũng có thể cónhững nút cuối của từ mã này là nút trung gian của từ mã khác Mã hiệu có nút cuốitrùng với một nút trung gian của từ mã khác sẽ có đặc điểm là từ mã ngắn hơn là phần

đầu của từ mã dài hơn và nó không cho phép phân tách một chuỗi mã bất kì thành mộtdãy duy nhất các từ mã.

Ví dụ: Cây mã cho bộ mã 00, 01, 100, 1010, 1011.

mức gốc (0)mức 1 (n=1)mức 2 (n=2)mức 3 (n=3)mức 4 (n=4)

Hình 2.1 Ví dụ cây mã không đồng đều

Từ ví dụ thấy rằng nhìn vào cây mã ta biết cây mã có phải là đồng đều hay khôngđồng đều, loại mã đầy hay vơi Cây mã trên thuộc loại mã không đồng đều.

Đồ hình kết cấu

Đồ hình kết cấu gồm những nút và những nhánh có hướng, đây là một cách biểudiễn cây mã rút gọn Một từ mã được biểu diễn bằng một vòng kín xuất phát từ nút gốctheo các nhánh có hướng (chiều mũi tên) qua các nút trung gian rồi về nút gốc Mỗinhánh đại diện cho một trị của kí hiệu mã Thứ tự các trị bắt đầu từ nút gốc là thứ tựcác kí hiệu mã tính từ bên trái mỗi từ mã.

Ví dụ đồ hình kết cấu cho bộ mã 11, 110, 10, 101, 1010, 1011 sẽ có dạng nhưsau:

Hình 2.2 Ví dụ đồ hình kết cấu mã

Trên đồ hình kết cấu, trị các nhánh được ghi ở đầu xuất phát của nhánh và phíabên trái, dấu V là dấu hoặc (hay là) có nghĩa là một nhánh có thể đại biểu cho trị bên

trái hoặc trị bên phải của dấu V; các nút được đánh dấu theo thứ tự xa dần nút gốc (sốghi trong vòng tròn của nút).

Đồ hình kết cấu không những dùng để mô tả bản thân mã mà còn dùng để xétcách vận hành thiết bị mã hoá và giải mã như là một đồ hình trạng thái của thiết bị.

2.1.2 Mục đích của mã hóa thông tin

Trong các hệ thống truyền thông rời rạc, bản tin thường được cho qua một sốphép biến đổi như số hóa, mã hóa và ở phía thu người ta sẽ thực hiện những phépbiến đổi ngược lại để thu nhận lại được thông tin ban đầu.

Việc mã hóa thông tin cho phép chúng ta ký hiệu hóa thông tin hay sử dụngnhững ký hiệu qui ước để biểu diễn bản tin ở dạng phù hợp cho nơi sử dụng Chínhnhờ mã hóa, chúng ta có thể nhìn thấy hay biểu diễn được thông tin có bản chất là kháiniệm Đối với hệ thống truyền tin, việc mã hóa thông tin sẽ nhằm thực hiện các mụcđích sau:

Thứ nhất cho phép tăng tính hữu hiệu, nghĩa là tăng tốc độ truyền tin của hệ

Thứ hai là tăng độ tin cậy của hệ thống truyền tin, nghĩa là tăng khả năng chống

nhiễu của hệ thống

Thứ ba là tiện lợi cho việc truyền dẫn thông tin khi biến đổi nguồn tin về dạng tín

hiệu điện thích hợp với kênh truyền.

Thứ tư là tăng tính an toàn cho thông tin, nghĩa là tăng tính bảo mật của hệ thống

Mã hóa kênh (Channel coding): Mã kênh truyền là hình thức biến đổi trên tập dữ

liệu nguồn bằng một thuật toán nhằm tiện lợi cho việc kiểm tra và sửa lỗi đườngtruyền Ví dụ như mã Parity có chức năng kiểm tra chẵn lẻ cho khối dữ liệu.

Mã hóa đường truyền (Line coding): Là hình thức chuyển đổi một tập đại lượng

nguồn thành một tập đại lượng điện để tiện lợi cho việc truyền dẫn thông tin Có 2 loạimã hóa đường truyền là mã hóa đường truyền dãy nền và mã hóa đường truyền bằngđiều chế.

Cách thứ hai dựa vào mục đích của việc mã hóa thông tin mà ta có thể phân loạimã hóa thông tin thành các loại sau đây:

Mã hóa nén dữ liệu: Mã hóa nén dữ liệu là việc loại bỏ các thông tin dư thừa

trong dữ liệu gốc và lượng thông tin thu được sau khi nén thường có dung lượng nhỏhơn dữ liệu gốc rất nhiều Mã hóa nén dữ liệu có vai trò rất quan trọng trong hệ thốngthông tin vì nó giúp giảm dung lượng lưu trữ dữ liệu và giảm băng thông đườngtruyền.

Mã hóa sửa sai: Trong các hệ thống thông tin thì có một yêu cầu quan trọng đặt

ra là khả năng truyền dữ liệu một cách chính xác Trong quá trình truyền dữ liệu luôn

bị tác động bởi nhiều yếu tố như nhiễu gây sai sót dữ liệu Để khắc phục các sai sót dữliệu đó hệ thống cần có độ tin cậy tốt đối với cơ chế phát hiện và sửa lỗi bằng cách sửdụng phương pháp mã hóa sửa sai Phương pháp mã hóa sửa sai sẽ phát hiện lỗi và sửalỗi bằng cách trong mỗi ký tự hay mỗi chuỗi dữ liệu được truyền đi có chứa thông tinbổ sung cần thiết để bên thu phát hiện lỗi và có thể dò tìm vị trí của các bit lỗi, sau đóchỉ cần đảo ngược các bit lỗi để nhận được dữ liệu đúng

Mật mã (Cryptography): Là ngành khoa học nghiên cứu các phương pháp biến

đổi thông tin nhằm mục đích bảo vệ thông tin khỏi sự truy cập của những người khôngcó thẩm quyền

Cách thứ ba là dựa theo độ dài từ mã mà ta có thể chia thành hai loại:

Mã đồng đều: Nếu các từ mã của một bộ mã có cùng một độ dài thì được gọi là

Mã hóa hai chiều: Các bản tin được mã hóa khi truyền đi sẽ ở dạng một dãy ký

hiệu mã liên tiếp nhau Phương pháp mã hoa hai chiều cho phép khi giải mã có thểphân tích một cách duy nhất dãy các ký hiệu mã thành các từ mã và chuyển ngược từmã thành tin tương ứng.

Mã hóa một chiều: Là cách mã hóa mà không thể giải mã Nó ra đời vì có những

lúc chúng ta chỉ cần mã hóa thông tin mà không cần giải mã.2.2 MÃ HÓA NGUỒN

2.2.1 Khái niệm

Hệ thống truyền tin được sử dụng để truyền thông tin từ nguồn tin tới nơi nhậntin Nguồn thông tin có thể là nguồn tương tự hay nguồn rời rạc Với khả năng và sựphát triển của kỹ thuật số, hệ thống truyền tin sử dụng kỹ thuật số có thể được sử dụngđể truyền thông tin từ các nguồn tin khác nhau Như vậy đầu ra của nguồn phải chuyểnthành dạng mà có thể truyền đi bằng kỹ thuật số và quá trình này được gọi là mã hóanguồn.

Mã hóa nguồn là quá biến đổi một tập đại lượng nguồn này thành một tập đạilượng nguồn khác để có thể truyền đi bằng kỹ thuật số, đồng thời loại bỏ những phầndư thừa, không cần thiết còn tồn tại trong nguồn Lượng thông tin thu được sau khi mã

hóa nguồn thường có dung lượng nhỏ hơn dữ liệu gốc rất nhiều.

Có rất nhiều phương pháp mã hóa nguồn trong thực tế, trong nội dung tập bàigiảng này ta chỉ xét đến 2 phương pháp mã hóa nguồn thường gặp là mã Shannon-Fano và mã Huffman.

- Bước 1: Sắp xếp theo xác suất tăng dần hoặc giảm dần.

- Bước 2: Chia nguồn tin thành 2 nhóm có tổng xác suất xấp xỉ nhau- Bước 3: Gán cho một nhóm ký hiệu 0, 1 nhóm ký hiệu 1

- Bước 4: Lặp lại bước 2 và 3 với các nhóm mới vừa nhận được cho đến khi chỉcòn 1 tin duy nhất thì dừng lại

- Bước 5: Đọc từ mã từ trái sang phải

Chú ý: Trong nhiều trường hợp có nhiều hơn một cách chia thành các nhóm cótổng xác suất gần bằng nhau, ứng với mỗi cách chia có thể sẽ cho ra các bộ mã cóchiều dài trung bình khác nhau.

b Giải mã chuỗi bit 0110010111011110

- Sử dụng bộ đệm đọc vào dòng các bit một cách tuần tự và so sánh từ mã trongbộ đệm với bảng mã

Bộ đệm So sánh với bảng mã Tin

x x2 x1 x3 x4

2.2.3 Mã Huffman

Năm 1952 Huffman đã đưa ra một thuật toán dựa trên xác suất xuất hiện của cácký hiệu thuật toán là tối ưu theo nghĩa số ký hiệu nhị phân trung bình để mã hoá chomột ký hiệu của nguồn là cực tiểu Phương pháp mã hoá này cho một bộ mã có tínhprefix, nghĩa là không có bất kỳ từ mã nào trùng với phần đầu của từ mã khác củacùng bộ mã

Phương pháp mã hóa:

- Bước 1: Tính tần suất của các ký tự trong dữ liệu gốc

- Bước 2: Hai nút tự do với tần suất thấp nhất được xác định Hai nhánh được gáncho một trong hai ký hiệu 0 hoặc 1

- Bước 3: Nút cha cho hai nút này được thiết lập Nó có tần suất bằng tổng tầnsuất của hai nút con

- Bước 4: Nút cha được liệt kê vào danh sách các nút tự do và hai nút con đượcxóa khỏi danh sách

- Bước 5: Các bước được lặp lại cho đến khi chỉ còn lại một nút tự do Nút nàyđược đánh dấu là gốc của cây

- Bước 6: Từ mã ứng với mỗi ký hiệu của nguồn là tổ hợp các ký hiệu mã ở cácnhánh của cây mã tính từ gốc

Ta xét hai ví dụ của phương pháp này.

Ví dụ: Xét một nguồn rời rạc không nhớ tạo ra bảy ký hiệu với xác suất xuất

hiện tương ứng như sau Hãy mã hóa nguồn bằng phương pháp mã hóa Huffman vàphương pháp mã hóa Shannon-Fano.

Ký hiệu x1 x2 x3 x4 x5 x6 x7