Lý Thuyết thông tin Chương 3

chương 3 Mã hóa nguồn Giáo Viên: TS. Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh. Email: trantrungduyptithcm.edu.vn. Điện Thoại: 0938967217. Hệ thống thông tin Nguồn tin (Information Source) Kênh tin (Channel) Nhận tin (Information Destination) Thông tin Thông tin là các dữ liệu được thu thập và xử lý nhằm mang lại hiểu biết cho con người. Tin Tin là dạng vật chất cụ thể để biểu hiện thông tin. Nguồn tin Nơi sản sinh ra tin Hệ thống thông tin số Tín hiệu đưa vào như hình ảnh âm thanh là các tín hiệu tương tự. Khối định dạng: chuyển tín hiệu từ tương tự sang từ

CHƯƠNG 3

MÃ HOÁ NGUỒN

Giáo Viên: TS Trần Trung Duy

Học Viện Công Nghệ Bưu Chính Viễn Thông TP Hồ Chí Minh.

Email: trantrungduy@ptithcm.edu.vn

Điện Thoại: 0938967217.

Mã Hoá Nguồn

 Hệ thống thông tin

• Nguồn tin (Information Source)

• Kênh tin (Channel)

• Nhận tin (Information Destination)

Mã Hoá Nguồn

 Tiêu chí đánh giá chất lượng hệ thống thông tin

• Tính hiệu quả

Tốc độ truyền tin

Truyền đồng thời nhiều tin khác nhau

Chi phí hoạt động và đầu tư

• Độ tin cậy

• Bảo mật

• Đảm bảo chất lượng dịch vụ

Mã Hoá Nguồn

 Khái niệm mã hoá

• Mã hóa là phép ánh xạ 1 – 1 từ các tập tin rời rạc xk lên tập các từ mã uk

Mã Hoá Nguồn

 Khái Niệm các Bộ Mã

• Định nghĩa mã Non-Singular

Một bộ mã được gọi là non-singular khi tất cả các từ mã

là phải hoàn toàn khác nhau

• Định nghĩa từ mã mở rộng

Một từ mã mở rộng là việc ánh xạ một chuỗi hữu hạn các

từ mã liên tiếp nhau

: xk xn uk un

1 2 1 2

Mã Hoá Nguồn

 Định nghĩa bộ mã có tính Prefix

• Một bộ mã có tính prefix khi không có bất cứ từ mã

nào là phần mào đầu (prefix) của một từ mã khác trong

bộ mã

⇒Mã có tính prefix có thể giải mã tức thời

⇒Một bộ mã prefix là bộ mã giải mã duy nhất

⇒Một bộ mã giải mã duy nhất chưa phải là một bộ mã

có tính Prefix

Mã Hoá Nguồn

 Độ Dài Trung Bình và Hiệu Suất Mã

• Độ dài trung bình: trung bình thống kê của độ dài các

Bước 3: Tiếp tục chia các nhóm có nhiều hơn 1 ký tự

thành các nhóm nhỏ sử dụng phương pháp trong Bước 2

Bước 4: Khi tất cả các nhóm đều chỉ chứa 1 ký tự, từ mã được tạo ra từ các bit đọc từ trái sang phải

Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Ví dụ: Mã hoá nguồn X có 4 ký tự A, B, C, D với xác

suất xuất hiện lần lượt là 1/2, 1/4, 1/8 và 1/8 Tính hiệu xuất mã hoá

Mã Hoá Nguồn

 Mã Morse

Mã Hoá Nguồn

 Alphabet: tần suất xuất hiện trong các văn bản tiếng Anh

Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 1: Mã hoá nguồn X có 8 ký tự A, B, C, D, E, F, G

và H với xác suất xuất hiện lần lượt là 0.5, 0.15, 0.15, 0.08, 0.08, 0.02, 0.01 và 0.01 Tính hiệu xuất mã hoá

Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 2: Nguồn có 6 ký tự với xác suất là 0.3, 0.25, 0.2, 0.12, 0.08 và 0.05

Mã Hoá Nguồn

 Mã Hoá Shannon-Fano

Bài tập 3: nguồn có 8 ký tự với xác suất là: 0.23, 0.2, 0.14, 0.12, 0.1, 0.09, 0.06, 0.06

Mã Hóa Nguồn

 Mã hóa Huffman cơ sở (basic Huffman encoding)

Mã Hóa Nguồn

 Mã hóa Huffman cơ sở (basic Huffman encoding)

Mã Hóa Nguồn

 Mã hóa Huffman cơ sở (basic Huffman encoding)

Mã Hóa Nguồn

 Mã hóa Huffman cơ sở (basic Huffman encoding)

Mã Hoá Nguồn

 Mã Hoá Huffman cơ sở (basic Huffman encoding)

Bài tập 1: Mã hoá nguồn X có 8 ký tự A, B, C, D, E, F, G

và H với xác suất xuất hiện lần lượt là 0.5, 0.15, 0.15, 0.08, 0.08, 0.02, 0.01 và 0.01 Tính hiệu xuất mã hoá

- Cột 5 biểu diễn Pi dưới dạng nhị phân

- Cột 6 là từ mã ngõ ra với chiều dài li bit nhị phân sau dấu phẩy

( )

1 0

i

i k k

Mã Hoá Nguồn

 Mã Hoá Shannon

• Ví dụ: Mã hoá nguồn X có 6 ký tự với xác suất xuất hiện lần lượt là 0.3, 0.25, 0.2, 0.12, 0.08, 0.05 Tính hiệu xuất mã hoá

H(X) = 2.36, L = 2.75, H(X)/L = 85.82%

• Đơn giản với bộ mã nhỏ

• Nền tảng của phương pháp mã hóa từ điển

 Nhược điểm

• Cồng kềnh với bộ mã lớn

• Không thấy được sự tương quan giữa các từ mã

- Mỗi nhánh phân thành m nhánh hoặc ít hơn

- Nút cuối (là nút không có nhánh nào xuất phát) đại diện cho một từ mã

- Thứ tự các trị ký hiệu từ nút gốc đến nút cuối

- Ví dụ: Vẽ cây mã U = {00, 01,10,110,111}

- Hàm cấu trúc mã cho biết là mã đều hay không đều.

- Mã đều có G(uk) khác 0 tại một giá trị duy nhất

- Mã không đều có G(uk) khác 0 tại ít nhất 02 giá trị

Mã Hoá Nguồn

 Mã có tính Prefix tối thiểu

 Mã có tính prefix sao cho nếu x là một prefix của một

từ mã thì xσ phải là một từ mã hoặc là prefix của một

từ mã trong bộ mã với σ lấy tất cả các giá trị còn lại trong bộ chữ mã B

 Ví dụ: U={00, 01, 10} không phải là mã có tính Prefix tối thiểu

≤

∑

Mã Hoá Nguồn

 Mã thống kê tối ưu

- Cho một nguồn tin S = {S1,…,Sk} với xác suất tương ứng p1,…,pk Một bộ mã giải mã được với cơ số mã m,

chiều dài trung bình từ mã sẽ thõa

Mã Hoá Nguồn

 Mã Huffman thích ứng

- 1 ký tự tương đương với 1 cây mã

- Cây mã phát triển theo quá trình mã hóa

- Cùng một ký tự những thời điểm xuất hiện khác nhau sẽ dẫn đến từ mã khác nhau

- Trọng số của các nút (lá, trung gian và gốc) thõa:

- Trái sang phải, dưới lên trên: đảm bảo không giảm

- Nếu giảm đổi lại cây mã

- Nếu ký tự mã hóa đã có trước đó: từ mã ngõ ra sẽ là trọng số của nhánh từ gốc đến ký tự mã hóa.

Mã Hoá Nguồn

 Mã hoá nén từ điển

- Mã hóa nén không yêu cầu biết trước phân bố của

nguồn, tính thích nghi cao

- Mã hóa chuỗi ký tự độ dài khác nhau thành các thẻ bài

- Các loại mã hóa từ điển

LZ77

LZ78