Lý Thuyết thông tin Chương 3

chương 3 Mã hóa nguồn Giáo Viên: TS. Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP. Hồ Chí Minh. Email: trantrungduyptithcm.edu.vn. Điện Thoại: 0938967217. Hệ thống thông tin Nguồn tin (Information Source) Kênh tin (Channel) Nhận tin (Information Destination) Thông tin Thông tin là các dữ liệu được thu thập và xử lý nhằm mang lại hiểu biết cho con người. Tin Tin là dạng vật chất cụ thể để biểu hiện thông tin. Nguồn tin Nơi sản sinh ra tin Hệ thống thông tin số Tín hiệu đưa vào như hình ảnh âm thanh là các tín hiệu tương tự. Khối định dạng: chuyển tín hiệu từ tương tự sang từ

CHƯƠNG MÃ HOÁ NGUỒN Giáo Viên: TS Trần Trung Duy Học Viện Công Nghệ Bưu Chính Viễn Thông TP Hồ Chí Minh Email: trantrungduy@ptithcm.edu.vn Điện Thoại: 0938967217 Mã Hoá Nguồn  Hệ thống thông tin • Nguồn tin (Information Source) • Kênh tin (Channel) • Nhận tin (Information Destination) Mã Hoá Nguồn • Thông tin Thông tin liệu thu thập xử lý nhằm mang lại hiểu biết cho người • Tin Tin dạng vật chất cụ thể để biểu thông tin • Nguồn tin Nơi sản sinh tin Mã Hoá Nguồn  Hệ thống thông tin số • Tín hiệu đưa vào hình ảnh âm tín hiệu tương tự • Khối định dạng: chuyển tín hiệu từ tương tự sang từ mã số Mã Hoá Nguồn  Tiêu chí đánh giá chất lượng hệ thống thông tin • Tính hiệu Tốc độ truyền tin Truyền đồng thời nhiều tin khác Chi phí hoạt động đầu tư • Độ tin cậy • Bảo mật • Đảm bảo chất lượng dịch vụ Mã Hoá Nguồn  Khái niệm mã hoá • Mã hóa phép ánh xạ – từ tập tin rời rạc xk lên tập từ mã uk f : xk a uk  Mục Tiêu Mã Hoá Nguồn • Mã hóa thông điệp nguồn thành từ mã nhị phân • Một kỹ thuật mã hóa hiệu ứng với số lượng bit nhị phân nhỏ Mã Hoá Nguồn  Các Thông Số Bộ Mã • Cơ số mã số ký hiệu mã chữ mã B, ký hiệu m Ví dụ: mã nhị phân có ký hiệu 0,1  m = • Độ dài từ mã thứ k (lk) số ký tự từ mã thứ k • Tổng số từ mã mã ký hiệu N Mã Hoá Nguồn  Khái Niệm Bộ Mã • Định nghĩa mã Non-Singular Một mã gọi non-singular tất từ mã phải hoàn toàn khác ∀ : xk ≠ xn ⇒ uk ≠ un • Định nghĩa từ mã mở rộng Một từ mã mở rộng việc ánh xạ chuỗi hữu hạn từ mã liên tiếp x1 x2 a u1u2 Mã Hoá Nguồn  Khái Niệm Bộ Mã • Định nghĩa mã giải mã (Unique Decodability) Một mã gọi giải mã từ mã mở rộng từ mã non-singular Mã Hoá Nguồn  Mã Hoá Shannon • Ví dụ: Mã hoá nguồn X có ký tự với xác suất xuất 0.5, 0.4, 0.1 Tin P q Nhị Phân l Từ mã S1 0.6 0,00 S2 0.3 0.6 0.1001… 10 S3 0.1 0.9 0.11100… 1110 Mã Hoá Nguồn  Mã Hoá Shannon • Ví dụ: Mã hoá nguồn X có ký tự với xác suất xuất 0.3, 0.25, 0.2, 0.12, 0.08, 0.05 Tính hiệu xuất mã hoá Mã Hoá Nguồn  Mã Hoá Shannon Tin P q S1 0.3 S2 0.25 S3 Nhị Phân l Từ mã 0,00 00 0.3 0,01001 01 0.2 0.55 0,10001 100 S4 0.12 0.75 0,11000 1100 S5 0.08 0.87 0,11011 1101 S6 0.05 0.95 0,111100 11110 H(X) = 2.36, L = 2.75, H(X)/L = 85.82% Mã Hoá Nguồn  Các phương pháp biểu diễn mã  •  • •  • • Bảng đối chiếu mã Liệt kê mã với tin từ mã tương ứng Ưu điểm Đơn giản với mã nhỏ Nền tảng phương pháp mã hóa từ điển Nhược điểm Cồng kềnh với mã lớn Không thấy tương quan từ mã Mã Hoá Nguồn  Các phương pháp biểu diễn mã  Cây mã - Gồm: nút nhánh - Gốc nút gốc - Mỗi nhánh phân thành m nhánh - Nút cuối (là nút nhánh xuất phát) đại diện cho từ mã - Thứ tự trị ký hiệu từ nút gốc đến nút cuối - Ví dụ: Vẽ mã U = {00, 01,10,110,111} Mã Hoá Nguồn  Các phương pháp biểu diễn mã  Mặt tọa độ mã - Từ mã biểu diễn điểm hệ tọa độ chiều (l,b) - l chiều dài từ mã - b trọng số từ mã b= l −1 ∑ ck m k n =0 - m số mã, c trị ký hiệu thứ k từ mã Mã Hoá Nguồn  Các phương pháp biểu diễn mã  Hàm cấu trúc mã - Hàm cấu trúc mã G(uk) số từ mã mã có độ dài uk - Ví dụ: U = {00, 01,100,1010,1011}, G(1) = 0, G(2)=2, G(3)=1, G(4)=2, G(5)=0, G(6)=0,… - Hàm cấu trúc mã cho biết mã hay không - Mã có G(uk) khác giá trị - Mã G(uk) khác 02 giá trị Mã Hoá Nguồn  Mã có tính Prefix tối thiểu  Mã có tính prefix cho x prefix từ mã xσ phải từ mã prefix từ mã mã với σ lấy tất giá trị lại chữ mã B  Ví dụ: U={00, 01, 10} mã có tính Prefix tối thiểu Mã Hoá Nguồn  Bất Đẳng Thức Kraft  Cho l1, …, lN chiều dài từ mã mã prefix có số mã m N − lk m ∑ ≤1 k =1  Ngược lại với tập độ dài từ mã thõa bất đẳng thức tồn mã prefix nhận tập độ dài làm độ dài từ mã Mã Hoá Nguồn  Bất Đẳng Thức Kraft - Tính bất đẳng thức Kraft Nguồn tin Bộ mã A Bộ mã B S1 0 S2 100 10 S3 110 110 S4 111 11 Mã Hoá Nguồn  Mã thống kê tối ưu - Cho nguồn tin S = {S1,…,Sk} với xác suất tương ứng p1,…,pk Một mã giải mã với số mã m, chiều dài trung bình từ mã thõa H( X) H(X) ≤L≤ +1 log ( m ) log ( m ) Mã Hoá Nguồn  Mã Huffman thích ứng - ký tự tương đương với mã - Cây mã phát triển theo trình mã hóa - Cùng ký tự thời điểm xuất khác dẫn đến từ mã khác - Trọng số nút (lá, trung gian gốc) thõa: - Trái sang phải, lên trên: đảm bảo không giảm - Nếu giảm đổi lại mã Mã Hoá Nguồn  Mã Huffman thích ứng - Từ mã ngõ - Nếu ký tự mã hóa xuất lần đầu : từ mã ngõ gồm trọng số nhánh từ gốc đến trước nhánh ký tự mã hóa ký tự mã hóa - Nếu ký tự mã hóa có trước đó: từ mã ngõ trọng số nhánh từ gốc đến ký tự mã hóa Mã Hoá Nguồn  Mã hoá đoạn - Mã hóa đoạn kỹ thuật đơn giản để mã hóa nén liệu - Dựa nguyên lý mã hóa chuỗi giá trị liệu lặp lại - Ưu điểm dễ dàng nhanh chóng Mã Hoá Nguồn  Mã hoá nén từ điển - Mã hóa nén không yêu cầu biết trước phân bố nguồn, tính thích nghi cao - Mã hóa chuỗi ký tự độ dài khác thành thẻ - Các loại mã hóa từ điển LZ77 LZSS LZ78 LZW [...]... là 0.5, 0.4, 0.1 Tin P q Nhị Phân l Từ mã S1 0.6 0 0,00 1 0 S2 0 .3 0.6 0.1001… 2 10 S3 0.1 0.9 0.11100… 4 1110 Mã Hoá Nguồn  Mã Hoá Shannon • Ví dụ: Mã hoá nguồn X có 6 ký tự với xác suất xuất hiện lần lượt là 0 .3, 0.25, 0.2, 0.12, 0.08, 0.05 Tính hiệu xuất mã hoá Mã Hoá Nguồn  Mã Hoá Shannon Tin P q S1 0 .3 0 S2 0.25 S3 Nhị Phân l Từ mã 0,00 2 00 0 .3 0,01001 2 01 0.2 0.55 0,10001 3 100 S4 0.12 0.75... Mã Hoá Shannon - Sắp xếp các tin ui và xác suất tương ứng p(ui) theo thứ tự giảm dần vào cột 1 và cột 2 i −1 - Cột 3 ghi giá trị Pi = ∑ p ( uk ) k =0 - Cột 4 ghi độ dài từ mã thứ i: li =  − log 2 p ( ui )  - Cột 5 biểu diễn Pi dưới dạng nhị phân - Cột 6 là từ mã ngõ ra với chiều dài li bit nhị phân sau dấu phẩy Mã Hoá Nguồn  Mã Hoá Shannon • Ví dụ: Mã hoá nguồn X có 3 ký tự với xác suất xuất hiện... 101, 110, 1110, 11110, 111110, 1111111 H(X) = 2.15, L = 2.18 Mã Hoá Nguồn  Mã Hoá Shannon-Fano Bài tập 2: Nguồn có 6 ký tự với xác suất là 0 .3, 0.25, 0.2, 0.12, 0.08 và 0.05 Mã Hoá Nguồn  Mã Hoá Shannon-Fano Bài tập 3: nguồn có 8 ký tự với xác suất là: 0. 23, 0.2, 0.14, 0.12, 0.1, 0.09, 0.06, 0.06 Mã Hóa Nguồn  Mã hóa Huffman cơ sở (basic Huffman encoding) Mã Hóa Nguồn  Mã hóa Huffman cơ sở (basic... prefix là bộ mã giải mã duy nhất ⇒Một bộ mã giải mã duy nhất chưa phải là một bộ mã có tính Prefix Mã Hoá Nguồn  Định nghĩa bộ mã có tính Prefix • Ví dụ: Bộ mã nào có tính Prefix Nguồn tin Bộ mã A Bộ mã B S1 0 0 S2 10 01 S3 110 011 S4 1110 0111 • Giải mã chuỗi bit sau 0101101110  Sơ Đồ Toàn bộ mã Mã non-singular Mã Hoá Nguồn Mã giả mã duy nhất Mã giải mã tức thởi Mã Hoá Nguồn  Mã đều và mã đầy • Mã... 0 .3 0,01001 2 01 0.2 0.55 0,10001 3 100 S4 0.12 0.75 0,11000 4 1100 S5 0.08 0.87 0,11011 4 1101 S6 0.05 0.95 0,111100 5 11110 H(X) = 2 .36 , L = 2.75, H(X)/L = 85.82% Mã Hoá Nguồn  Các phương pháp biểu diễn mã  •  • •  • • Bảng đối chiếu mã Liệt kê bộ mã với các tin và từ mã tương ứng Ưu điểm Đơn giản với bộ mã nhỏ Nền tảng của phương pháp mã hóa từ điển Nhược điểm Cồng kềnh với bộ mã lớn Không thấy... dần Bước 2: Vẽ đường thẳng chia các ký tự thành hai nhóm sao cho tổng xác suất của hai nhóm là gần nhau nhất Viết ký tự 0 cho nhóm ở trên đường thẳng và ký tự 1 cho các nhóm ở phía dưới đường thẳng Bước 3: Tiếp tục chia các nhóm có nhiều hơn 1 ký tự thành các nhóm nhỏ sử dụng phương pháp trong Bước 2 Bước 4: Khi tất cả các nhóm đều chỉ chứa 1 ký tự, từ mã được tạo ra từ các bit đọc từ trái sang phải Mã... k trong từ mã Mã Hoá Nguồn  Các phương pháp biểu diễn mã  Hàm cấu trúc mã - Hàm cấu trúc mã G(uk) là số từ mã trong bộ mã có độ dài bằng uk - Ví dụ: U = {00, 01,100,1010,1011}, G(1) = 0, G(2)=2, G (3) =1, G(4)=2, G(5)=0, G(6)=0,… - Hàm cấu trúc mã cho biết là mã đều hay không đều - Mã đều có G(uk) khác 0 tại một giá trị duy nhất - Mã không đều có G(uk) khác 0 tại ít nhất 02 giá trị