Bài thảo luận phương pháp mã hóa shannon – fano và phương pháp huffman

Bài thảo luận Môn: Lý thuyết thông tin Nhóm thảo luận: Câu hỏi thảo luận: Phương pháp mã hóa Shannon – Fano phương pháp Huffman Mục lục I> Mã thống kê tối ưu……………………………………………………… II> hương pháp mã hóa Shannon – Fano Phương pháp Shannon…………………………………………… Phương pháp Fano………………………………………………… III> Phương pháp Huffman……………………………………………… IV> Ứng dụng…………………………………………………………………… I>Mã thống kê tối ưu - Là phép mã hóa mà kết mã có chiều dai trung bình nhỏ tất phép mã hóa - - có nguồn Bộ mã phép mã hóa tối ưu cho nguồn gọi mã hóa tối ưu Ba phép mã hóa: Shannon, Fano, Huffman Trong phép mã hóa mã hóa với số mã m=2 Ta xét phép mã hóa sau tin nguồn rời rạc A: f: aI → αIni Mỗi tin mã hóa tổ hợp mã (từ mã) αIni (αini tổ hợp mã gồm ni dấu mã) Ta xét trường hợp mã nhị phân tức dấu mã nhận hai giá trị Độ dài trung bình tổ hợp mã xác định công thức: =ip(ai) Một phép mã hóa gọi tối ưu làm cực tiểu giá trị II> Phương pháp mã hóa Shannon – Fano Phương pháp Shannon Các bước thực mã hóa theo phương pháp Shannon: B1: Sắp xếp xác suất theo thứ tự giảm dần Không tính tổng quát giả sử P1> P2 > … > Pk B2: Định nghĩa q1=0, qi= với i= 1,2,…,k B3: Đổi qi sang số (biểu diễn qi số 2) chuỗi nhị phân B4: Từ mã gán cho li ký hiệu lấy từ vị trí sau dấu phẩy chuỗi nhị phân tương ứng với qi, li=[-log2pi] Ví dụ: Mã hóa nguồn S={a1;a2;a3;a4;a5;a6;a7;a8} với xác suất 0,25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625 Tin a1 Xác suất pi 0.25 qi= Biểu diễn nhị phân 0.000000 li=[log2pi] Từ mã wi 00 a5 0.25 0.25 a2 0.125 0.5 a6 0.125 0.625 a3 0.0625 0.75 a4 0.0625 0.8125 a7 0.0625 0.875 a8 0.0625 0.9375 0.010000 0.100000 0.101000 0.110000 0.110100 0.111000 0.111100 01 100 101 1100 1101 1110 1111 Độ dài trung bình từ mã: • = 0.25*2 + 0.25*2 + 0.125*3 + 0.125*3 + 0.0625*4 + 0.0625*4 + 0.0625*4 + 0.0625*4 = 2.75 Entropie nguồn tin: H(s) = - [0.25*log20.25 + 0.25*log20.25 + 0.125*log20.125 + 0.125*log20.125 + 0.0625*log20.0625 + 0.0625*log20.0625 + 0.0625*log20.0625 + 0.0625*log20.0625] = 2.75 Hiệu suất lập mã: h== =1 Phương pháp Fano Các bước thực mã hóa theo phương pháp Fano: B1: Sắp xếp xác suất theo thứ tự giảm dần Không tính tổng quát giả sử P1>P2>…>Pk B2: Phân xác suất thành hai nhóm có tổng xác suất gần B3: Gán cho hai nhóm ký hiệu B4: Lặp lại B2 cho nhóm tiếp tục B5: Từ mã ứng với tin chuỗi bao gồm ký hiệu theo thứ tự gán cho nhóm có chứa xác suất tương ứng tin Ví dụ: Mã hóa nguồn S={a1,a2,a3,a4,a5,a6,a7,a8} với xác suất 0.25; 0.125; 0.0625; 0.0625; 0.25; 0.125; 0.0625; 0.0625 Tin a1 a2 a3 a4 a5 P(ai) 0.25 0.25 0.125 0.125 0.0625 Lần 0 1 Lần 0 Lần Lần 0 Từ mã 00 01 100 101 1100 a6 a7 a8 0.0625 0.0625 0.0625 1 1 1 1 1 1101 1110 1111 Độ dài trung bình từ mã: = 0.25*2 + 0.25*2 + 0.125*3 + 0.125*3 + 0.0625*4 + 0.0625*4 + 0.0625*4 + 0.0625*4 = 2.75 Entropie nguồn tin: H(s)= - [0.25*log20.25 + 0.25*log20.25 + 0.125*log20.125 + 0.125*log20.125 + 0.0625*log20.0625 + 0.0625*log20.0625 + 0.0625*log20.0625 + 0.0625*log20.0625] = 2.75 Hiệu suất lập mã: 10 h== =1 Nhận xét: - Hai phương pháp Shannon Fano thực chất một, xây dựng sở độ dài từ mã tỉ lệ nghịch với xác suất xuất hiện, không cho phép lập mã cách chia nhóm sở đồng tổng xác suất - nên có nhiều cách chia Sự lập mã theo cách chia nhóm sở đồng xác suất - tạo cho mã có tính Prefix Phương pháp mã hóa tin nguồn tin có hiệu entropie nguồn lớn ( H(u) > 1) Trường hợp H(u) < phương pháp mã hóa tin riêng biệt 11 không đưa đến cải tiến tốt tính tối ưu mã Trong trường hợp dùng phương pháp mã hóa khối tin III> Phương pháp Huffman Các bước thực phương pháp Huffman: B1: Khởi động danh sách nhị phân nút chứa trọng lượng p1, p2, …, pn cho tin a1, a2, …, an B2: Thực bước sau n-1 lần: 1) Tìm hai T’ T’’ danh sách với nút gốc có 2) trọng lượng tối thiểu p’ p’’ Thay hai nhị phân với nút gốc có trọng lượng p’ + p’’ có T’ T” Đánh dấu mũi tên đến p’+p’’ 12 T’ T’’ B3: Mã số tin dãy bit đánh dấu đường từ gốc nhị phân cuối tới nút Ví dụ: Xét ký tự A, B, C, D có xác suất xuất tương ứng 0.25, 0.125, 0.125, 0.5 B1 : 0.125 0.125 0.25 13 0.5 B C A D B2 : 0.5 0.25 14 0.125 0.125 B 0.5 0.25 C A D B3 : Ký tự Mã tương ứng ni A 01 B 000 C 001 D 3 Nhận xét: Ưu điểm - Xử lý tốt độ dư thừa phân bố kí tự Quá trình mã hóa giải mã tương đối đơn giản Cho mã có độ dài tối ưu 15 Hạn chế - Giải hiệu loại độ dư thừa khác - (chẳng hạn độ dư thừa vị trí) Tốn nhiều thời gian xây dựng mã Cấu trúc mã từ mã dùng để mã hóa - phải gởi với số liệu mã hóa Điều làm giảm hiệu suất nén IV> Ứng dụng - Lưu trữ Truyền liệu Dùng chương trình nén như: compress, pack Unit winzip, winrar Windowns 16 [...]... H(u) < 1 thì phương pháp mã hóa từng tin riêng biệt 11 không đưa đến cải tiến tốt tính tối ưu của mã Trong trường hợp này dùng phương pháp mã hóa từng khối tin III> Phương pháp Huffman Các bước thực hiện phương pháp Huffman: B1: Khởi động một danh sách các cây nhị phân một nút chứa các trọng lượng p1, p2, …, pn cho các tin a1, a2, …, an B2: Thực hiện các bước sau n-1 lần: 1) Tìm hai cây T’ và T’’ trong...h== =1 Nhận xét: - Hai phương pháp Shannon và Fano thực chất là một, đều xây dựng trên cùng một cơ sở độ dài từ mã tỉ lệ nghịch với xác suất xuất hiện, không cho phép lập mã một cách duy nhất vì sự chia nhóm trên cơ sở đồng đều và tổng xác suất - nên có thể có nhiều cách chia Sự lập mã theo cách chia nhóm trên cơ sở đồng xác suất - tạo cho bộ mã có tính Prefix Phương pháp mã hóa từng tin của nguồn... 0.25 C A D B3 : Ký tự Mã tương ứng ni A 01 B 000 C 001 D 1 2 3 3 1 Nhận xét: Ưu điểm - Xử lý khá tốt độ dư thừa phân bố kí tự Quá trình mã hóa và giải mã tương đối đơn giản Cho mã có độ dài tối ưu 15 Hạn chế - Giải quyết kém hiệu quả đối với các loại độ dư thừa khác - (chẳng hạn như độ dư thừa vị trí) Tốn nhiều thời gian xây dựng cây mã Cấu trúc của cây mã hoặc bộ từ mã đã dùng để mã hóa - phải được gởi... các bước sau n-1 lần: 1) Tìm hai cây T’ và T’’ trong danh sách với các nút gốc có 2) trọng lượng tối thiểu p’ và p’’ Thay thế hai cây này bằng cây nhị phân với nút gốc có trọng lượng p’ + p’’ và có các cây con là T’ và T” Đánh dấu các mũi tên chỉ đến các cây con 0 và 1 p’+p’’ 12 T’ T’’ B3: Mã số của tin ai là dãy các bit được đánh dấu trên đường từ gốc của cây nhị phân cuối cùng tới nút ai Ví dụ: Xét... Tốn nhiều thời gian xây dựng cây mã Cấu trúc của cây mã hoặc bộ từ mã đã dùng để mã hóa - phải được gởi đi cùng với số liệu đã được mã hóa Điều này làm giảm hiệu suất nén IV> Ứng dụng - Lưu trữ Truyền dữ liệu Dùng trong các chương trình nén như: compress, pack trong Unit và winzip, winrar trong Windowns 16 ...Mục lục I> Mã thống kê tối ưu……………………………………………………… II> hương pháp mã hóa Shannon – Fano Phương pháp Shannon ………………………………………… Phương pháp Fano ……………………………………………… III> Phương pháp Huffman ……………………………………………... I >Mã thống kê tối ưu - Là phép mã hóa mà kết mã có chiều dai trung bình nhỏ tất phép mã hóa - - có nguồn Bộ mã phép mã hóa tối ưu cho nguồn gọi mã hóa tối ưu Ba phép mã hóa: Shannon, Fano, Huffman. .. Trong phép mã hóa mã hóa với số mã m=2 Ta xét phép mã hóa sau tin nguồn rời rạc A: f: aI → αIni Mỗi tin mã hóa tổ hợp mã (từ mã) αIni (αini tổ hợp mã gồm ni dấu mã) Ta xét trường hợp mã nhị phân