nghiên cứu thuật toán của các loại mã nén Shannon-Fano và Huffman

Công nghệ thông tin (CNTT-IT) được mệnh danh là ngành của mọi ngành

PHẦN 1 GIỚI THIỆU ĐỀ TÀI I.1.GIỚI THIỆU   !"#$%& ''%('%!)*+ ! ,-+ ./%$&0+123 3 +245&6/0+7%89 0+&0:+ + ;+<=>?%< +2!'% @"+0%'A+;%B" &2C@5( #6=-.D E@;F%G5!7%H0H H9&5C;+;I% 8JC$+ H? ''%=-)*C@0""=@0"C@ <8-*1K(=LM2N+#$ 7%0+%C9<O:+9=@0"!( 7%%%34C 4&9)6"=@0"C< > > A> >PQR!<J>< GSH%?C0+/J%(T==@0"9L* 5-+ ./% 0+%0/0%' 0+;I%0%'9<% 5-+./%%U0%'V# '7%0 '%>9WF%&'4!%U+#$7%0 4!./%@%+@./%40210#8%4. X+Y+ Z%[[\N=N]^N\]^+;" ./% 0+5%_ N9S065.'@%+@./% *9+9@(%7%-.C9<+D/%;@%/V +D4.X+Y+Z%[[`$=a(%7%-V+D4. Trang b *N9S0655:>06&0J'-/= 06cc I.2.MỤC ĐÍCH VÀ PHẠM VI CỦA ĐỀ TÀI BU@=0%+@#'3+7%%+@X+Y+ Z%[[ =8(@% "%+@9+H%+@;5: 6)=ad.!@=$9S0+U@Ue b6"%F%&./% f=@;&7%-0J&H'./ %f7%'@=>=@=4!%U %Jg@=> =@= <Ch. V`8+D)**G00C%@% +@4!%U iC%%+@X+Y+Z%[[0+=$9S98% =8(@%"1%+@ %+@X+Y+ Z%[[j@%+@./%;""9+9@(%7%-1+D HC9<+D/%;@% kO@7%@'>06 ;&7%-%+@0+=$9SJ%#% 0T>06@#';38>06*7%0 =-=a%+@ 38%U%+@+ I.3.PHUƠNG PHÁP NGHIÊN CỨU B0>9WF%& &J)%%+@@+D4.X+Y+Z%[[ B0%Jg4!5+@4! D>06;"L B@@%"" PHẦN 2 NỘI DUNG Trang V CHƯƠNG 1 SƠ LƯỢC VỀ NÉN DỮ LIỆU II.1.1 TỔNG QUAN VỀ NÉN DỮ LIỆU 0+;+@((%& ./%7%@064! E(5>9+H4!5:@EC+G;&= @=>=@=+!lN+%JgT=0@@;J0%' 5m7%@-0%'0WJ;&>./%T=&;@ %J%5CH 5_ 2D /%4. $=--." N 3NP 7%@06noa @%J#m?C(*"6.N+o!"oa=$ )g'"7%@06-."!"3Nl+!&;& C>06./%=*%C'%&%<)C. C.+<H .!f+ %J<E"7%@06.-./% II.1.2 TỔNG QUAN CÁC LOẠI Mà NÉN   %Jg@>06.!%<%e*9G=D /% @%p/%G=D&5W+0a%!C5.> OI%0#!%7%-<H/%DN3 5-( +G[Nl,Y.0J qrs 6(G=D/%+D+eYN>06tut+Gv?. (>   -;#-@>06.[N'%E%C%+@6+D CTn;@%?p40";%+@C;"%"%o #'e2h.>06`O]`20C>@>06 .;@'G<C 'Gh. '%;!n;@>(fm @>06.n'%$7%8@[N.!%0#(;5m Trang i an$%F@+D[N.;>(H% )&%L[N .+2;@62!$=-!>06(=H-.0 %J"-7%&#' -i>06wxc`\yX \Zw `O]`'%+=.=D+[N.5%)[N.WD>06 ;D9SC5%0 0Jm02n5g$%3%#>06%" f1D[N.9D[N.;@ (*>06lz+=0N99[+0 ^+{9%"@[N`O]` wx \Zw9Dwx| @>06.@;+`O]`ekqyXl \Zw%#=R=(J E;@0C04ZD&T+2E; % 2=-}H'%9<W#%glvX"C +!-&N+Hewxc`\yX!+ ;"%N% `O]`n4!=$5f9%`O]`N% '%>067%-F[N0+lvX0+^+{945g$%E;I %.>06?N4\+%9E`O]`1_b~~r > 06u0NN•+`O]`+*7%-F[N_b~~b *.029%!D=-5%0"E@>06.[N;@ 020 (5WF+@>06.€X;N0+GX%=N0X+0N 9L*><0C04@>06.€n+DC0J%J g<.[N d;@TC.5%2E; =-7%8&2h.@>06.+D;@% B"5%i •?5/% >06&bV8 >06;@kr8h9< .<H[N_5-n;@e1Veb&ieb!D;E>06. € 2EJ8%0<f)2_;+-V$ Q5%.;H[N9SDTB<H @[N/%H '%";@0}O @>06.€+D CWD20T 5W&CG!&*5CHxw? CG!" 83%CH@>0620T;@@>06.[N;!9 <daC[N o>06.€a-f€%'%0#( ;3-0!n+'%2ND;@E Trang k B"G>06.€$=8Df)6@($;W C5:€.0H;>06.+DC&%E^+{96=$ ;.$;@H2$br?5+E;. d. E€oD ?C'%!"2E%$%=-7%&mh.5+J% QHh.breb‚D >06.9S'%ƒ+0aƒ"0a&@ /% p+0a&V5N ;!R3-002=;+0a > 065@+€$0;=- %<E +D5a>06.€;4GnC#'> ='+@'%>06‚Dl+%5NlN9!)_+D5aB< H@>06;@$!@[N„>06.3!5aT !;=-[+0Df) !D EC9<D& ./%@);&#"W0C% f)+0o&;;@'%2;=(;./ %0H;0%' h.C0+@G07%0#=>=@=.% J '@@@@;&7%-5<0+@%n$7% $3N3.6% 2m€h.9%e h.…b†03s QH0h9<.m€e0…;(H/%<†;(H/% %9%.%9%#.ebh.3s 0+@0659%;!&;&7%-. TEh9<. (* br0Jb!€/%<br9%;.d!b=$ %J n=-#0:/9<+C=>=@=.d!@0m H(9.! 60:%7%-.o=*%C+;"%/%m. '%;h.+n"!0:=>=@=!%7%->@ Trang • =>=@=;@ 6o@=(;@2 ;(-C =)D=(+@/(*.=*m0+0%'/%e#'G0 %7%-.!>=H20%'; II.1.2.3  !"#. 0J4! .:*(-;(H/%5:@+D5a 1/%3@m5-#@;"%1/%0#!(+38 @=>=@=./%;@%!C@;@ @=>=@=. /%;@%+9L*@;"%1/%;@%!k;"%1 (065W@*9%8 $ %&'()*+& 0+ ‡  ˆ ; ‰  ‡ + ‰  ‡ 9 ‰ ; ‰  ‡ + ‰ 8 Š 9%8 ‰ 3%8 ‰ J ‡ J Š %> ‡ 9 ‰  ˆ  ; ‰ l+8 ‡  + ‰ J ‹  ˆ + ‰  ˆ J ‡ % ‡  ‰ + ‡ > ‰ ; ‰  ‡ + ‰ 8 Š 3%8 ‰ 3%# +>> ‡ &5> ‹  ‡  Š  ˆ  ‡ =8> ‰ 9 ‰ 5Œ ‰ + ‹ •> ‡  ‡  ‰  ˆ + ‰ 8 Š 3%8 ‰ 3%#8 ‰ =9N ˆ > ‡  ˆ !5> ‹  Š  ˆ + ‰ J Š %5Œ ‰ >B8Œ ‰  Š 5 ‹ 8 ‰  % ‹ =>= ‰ = ˆ + ‰ Z%[[X+Y+ $%&,'-!*+& 0+ ‡ 9 ‰ Œ Š % ‰ 0+ ‹  b; ‰ J ‡ %5Œ ‰ ƒrƒ5Œ ‰ ƒbƒ> ‡ _ ‡ = _ ‡ = ‡  ‡ 9 ‰ 8 Š O ˆ %8 ‡ N ‰ % Š 0+0> Š > ‡ = Š  Š  ˆ _ ‡ =+ ‰ 5> ‹  ˆ  > ‰  Š V Š =8 Š e9 ‰ 8 Š _ ‡ = Š ;Œ ‰ J ‡ %% Š J ‹  ˆ !`>= ‰ = ˆ + ‰ ;J ‹ %  Š + ‰ J Š  ˆ !+ ‡  Š x\x%\N+ $$."/0#12341#5 + ‰ J ‹ + ‰  ˆ ; ‰ J ‡ % Š ++ ‰ 3%8 ‰ J ‡ > ‰ 8 Š 9%8 ‰ > ‰ +l+8 ‡  + ‰ J ‹  ˆ + ‰ 5> ‹ Œ ‰ 5Œ ‰ >B8 Š >9> ‹ % ‹ =>= ‰ = ˆ + ‰ ;J ‹ % Š J ‹ +\N=N] 0 Š + ‰  ‹ J ‰  Š +_b~qq b~qŽ Š ++ ‰ + ‰ J+ ‡  Š =>= ‰ =N ‰ \]qq \]qŽ_b~Žk N00^N ˆ  ‹ J ‰ J ‡ %7% ‹ > Š _ ‡ J Š \]^\N=N] Trang • ^N%+@./%+•%9L*$9%#%7%-=-;"& =>=@=./%X+Y+Z%[[ $67 !89 l+9 ‡ =% ‡ % ‡ 8ˆ%% ‹  ˆ J ‡ % ;5J ‰ > ‡ ; ‰ J ‡ % ‰ 0 ‡ 3%8 ‰ J ‡  ‡   ‡  ‡ 0Œ ‰  Š > Š + ‰ J ‹ + ‰ 0> ‰ 9 ‡ 3%8 ‰ J ‡ % ‹  ‰  ‰ 0 ‡ > ‹  ‰  ‡ 0Œ ‰ ; ‰ %  ‡  ‰ =% Š > ‡ =_ ‹  ‡   ‹ 5J ‹ %Jˆ0+ ‡ > ‰ J Š %  ‡ 9 ‰ J ‹ > ‹  Š + ‡ 0+ ‡ ; ‰  ˆ J ‡ % ‡ 3%8 ‰ J ‡ 0+% Š  ‡ 0Œ ‰ > ‹  ‰  Š ; ‰ %l+ 8 ‡  Œ Š %0 ˆ  ˆ J ‡ % Œ ‹ 8 Š %0 ˆ  ‡ 0Œ ‰  Š  Š  ‡ `>= ‰ =N ‰  ‡  0J9 ‡  Š  Š + ‡  Š =>= ‰ = ˆ + ‰  ‡ + ‰   ‰  ‰  ‰  ‡  Š 0J+ Š + Š Œ ‰ 0 ‡ 7%_ Š 5J ‹ % ‡  ‡   ‰ Œ Š + ‰ 3%8 ‰ J ‡ J Š %8 Š B ‰ > ‰  ˆ J ‡ % ‹  + Š _ ‡ % Š %+ ‰ + ‰ + Š + ‰  ˆ _ ‡ % Š 0JŒ ‰ % ‡ + ‰  ‰ % ‡ ;8 Š + Š 5 ‡  ˆ J ‡ %% ‹  ‹  Š Œ ‹ 8 Š  ‰ _ ‡ 05J ‹ %Jˆ ‹ 5J ‹ % Š  Š 8 ‰ l+8 ‡  + ‰  ˆ =>= ‰ =N ‰ 0J+ ‹  ‡  Š +5J ‰  ‹  ‹  ‡  Š +5J ‹ %Jˆ  ‹  II.2.2 PHÂN LOẠI VÀ ỨNG DỤNG bibb Dựa vào nguyên lý nén: N+@2=8Ve ibbb #:*;<!= 0+=>=@=.;f+ /%.9%;-.9S< 5$%0+!*#%+@\N=N]\]ltY\wt  C5&"%+@\] <%!:_<C-.d. 5ED%+@!<C7%@06.ltY\wtE0+ `O]` •]` `•\]^\N=N]=^NE0+mD[N•Y Z5&"%+@\]n@TF%+@\]uE0+mD [Nw,?0+9+[?0+9+[oE%+@.0+[NZ? @[N +[[NVrrq%+@\]?wE0+>06q]` Trang q @%+@.;f+E".@[N[N [N _5- {+0 N3N P@+D/%;"9EdC5 # @[N>06 @%+@.;f+>5-e b x%NN+x\t V l+0+N09 i \]qq‘\]qŽ k \]^ • ,%00+{9^NNN009[+0,^ • `0N+5=0``? q +N33? Ž t0+=N+ ~ Z%[[+%[[C2EW5H%<E7%@06.[N U'%5H br w=NZ%[[ bb w0N bV X+Y++ bi xN+ ibV #:<!= 0+@=>=@=.f+6/%.;-.09S; <H/%< %J=--5-+/%9%;.•o/%(B< H6- 8 N+ +HDg2JCH% !"&;5:@+D5a@=$1 0+;# $%;f 0+& @[N6-8N+%0/0J@('% 4.!f+"&;%5_B<=H.; Trang Ž f+@=>=@=.!f+28-#0#; .-.7%'%$@•%6-89S@ =$a5&f7%';@@9<5&f9SL! 9%!4!5:4%[[+G4!9< @•%6-80H9L*"+@@•%&=N+X 9<  /  /  %    +@    /  %    9S      L  !  0U  4  ! ’%".f+9+H.;f+!.f+0+'%02 =+d.+>0#'%9+H5#)%+@.;f+5& 0+;•-5-+#.f+29L*".- 8 N+“!".Hdbreb$%;-# QN+!".HdirrebH#-( II.1.3.2 Dựa vào cách thức thực hiện nén • N+ ‰  Š  > Š % ˆ =8 Š + ‡ e • `>= ‰ =;X=l+=0N99+e ‰ =>= ‰ =% ‡  + ‡  Š  ‡ J ‡ N ‰ 5_ Š  ‰  ‰  ‡ 0 ‡ J ‰ =JJ ‡ 8 ‰ 8ˆ%% ‹  ‹ 0+J Š  ; • `>= ‰ =9 ‹ % ‡ 5J ‰  ‹ 09[+0+e• Š  ‰ =>= ‰ = ‰   ‡ J9 ‡ 5J ‰  ‹ % ‹  ‹  ‰  Š ; ‰  ‡ 0 ‡ J ‰ =+ ‡ 0J CHUƠNG 2 CÁC PHƯƠNG PHÁP NÉN DỮ LIỆU Vb PHUƠNG PHÁP NÉN KHÔNG TỔN HAO II.2.1.1. Mô hình thống kê Vbbbb #:%!>?!= Trang ~ @5H4+@N+%+@X+Y+e  ,HbeXg=3&=@;FN+)-$  ,HVe(3@9%#  ,HieB7%=$ p=$!f3@9%#$5:% ?4+@=$0J5:5r+G5b =$H5:5b+G5r  ,HkeQS9>U8  ,H•e(t0+= 9<594+@0%569<54+@ 2  Ví dụ mô tả thuật toán Thống kê lượng tin: OF% w ,  l t X<$3%# b• q • • • Mã hóa lượng tin: OF% B& `  \+ V b†=   ?4 f59 w b• b•†i~ biŽ r r ir , q q†i~ VkŽ r b bk  • •†i~ Vq b r bV t • •†i~ Vq b b r bŽ l • •†i~ V~• b b b b• X<599L*0%56ef59†9<$3%# x…ircbkcbVcbŽcb•†i~…VV~59 VbbV #:@#AA/! Trang br [...]... hóa của Shannon-Fano và Huffman có nét tương đồng Tuy nhiên sự khác nhau về thuật toán làm cho hiệu suất nén (hệ số entropy) của Huffman và Shannon-Fano khác nhau Do vậy, em sẽ tập trung nghiên cứu, xây dựng mô phỏng và đánh giá 2 loại mã nén này để làm rõ ưu và nhược của 2 loại mã nén trên II.3.2 PHÂN TÍCH THUẬT TOÁN II.3.2.1 Thuật toán Shannon-Fano: Mã Shannon-Fano là một thuật toán mã hóa dùng để nén. .. tính của thuật toán và yêu cầu khá phức tạp nên hiếm khi được sử dụng Thuật toán Huffman có ưu điểm là hệ số nén tương đối cao, phương pháp thực hiện tương đối đơn giản, đòi hỏi ít bộ nhớ, có thể xây dựng dựa trên các mảng bé hơn 64KB Thường được sử dụng trong các công đoạn cuối cuản nén âm thanh, hình ảnh và video Từ các đặc tính thuật toán của các loại mã nén trên, em nhận thấy rằng thuật toán mã hóa... LZW có các ưu điểm là hệ số nén tương đối cao, trong tập tin nén không cần phải chứa bảng mã Nhược điểm của thuật toán này là tốn nhiều bộ nhớ, khó thực hiện dựa trên các mảng đơn giản (bé hơn 64KB) Các thuật toán khác như Huffman, Shannon-Fano, LZ77 và LZW… đều có thể áp dụng được để nén nhiều loại tập tin trên các máy vi tính Trang 34 Thuật toán Shannon-Fano có hệ số nén tương đối tốt với các file... thuộc vào khoảng trống để phân cách các kí tự Nếu không có dấu phân cách thì ta không thể giải mã được thông điệp này Ta cũng có thể chọn các từ mã sao cho thông điệp có thể được giải mã mà không cần dấu phân cách, ví dụ như: A là 11, B là 00, C là 010, D là 10 và R là 011, các từ mã này gọi là các từ mã có tính prefix (Không có từ mã nào là tiền tố của từ mã khác) Với các từ mã này ta có thể mã hoá... mã hoá này ta hoàn toàn có thể giải mã được mà không cần dấu phân cách Nhưng bằng cách nào để tìm ra bảng mã một cách tốt nhất ? - Bước đầu tiên trong việc xây dựng mã Shannon-Fano là đếm số lần xuất hiện của mỗi kí tự trong tập tin sẽ được mã hoá (trong phần này chỉ ví dụ hạn chế một số ký tự) - Bước tiếp theo là xây dựng bảng mã dựa vào thuật toán Shannon-Fano Thuật toán này được thực hiện bằng các. .. sắp xếp lại của bộ mã hoá như sau: I3 B1 B2 P6 B4 B5 P9 B7 B8 P12 B10 B11 Cấu trúc của một GOP có thể được mô tả bởi hai tham số: N là số các ảnh trong GOP và M là khoảng cách giữa các ảnh P-pictures Nhóm GOP này được miêu tả như N = 12 và M = 3 SƠ ĐỒ CỦA BỘ Mà HOÁ VÀ GIẢI Mà DÙNG MPEG-2 Trang 25 Hình 1 Sơ đồ bộ mã hoá và giải mã dùng MPEG Mã hoá MPEG-2 Quá trình mã hoá cho P pictures và B pictures được.. .Thuật toán Huffman có ưu điểm là hệ số nén tương đối cao, phương pháp thực hiện tương đối đơn giản, đòi hỏi ít bộ nhớ, có thể xây dựng dựa trên các mảng bé hơn 64KB Nhược điểm của nó là phải chứa cả bảng mã vào tập tin nén thì phía nhận mới có thể giải mã được do đó hiệu suất nén chỉ cao khi ta thực hiện nén các tập tin lớn • Nguyên lý: Nguyên lý của phương pháp Huffman là mã hóa các bytes... trúc khung MPEG 2 Mã hóa và giải mã MPEG2: Trang 33 channe L0 L R MPEG-1 encode C 0 R T4 + decode T3 LS MPEG-1 l RS r r L0’ L’ R0’ C’ T3 R’ ’ Matrix T5 MPEG-2 ’ MPEG-2 T4 Extension Extension encode decode r T5 Inverse LS’ Matrix ’ RS’ r Hình 7 Sơ đồ mã hóa và giải mã MPEG 2 CHƯƠNG 3 XÂY DỰNG CHƯƠNG TRÌNH NÉN DỮ LIỆU BẰNG Mà SHANNON-FANO VÀ HUFFMAN II.3.1 ĐẶC ĐIỂM CỦA CÁC THUẬT TOÁN NÉN DỮ LIỆU Trong... đầy đủ của MPEG Việc áp dụng toàn bộ các đặc điểm của chuẩn MPEG-2 trong tất cả các bộ mã hoá và giải mã là không cần thiết do sự phức tạp của thiết bị cũng như sự tốn kém về dải thông của đường truyền Vì vậy trong hầu hết các trường hợp ta chỉ sử dụng một phần nhất định trong toàn bộ các đặc điểm của chuẩn MPEG-2, chúng thường được gọi là profiles và levels Một profile sẽ xác định một thuật toán (điều... tập hợp các công cụ mã hoá chuẩn, chúng có thể được kết hợp vói nhau một cách linh động để phục vụ cho một loạt các ứng dụng khác nhau Trang 21 Nén MPEG là sự kết hợp hài hoà của bốn kỹ thuật cơ bản: Tiền xử lý (Preprocessing), đoán trước sự chuyển động của các frame ở bộ mã hoá (temporal prediction), bù chuyển động ở bộ giải mã (motion compensation) và mã lượng tử hoá (quatisation coding) Các bộ lọc