Kỹ thuật mã hóa Huffman với mô hình từ điển

Kỹ thuật mã hóa Huffman với mô hình từ điển

K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 1CHỈ ÅNG 0. I. GIÅÏI THIÃÛU 3II. L THUÚT TÄØNG QUAN VÃƯ NẸN DỈỴ LIÃÛU .6.I KHẠI NIÃÛM VÃƯ NẸN DỈỴ LIÃÛU .6.II MÄÜT SÄÚ KHẠI NIÃÛM CÅ BN 7II.1. Tè lãû nẹn (compression ratio) 7II.2. Âäü dỉ thỉìa säú liãûu 7.a Sỉû làûp lải ca nhỉỵng kê tỉû .7.b Sỉû phán bäú cạc kê tỉû 7.c Âäü dỉ thỉìa vë trê .7.d Nhỉỵng máùu sỉí dủng máût âäü cao .8II.3. Âäü di trung bçnh tỉì m 8II.4. Nẹn täøn hao v nẹn khäng täøn hao 8 a. Nẹn täøn hao (lossy compression) .8 b. Nẹn khäng täøn hao (lossless compression) 9II.5. Nẹn säú liãûu = Mä hçnh họa + M họa [2] 9.III L THUÚT VÃƯ M HỌA [7] .10III.1. Âënh nghéa m họa 10III.2. Mäüt säú khại niãûm cå bn .10.a Chiãưu di tỉì m 10.b Trng lỉåüng tỉì m 10.c Khong cạch m .10III.3. Phán loải m 10III.4. Mäüt säú phỉång phạp biãøu diãùn m thäng dủng .11 a. Phỉång phạp liãût kã .11 b. Phỉång phạp âäư hçnh kãút cáúu 11 c. Phỉång phạp cáy .12III.5. Âiãưu kiãûn âãø m phán tạch âỉåüc .13III.6. M cọ tênh tiãưn täú (prefix) .14III.7. Âënh l vãư âäü di trung bçnh tỉì m 14.IV M THÄÚNG Kà TÄÚI ỈU 16IV.1. M Shannon-Fano 16IV.2. M säú hc .19IV.3. M Huffman (s âỉåüc giåïi thiãûu chi tiãút åí cạc chỉång tiãúp theo) 20.V MÄ HÇNH HỌA NGƯN SÄÚ LIÃÛU 20V.1. Mä hçnh thäúng kã .21V.2. Mä hçnh tỉì âiãøn (Dictionary-based) .22III. PHỈÅNG PHẠP M HỌA HUFFMAN VÅÏI MÄ HÇNH THÄÚNG Kà .24 I. PHỈÅNG PHẠP M HỌA HUFFMAN .24I.1. M Huffman ténh 24.a Cåí såí nẹn säú liãûu ca phỉång phạp m họa Huffman ténh 24.b Phỉång phạp tảo m Huffman ténh .24.c Phỉång phạp gii m Huffman ténh 30.d Ỉu v nhỉåüc âiãøm ca phỉång phạp m họa Huffman ténh våïi mä hçnh thäúng kã 31IV. CẠC PHỈÅNG PHẠP NẸN THEO MÄ HÇNH TỈÌ ÂIÃØN 31 I. MÄ HÇNH TỈÌ ÂIÃØN TÉNH V MÄ HÇNH TỈÌ ÂIÃØN ÂÄÜNG .33 II. CẠC PHỈÅNG PHẠP NẸN LEMPEL V ZIV [2] .35II.1. Phỉång phạp nẹn LZ77 .36II.2. Phỉång phạp nẹn LZ78 .39V. K THÛT M HỌA HUFFMAN ÂÄÜNG VÅÏI MÄ HÇNH TỈÌ ÂIÃØN THÊCH ỈÏNG 43 I. M HỌA HUFFMAN ÂÄÜNG 43.I MÄ HÇNH TỈÌ ÂIÃØN THÊCH ỈÏNG .44K thût nẹn våïi mäüt cỉía säø hản chãú .44Cạc cáúu trục dỉỵ liãûu häù tråü .45.a Bäü âãûm quay vng 45.b Bng bàm (Hash table) .45Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 2.II TIÃÚN TRÇNH NẸN .47Quạ trçnh mä hçnh họa 48Quạ trçnh m họa .49.a Cáúu trục dỉỵ liãûu mä t cáy m Huffman âäüng 49.b Th tủc m họa 51.III TIÃÚN TRÇNH GII NẸN 52Quạ trçnh gii m theo cáy m Huffman âäüng 52.a Khåíi tảo cáy m âáưu tiãn 52.b Th tủc gii m .53Quạ trçnh gii nẹn 53.IV NHÁÛN XẸT 55VI. THỈÛC NGHIÃÛM .55 I. SO SẠNH TÈ SÄÚ NẸN 56I.1. Bng so sạnh tè säú nẹn .56I.2. Biãøu âäư so sạnh tè säú nẹn 58I.3. Nháûn xẹt vãư tè säú nẹn 58 II. SO SẠNH TÄÚC ÂÄÜ NẸN 58II.1. Bng so sạnh täúc âäü nẹn .58II.2. Biãøu âäư so sạnh täúc âäü nẹn 59II.3. Nháûn xẹt vãư täúc âäü nẹn 59 IV. SO SẠNH TÄÚC ÂÄÜ GII NẸN .60IV.1. Bng so sạnh täúc âäü gii nẹn 60IV.2. Biãøu âäư so sạnh täúc âäü gii nẹn .60IV.3. Nháûn xẹt vãư täúc âäü gii nẹn .61 V. KÃÚT LÛN .61VII. KÃÚT LÛN .61Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 3CHỈ ÅNG 0I. GI ÏI THI ÃÛNga y nay, mạy tênh â th m nh ûp va o h u h t cạc lénh v ûcì á á ì áư ãú ỉ cu a â i s ng- x h üi. Nọi â n mạy tênh t ïc la nọi â n hai v ní å ì äú ä ãú ỉ ì ãú áú â l ïn : l u tr ỵ va x l th ng tin.ãư å ỉ ỉ ì ỉí äV ïi s û bu ng n th ng tin nh hi ûn nay, vi ûc l u tr ỵ va trao â iå ỉ ì äø ä ỉ ã ã ỉ ỉ ì äø th ng tin â va âang âàût ra nhi u v n â c n pha i gia i quy t, âọä ì ãư áú ãư áư í í ãú la la m sao â l u tr ỵ m üt cạch ti t ki ûm, hi ûu qua va trao â iì ì ãø ỉ ỉ ä ãú ã ã í ì äø th ng tin m üt cạch nhanh chọng nh t. M üt gia i phạp la tàng dungä ä áú ä í ì l üng cu a cạc thi t bë l u tr ỵ. Tuy nhi n, âi u na y âo i ho i cao vỉå í ãú ỉ ỉ ã ãư ì ì í ãư màût k thu ût ph n c ïng va chi phê khạ t n kẹm. Nh v ûy, gia iá áư ỉ ì äú ỉ á í phạp na y la kh ng kinh t . M üt gia i phạp khạc nhi u tri n vngì ì ä ãú ä í ãư ãø h n va mang tênh kha thi â â üc âàût ra, âọ la nẹn d ỵ li ûu. V û ì í ỉå ì ỉ ã á nẹn d ỵ li ûu la gç ?ỉ ã ìCọ th hi u m üt cạch n m na rà ng, nẹn d ỵ li ûu la quạ trçnhãø ãø ä ä ò ỉ ã ì la m gia m dung l üng l u tr ỵ cu a d ỵ li ûu ma v ùn ba o toa n â ücì í ỉå ỉ ỉ í ỉ ã ì á í ì ỉå n üi dung th ng tin tr ïc âọ.ä ä ỉåNh v ûy, vi ûc nẹn d ỵ li ûu s âem lải nhi u l üi êch thi t th ûc.ỉ á ã ỉ ã ãư å ãú ỉ ọ la :Â ì• Ti t ki ûm â üc kh ng gian l u tr ỵ.ãú ã ỉå ä ỉ ỉ• Tàng t c â ü va gia m chi phê truy n d ùn tr n mảng.äú ä ì í ãư á ã• Ba o m ût â üc th ng tin.í á ỉå äMàûc du dung l üng cu a cạc thi t bë l u tr ỵ nga y nay â tàngì ỉå í ãú ỉ ỉ ì â n t c â ü chọng màût, cọ th l n â n ha ng chủc Gigabytes, nh ngãú äú ä ãø ã ãú ì ỉ v ïi nh ỵng l üi êch nh â n u tr n, gia i phạp nẹn d ỵ li ûu tr ïc khiå ỉ å ỉ ã ã í ỉ ã ỉå l u tr ỵ, cng nh truy n d ùn qua mảng la âi u khi n chụng t ỉ ỉ ãư á ì ãư ãú kh ng th kh ng xẹt â n.ä ãø ä ãúNọi chung, nẹn d ỵ li ûu la quạ trçnh bi n â i m üt lu ng cạcỉ ã ì ãú äø ä äư kê hi ûu tha nh m üt lu ng cạc m cọ kêch th ïc nho h n ban â u.ã ì ä äư ỉå í å áư Th ng th ng, m üt quạ trçnh nẹn â üc ti n ha nh qua hai giai âoản:ä ỉåì ä ỉå ãú ì (1) M hçnh họa, la giai âoản ti n âoạn v t n su t xu t hi ûn cu ậ ì ã ãư áư áú áú ã í cạc kê t û va / hồûc chu ùi kê t û cu a vàn ba n c n nẹn. (2) Mỉ ì ä ỉ í í áư họa, la giai âoản d ûa tr n m hçnh v ïi t n su t v a â üc xạc âënhì ỉ ã ä å áư áú ỉì ỉå â tảo ra t m t ng ïng.ãø ỉì ỉå ỉCu ng v ïi s û phạt tri n mảnh m cu a l thuy t th ng tin, cọì å ỉ ãø í ãú ä khạ nhi u ph ng phạp m họa va m hçnh họa â ra â i. Trongãư ỉå ì ä å ì cạc ph ng phạp m họa, âạng chụ nh t la m họa Huffmanỉå áú ì va m họa s hc. Ph ng phạp m họa Huffman â üc D.A Huffmanì äú ỉå ỉå Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 4c ng b va o nàm 1952. Ph ng phạp m họa na y â n gia n, d ù x äú ì ỉå ì å í ã á d ûng va cho th i gian m họa ngà n. Ph ng phạp m họa s hcỉ ì åì õ ỉå äú ra â i va o cu i nh ỵng nàm 70. Ph ng phạp na y h ïng â n vi ûcå ì ì äú ỉ ỉå ì ỉå ãú ã t i u â ü da i t m n n t ng â i ph ïc tảp h n va vç v ûy th iäú ỉ ä ì ỉì ã ỉå äú ỉ å ì á åì gian m họa ch ûm h n.á åK thu ût nẹn x l t ng kê t û m üt cu a lu ng kê hi ûu â ỉí ỉì ỉ ä í äư ã áư va o â üc gi la nẹn v ïi m hçnh th ng k (Statistical model). Ng ücì ỉå ì å ä äú ã ỉå lải, k thu ût nẹn xem xẹt m ùi lục m üt chu ùi cạc kê t û t lu ngá ä ä ä ỉ ỉì äư nh ûp gi la nẹn v ïi m hçnh t âi n (Dictionary-based model).á ì å ä ỉì ãøDo âàûc thu cu a m hçnh t âi n va th ûc t cng cho th y,ì í ä ỉì ãø ì ỉ ãú áú v ïi cu ng m üt ph ng phạp m họa thç vi ûc ạp dủng m hçnh tå ì ä ỉå ã ä ỉì âi n s cho hi ûu qua nẹn cao h n nhi u so v ïi m hçnh th ng k .ãø ã í å ãư å ä äú ã H u h t cạc ch ng trçnh nẹn th ng mải hi ûn ha nh â u s dủngáư ãú ỉå ỉå ã ì ãư ỉí m hçnh t âi n ma âi n hçnh la cạc ch ng trçnh nẹn n i ti ngä ỉì ãø ì ãø ì ỉå äø ãú nh NCZip, PKZip va WinZip.ỉ ìTrong m üt th i gian ngà n, vi ûc nghi n c ïu t t ca cạc k thu ûtä åì õ ã ã ỉ áú í á nẹn d ỵ li ûu la âi u kh ng kha thi, do v ûy, trong cu n lu ûn vàn t tỉ ã ì ãư ä í á äú á äú nghi ûp na y, tạc gia chè âi s u nghi n c ïu v ph ng phạp nẹn d ỵã ì í á ã ỉ ãư ỉå ỉ li ûu kh ng t n hao d ûa tr n k thu ût m họa Huffman (chu y u lẫ ä äø ỉ ã á í ãú ì m Huffman â üng) va m hçnh t âi n.ä ì ä ỉì ãøDo nàng l ûc ba n th n va th i gian cọ hản n n ạn co n khạỉ í á ì åì ã Âäư ì nhi u thi u sọt. Xin nh ûn â üc nh ỵng l i ph bçnh, gọp quãư ãú á ỉå ỉ åì ã bạu cu a cạc th y c va bản âc â â ta i cọ th hoa n thi ûní áư ä ì ãø ãư ì ãø ì ã h n trong t ng lai.å ỉåCá ú u trục  ä ư ạn ạn bao g m 6 ch ng va ch ng trçnh Demo tr n âéa. N üi dung nhÂäư äư ỉå ì ỉå ã ä ỉ sau :Ch ỉ å n g 0 : Gi ïi thi ûu â ta i, vai tro va nghéa cu a nọ.å ã ãư ì ì ì íCh ỉ å n g I : Trçnh ba y t ng quan v l thuy t nẹn va gia i nẹnì äø ãư ãú ì í d ỵ li ûu, la m n n ta ng cho vi ûc gia i quy t v n â â âàût ra trongỉ ã ì ãư í ã í ãú áú ãư ạn.ÂäưCh ỉ å n g II : Trçnh ba y ph ng phạp nẹn d ỵ li ûu ạp dủng kì ỉå ỉ ã thu ût m họa Huffman d ûa tr n m hçnh th ng k .á ỉ ã ä äú ãCh ỉ å n g III: Tçm hi u m üt s ph ng phạp nẹn d ûa tr n m hçnhãø ä äú ỉå ỉ ã ä t âi n.ỉì ãøCh ỉ å n g IV : i s u nghi n c ïu ph ng phạp nẹn d ỵ li ûu ạp dủng á ã ỉ ỉå ỉ ã k thu ût m họa Huffman â üng, d ûa tr n m hçnh t âi n thêchá ä ỉ ã ä ỉì ãø ïng, la m n n ta ng cho vi ûc phạt tri n ch ng trçnh.ỉ ì ãư í ã ãø ỉåCh ỉ å n g V : Trçnh ba y k t qua th ûc nghi ûm ki m tra tênh âụngì ãú í ỉ ã ãø âà n, chênh xạc cu a ch ng trçnh va so sạnh v ïi m üt s ch ngõ í ỉå ì å ä äú ỉå Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 5trçnh th ng mải cọ cu ng ch ïc nàng. Tr n c s âọ, âạnh giạ å ì ỉ ã å åí ỉ âi m va hản ch cu a ph ng phạp nẹn â üc s dủng. ãø ì ãú í ỉå ỉå ỉíCh ỉ å n g VI : K t lu ûn, âạnh giạ nh ỵng gç â la m â üc, nh ỵngãú á ỉ ì ỉå ỉ gç ch a âảt â üc va n u h ïng phạt tri n cu a â ta i.ỉ ỉå ì ã ỉå ãø í ãư ìTr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 6CHỈ ÅNG III.L THUY T T ØNG QUAN V Ư NẸN DỈỴ LI Ú Ä Ã ÃÛ.IKHẠI NIà ÛM V ÃƯ NẸN DỈỴ LIà ÛUNẹn d ỵ li ûu la quạ trçnh la m gia m s li ûu c n thi t mỉ ã ì ì í äú ã áư ãú v ùn ba o toa n â üc n üi dung th ng tin. S li ûu va th ng tin la kh ngá í ì ỉå ä ä äú ã ì ä ì ä â ng nh t v ïi nhau. S li ûu chè la ph ng ti ûn â chuy n ta iäư áú å äú ã ì ỉå ã ãø ãø í th ng tin. V ïi cu ng m üt n üi dung th ng tin, ta cọ th bi u di ùnä å ì ä ä ä ãø ãø ã bà ng cạc d ỵ li ûu khạc nhau.ò ỉ ãCạc k thu ût nẹn d ỵ li ûu, th ng th ng, d ûa va o m üt trongá ỉ ã ä ỉåì ỉ ì ä cạc âàûc tr ng sau:ỉ•Tênh h ỉỵu ha û n ca t á û p k ê hiã û u .•Táưn su á ú t xu á ú t hi ã û n t ỉ å n g â ä ú i ca cạc k ê hiã û u .•Ng ỉỵ cnh xu á ú t hiã û n ca cạc k ê hiã û u .Nẹn d ỵ li ûu li n quan â n khại ni ûm th ng tin trong l thuy tỉ ã ã ãú ã ä ãú th ng tin. L üng tin co n gi la ä ỉå ì ìEntropy. L üng tin cu a m üt kê hi ûå í ä ã â üc tênh bà ng (-logỉå ò2P) v ïi â n vë la bit, trong âọ P la xạc su tå å ì ì áú xu t hi ûn cu a kê hi ûu âọ. L üng tin cu a toa n b ü ngu n s li ûú ã í ã ỉå í ì ä äư äú ã â üc tênh bà ng t ng l üng tin cu a cạc kê hi ûu tha nh ph n.ỉå ò äø ỉå í ã ì áưL üng tin trung bçnh th ng k tr n m üt kê hi ûu â üc gi lå äú ã ã ä ã ỉå ì Entropy cu a ngu n s li ûu. í äư äú ãEntropy cu a m üt ngu n s li ûu ca ng ca ä äư äú ã ì thç l üng th ng tin ch ïa â ûng trong nọ ca ng nhi u. ỉå ä ỉ ỉ ì ãư Shannon l ng i â u ti n ch ïng minh â üc s û t n tải m üt gi ïi hản nẹn chåì áư ã ỉ ỉå ỉ äư ä å m ùi vàn ba n. Gi ïi hản y chênh la l üng tin cu a vàn ba n.ä í å áú ì ỉå í íNhçn chung, quạ trçnh nẹn va gia i nẹn d ỵ li ûu cọ th â ücì í ỉ ã ãø ỉå m ta tọm tà t theo s â sau:ä í õ å äư Hçnh 1. Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ ÄQuạ trçnh nẹ nQuạ trçnh gia i nẹ níD ỵ li ûu ỉ ãg c ä úD ỵ li ûu ỉ ãnẹ n Så â ä ư c hỉ ï c nà ng c a quạ trç nh ne ï n dỉ ỵ liã û u K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 7.IIMÄ ÜT S Ä Ú KHẠI NIà ÛM C Å BNII.1. Tè lã û nẹn (compression ratio)Tè l û nẹn la m üt trong nh ỵng th ng s quan trng nh t cu ẫ ì ä ỉ ä äú áú í mi ph ng phạp nẹn. Cọ nhi u cạch khạc nhau â âënh nghéa tèỉå ãư ãø l û nẹn. Th ng th ng, ng i ta âënh nghéa tè l û nẹn nh sau:ã ä ỉåì ỉåì ã ỉTuy nhi n, c n pha i th y rà ng, tè l û nẹn cao ch a pha i la t tã áư í áú ò ã ỉ í ì áú ca â âạnh giạ hi ûu qua cu a m üt ph ng phạp nẹn. B i vç co ní ãø ã í í ä ỉå åí ì cọ cạc y u t khạc nh : chi phê v th i gian, kh ng gian va ca â üãú äú ỉ ãư åì ä ì í ä ph ïc tảp tênh toạn.ỉII.2.  ä ü d ỉ th ỉìa s ä ú liã û uNguy n tà c chung cu a cạc ph ng phạp nẹn d ỵ li ûu la loải bỗ õ í ỉå ỉ ã ì í cạc th ng tin tru ng làûp, cạc d ỵ li ûu d th a â n m ïc t i thi u cọä ì ỉ ã ỉ ỉì ãú ỉ äú ãø th â üc. Vi ûc xạc âënh ba n ch t cạc ki u d th a s li ûu r tãø ỉå ã í áú ãø ỉ ỉì äú ã áú cọ êch trong vi ûc x y d ûng cạc ph ng phạp nẹn phu h üp. Nhçnã á ỉ ỉå ì å chung, cọ b n ki u d th a chênh trong d ỵ li ûu :äú ãø ỉ ỉì ỉ ã.a Sỉ û là û p lải ca nh ỉỵng kê tỉ ûTrong m üt ngu n d ỵ li ûu, nh t la cạc t ûp tin a nh, th ng cọä äư ỉ ã áú ì á í ỉåì nh ỵng kê t û va chu ùi kê t û làûp lải nhi u l n li n ti p nhau. Khiỉ ỉ ì ä ỉ ãư áư ã ãú âọ, ngu n d ỵ li ûu cọ th â üc m họa m üt cạch c âng h näư ỉ ã ãø ỉå ä ä å bà ng cạch thay th nh ỵng dy kê t û âọ bà ng m cu a chụng v ãú ỉ ỉ ò í ì s kê t û làûp lải. Ph ng phạp nẹn v ïi m hçnh t âi n khai thạcäú ỉ ỉå å ä ỉì ãø r t hi ûu qua loải d th a na y.áú ã í ỉ ỉì ì.b Sỉ û ph án b ä ú cạc kê tỉ ûXẹt m üt chu ùi kê t û, ta th ng th y cọ m üt s kê t û xu tä ä ỉ ỉåì áú ä äú ỉ áú hi ûn v ïi t n su t cao h n nh ỵng kê t û khạc . Nh v ûy, ta cọ thã å áư áú å ỉ ỉ ỉ á ãø gia m b ït l üng d ỵ li ûu bà ng cạch m họa nh ỵng kê t û xu tí å ỉå ỉ ã ò ỉ ỉ áú hi ûn th ng xuy n v ïi t m ngà n, nh ỵng kê t û êt xu t hi ûn sã ỉåì ã å ỉì õ ỉ ỉ áú ã â üc m họa bà ng nh ỵng t m da i h n.ỉå ò ỉ ỉì ì åKi u d th a na y âàûc bi ût phu h üp v ïi ph ng phạp m họẫø ỉ ỉì ì ã ì å å ỉå Huffman c  ä ü d ỉ th ỉìa vë trêCọ nhi u tr ng h üp, d ỵ li ûu trong m üt ngu n s li ûu cọ s ûãư ỉåì å ỉ ã ä äư äú ã ỉ phủ thu üc l ùn nhau, do âọ, n u bi t â üc kê hi ûu xu t hi ûn tảiä á ãú ãú ỉå ã áú ã m üt vë trê na o âọ, ta cọ th pho ng âoạn tr ïc m üt cạch h üp lä ì ãø í ỉå ä å s û xu t hi ûn cu a cạc kê hi ûu khạc nh ỵng vë trê khạc nhau. Vêỉ áú ã í ã åí ỉ dủ, a nh bi u di ùn trong m üt l ïi hai chi u, m üt s âi m ha ngí ãø ã ä ỉå ãư ä äú ãø åí ì dc lải xu t hi ûn trong cu ng vë trê cạc ha ng khạc nhau. Nh v ûy,áú ã ì åí ì ỉ á thay vç l u tr ỵ d ỵ li ûu ta chè l u lải vë trê ha ng va c üt. Ph ng phạpỉ ỉ ỉ ã ỉ ì ì ä ỉå Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä%) ngu nä ưli û d ỵỉ ckêch th ïỉå nẹ nkhi sau â ücỉå thuli û d ỵỉ ckêch th ïỉå-(= nẹ nl ûã Tè 1001x K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 8nẹn khai thạcki u d th a na y gi la ph ng phạp m họa d ûãø ỉ ỉì ì ì ỉå ỉ âoạn d Nhỉỵng má ù u s ỉí du û ng m á û t â ä ü caoTh ng th ng, trong cạc vàn ba n dảng text, s û tu n t û cu ậ ỉåì í ỉ áư ỉ í nh ỵng kê t û ba o âo ï s tại xu t hi ûn v ïi t n su t t ng â i cao,ỉ ỉ ì áú ã å áư áú ỉå äú vç v ûy, cọ th bi u di ùn bà ng dy bit ngà n h n.á ãø ãø ã ò õ å âạnh giạ m üt thu ût toạn nẹn cọ hi ûu qua hay kh ng,Âãø ä á ã í ä ng i ta s d ûa va o cạch ma thu ût toạn x l cạc ki u d th åì ỉ ì ì á ỉí ãø ỉ ỉì nh tr n. Th ûc t cho th y rà ng, h u h t cạc k thu ût nẹn â ã ỉ ãú áú ò áư ãú á ãư kh ng âu m m de o â x l t t ca cạc ki u d th a. M ùi chi nä í ãư í ãø ỉí áú í ãø ỉ ỉì ä ãú l üc nẹn ạp dủng th ng chè c ïng nhà c cho t ng ki u s li ûå ỉåì ỉ õ ỉì ãø äú ã ma th i.ì äü d th a s li ûu cọ th âënh l üng bà ng toạn hc. V ïiÂä ỉ ỉì äú ã ãø ỉå ò å L1,L2 la hai l üng s li ûu cu ng â üc du ng â bi u di ùn m üt l üngì ỉå äú ã ì ỉå ì ãø ãø ã ä ỉå tin cho tr ïc thç â ü d s li ûu t ng â i Rỉå ä ỉ äú ã ỉå äúD cu a t ûp s li ûu th ïí á äú ã ỉ nh t so v ïi t ûp s li ûu th ï hai la :áú å á äú ã ỉ ìTrong âọ L1/L2 â üc gi la tè l û nẹn.ỉå ì ãII.3.  ä ü di trung bçnh tỉì mGiạ trë trung bçnh th ng k cu a t t ca cạc t m trong m ütäú ã í áú í ỉì ä b ü m â üc gi la ä ỉå ìâ ä ü di trung bçnh ca m ä ü t t ỉì m. C.E Shannon â chè ra rà ng: “ò ä ü di trung bçnh ca m ä ü t tỉì m kh än g bao gi åì nh hån entropy ca ngu ä ưn s ä ú liã û u â ỉ å ü c m họa”. Do âọ, m üt b ü m t i ä äú ỉ (cho hi ûu su t nẹn cao) la b ü m cọ â ü da i trung bçnh cu a t mã áú ì ä ä ì í ỉì ti n g n â n ãú áư ãúEntropy cu a ngu n s li ûu.í äư äú ãII.4. Nẹn tä ø n hao v nẹn khäng tä ø n haoCọ nhi u cạch â ph n loải cạc ph ng phạp nẹn. Cạch ph nãư ãø á ỉå á loải d ûa va o nguy n l nẹn chia cạc ph ng phạp nẹn tha nh hai hỉ ì ã ỉå ì chênh :a. Nẹn tä ø n hao (lossy compression)Nẹn tä ø n hao co n gi la nẹn cọ m t mạt th ng tin. K thu ûtì ì áú ä á nẹn na y ch p nh ûn m t mạt m üt l üng th ng tin nh t âënh â th áú á áú ä ỉå ä áú ãø â üc hi ûu su t nẹn cao h n, do v ûy, sau khi gia i nẹn, ta s kh ng thå ã áú å á í ä â üc d ỵ li ûu g c. ỉå ỉ ã äúNẹn tä ø n hao th ng â üc ạp dủng cho cạc t ûp tin hçnh a nh haåì ỉå á í m thanh â üc s họa. B i vç â i v ïi cạc t ûp tin thu üc loải na ỉå äú åí äú å á ä ì thç vi ûc m t mạt m üt êt th ng tin la âi u cọ th ch p nh ûn â üc.ã áú ä ä ì ãư ãø áú á ỉåTr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä2111LL-=RD K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 9b. Nẹn kh äng tä ø n hao (lossless compression)Nẹn kh än g tä ø n hao co n gi la ì ìnẹn ch ê n h xạc hay nẹn kh ä ng m á ú t th ä ng tin. y la ph ng phạp nẹn ma sau khi gia i nẹn ta thu â ücÂá ì ỉå ì í ỉå m üt ba n sao chênh xạc cu a d ỵ li ûu g c. Ph ng phạp nẹn na í í ỉ ã äú ỉå ì th ng â üc ạp dủng â i v ïi cạc ngu n s li ûu ma n üi dungỉåì ỉå äú å äư äú ã ì ä th ng tin c n â üc ba o toa n nh cạc vàn ba n dảng text, cạc ba ngä áư ỉå í ì ỉ í í tênh hay la c s d ỵ li ûu, .ì å åí ỉ ãDảng nẹn ma ta nghi n c ïu trong â ạn na y la dảng ì ã ỉ äư ì ìnẹn kh äng t ä ø n hao.II.5. Nẹn s ä ú liã û u = Mä hçnh họa + M họa [2]Nọi chung, nẹn s li ûu la chuy n â i m üt lu ng cạc kê hi ûú ã ì ãø äø ä äư ã tha nh m üt lu ng cạc t m t ng ïng. N u hi ûu ïng nẹn xa y r ä äư ỉì ỉå ỉ ãú ã ỉ í thç lu ng cạc t m s nho h n lu ng cạc kê hi ûu ban â u. Vi ûcäư ỉì í å äư ã áư ã quy t âënh â a ra m üt t m nh t âënh cho m ùi kê hi ûu hồûc m ütãú ỉ ä ỉì áú ä ã ä t ûp kê hi ûu d ûa tr n m üt á ã ỉ ã äm ä hçnh. Mä hçnh chà ng qua chè la ó ìm ä ü t tá û p h å ü p s ä ú liã û u v cạ c nguy ãn tà õ c â ỉ å ü c s ỉ í du û ng â ã ø x ỉí l cạc k ê hi ã û u t ỉì lưng nh á û p v xu á ú t ra cạc t ỉì m. Mä hçnh cọ nhi ûm vủ xạc âënh xạcã su t xu t hi ûn cu a t ng kê t û va /hồûc chu ùi kê t û va b ü ph ûnáú áú ã í ỉì ỉ ì ä ỉ ì ä á m họa s tảo ra cạc t m d ûa tr n cạc xạc su t âọ.ỉì ỉ ã áúMä hçnh họa va ìm họa la hai khại ni ûm hoa n toa n tạch bi ûtì ã ì ì ã nhau. Th nh ng, chụng ta v ùn hay du ng thu ût ng ỵ “m họa” âãú ỉ á ì á ỉ ãø nọi â n ca quạ trçnh nẹn s li ûu, màûc du , th ûc ch t âọ chè m ïiãú í äú ã ì ỉ áú å la m üt giai âoản cu a quạ trçnh âọ. Vê dủ, chụng ta v ùn hay du ngì ä í á ì cạc thu ût ng ỵ “á ỉm họa Huffman”, “m họa s ä ú ho ü c” â nọi â n cạcãø ãú k thu ût nẹn s li ûu, trong khi âọ chè la cạc ph ng phạp má äú ã ì ỉå họa â üc s dủng cu ng v ïi m üt m hçnh na o âọ â nẹn sỉå ỉí ì å ä ä ì ãø äú li ûu.ãCọ r t nhi u cạch â m hçnh họa ngu n s li ûu lải cọ tháú ãư ãø ä äư äú ã ãø cu ng s dủng m üt ph ng phạp m họa â tảo ra cạc t m. Vêì ỉí ä ỉå ãø ỉì dủ, chụng ta cọ th du ng ph ng phạp m họa Huffman cho ca haiãø ì ỉå í m hçnh th ng k va m hçnh t âi n â nẹn s li ûu.ä äú ã ì ä ỉì ãø ãø äú ãV ïi ph ng phạp m họa Huffman, ta th y m üt quạ trçnh nẹnå ỉå áú ä s li ûu â y âu â üc bi u di ùn nh sau :äú ã áư í ỉå ãø ã ỉ Hçnh 2.Tr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ ÄCạ c xạ c su tá ú Lu ng ä ưnh ûpáM ähçnhM hoạLu ng ä ưraCạ c k hi ûCạ c t ỉìm Mä hç nh thä ú ng kã vå ï i m họ a Huffman K thu ût m họa Huffman v ïi m hçnh t âi ná å ä ỉì ãø 10.IIIL THU ÚT V ÃƯ M HỌA [7]Nh â nọi, nẹn s li ûu la quạ trçnh bi n â i m üt lu ng cạcỉ äú ã ì ãú äø ä äư t m tha nh m üt lu ng cạc t m. Quạ trçnh gia i nẹn s x lỉì ì ä äư ỉì í ỉí lu ng cạc t m âọ â kh i phủc lải ngu n s li ûu ban â u. Nhäư ỉì ãø ä äư äú ã áư ỉ v ûy, vi ûc tçm hi u v m nẹn d ỵ li ûu la âi u c n thi t.á ã ãø ãư ỉ ã ì ãư áư ãúIII.1.  ë n h ngh éa m họa M họa ngu n tin äư X theo b ü m ä M la phẹp ạnh xả 1:1 bi nì ãú â i m üt tin xäø äi ∈ X tha nh m üt t h üp cạc kê hi ûu cu a b ü m ì ä äø å ã í ä M.Ngu n äư X = {x1, x2, ,xn}B ü m ä M = {m1, m2, ,mk}V ïi k la c s cu a b ü må ì å äú í äVê dủ, v ïi m nhë ph n k = 2.å áN u tin xãúi â üc m họa tha nh mỉå ìr1, mr2, ,mrl (l la s kê hi ûu cu äú ã í b ü m du ng â bi u di ùn xä ì ãø ãø ãi va l cng la â ü da i t m).ì ì ä ì ỉìVê du ûX = {x1, x2, ,x4}B ü m nhë ph n ä á M = {0, 1}M họa x1 = 00, x2 = 01, x3 = 10, x4 = 11III.2. Mäüt s ä ú khại niã û m c å bn.a Chi ãưu di tỉì mChi u da i t m la s kê hi ûu cu a b ü m du ng â mãư ì ỉì ì äú ã í ä ì ãø họa cho t m âọ.ỉì.b Tro üng lỉ å ü n g tỉì mTrng l üng t m la t ng s cạc kê hi ûu khạc 0 cu a tỉå ỉì ì äø äú ã í ỉì mVê du û: T m 1011010 cọ trng l üng la 4.ỉì ỉå ì.c Khong cạch mKhoa ng cạch m íd la s kê hi ûu khạc nhau tênh theo vë trêì äú ã t ng ïng cu a hai t m cọ chi u da i bà ng nhau ỉå ỉ í ỉì ãư ì òW1, W2.d(W1, W2) = w(W1 ⊕ W2), v ïi å ⊕ la phẹp c üng modul-2.ì äKhoa ng cạch cu a m üt b ü m la khoa ng cạch m nho nh tí í ä ä ì í í áú cu a hai t m b t ky trong b ü m âọ.í ỉì áú ì äIII.3. Phán loa ûi mD ûa va o cạc âàûc âi m cu a m, ng i ta ph n m ra tha nhỉ ì ãø í ỉå ì á ì nhi u loải khạc nhau. Sau â y la m üt s cạch ph n loải âi n hçnh:ãư á ì ä äú á ãø•Ph án loa ûi theo chiãưu di t ỉì mM cọ chi u da i kh ng â i.ãư ì ä äøTr áưn Quang Minh KHOA C NG NGH TH NG TINÄ ÃÛ Ä [...]... i nhiãưu loải m Huffman khạc nhau nhỉ : m Huffman s ỉ í a â ä ø i (Modified Huffman code s), m Huffman cu û t (Truncated Huffman code s), m Huffman th ê c h ỉ ï n g (Adaptive Huffman code s) va ì m d ë c h Huffman (Shift Huffman code s) M Huffman âỉåüc D .Huffman âỉa ra chênh la ì m Huffman ténh I.1 M Huffman t é n h a C åí s å í ne ï n s ä ú li ã û u ca ph ỉ å n g pha ï p m ho ïa Huffman t é n h Phỉång... NGHÃÛTHÄNG TIN K thût m họa Huffman vå ïi mä hçnh tỉì âi ãø n 24 III.PHỈ ÅNG PHẠP M HỌA HUFFMAN V ÅÏI M Ä HÇNH TH ÄÚNG K à I PHỈ Å N G PH M Ỵ ẠP A HỌAH FF A U M N Phỉång phạp m họa Huffman âỉåüc D.A uffman âỉa ra va ì o nàm H 1952 Phỉång phạp m họa na ì y â khåí i â áư u cho sỉû phạt triãøn cu í a cạc k thût nẹn s äú liãûu dỉûa trãn mä hçnh thäúng kã Tỉì âo ï â ãú n nay, k thût m họa Huffman â cọ nhiãưu ca... ì i bi ãún â äø i .b Ph ỉ å n g phạ p ta û o m Huffman t é n h Dỉûa va ì o ba í ng thäúng kã t áư n sút, chụng ta âi x áy dỉûng mäüt cáy khäng c án bà òng (c áy cọ mäüt säú nhạnh khäng da ì i bà ò ng nhau) Mỉ ïc â äü khäng c án bà òng cu í a cáy phủ thüc va ì o táư n sút xút hiãûn cu í a cạc kê tỉû Mäüt cáy nhỉ v áûy âỉåüc gi la ì cáy m Huffman Cáy m Huffman la ì mäüt cáy nhë phán cọ cạc nhạnh âỉåüc... TIN K thût m họa Huffman vå ïi mä hçnh tỉì âi ãø n 25 Trong quạ trçnh duût, cạc bêt cu í a tỉì m âỉåüc têch ly dáư n theo giạ trë ỉ ïng v å ïi cạc nhạnh pha í i âi qua V ê du û : Cáy m Huffman m họa cho chùi “ B R A I la ì : A B DA ” Nụ t g ä úc 1 0 Nụ t A lạ 0 Nụ t lạ B Nụ t 1 nhạ nh Nụ t 1 nhạ nh 0 Nụ t R lạ Nụ t lạ 0 I Nụ t 1 nhạ nh D Nụ t lạ Hçnh 8 Mä ü t v ê du û v ã ư c á y m Huffman Kê tỉû A... • Mä ü t s ä ú t ê n h ch á ú t ca c á y m Huffman T ê n h ch á ú t 1 Ch è co ï m ä ü t con â ỉ å ì n g duy nh á ú t â i t ỉ ì nụ t g ä ú c â ã ú n nụ t lạ ca c á y m Huffman T ê n h ch á ú t 2  ä ü di ca th ä n g â i ã û p â ỉ å ü c m ho ïa b à ò n g v å ï i â ä ü â ỉ å ì n g d á ù n ngoa û i â ỉ å ü c l á ú y tro ü n g (weighted external path) ca c á y Huffman mä üt di m “  ä ü di â ỉ å ì n g... Xỉí l tỉång tỉû cho hai nụt “tỉû do” cúi cu ì ng”, va ì ta s cọ c áy m Huffman m họa cho chùi trãn la ì : 0 0 0 4 0 2 1 0 1 A 0 1 M 1 0 0 1 1 0 0 2 0 1 T 0 1 0 6 0 1 0 2 R E 1 0 4 S Tỉì cáy m, ta nháûn âỉåüc tỉì m cho mäùi kê tỉû trong chùi: Kê tỉû S E A Tr á ư n Quang Minh M Huffman 11 10 000 KHOA CÄNG NGHÃÛTHÄNG TIN K thût m họa Huffman vå ïi mä hçnh tỉì âi ãø n 29 M T R 001 010 011 Va ì chùi bit m... 1 1 A 0 1 M 1 1 0 1 T R E S Nhỉ v áûy, ta cọ mäüt hçnh dạng khạc cu í a c áy m Huffman m họa chùi trãn: 0 6 0 0 0 0 4 0 2 1 0 1 A 0 1 M 0 1 0 1 1 1 0 0 2 0 1 T 1 0 1 R 0 2 E Va ì cạc tỉì m ỉ ïng v å ïi c áy trãn la ì : Kê tỉû S E A M Tr á ư n Quang Minh 0 4 S M Huffman 1 01 0000 0001 KHOA CÄNG NGHÃÛTHÄNG TIN K thût m họa Huffman vå ïi mä hçnh tỉì âi ãø n 30 T R 0010 0011 Chùi bit m trong trỉåì ng håüp... í i m xỉí l tưn tỉû tỉì ng bit mäüt cu í a lưng tỉì m Thu á û t toạ n gii m ngu ä ư n tin â â ỉ å ü c m ho ïa b à ò n g c á y Huffman : Vo : i Cáy m Huffman ii Lưng tỉì m Ra: Ngư n tin trỉå ïc khi âỉåüc m họa Bỉ å ï c 1 Khåí i tảo con tro í p tro í â ãún g äú c cu í a cáy Huffman sau: Bỉ å ï c 2 Trong khi chỉa kãút thục lưng tỉì m, làûp lải cạc bỉå ïc a Âàût b la ì bit ti ãúp theo trong lưng tỉì m... ï tro ü n g l ỉ å ü n g t ỉ å n g ỉ ï n g gi ä ú n g nhau å í ca ï c nụ t lạ thç c á y Huffman co ï â ä ü di â ỉ å ì n g d á ù n ngoa û i â ỉ å ü c l á ú y tro ü n g ng à õ n nh á ú t Báút cỉ ï mäüt cáy na ì o cng cọ thãø âỉåüc cáúu trục lải bå í i cu ì ng mäüt ti ãún trçnh ma ì ta â du ì ng â ãø x á y dỉûng cáy Huffman, nhỉng khäng nháút thiãút pha í i chn ra hai nụt cọ trng lỉåüng nho í nháút å í... qui nảp la ì khäng cọ chiãún lỉåüc na ì o t äúi ỉu hån chiãún lỉåüc nhàût ra hai nụt cọ trng lỉåüng nho í nháút â áư u ti ãn T ê n h ch á ú t 4 C á y m Huffman co ï t ê n h ch á ú t Sibling Tr á ư n Quang Minh KHOA CÄNG NGHÃÛTHÄNG TIN K thût m họa Huffman vå ïi mä hçnh tỉì âi ãø n 27 Mäüt cáy nhë phán ma ì mäùi nụt âỉåüc gạn cho mäüt trng lỉåüng âỉåüc gi la ì cọ tênh cháút Sibling nãúu khi chụng ta . họa, âạng chụ nh t la m họa Huffman å áú ì va m họa s hc. Ph ng phạp m họa Huffman â üc D.A Huffman äú ỉå ỉå Tr áưn Quang Minh KHOA. phỉång phạp m họa Huffman ténh..............................................................................24.b Phỉång phạp tảo m Huffman ténh.......................................................................................................................24.c