Nén và xử lý dữ liệu

Sự ra đời của mạng đã thực hiện được ước mơ chinh phục khoảng cách giữa con người.

Luận văn tốt nghiệp Nén và xử lý dữ liệu Chương I PHẦN MỞ ĐẦU 1.1 - TẠI SAO PHẢI NÉN DỮ LIỆU 1.1.1 Khái niệm về dữ liệu Trong một bài toán, dữ liệu bao gồm một tập các phần tử cơ sở mà ta gọi là dữ liệu nguyên tử (atoms). Nó có thể là một chữ số, một ký tự . nhưng cũng có thể là một con số, hay một từ ., điều đó tuỳ thuộc vào từng bài toán. 1.1.2. Mục đích của việc nén dữ liệu Một trong những chức năng chính của máy tính là xử lý dữ liệu và lưu trữ. Bên cạnh việc xử lý nhanh, người ta còn quan tâm đến việc lưu trữ được nhiều dữ liệu nhưng lại tiết kiệm được vùng nhớ và giảm chi phí lưu trữ. Về mặt lý thuyết thì các thiết bị lưu trữ là không có giới hạn nhưng ngày nay do nhu cầu xử lý nhiều tập tin, nhiều loại dữ liệu trong cùng một tệp do vậy mà kích thước tệp trở nên khá lớn. Trong nhiều năm gần đây, mạng máy tính đã trở nên phổ biến trên thế giới. Sự ra đời của mạng đã thực hiện được ước mơ chinh phục khoảng cách giữa con người. Những lợi ích mà mạng cung cấp rất đa dạng và phong phú trên các lĩnh vực khác nhau của xã hội như cung cấp, trao đổi thông tin giữa các máy tính, giữa máy tính với server hoặc giữa các server với nhau. Điều này dẫn đến phải làm như thế nào để giảm thiểu thời gian, chi phí sử dụng để trao đổi dữ liệu trên mạng. Nó cũng đồng nghĩa với việc bên cạnh nâng cao chất lượng của các thiết bị truyền dữ liệu trên mạng thì mặt khác chúng ta phải nghĩ ra một phương pháp nào không để sao cho việc truyền dữ liệu có hiệu quả hơn. Tất cả những vấn đề trên nảy sinh ra khái niệm nén dữ liệu. Một trong những hình thức nén dữ liệu đầu tiên là hệ chữ Braille, là một hệ chữ dùng phương pháp mã hoá ký hiệu cho người mù có thể đọc và viết. Ngày nay, nén dữ liệu mang lại rất nhiều lợi ích khác nhau mà điển hình là : 1 Luận văn tốt nghiệp Nén và xử lý dữ liệu + Đối với việc tìm kiếm thì đơi khi ta tìm kiếm thơng tin trên dữ liệu nén lại nhanh hơn so với việc tìm kiếm thơng tin trên dữ liệu khơng nén vì do dữ liệu lưu trữ ít nên số phép tốn để tìm kiếm giảm và lượng thơng tin cao. + Nén dữ liệu đặc biệt hiệu quả với việc truyền dữ liệu trên mạng. Khi nén dữ liệu thì chi phí cho việc truyền dữ liệu trên mạng sẽ giảm mặt khác tốc độ đường truyền sẽ tăng lên bởi vì cùng một lượng thơng tin đó thời gian truyền dữ liệu sẽ giảm. Với những ưu điểm trên thì do đó, nén dữ liệu là giải pháp hợp lý nhất nhằm mục đích giảm chi phí cho người sử dụng. Tóm lại những lợi ích mà nén dữ liệu mang lại xoay quanh vấn đề tiết kiệm tối đa chi phí cho việc mua các thiết bị lưu trữ dữ liệu và cho việc ln chuyển thơng tin trên mạng. * Một số vấn đề gặp phải khi nén dữ liệu là : + Các thuật tốn thực hiện trước hết phải giảm chi phí lưu trữ. + Các thuật tốn được thực hiện nhanh, hiệu quả. Với nhiều loại thơng tin khác nhau mà ta có các kỹ thuật nén khác nhau, có hiệu quả khác nhau, ví dụ như nén tệp văn bản thường tiết kiệm 20% - 50%, còn đối với tập tin nhị phân khoảng 50% - 90% tuy nhiên đối với các tập tin ngẫu nhiên thì lượng khơng gian tiết kiệm được rất ít hoặc hầu như khơng tiết kiệm được (chẳng hạn như tệp *.exe, .). Do các dữ liệu có độ dư thừa khác nhau nên mỗi phương pháp nén nếu áp dụng đúng sẽ trở nên khơng cần thiết, khơng có độ linh hoạt. I.2- NÉN BẢO TỒN Đó là mơ hình nén dữ liệu mà nó cho phép người sử dụng bảo tồn thơng tin trong suốt q trình nén. Điều này được giải thích như sau: Giả sử ta có dữ liệu nguồn là D và dữ liệu nén là D'. Sau khi ta giải nén D' thì được tập D'' mà tập D'' hồn tồn giống với tập D ban đầu khi được giải nén. Thơng thường, kỹ thuật này được áp dụng với các loại dữ liệu như văn bản vì độ chính xác của văn bản. Nếu hiểu theo ngơn ngữ tốn học thì đó là một ánh xạ 1 - 1 từ 1 tập X -> Y mà ở đó mỗi phần tử Xi ∈ X tương ứng với một phần tử Yi ∈ Y. 2 Luận văn tốt nghiệp Nén và xử lý dữ liệu 1.3 - NÉN KHƠNG BẢO TỒN Trong kỹ thuật nén, bên cạnh nén bảo tồn thì người ta còn đưa ra khái niệm nén khơng bảo tồn. Nén khơng bảo tồn là mơ hình nén dữ liệu mà tính bảo tồn của dữ liệu khơng được coi trọng. Nó có nghĩa là nếu ta có tập dữ liệu D, tập nén D' thì sau khi giải nén ta thu được tập D'' khác tập D ban đầu. Kỹ thuật này thường áp dụng cho việc nén dữ liệu là các loại tệp ảnh vì nói chung nó cũng khơng ảnh hưởng gì nhiều đến hình dạng ảnh. Nếu biểu diễn bằng tốn học, chúng có mơ hình sau: F(x) → { y 1 , y 2 , .} 1.4 - Q TRÌNH NÉN VÀ GIẢI NÉN Q trình nén dữ liệu là một q trình gồm 2 cơng đoạn: 1) Cơng đoạn nén. 2) Cơng đoạn giải nén. Chúng ta có thể minh hoạ như sau: a) Cơng đoạn nén: Dữ liệu → Mã hố → Đóng gói → Dữ liệu nén. b) Cơng đoạn giải nén: Dữ liệu nén → Giải mã → Mã hố → Dữ liệu gốc. Hai cơng đoạn trên là 2 điển hình trái ngược nhau. Đối với tiến trình nén thì module mã hố thực hiện việc cắt văn bản nguồn thành các đoạn và gán cho chúng ký hiệu để xác định chúng. Ngược lại đối với tiến trình giải nén thì module giải mã sẽ dựa vào các mã mà module mã hố ở tiến trình nén sinh ra để tìm đoạn tương ứng. Q trình tìm đoạn tương ứng đó được thực hiện trên rất nhiều đoạn trong tiến trình nén, giải nén sinh ra. Tập hợp các đoạn đó chúng ta gọi là từ điển. 3 Luận văn tốt nghiệp Nén và xử lý dữ liệu Chương II NHỮNG KHÁI NIỆM VỀ MÔ HÌNH NGUỒN Khi nói đến nén dữ liệu thì tất cả chúng ta đều biết dữ liệu phải được sinh ra ở đâu hay nói nôm na là dữ liệu có nguồn nào đó. Trong nội dung chương này, chúng ta sẽ tìm hiểu một mô hình sinh ra dữ liệu và các đặc tính của chúng. 2.1 - ĐẶT VẤN ĐỀ Trong cuộc sống hàng ngày luôn luôn có sự giao tiếp gữa con người với các sự vật và sự kiện xung quanh chúng ta, các hoạt động này diễn ra với tần suất cao, các hoạt động đó được thể hiện chủ yếu qua các thông tin. Vậy các thông tin đó có từ đâu và cách thức sinh tin như thế nào ? Ví dụ : Trong cuộc sống thì tiếng nói hay văn bản đều được sinh ra từ một bảng chữ cái nào đó. Đối với Việt Nam thì bảng chữ cái đó là bảng chữ cái Tiếng Việt do cha cố Alexsander người Pháp nghĩ ra bao gồm : a á ả ạ à ã ắ . Như vậy thông tin được sinh ra từ một bảng chữ cái nào đó mà chúng ta có thể gọi là mô hình sinh tin. Ở đây bài toán mô hình hoá nguồn tin mà trong đó mô hình hoá ngôn ngữ tự nhiên là một mong muốn của các chuyên gia dịch máy tự động. Mô hình nguồn là một cơ chế sinh tin, còn luồng tin là dãy các sự kiện sinh ra từ mô hình nguồn. Dưới đây chúng ta có thể xét một vài loại mô hình mà theo đó có thể sinh ra tin. 2.2. MÔ HÌNH PHỤ THUỘC GẦN Nếu chúng ta đo nhiệt độ trong ngày theo một khoảng thời gian nhất định thì ta có một dãy các con số mà khi biết các giá trị liên tiếp thì có thể đoán được giá trị của nhiệt độ tức thời khá chính xác. Hay khi ta viết một 4 Luận văn tốt nghiệp Nén và xử lý dữ liệu cuốn truyện nào đó, nếu từ nào trong đoạn ta cảm thấy không thích thì ta có thể tìm một từ hay hơn thay thế và rõ ràng sự thay đổi này không làm ảnh hưởng đến nội dung cốt truyện mà nó chỉ ảnh hưởng tới một vài câu gần đó mà thôi. 2.3. MÔ HÌNH PHỤ THUỘC XA Một chương trình máy tính được viết bằng một ngôn ngữ lập trình nào đó là một ví dụ về phụ thuộc xa. Với ngôn ngữ Pascal câu lệnh đầu tiên "begin" và câu lệnh cuối "End" có mối liên quan trực tiếp đến nhau. 2.4. MÔ HÌNH PHÂN CẤP Để minh hoạ cho mô hình này, chúng ta có thể thấy trong các kinh bản của phim. Sự vận động của các nhân vật tuân thủ theo các quy luật về không gian, thời gian, tâm lý, nhân quả . là một khái niệm phụ thuộc gần theo kiểu nào đó và cũng chỉ là mục đích thể hiện 1 ý tưởng nào đó của tác giả. Ý tưởng của các lập trình viên cũng là một ví dụ về mô hình phân cấp. Định nghĩa mô hình nguồn. Một bảng mã M được gọi là mô hình nguồn nếu nó thoả mãn các điều kiện sau : + Nó phải là 1 hệ thống tín hiệu. + Phải tồn tại các quy tắc sinh tin. + Phải có quy tắc khởi đầu và kết thúc. Hay nói cách khác 1 mô hình nguồn là tập hợp của 4 thành phần sau < ∑, ∆, I, R > trong đó : ∑, ∆ ≠ Φ ; ∑, ∆ không giao nhau. + Tập ∑ được gọi là từ điển cơ bản, mỗi phần tử của nó là phần tử kết thúc. + Tập ∆ được gọi là từ điển hỗ trợ. + Ký hiệu I ∈ ∆ được gọi là ký hiệu ban đầu + R là tập các quy tắc sinh tin. Trong kỹ thuật nén dữ liệu nếu chúng ta biết được mô hình nguồn sinh tin thì chúng ta sẽ có được những thuật toán phù hợp dể đạt được hiệu quả 5 Luận văn tốt nghiệp Nén và xử lý dữ liệu nén cao. Mặt khác 1 văn bản có thể được sinh ra từ nhiều mô hình nguồn khác nhau, nếu không tìm được mô hình tốt thì hiệu quả nén sẽ cao vì hiệu quả nén phụ thuộc rất nhiều vào entropy của mô hình nguồn sinh tin đó. Tóm lại, để nén dữ liệu đạt hiệu quả cao thì bên cạnh việc khai thác tối đa độ dư thừa của dữ liệu, chúng ta còn cần phải tìm ra mô hình nguồn sinh ra và thông tin đó sao cho entropy của mô hình đó là nhỏ nhất có thể đạt được. 2.5 - MỘT SỐ MÔ HÌNH 2.5.1. Mô hình context Mô hình này dựa vào đặc trưng của ký tự tại thời điểm hiện tại được xác định thông qua một số nào đó của ký tự trước. Một đoạn như vậy được gọi là đoạn. * Định nghĩa mô hình context Mô hình context bao gồm 1 bảng chữ cái và 1 từ điển chứa 1 số hữu hạn các đoạn có tần suất xuất hiện riêng. Mỗi đoạn xác định xác suất hiệu ký tự tiếp theo đoạn. 2.5.2. Mô hình ngữ pháp Mô hình ngữ pháp là một mô hình sinh tin bằng một số hữu hạn các quy tắc nào đó. * Định nghĩa : Mô hình ngữ pháp là một tập hợp hữu hạn các ký tự và quy tắc để xây dựng thông tin, các quy tắc đó được sử dụng với tần suất nhất định. Mô hình ngữ pháp được áp dụng phổ biến trong các loại chương trình dịch hoặc ngôn ngữ lập trình như TP, TC . bởi vì các chương trình mà chúng ta viết để cho máy hiểu đều phải tuân theo một quy tắc nhất định nào đó tùy thuộc vào từng loại ngôn ngữ khác nhau. Ví dụ : trong ngôn ngữ Pascal : Program { tên chương trình } Uses { các unit sử dụng } Var { khai báo biến và thủ tục } 6 Luận văn tốt nghiệp Nén và xử lý dữ liệu Begin { chương trình chính } . End. { kết thúc chương trình } 2.5.3. Mô hình state : Do A.A.Markov (1856-1922) đưa ra. * Định nghĩa : Mô hình state là một đồ thị định hướng mà mỗi một cạnh có một nhãn và một trọng số là xác suất chuyển trạng thái đọc theo hướng đó, tổng các xác suất chuyển trạng thái để ra khỏi một đỉnh bất kỳ của đồ thị luôn luôn = 1. Ví dụ: a 0.5 a 0.2 a 0.2 b 0.3 d 0.3 c 0.5 a 0.2 c 0.8 Với mô hình trên, ta có thể có các chuỗi văn bản khác nhau như vậy với một chuỗi văn bản bất kỳ thì luồng thông tin sinh ra từ mô hình trên đó là một chu trình nào đó. Mô hình state được gọi là xác định nếu có một số nguyên B đủ lớn sao cho mọi dãy tên các cạnh do mô hình state sinh ra có độ dài lớn hơn B xác định duy nhất một dãy các đỉnh các cạnh mà nó đi qua. Như thế luồng tin đủ dài sẽ tương ứng với một chu trình nào đó đi qua dọc các đỉnh và các cạnh. Entropy của luồng tin khi đó được định nghĩa thông qua entropy của chu trình. Vậy entropy là gì ? Chúng ta tiếp tục xem xét khái niệm về entropy. Định nghĩa entropy: Entropy là độ khó trung bình để đoán nhận 1 thông tin trạng thái được sinh ra từ mô hình nguồn. Công thức tính entropy : 7 Luận văn tốt nghiệp Nén và xử lý dữ liệu - ∑ = n 1i i2i PlogP Cách tính : 1. Xác định số trạng thái. 2. Tìm ma trận xác suất chuyển trạng thái. 3. Tìm vector riêng 4. Tính entropy của mỗi trạng thái. 5. Tìm entropy nguồn bằng cách lấy tổng các tích xác suất xuất hiện của trạng thái với entropy của riêng nó. Ví dụ : Giả sử có mô hình sau : a = 30 b = 7 c = 12 c = 26 c = 26 d = 7 Bước 1 : Số trạng thái = 2 Bước 2 : Ma trận chuyển a 11 = 75 49 )719()12730( 12730 = ++++ ++ ; a 21 = )719()12730( 719 ++++ + = 75 26 a 12 = 26 26 = 1 ; a 22 = 0 8 Luận văn tốt nghiệp Nén và xử lý dữ liệu P =       =         075/26 175/49 aa aa 2221 1211 Bước 3: Giá trị riêng là No của phương trình. det             λ− λ− 0 75 26 1 75 49 = 0 Khai triển ra ta có phương trình sau : 0 75 26 75 49 2 =−λ−λ nghiệm là : λ 1 = 1 ; λ 2 = - 75 26 9 Luận văn tốt nghiệp Nén và xử lý dữ liệu Vì         =                 − 0 0 x x 075/26 175/49 2 1 trong đó X 1 và X 2 là xác suất xuất hiện của trạng thái 1 và 2 nên λ ≥ 0 do đó ta chọn λ = λ 1 =1. Giải hệ phương trình trên với λ = 1 do X 1 + X 2 = 1 => có No: X 1 = 100 75 ; X 2 = 101 26 Bước 4 : Tính entropy cả từng trạng thái. - Trạng thái 1 : E 1 = )2612730( 7 30 2612730 log )2612730( 30 2 +++ + +++ +++ 12 2671230 log 2612730 12 7 2612730 log 22 +++ +++ + +++ + 26 2612730 log 2612730 26 2 +++ +++ = 1.80096 - Trạng thái 2 : E 2 = 7 719 log 719 7 19 719 log 719 19 22 + + + + + = 0.84036 Bước 5 : E = X 1 E 1 + X 2 E 2 = 84036.0x 101 26 0096.1x 101 75 + = 1.55368 Kết luận : Vậy entropy của nguồn là : 1.55368 10 [...].. .Nén và xử lý dữ liệu Luận văn tốt nghiệp Chương III MỘT SỐ PHƯƠNG PHÁP VÀ KỸ THUẬT CƠ BẢN VỀ NÉN DỮ LIỆU MỘT SỐ KỸ THUẬT NÉN DỮ LIỆU 3.I ĐỊNH NGHĨA NÉN DỮ LIỆU Nén dữ liệu thực chất là một hình thức mã hoá dữ liệu để ghi lại dòng dữ liệu sao cho tốn ít bộ nhớ hơn mà lại cho phép chúng ta khôi phục lại dữ liệu ban đầu 3.2.MỘT SỐ LOẠI MÃ A- Mã ký hiệu: Định... thích ứng dựa vào thống kê của một số rất lớn các văn bản cùng loại và áp dụng cho văn bản mới Ưu điểm của phương pháp này là trình nén dãn chạy nhanh + Dựa vào mô hình nén giả định để chúng ta tính giá trị các trọng tải và tiến hành nén 3.3.1 Nén dữ liệu có mô hình nguồn Một trong những đặc điểm của việc nén dữ liệu này là cả người nén cùng biết nguồn sinh ra tin Những thuật toán nén dữ liệu đặc trưng... dữ liệu đặc trưng cho việc nén dữ liệu có mô hình nguồn này là: 19 Nén và xử lý dữ liệu Luận văn tốt nghiệp + Thuật toán Fano - Shannon + Thuật toán Huffman 3.3.2 Nén dữ liệu chưa có mô hình nguồn Một trong những ví dụ điển hình về nén chưa có mô hình nguồn là ngôn ngữ tự nhiên Chúng ta luôn rơi vào tình trạng có văn bản mà không có mô hình nguồn Để tìm ra một thuật toán nén tốt nhất thì chúng ta phải... phơng án từ điển tĩnh + Quá trình xây dựng từ điển đơn giản không mất nhiều thời gian và một phần nào đó nó làm cho thuật toán trở nên khá mềm dẻo + Nén bằng phương án từ điển động thì trực quan NHỮNG PHƯƠNG PHÁP CƠ BẢN VỀ NÉN DỮ LIỆU 26 Nén và xử lý dữ liệu Luận văn tốt nghiệp Có rất nhiều phương pháp về nén dữ liệu và dưới đây là một số phương pháp : 3.5 - PHƯƠNG PHÁP LOẠI TRỪ NHỮNG Ô TRỐNG Phương... quá trình nén nhanh + Từ điển không phụ thuộc vào kiểu dữ liệu + Thời gian thực hiện quá trình giải nén chậm 23 Nén và xử lý dữ liệu Luận văn tốt nghiệp Với từ điển động thì không những làm cho thuật toán nén đạt hiệu quả cao hơn, khắc phục được sự cứng nhắc của thuật toán nén, góp phần làm cho thuật toán trở nên mềm dẻo hơn Nhưng kích thước cảu từ điển tăng lên rất nhanh khi các tập tin đem nén mà độ... nhiều trong lĩnh vực như quản lý dữ liệu, quản lý dân sự, quản lý việc mua bán hàng hoá * Tính nguyên thuỷ của mã được xem xét như sau: Một trong những lĩnh vực sử dụng mã ký hiệu nhiều nhất là quản trị dữ liệu Dữ liệu là đặc tính của đối tượng quản lý và được chia ra làm 2 đặc tính sau: * Quản lý sự vật: Sự vật là các chủ thể mà chúng ta gọi nó là các thực thể * Quản lý sự việc : Sự việc các hoạt... hoá bằng 1 hay 9 bits tuỳ thuộc vào sự xuất hiện của nó là nhiều hay ít Trong phương pháp này, việc nén và gỡ nén phải tiến hành song song Mỗi modul sẽ có chung bảng mã ban đầu cho 1 byte truyền đi Nhưng chúng sẽ phụ thuộc vào tần số xuất hiện của ký tự và tuân theo qui tắc cải biến 18 Nén và xử lý dữ liệu Luận văn tốt nghiệp Với mục đích như vậy, phải lập mã cho mỗi byte và lưu trữ chúng trong một bảng... giá trị đầu tiên, sau đó nhập độ lệch so với giá trị kề trước 31 Nén và xử lý dữ liệu Luận văn tốt nghiệp Chương IV GIỚI THIỆU VỀ MỘT SỐ THUẬT TOÁN NÉN DỮ LIỆU Hiện nay có rất nhiều các thuật toán nén dữ liệu khác nhau mà mỗi thuật toán lại có những ưu, nhược điểm của nó Chúng ta phân loại chúng ra thành các nhóm sau: 4.1 THUẬT TOÁN NÉN CÓ MÔ HÌNH NGUỒN: + Thuật toán Fano - Shanon + Thuật toán Huffman,... dem = tr = byte = 0; End; Đọc ký tự tiếp theo; while eof (f) do begin if dem ≠ 0 then 29 Nén và xử lý dữ liệu Luận văn tốt nghiệp begin In byte; for : = 1 to tr do In ch[i] End; End; End; 3.7 - NÉN NỬA BYTE Phương pháp nén nửa byte dựa vào cấu trúc của các ký tự có trong tệp dữ liệu Phương pháp này được dùng để nén khi dãy ký tự có 4 bits đầu như nhau trong biểu diễn nhị phân Khi đó sẽ dùng một ký tự... tiếp theo Nhưng nếu chúng ta biết được xác 20 Nén và xử lý dữ liệu Luận văn tốt nghiệp suất xuất hiện của một chữ tiếp theo là gì thì trên thực tế chúng ta có thể biết được mô hình nén và sẽ có thuật toán để nén dữ liệu Tuy nhiên ở đây lại nảy sinh ra vấn đề là làm thế nào để dự đoán ký tự nào sẽ xuất hiện, xuất hiện ít hay xuất hiện nhiều nếu chúng ta chỉ dựa vào ký tự đã xuất hiện Xét ví dụ sau đây: . li u n y l cả người n n cùng biết ngu n sinh ra tin. Những thuật to n n n d li u đặc trưng cho việc n n d li u có mô hình ngu n này l : 19 Lu n. trị l 4. +V d : D y ngu n: ..SSOOOOONNNLLLLLLAAANNN.. D y nh n được sau khi n n: .... HH CS S O NNN CS 6L AAAN... Tuy nhi n phương pháp n y cũng có nhiều