Tìm hiểu và phát triển kỹ thuật truyền tin theo hướng biến đổi dữ liệu

i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG HOÀNG PHƯƠNG THẢO TÌM HIỂU VÀ PHÁT TRIỂN KỸ THUẬT TRUYỀN TIN THEO HƯỚNG BIẾN ĐỔI DỮ LIỆU LUẬN VĂN THẠC SỸ KHOA HỌC MÁY TÍNH THÁI NGUYÊN - 2016 ii ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG HOÀNG PHƯƠNG THẢO TÌM HIỂU VÀ PHÁT TRIỂN KỸ THUẬT TRUYỀN TIN THEO HƯỚNG BIẾN ĐỔI DỮ LIỆU CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ CHUYÊN NGÀNH: 60 48 01 01 LUẬN VĂN THẠC SỸ: KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC PGS TSKH NGUYỄN XUÂN HUY THÁI NGUYÊN - 2016 i LỜI CAM ĐOAN Tôi xin cam đoan kết nghiên cứu trình bày luận văn hoàn toàn mới, thân tự làm, hướng dẫn PGS.TSKH Nguyễn Xuân Huy Các số liệu kết nêu luận văn trung thực, có nguồn trích dẫn chưa tác giả khác công bố công trình khác Thái Nguyên, ngày 12 tháng năm 2016 HỌC VIÊN Hoàng Phương Thảo ii LỜI CẢM ƠN “ Người thầy lặng lẽ sớm trưa Từng ngày giọt mồ hôi rơi đầy trang giấy … Thầy đứng bên sân trường năm Dõi theo bước em đời Dẫu đếm hết trời đêm Dẫu đếm hết mùa thu rơi Nhưng ngàn năm, em đếm hết công ơn người thầy” Trích ca khúc “Người thầy” sáng tác Nguyễn Nhất Huy Em xin gửi lời cảm ơn sâu sắc tới thầy PGS.TSKH Nguyễn Xuân Huy Viện Công nghệ thông tin người dẫn dắt định hướng cho em tìm hiểu phát triển lĩnh vực biến đổi thông tin kỹ thuật truyền tin Thầy tận tình giúp đỡ, giảng giải cho em học để em nghiên cứu hoàn thành luận văn Em trân trọng gửi lời cảm ơn đến thầy cô nhà trường cung cấp kiến thức, tài liệu học tập, tài liệu tham khảo tạo điều kiện thuận lợi cho trình học tập, rèn luyện thân em Em xin cảm ơn Phòng, Ban, Khoa, đặc biệt Khoa sau đại học trường Đại học Công nghệ thông tin truyền thông Thái Nguyên hỗ trợ, hướng dẫn em suốt trình học tập, kể từ ngày đầu nhập học hôm Sau cùng, em xin gửi lời cảm ơn sâu sắc tới gia đình, Ban lãnh đạo trường Cao đẳng nghề Hòa Bình, bạn học lớp, bạn đồng nghiệp giúp đỡ vật chất, động viên tinh thần, dành thời gian cho em tham gia khóa học lo lắng, chia sẻ vui buồn với em quãng thời gian em học Thái Nguyên, ngày 12 tháng năm 2016 HỌC VIÊN Hoàng Phương Thảo iii MỤC LỤC LỜI CAM ĐOAN .i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT v DANH SÁCH CÁC BẢNG BIỂU vi DANH SÁCH CÁC HÌNH ẢNH viii MỞ ĐẦU 1 Lý chọn đề tài Nhiệm vụ nghiên cứu Hướng nghiên cứu đề tài Những nội dung nghiên cứu Phương pháp nghiên cứu Ý nghĩa khoa học đề tài CHƯƠNG 1: THÔNG TIN VÀ QUÁ TRÌNH TRUYỀN TIN 1.1 Tổng quan thông tin 1.1.1 Một số khái niệm thông tin 1.1.2 Lượng tin - đơn vị đo lượng tin 1.1.3 Sơ đồ tổng quát trình xử lý thông tin 1.1.4 Sự trùng lặp thông tin 1.2 Tìm hiểu số kỹ thuật biến đổi liệu 1.2.1 Kỹ thuật biến đổi Burrows-Wheeler 1.2.1.1 Tư tưởng 1.2.1.2 Thuật toán Burrows-Wheeler 1.2.2 Kỹ thuật biến đổi Move-To-Front 15 1.2.2.1 Tư tưởng 15 1.2.2.2 Thuật toán Move-To-Front 16 1.3 Mã hóa Entropy 18 1.3.1 Mã hóa Huffman 18 1.3.2 Mã hóa số học 20 iv 1.4 Mã hóa độ dài (RLE) 21 1.5 Khảo sát đặc thù truyền tin 22 1.5.1 Quá trình truyền tin 23 1.5.2 Truyền tin số 25 1.6 Kết luận 26 CHƯƠNG 2: TRUYỀN TIN KẾT HỢP VỚI KỸ THUẬT 27 BIẾN ĐỔI DỮ LIỆU 27 2.1 Các phương pháp biến đổi liệu 27 2.1.1 Phương pháp Entropy 27 2.1.2 Phương pháp biến đổi liệu Burrow-Wheeler 30 2.2 Mô hình truyền tin kết hợp với biến đổi liệu 37 2.3 Lợi ích kỹ thuật biến đổi liệu truyền tin 48 2.4 Một số phát triển với kỹ thuật biến đổi BWT MTF 49 2.4.1 Sự đảo ngược tần số 52 2.4.2 Phương pháp đếm trọng số (WFC) 53 2.4.3 Giai đoạn EC 54 2.4.4 Lược đồ biến đổi liệu 55 2.4.5 So sánh tỷ lệ thời gian thực 57 2.5 Kết luận 59 CHƯƠNG : CÀI ĐẶT VÀ THỬ NGHIỆM 60 3.1 Dữ liệu mẫu 60 3.2 Cài đặt thử nghiệm 61 3.3 Nhận xét đánh giá kết thử nghiệm 61 3.4 Kết luận hướng phát triển 68 3.4.1 Kết luận 68 3.4.2 Hướng phát triển đề tài 68 TÀI LIỆU THAM KHẢO 69 Tài liệu tiếng việt 69 Tài liệu tiếng anh 69 Các trang web 70 v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT Chữ viết tắt Diễn giải Ý nghĩa BWT Burrows - Wheeler Transform Biến đổi Burrows - Wheeler MTF Move - To - Front Biến đổi đưa lên trước SA Suffix Array Mảng hậu tố EC Entropy Coding Mã hóa Entropy DC Distance Coding Mã hóa khoảng cách WFC Weighted Frequency Count Đếm trọng số tần số LUA List Update Algorithm Thuật toán cập nhập danh sách GST Global Structure Transformation Chuyển đổi cấu trúc tổng thể RLE Run Length Encoding Mã hóa độ dài vi DANH SÁCH CÁC BẢNG BIỂU Số bảng Bảng 1.1 Tên bảng Thể thông tin dự báo thời tiết diễn Trang ngày tuần Bảng 1.2 Quá trình quay chuỗi “ABBAANDPANAMA” 10 Bảng 1.3 Kết xếp theo thứ tự từ điển dãy cho 13 “ABBAANDPANAMA” Bảng 1.4 Sắp xếp L F với số 13 Bảng 1.5 Giải mã khóa K 14 Bảng 1.6 Mô tả trình biến đổi MTF thuận 18 Bảng 1.7 Mô tả trình biến đổi MTF nghịch 19 Bảng 1.8 Mô tả thông tin với mã Huffman 20 Bảng 1.9 Mô tả trường hợp xuất ký hiệu nén 23 Bảng 2.1 Bảng tần xuất số lần xuất dãy số 27 Bảng 2.2 Bảng tần xuất số lần xuất tăng dần dãy số 27 Bảng 2.3 Mô tả thông tin Huffman 29 Bảng 2.4 Quá trình quay chuỗi BWT thuận 30-31 Bảng 2.5 Kết xếp theo thứ tự tăng dần bảng mã ASCII 31-32 Bảng 2.6 Gán số cho giá trị L giá trị F Bảng 2.7 Kết thực nghiệm MTF thuận 34-35 Bảng 2.8 Kết thực nghiệm MTF nghịch 35-36 Bảng 2.9 Kết thực nghiệm quy trình nén truyền 38 Bảng 2.10 Kết thực nghiệm quy trình biến đổi truyền 44 Bảng 2.11 Kết thực nghiệm quy trình kết hợp Nén-Biến đổi-Truyền Bảng 2.12 Những giá trị trung bình rx thời gian thực theo giây 32 45-46 49 cho giai đoạn MTF WFC Bảng 2.13 Sự đảo ngược tần số 51 Bảng 2.14 Những giá trị trung bình rx thời giang thực theo giây 52 vii cho giai đoạn MTF WFC Bảng 2.15 Thể bước nén khối liệu 55 "abracadabraabracadabra" Bảng 2.16 Tỉ lệ nén kết hợp biến đổi với Calgary Corpus 56 Bảng 2.17 Thời gian thực với Calgary Corpus theo giây 57 Bảng 3.1 Dữ liệu mẫu thực với file 58 Bảng 3.2 Kết cài đặt thử nghiệm nén Huffman phép biến đổi 65 BWT với Huffman viii DANH SÁCH CÁC HÌNH ẢNH Số hình ảnh Tên hình ảnh Trang Hình 1.1 Mô hình trình xử lý thông tin tổng quát Hình 1.2 Minh họa phương pháp biến đổi BWT nghịch 12 Hình 1.3 Mô tả trình biến đổi BWT nghịch 16 Hình 1.4a Mã hóa Huffman 20 Hình 1.4b Mã hóa Huffman ngược 21 Hình 1.5 Xác suất khoảng khởi tạo biểu 21 Hình 1.6 Mã hóa số học 22 Hình 1.7 Phương pháp nén RLE (1) 23 Hình 1.8 Phương pháp nén RLE (2) 23 Hình 1.9 Các phận hệ truyền tin 24 Hình 2.1 Minh họa nén theo phương pháp Huffman 28 Hình 2.2 Cây Huffman 28 Hình 2.3 Kết thực nghiệm biến đổi BWT nghịch 33 Hình 2.4 Quy trình truyền liệu kết hợp với phép biến đổi 37 Hình 2.5 Quá trình phát triển kỹ thuật nén BWT 48 Hình 2.6 BWT với giai đoạn GST hỗn hợp 50 Hình 2.7 Lược đồ nén liệu Burrows-Wheeler 53 Hình 3.1a Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi 60 BWT nạp trực tiếp liệu Hình 3.1b Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi 60 BWT nạp file liệu Hình 3.2a Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi 61 MTF nạp trực tiếp liệu Hình 3.2b Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi 61 MTF nạp file liệu Hình 3.3a Kết cài đặt thử nghiệm với thuật toán nén 62 56 trừ ta phải thêm vào số ký hiệu khối liệu chưa mã hóa, ký hiệu sử dụng để biến đổi khối liệu thứ tự ban đầu Chỉ số số nguyên có giá trị từ đến n-1 (n số lượng ký tự khối liệu nguồn), đặt vị trí khối liệu mã hóa BWT Giai đoạn thứ hai phương pháp dịch chuyển MTF, sử dụng thuật toán nén liệu BWCA MTF thuật toán cập nhật lại khối liệu cách thay ký hiệu lặp lại thường xuyên ký hiệu có số thứ tự MTF không làm thay đổi kích thước khối liệu Điều kỳ diệu trước giai đoạn phương pháp BWT làm biến đổi vị trí ký hiệu, ký hiệu giống đứng cạnh nhau, di chuyển ký hiệu đứng đầu phía trước ký hiệu sau có mã “0” Giai đoạn thứ ba nén số lượng ký hiệu sử dụng thuật toán RLE Thuật toán RLE dồn ký hiệu lặp lặp lại nhiều lần cách thay số lần lặp ký hiệu Như thuật toán tho nhỏ kích thước khối liệu lại làm tăng số ký hiệu khối liệu RLE phải lưu giữ số lần lặp ký hiệu đó, số lần lặp số nguyên mã ký hiệu có giá trị từ đến 255, số lần lặp lớn 255 ta phải dồn thành hai đoạn Giai đoạn thứ tư phương pháp nén liệu Entropy Entropy Coding phương pháp nén liệu không thông tin, phụ thuộc vào tần suất xuất ký hiệu Trong phương pháp mã hóa Entropy có thuật toán Huffman Coding Arithmetic Coding  Biến đổi kết hợp nén liệu Để làm rõ giai đoạn biến đổi kết hợp với nén liệu khác nhau, hình 2.4 hiển thị dịch chuyển khối liệu đầu vào: "abracadabraabracadabra" mã Hexa với quy trình thực biến đổi truyền tin Khối liệu toán thực tế 64KB, ví dụ 2.2 ta bỏ qua số ký hiệu phép dịch chuyển BWT theo bảng 2.15 Bảng 2.15 Thể bước nén khối liệu "abracadabraabracadabra" 57 BWT input: 61 62 72 61 63 61 64 61 62 72 61 61 62 72 61 63 61 64 61 62 72 61 BWT output: 61 72 72 64 64 61 72 72 63 63 61 61 61 61 61 61 61 61 62 62 62 62 MTF output: 61 72 00 65 00 02 02 00 65 00 02 00 00 00 00 00 00 00 65 00 00 00 RLE output: 61 72 00 65 00 02 02 00 00 65 00 02 00 00 05 65 00 00 01 Huffman: 89 67 EC E5 62 03 Ta nhận thấy giai đoạn BWT kết xuất khối liệu có ký hiệu ngữ cảnh lặp lặp lại liên tiếp Giai đoạn MTF tạo ký hiệu có mã 00 nhiều so với khối liệu ban đầu Giai đoạn thứ ba RLE dồn ký hiệu giống lại với ghi lại số lần lặp ký hiệu Trong ví dụ ta thấy có ký hiệu 00 nén lại thành “00 00 05”, nghĩa có ký hiệu đứng sau ký hiệu 00 Giai đoạn thứ thuật toán Huffman xử lý chuỗi BIT theo cấu trúc Huffman Hai giai đoạn BWT MTF không làm thay đổi kích thước khối liệu Trong thuật toán RLE Huffman làm thay đổi kích thước khối liệu nguồn Trong ví dụ học viên bỏ qua liệu thêm vào số ký hiệu thuật toán BWT, cấu trúc Huffman thuật toán nén Entropy Tuy nhiên nhiều trường hợp khác, liệu thêm vào không đáng kể so với hệ số nén/biến đổi thuật toán 2.4.5 So sánh tỷ lệ thời gian thực Trong bảng 2.16 thể kết tỷ lệ thời gian thực kết hợp với Calgary Corpus so sánh thuật toán thực luận văn Bảng 2.16 Tỷ lệ nén kết hợp biến đổi với Calgary Corpus 58 Các kết cho thấy A03 cung cấp tỷ lệ nén biến đổi trung bình tốt với tất thuật toán dựa BWT Một so sánh phải dựa vào tính toán hầu hết phương pháp PPM CTW cần tài nguyên tính toán cao A03 cần thời gian nén nhiều gấp đôi so với GZIP93 gấp khoảng thời gian nén so với GZIP93, đáng kể so với phương pháp PPM CTW Thời gian thực giai đoạn BWT, RLE-SIF, AWFC EC khác từ file đến file Trong suốt trình thực hiện, giai đoạn BWT EC A03 cần thời gian trung bình Giai đoạn IF A03 cần khoảng 50% thời gian giai đoạn BWT/EC giai đoạn WFC khoảng 100% nhiều thời gian trung bình BWT/EC suốt trình biến đổi/nén giai đoạn BWT A03 trung bình nhanh khoảng 10 lần giai đoạn EC Bảng 2.17 cho thầy thời gian biến đổi/nén ngược lại từ chương trình thực phép biến đổi cấp miễn phí GZIP từ phương pháp hỗn hợp trình bày Vì tốc độ so sánh gián tiếp với chương trình 59 biến đổi/nén hệ thống hoạt động khác GZIP khả dụng hầu hết hệ thống hoạt động Bảng 2.17 Thời gian thực với Calgary Corpus theo giây Tóm lại thuật toán Burrows-Wheeler Move-To-Front phát triển với giai đoạn GST hỗn hợp đạt tỉ lệ thực tốt kết hợp với tốc độ cao Trong lĩnh vực này, giai đoàn sau BWT MTF đóng vai trò quan trọng nhằm đạt kết tốt [12] 2.5 Kết luận Trong chương học viên chứng minh số kỹ thuật biến đổi liệu cách áp dụng thuật toán trình bày chương để thực ví dụ cụ thể kiểm thử thuật toán chương trình cài đặt thử nghiệm chạy Dev C Kết hợp kỹ thuật biến đổi liệu, nén liệu để thực mô hình theo quy trình để áp dụng kỹ thuật biến đổi liệu BWT, MTF phương pháp nén liệu Entropy để chứng minh kết đạt luận văn 60 CHƯƠNG : CÀI ĐẶT VÀ THỬ NGHIỆM Chương trình cài đặt thử nghiệm sử dụng chương trình sau: * Kỹ thuật biến đổi: Burrows - Wheeler Move - To - Front * Thuật toán nén: Huffman Ở chương chương 2, học viên nghiên cứu làm rõ phương pháp biến đổi BWT, MTF kết hợp với thuật toán nén Huffman Sau áp dụng mô hình biến đổi liệu kết hợp thành quy trình thực dựa sở lý thuyết, cài đặt chuyển đổi thử nghiệm liệu thực 3.1 Dữ liệu mẫu Để thực kỹ thuật biến đổi liệu, kết hợp thuật toán nén học viên sử dụng liệu nạp trực tiếp trình cài đặt thử nghiệm sử dụng file liệu phổ biến sử dụng công việc hàng ngày để thử nghiệm Mô tả chi tiết tệp tin liệu dạng bảng 3.1 với thông tin: Tên file, mô tả, kiểu, kích thước Bảng 3.1 Dữ liệu mẫu thực với file STT TÊN FILE KIỂU KÍCH THƯỚC (bytes) LVQ.docx Microsoft Word Document 51750 Mylib.h Source code in “Dev C++” 14973 NhietDo092015.dat Source code in “Dev C++” 90 1ap320-bentley.pdf Adobe Acrobat Document 1277597 Kieu.txt The CIA World Fact Book 318 Trio.hh Source code in “Dev C++” 1773434 NGVN.ppt Microsoft PowerPoint 97-2003Presentation 1373184 index.html Html source 3907 imageone.JPG JPEG Image 145223 61 10 PROLOG.EXE Application 168204 11 UniKeyNT.exe Application 261632 12 Point.xls Microsoft Excel 97-2003Presentation 31232 13 Test 1.rc Application 144 14 38.JPG JPEG Image 21082253 3.2 Cài đặt thử nghiệm Trong phần này, học viên cài đặt chương trình thử nghiệm ngôn ngữ ++ DevC , áp dụng phương pháp biến đổi liệu kết hợp với thuật toán nén Huffman: * Các phương pháp biến đổi - None (Dữ liệu ban đầu, không áp dụng phương pháp biến đổi) - Burrows-Wheeler - Move-To-Front - Kết hợp BWT-Huffman Sau quy trình thực đưa thông tin: Độ lớn file nguồn, độ lớn file đích, thời gian thực hiện, tỷ lệ nén, tỷ lệ file nguồn/đích 3.3 Nhận xét đánh giá kết thử nghiệm Từ kết cài đặt thử nghiệm cho thấy kết hợp phương pháp biến đổi với nén liệu tỷ lệ nén tốt, tốc độ cao Các file text đạt tỷ lệ nén tốt Còn file dạng jpg, pdf, exe, application tỷ lệ không thay đổi, kết gần không giảm Đối với file kích thước lớn, nhiều liệu nên tìm thấy nhiều liệu dư thừa dẫn đến chiếm nhiều nhớ tạm trình thực biến đổi/nén đạt hiệu suất chưa cao Thuật toán biến đổi Burrows-Wheeler, Move-To-Front kết hợp với thuật toán nén Huffman cho tỷ lệ nén cao Trước tiên thực truyền thẳng áp dụng phương pháp nén Huffman để truyền Tiếp theo áp dụng kỹ thuật biến đổi BWT kết hợp nén Bước giai đoạn BWT đóng vai trò quan trọng thuật toán biến đổi nhằm đạt kết tối ưu Kỹ thuật biến đổi BWT làm cho nhiều ký tự văn chuyển đổi xuất run (xâu gồm biểu tượng 62 giống nhau) kết hình 3.1.a, gần với xuất trước sử dụng kỹ thuật biến đổi Move-To- Front để chuyển đổi ký tự thứ hai hay liên tiếp run chuyển đổi thành Như giai đoạn MTF sau BWT có xu hướng tăng dần tần số biểu tượng giá trị thấp khối Điều hữu ích để cải thiện việc nén liệu kết hợp với nén Huffman Vậy từ kết thử nghiệm cho thấy kích thước file lớn cho tỷ lệ nén file cao Bởi kỹ thuật biến đổi BWT không giống kỹ thuật nén biến đổi khác, BWT xử lý văn theo ký tự BWT đọc file văn lên đến hàng chục KB Khi biến đổi xong liệu biến đổi thực kết hợp với nén liệu Hình 3.1.a Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi BWT nạp trực tiếp liệu 63 Hình 3.1.b Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi BWT nạp file liệu Bên cạnh đó, kỹ thuật biến đổi MTF thực tốt, biến đổi MTF cho ta tiết kiệm nhiều kích thước file biểu tượng giống lặp lại, chuyển đổi MTF tìm nhớ tạm, biểu tượng hoàn toàn chuyển kèm theo số 0, biểu tượng có nhớ tạm, biểu tượng đưa đầu nhớ tạm chuyển kèm theo ký tự Kết hiển thị thử nghiệm hình 3.2a Hình 3.2.a Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi MTF nạp trực tiếp liệu 64 Hình 3.2.b Kết cài đặt thử nghiệm thuật toán kỹ thuật biến đổi MTF nạp file liệu Tuy nhiên luận văn này, học viên kết hợp nén Huffman phương pháp biến đổi BWT cho tỷ lệ nén/truyền tốt Giả sử với liệu mẫu nạp file “Mylib.h” Hình 3.3a Kết cài đặt thử nghiệm với thuật toán nén Huffman nạp file liệu mẫu “Mylib.h” Hình 3.3b Kết cài đặt thử nghiệm kết hợp BWT Huffman từ file liệu mẫu “Mylib.h” Từ hình 3.3a hình 3.3b cho kết chênh lệch sau sử dụng phương pháp nén đạt tỷ lệ 65%, kết hợp tỷ lệ nén/truyền giảm 36% Thời gian thực 3.667 seconds Giả sử với liệu mẫu nạp file “index.html” 65 Hình 3.4a Kết cài đặt thử nghiệm với thuật toán nén Huffman nạp file liệu mẫu “index.html” Hình 3.4b Kết cài đặt thử nghiệm kết hợp BWT Huffman từ file liệu mẫu “index.html” Từ hình 3.4a hình 3.4b cho kết chênh lệch sau sử dụng phương pháp nén đạt tỷ lệ 75%, kết hợp tỷ lệ nén/truyền giảm 44% Thời gian thực 2.773 seconds Giả sử với liệu mẫu nạp file “Point.xls” 66 Hình 3.5.a Kết cài đặt thử nghiệm với thuật toán nén Huffman nạp file liệu mẫu“Point.xls” Hình 3.5b Kết cài đặt thử nghiệm kết hợp BWT Huffman từ file liệu mẫu “Point.xls” Từ hình 3.5a hình 3.5b cho kết chênh lệch sau sử dụng phương pháp nén đạt tỷ lệ 49%, kết hợp tỷ lệ nén/truyền giảm 30% Thời gian thực 11.86 seconds Giả sử với liệu mẫu nạp file “NhietDo092015.dat” Hình 3.6a Kết cài đặt thử nghiệm với thuật toán nén Huffman nạp file liệu mẫu “NhietDo092015.dat” 67 Hình 3.6b Kết cài đặt thử nghiệm kết hợp BWT Huffman từ file liệu mẫu “NhietDo092015.dat” Từ hình 3.6a hình 3.6b cho kết chênh lệch sau sử dụng phương pháp nén đạt tỷ lệ 67%, kết hợp tỷ lệ nén/truyền giảm 64% Thời gian thực 0.9107 seconds Trên kết thử nghiệm đạt tỷ lệ nén/biến đổi → truyền tối ưu để so sánh tỷ lệ nén tốc độ nén file liệu, chương trình cài đặt thử nghiệm đọc loại file Bảng 3.2 Kết cài đặt thử nghiệm nén Huffman phép biến đổi BWT với Huffman Tên File Kích thước ban đầu (byte) HUFF Kích thước file nén Kích thước file bung BWT&HUFF Tỷ Kích lệ thước nén file nén (%) Kích thước file bung Tỷ Thời gian lệ nén (Seconds) (%) Kieu.txt 318 218 318 68 220 318 69 0.826 Indext.html 3907 2933 3907 75 1734 3907 44 2.773 Mylib.h 14973 9766 14973 65 5480 14973 36 3.667 NhietDo092015.dat 90 61 90 67 58 90 64 0.9107 Test 1.rc 144 110 144 76 104 144 72 1.193 Point.elx 31232 15423 31232 49 9597 31232 30 11.86 38.jpg 21189 21670 21189 102 23300 21189 109 5.331 Bảng 3.2 Thể kết nén tốc độ nén cài đặt thử nghiệm đạt kết tối ưu với file dạng text, file dạng đa phương tiện 68 file “.mp3”, “.mp4”, “.jpg” file dạng ứng dụng file “.exe” đạt kết chưa tối ưu 3.4 Kết luận hướng phát triển 3.4.1 Kết luận Với việc áp dụng thuật toán biến đổi Burrows-Wheeler Move-To-Front để cải thiện liệu ban đầu trước kết hợp với thuật toán nén liệu cho ta kết tốt Điều cho biết liệu đầu vào giữ vai trò quan trọng thuật toán nén Kết áp dụng thuật toán kỹ thuật biến đổi BWT, MTF mục 1.2 thuật toán nén Huffman mục 2.1.1 cho ta mô hình 2.4 thể quy trình truyền liệu kết hợp với phép biến đổi đạt tỷ lệ cao tương đương với số phần mềm nén thương mại sử dụng rộng rãi môi trường cộng nghệ truyền tin Vì vậy, phát triển thuật toán biến đổi BWT, MTF bước làm giảm đáng kể chi phí tính toán trình thực công việc liên quan đến việc nén/truyền tin 3.4.2 Hướng phát triển đề tài Học viên tiếp tục nghiên cứu, phát triển thuật toán liên quan nhiều đến kỹ thuật biến đổi Burrow-Wheeler, Move-To-Front kết hợp với nhiều thuật toán nén khác để đạt tỷ lệ nén/truyền tin tốt Qua đề tài nghiên cứu “Tìm hiểu phát triển kỹ thuật truyền tin theo hướng biến đổi liệu”, học viên mong nhận ý kiến đóng góp quý báu thầy cô, chuyên gia giúp học viên trang bị thêm kiến thức nghiên cứu khoa học nghiên cứu công tác chuyên môn./ Học viên xin trân trọng cảm ơn! 69 TÀI LIỆU THAM KHẢO Tài liệu tiếng việt [1] Nguyễn Bình, (2006), Lý thuyết thông tin, Trung tâm đào tạo bưu viễn thông [2] Nguyễn Xuân Huy, (2015), Phương pháp nghiên cứu khoa học, Đại học Thái Nguyên [3] Nguyễn Xuân Huy, (2015), Sáng tạo thuật toán lập trình, Thông tin truyền thông [4] Hồ Văn Quân, (2010), Lý thuyết thông tin, Đại học Bách Khoa Thành phố Hồ Chí Minh [5] Đặng Văn Chuyết, Nguyễn Tuấn Anh, (1998), Cơ sở lý thuyết truyền tin - Tập 2, Nhà xuất Giáo dục [6] Nguyễn Linh Trung, Trần Đức Tân, Huỳnh Hữu Tuệ, (2012), Xử lý tín hiệu số, Đại học Công nghệ, Đại học Quốc gia Hà Nội Tài liệu tiếng anh [7] M.Burrows and D.J.Wheeler (1990), “A Block - Sorting Lossless Data Compression Algorithm”, Technical report, Digital Equipment Corporation, Palo Alto, California [8] Fenwick, P (2002), “Burrows Wheeler Compression with Variable-Length Integer Codes”, Software - Practice and Experience, Vol 32, No 13, Nov [9] G Manzini (1999), “The Burrows-Wheeler Transform: Theory and Practice” in Proceedings 24th International Symposium (Lecture Notes in Computer Science Vol.1672), Szklarska Poreba, Poland, Sept [10] Robert B.Ash (1990), Information Theory, Courier Corporation [11] M Burrows and D J Wheeler (1994), A Block–sorting Lossless Data Compression Algorithm, SRC Research Report 124, Digital Systems Research Center, Palo Alto, CA 70 [12] BENTLEY, J., SLEATOR, D., TARJAN, R AND WEI, V 1986 A locally adaptive data compression scheme Communications of the ACM, 29, 320330 [13 ]KRUSE, H AND MUKHERJEE, A 1999 Improving Text Compression Ratios with the Burrows-Wheeler Transform In Proceedings of the IEEE Data Compression Conference 1999, Snowbird, Utah, STORER, J.A AND COHN, M Eds 536 Các trang web [14] http://nuwen.net/bwtzip.html#bwt [15] http://michael.dipperstein.com/bwt/index.html Thái Nguyên, ngày 22 tháng năm 2016 Xác nhận giáo viên hướng dẫn Học viên PSG.TSKH Nguyễn Xuân Huy Hoàng Phương Thảo [...]... nghiên cứu hai kỹ thuật biến đổi cơ bản là: Kỹ thuật biến đổi dữ liệu Burrows-Wheeler, Move-To-Front kết hợp với thuật toán nén Huffman 2 Nhiệm vụ nghiên cứu - Tìm hiểu tổng quan về thông tin, truyền tin, kỹ thuật biến đổi dữ liệu Burrows-Wheeler, kỹ thuật biến đổi dữ liệu Move-To-Front - Cài đặt thử nghiệm kỹ thuật biến đổi Burrows-Wheeler và kỹ thuật biến đổi Move-To-Front kết hợp với thuật toán nén... trình truyền tin và biến đổi thông tin khi kết hợp kỹ thuật biến đổi dữ liệu Burrows-Wheeler và kỹ thuật biến đổi MoveTo-Front với thuật toán nén Huffman 3 Đối tượng và phạm vi nghiên cứu Tập trung vào nghiên cứu: - Tư tưởng của kỹ thuật biến đổi Burrows-Wheeler và Move-To-Front - Thuật toán biến đổi Burrows-Wheeler và Move-To-Front - Các ví dụ cụ thể áp dụng thuật toán biến đổi Burrows-Wheeler và MoveTo-Front... được đưa về đầu mảng và có mã là 0 Cụ thể ta xét kỹ thuật biến đổi MTF thuận và MTF nghịch và cùng làm rõ trong ví dụ của một xâu đầu vào là một xâu đầu ra của kỹ thuật biến đổi BWT: L = “MBANPABANAAAD” [8] Kỹ thuật biến đổi MTF được thiết kế để kết hợp với kỹ thuật biến đổi BWT đưa ra kết quả tối ưu khi biến đổi dữ liệu Kỹ thuật biến đổi MTF thường được sử dụng sau kỹ thuật biến đổi BWT chúng dùng để... 2: Truyền tin kết hợp với kỹ thuật biến đổi dữ liệu Trong chương 2 học viên chứng minh một số kỹ thuật biến đổi dữ liệu cơ bản bằng cách áp dụng thuật toán đã trình bày tại chương 1 để thực hiện các ví dụ cụ thể Kết hợp các kỹ thuật biến đổi dữ liệu, nén dữ liệu để thực hiện mô hình theo 4 quy trình chính để áp dụng kỹ thuật biến đổi dữ liệu BWT, MTF và phương pháp nén dữ liệu Entropy để chứng minh... của đề tài Theo các nghiên cứu về biến đổi dữ liệu, học viên phân tích các đặc tính của dữ liệu đã được biến đổi khi truyền tin và hy vọng đưa ra một số mô hình để đạt được sự biểu diễn ngắn gọn hơn, chuẩn xác hơn Điều này làm gia tăng sự đa dạng của mô hình dữ liệu và những kỹ thuật biến đổi dữ liệu Luận văn tập trung vào xây dựng cơ sở khoa học cho việc truyền tin theo kỹ thuật biến đổi dữ liệu Burrows-Wheeler... dụng thuật toán biến đổi Burrows-Wheeler và MoveTo-Front và thuật toán nén Huffman - Những lợi ích riêng của từng kỹ thuật biến đổi Burrows-Wheeler và kỹ thuật biến đổi Move-To-Front 4 Hướng nghiên cứu của đề tài - Tìm hiểu về thông tin và quá trình truyền tin - Nghiên cứu về mã hóa dữ liệu - Tìm hiểu truyền tin theo các kỹ thuật biến đổi dữ liệu - Cài đặt thử nghiệm 5 Những nội dung nghiên cứu chính... dung lượng các gói tin, chuyển tin chuẩn xác với nội dung ban đầu, giúp cho quá trình truyền thông tin nhanh hơn, không gian lưu trữ trên đĩa ít hơn 2 Với mong muốn thực hiện việc biến đổi tin và truyền tin trong khoảng thời gian ngắn, kích thước gói tin nhỏ, chất lượng tin tốt Học viên lựa chọn đề tài luận văn Tìm hiểu và phát triển kỹ thuật truyền tin theo hướng biến đổi dữ liệu Với đề tài này,... hiểu thông tin và quá trình truyền tin - Tìm hiểu nén dữ liệu, thuật toán nén Huffman - Nghiên cứu truyền tin theo các kỹ thuật biến đổi dữ liệu BurrowsWheeler và Move-To-Front  Về thử nghiệm: - Sử dụng ngôn ngữ lập trình Dev C++ xây dựng và cài đặt thử nghiệm chương trình nén dữ liệu theo kỹ thuật biến đổi Burrows-Wheeler, kỹ thuật Move-To-Front kết hợp với thuật toán nén Huffman 4 - Nhận xét, đánh... phương hướng của đề tài, học viên áp dụng hai kỹ thuật biến đổi chính đó là: Kỹ thuật biến đổi Burrows-Wheeler, kỹ thuật biến đổi Move-To- Front và kết hợp phương pháp Entropy trong quá trình thực hiện 1.2.1 Kỹ thuật biến đổi Burrows-Wheeler 1.2.1.1 Tư tưởng Xác định đối tượng truyền tin là một tập hợp hữu hạn các thành phần và gọi chúng là biểu tượng, các biểu tượng được xác định là một chuỗi Kỹ thuật biến. .. khi nén Dữ liệu nguồn Dữ liệu nén Aaaaaa aa4 Aa aa0 Bc bc 1.5 Khảo sát đặc thù truyền tin Theo nghĩa thông thường, thông tin là điều hiểu biết về một sự kiện, một hiện tượng nào đó, thu nhận được qua khảo sát, đo lường, trao đổi, nghiên cứu, v.v Kỹ thuật về thông tin được phát triển đầu tiên là kỹ thuật truyền tin Việc nghiên cứu lý thuyết truyền tin vào cuối những năm 40 đã làm cho thông tin trở thành ... riêng kỹ thuật biến đổi Burrows-Wheeler kỹ thuật biến đổi Move-To-Front Hướng nghiên cứu đề tài - Tìm hiểu thông tin trình truyền tin - Nghiên cứu mã hóa liệu - Tìm hiểu truyền tin theo kỹ thuật biến. .. gói tin nhỏ, chất lượng tin tốt Học viên lựa chọn đề tài luận văn Tìm hiểu phát triển kỹ thuật truyền tin theo hướng biến đổi liệu Với đề tài này, học viên nghiên cứu hai kỹ thuật biến đổi. .. THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG HOÀNG PHƯƠNG THẢO TÌM HIỂU VÀ PHÁT TRIỂN KỸ THUẬT TRUYỀN TIN THEO HƯỚNG BIẾN ĐỔI DỮ LIỆU CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SỐ CHUYÊN