Xây dựng kho dữ liệu an toàn với mã huffman

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Mai Văn Hà XÂY DỰNG KHO DỮ LIỆU AN TOÀN VỚI MÃ HUFFMAN LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Ngành: Kỹ thuật phần mềm HÀ NỘI - 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Mai Văn Hà XÂY DỰNG KHO DỮ LIỆU AN TOÀN VỚI MÃ HUFFMAN LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN Chuyên ngành: Kỹ thuật phần mềm Mã số: 60480103 Cán hướng dẫn: PGS TS Vương Đạo Vy HÀ NỘI - 2015 Lời cảm ơn Lời xin gửi lời cảm ơn chân thành biết ơn sâu sắc tới PGS.TS Vƣơng Đạo Vy TS Lê Phê Đô, ngƣời thầy bảo hƣớng dẫn tận tình cho suốt trình nghiên cứu khoa học thực luận văn Tôi xin chân thành gửi lời cảm ơn tới gia đình, ngƣời thân bạn bè – ngƣời bên lúc khó khăn nhất, động viên tôi, khuyến khích sống công việc Tôi xin chân thành cảm ơn! Tác giả Mai Văn Hà Lời cam đoan Tôi xin cam đoan luận văn đƣợc hoàn thành sở nghiên cứu, tổng hợp phát triển nghiên cứu tóm tắt đa văn nƣớc giới thực Luận văn mới, đề xuất luận văn thực hiện, qua trình nghiên cứu đƣa không chép nguyên từ nguồn tài liệu khác MỤC LỤC CHƢƠNG TỔNG QUAN VỀ KHO LƢU TRỮ DỮ LIỆU Error! Bookmark not defined 1.1 Sự cần thiết kho lƣu trữ liệu Error! Bookmark not defined 1.2 Kho lƣu trữ Error! Bookmark not defined 1.2.1 Khái niệm Error! Bookmark not defined 1.2.2 Cấu trúc hệ thống kho liệu Error! Bookmark not defined 1.3 Lƣu trữ đám mây Error! Bookmark not defined 1.3.1 Công nghệ lƣu trữ đám mây Error! Bookmark not defined 1.3.2 Các loại hình đám mây lƣu trữ Error! Bookmark not defined 1.3.3 Mô hình kiến trúc Error! Bookmark not defined a SaaS Error! Bookmark not defined b IaaS Error! Bookmark not defined c PaaS Error! Bookmark not defined 1.3.4 Đặc điểm Đám mây Error! Bookmark not defined a Tự sửa chữa Error! Bookmark not defined b Lƣợng truy cập lớn Error! Bookmark not defined c Khả mở rộng tuyến tính Error! Bookmark not defined d Hƣớng dịch vụ Error! Bookmark not defined e Điều khiển SLA(Service level agreement) Error! Bookmark not defined f Khả ảo hóa Error! Bookmark not defined g Tính ứng dụng linh hoạt Error! Bookmark not defined 1.3.5 Lợi ích công nghệ lƣu trữ đám mây Error! Bookmark not defined a Tính linh hoạt Error! Bookmark not defined b Khắc phục cố Error! Bookmark not defined c Phần mềm tự động cập nhật Error! Bookmark not defined d Miễn giảm chi phí đầu tƣ Error! Bookmark not defined e Tăng cƣờng làm việc nhóm Error! Bookmark not defined f Làm việc nơi Error! Bookmark not defined g Kiểm soát liệu Error! Bookmark not defined h Bảo mật Error! Bookmark not defined i Tính cạnh tranh Error! Bookmark not defined j Thân thiện với môi trƣờng Error! Bookmark not defined 1.3.6 Dịch vụ đám mây lƣu trữ Error! Bookmark not defined a Mô hình dịch vụ đám mây lƣu trữ Error! Bookmark not defined b Một số dịch vụ đám mây lƣu trữ Error! Bookmark not defined CHƢƠNG XÂY DỰNG HỆ THỐNG LƢU TRỮ ĐÁM MÂY VỚI HADOOP Error! Bookmark not defined 2.1 Phát biểu toán lựa chọn giải pháp Error! Bookmark not defined 2.1.1 Phát biểu toán Error! Bookmark not defined 2.1.2 Lựa chọn giải pháp công nghệ Error! Bookmark not defined 2.2 Big Data Error! Bookmark not defined 2.2.1 Big Data gì? Error! Bookmark not defined 2.2.2 Hadoop gì? Error! Bookmark not defined a Giới thiệu sơ lƣợc Apache Hadoop Error! Bookmark not defined b Định nghĩa Hadoop Error! Bookmark not defined 2.2.3 Thành phẩn Hadoop Error! Bookmark not defined 2.2.4 Lợi ích từ công nghệ Big Datacủa Hadoop Error! Bookmark not defined 2.3 Hadoop Distributed File System (HDFS) Error! Bookmark not defined 2.3.1 Giới thiệu Error! Bookmark not defined 2.3.2 Kiến trúc HDFS Error! Bookmark not defined 2.3.3 Quá trình đọc file HDFS Error! Bookmark not defined 2.3.4 Ghi file HDFS Error! Bookmark not defined 2.4 Triển khai cài đặt hệ thống lƣu trữ đám mây với HDFS Error! Bookmark not defined CHƢƠNG TỔNG QUAN VỀ MÃ HÓA DỮ LIỆU Error! Bookmark not defined 3.1 Sự cần thiết mã hóa liệu Error! Bookmark not defined 3.2 Mã hóa liệu Error! Bookmark not defined 3.2.1 Khái niệm mã hóa thông tin Error! Bookmark not defined 3.2.2 Phân loại thuật toán mã hóa Error! Bookmark not defined c Mã hóa cổ điển Error! Bookmark not defined d Mã đối xứng Error! Bookmark not defined e Mã hóa bất đối xứng Error! Bookmark not defined f Mã hóa hàm băm Error! Bookmark not defined g Mã hóa khóa lai Error! Bookmark not defined h Mã hóa khóa bí mật Error! Bookmark not defined i Mã hóa khóa công khai Error! Bookmark not defined 3.3 Hệ mã hóa Vigenere Error! Bookmark not defined 3.3.1 Hệ mã hóa Caesar Error! Bookmark not defined 3.3.2 Hệ mã hóa Vigenere Error! Bookmark not defined CHƢƠNG TỔNG QUAN VỀ NÉN VÀ GIẢI NÉN Error! Bookmark not defined 4.1 Sự cần thiết nén liệu Error! Bookmark not defined 4.2 Nén liệu Error! Bookmark not defined 4.2.1 Định nghĩa nén liệu Error! Bookmark not defined 4.2.2 Quá trình nèn giải nén Error! Bookmark not defined 4.2.3 Nén văn Error! Bookmark not defined 4.3 Giải thuật mã hóa Huffman Error! Bookmark not defined 4.3.1 Mã hóa liệu máy tính Error! Bookmark not defined 4.3.2 Mã phi tiền tố Error! Bookmark not defined 4.3.3 Lý thuyết Mã Huffman Error! Bookmark not defined a Bài toán: Error! Bookmark not defined b Thuật toán xây dựng mã Huffman Error! Bookmark not defined c Thuật toán giải mã Error! Bookmark not defined d Ứng dụng mã hóa Huffman để nén file Error! Bookmark not defined CHƢƠNG GIỚI THIỆU BÀI TOÁN MÃ HÓA VĂN BẢN TIẾNG VIỆT Error! Bookmark not defined 5.1 Yêu cầu toán Error! Bookmark not defined 5.2 Đề xuất giải pháp cho mã hóa nén văn tiếng Việt Error! Bookmark not defined 5.2.1 Mã hóa văn tiếng Việt với phƣơng pháp mã hóa Vigenere Error! Bookmark not defined 5.2.2 Nén văn tiếng Việt với phƣơng pháp mã hóa Huffman Error! Bookmark not defined 5.2.3 Tập văn mẫu cho việc mã hóa nén văn Tiếng Việt Error! Bookmark not defined 5.3 Xử lý văn liệt kê tỷ lệ xuất từ Error! Bookmark not defined 5.4 Xây dựng mã Huffman Error! Bookmark not defined 5.5 Má hóa văn Tiếng việt sử dụng phƣơng pháp mã Vigenere Error! Bookmark not defined 5.5.1 Yêu cầu toán Error! Bookmark not defined 5.5.2 Mô hình xử lý Error! Bookmark not defined 5.5.3 Giải thích mô hình xử lý Error! Bookmark not defined a Các bƣớc để mã hóa văn Error! Bookmark not defined b Các bƣớc để giải mã văn Error! Bookmark not defined c Ghi Error! Bookmark not defined 5.6 Nén giải nén văn Tiến Việt sử dụng phƣơng pháp mã Huffman Error! Bookmark not defined 5.6.1 Yêu cầu toán Error! Bookmark not defined 5.6.2 Mô hình xử lý Error! Bookmark not defined 5.6.3 Kết thực Error! Bookmark not defined a Nén liệu Error! Bookmark not defined b Giải nén liệu Error! Bookmark not defined 5.6.4 Giới thiệu chƣơng trình nén giải nén văn tiếng Việt Error! Bookmark not defined a Cửa sổ Form xây dựng mã Huffman: Error! Bookmark not defined b Nén văn tiếng Việt Error! Bookmark not defined c Giải nén văn tiếng Việt Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 MỞ ĐẦU Khoảng 10 năm trƣớc, việc lƣu trữ thông tin cá nhân thiết bị lƣu trữ di động nhƣ đĩa mềm (floopy disk) với dung lƣợng khiêm tốn 4MB USB thời điểm cao lúc 128MB; Việc sở hữu ổ cứng với dung lƣợng 40GB đủ lớn chí dƣ thừa cho nhu cầu sử dụng cá nhân Nhƣng nay, với phát triển Công nghệ thông tin, nhu cầu sử dụng tài nguyên lƣu trữ liệu ngƣời ngày nhiều số trở nên nhỏ bé Dung lƣợng liệu gia tăng không ngừng, yêu cầu ngày cao hiệu truy xuất, tính ổn định sẵn sàng liệu; việc lƣu trữ trở nên quan trọng Lƣu trữ liệu không đơn giản cung cấp thiết bị lƣu trữ dung lƣợng lớn mà bao gồm khả quản lý, chia sẻ nhƣ lƣu phục hồi liệu trƣờng hợp Với tiến mạnh mẽ internet, việc sử dụng cáp quang với tốc độ nhanh ngày trở lên phổ cập; Chính nhờ phát triển nên ngành dịch vụ dịch vụ lƣu trữ thông tin mạng qua đám mây Rất nhiều công ty lớn nhƣ Microsoft, Apple, Google, Dropbox, Mediafire, Rapidshare … cung cấp dịch vụ lƣu trữ chia sẻ liệu điện toán đám mây Tuy đáp ứng đƣợc yêu cầu việc lƣu trữ, chia sẻ liệu nhƣ dung lƣợng lớn nhƣng việc lƣu trữ qua đám mây có nhƣợc điểm vấn đề an ninh liệu trƣớc công tin tặc, tính pháp lý liên quan đến liệu đƣợc lƣu trữ mạng… Mục tiêu luận văn nhằm nghiên cứu giải pháp xây dựng kho lƣu trữ liệu hiệu an toàn, bảo mật liệu ngƣời dùng dựa việc xây dựng thuật toán mã hóa phục vụ cho việc má hóa văn bản, nén giải nén văn theo ngôn ngữ Tiếng Việt Thông qua việc phân tích từ (từ đơn, từ ghép) tiếng Việt áp dụng vào giải thuật mã hóa, qua nâng cao hiệu việc mã hóa nhƣ nén liệu kho lƣu trữ an toàn 10 TÀI LIỆU THAM KHẢO - Nén liệu: o http://vi.wikipedia.org/wiki/N%C3%A9n_d%E1%BB%AF_li%E1%BB%8 7u - Lý thuyết thông tin: o http://vi.wikipedia.org/wiki/L%C3%BD_thuy%E1%BA%BFt_th%C3%B4 ng_tin - Claude Shannon: o http://vi.wikipedia.org/wiki/Claude_Shannon - o http://vi.wikipedia.org/wiki/M%E1%BA%ADt_m%C3%A3_h%C3%B3a_ kh%C3%B3a_c%C3%B4ng_khai HDFS: o http://www.ibm.com/developerworks/vn/library/data/2013Q1/dm1209hadoopbigdata/ o http://ciren.gov.vn/index.php?option=com_content&view=article&id=677:s -cn-thit-phi-m-nganh-ao-to-trinh-i-hclu-tr-tai-liu-in-t-nhm-ap-ng-nhu-cu-hinhp-ca-vit-nam-hin-nay&catid=47:tin-cong-nghe-thong-tin&Itemid=53 o http://kcntt.duytan.edu.vn/Home/ArticleDetail/vn/166/2306/bai-02-luu-truva-xu-ly-thao-tac-tren-mo-hinh-dien-toan-dam-may-kien-truc-dien-toandam-may o http://foxman.com.vn/vn/mot-so-van-de-an-toan-cho-dien-toan-dammay_41.html o http://xahoithongtin.com.vn/cac-dich-vu-luu-tru-du-lieu-tren-may-phobien-nhat-hien-nay-d22245.html o http://expressmagazine.net/posts/view/2037/gioi-thieu-so-luoc-apachehadoop 11