Giải quyết một số bài toán mã hóa và thám mã trên môi trường xử lý phân tán

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN THANH PHONG GIẢI QUYẾT MỘT SỐ BÀI TỐN MÃ HĨA VÀ THÁM MÃ TRÊN MÔI TRƯỜNG XỬ LÝ PHÂN TÁN Chun ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2018 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: PGS TS NGUYỄN TẤN KHÔI Phản biện 1: TS Lê Thị Mỹ Hạnh Phản biện 2: TS Phạm Văn Việt Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Khoa học máy tính Trường Đại học Bách khoa vào ngày 16 tháng năm 2018 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa - Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa – Đại học Đà Nẵng -1MỞ ĐẦU Tính cấp thiết lý chọn đề tài Công nghệ thông tin ngành khoa học xử lý, lưu trữ truyền tải liệu máy tính Bảo mật tồn vẹn liệu vấn đề bản, quan trọng ln tâm nghiên cứu, phát triển Mã hóa thám mã hai mặt tồn phát triển song hành, có mã hóa có thám mã Trong mã hóa phương pháp hữu hiệu nhằm đảm bảo tính bảo mật tồn vẹn liệu thám mã hình thức cơng mật mã hay bẻ khóa để thu liệu cần thiết, phục vụ cho bước công Mật mã thuật tốn mã hóa ngày phức tạp, đa dạng thám mã ngày tinh vi, hiệu thử thách nhà mật mã học Để có giải pháp phòng chống, ngăn chặn triệt để hành vi thám mã người quản trị phải tiếp cận hiểu biết tường tận cách thức cơng bẻ khóa Hơn nữa, nhờ tiếp cận, phân tích q trình cơng cracker, mật mã trở nên tiến bộ, thuật toán mã hóa thường cộng đồng phân tích kỹ lưỡng, trao đổi khắc phục lỗi thiết kế Do đó, cố gắng thám mã khai thác điểm yếu thuật tốn thường khơng hiệu Gần cách thám mã dựa vét cạn khóa Tuy nhiên, lường trước điều này, khóa thường khuyến cáo phải có đủ độ dài cần thiết để máy tính thơng thường thời gian định khơng thể tìm Điều đồng nghĩa có trường hợp người thám mã sử dụng hệ thống máy tính để triển khai phương pháp vét cạn môi trường xử lý phân tán để rút ngắn thời gian bẻ khóa Cùng với phát triển công nghệ đặt cho nhiều thách thức Trong phải kể đến cơng nghệ tính tốn phân tán Ý tưởng việc tính toán phân tán chia toán thành toán -2con giải máy riêng biệt kết nối cluster Chúng ta thấy thành công công ty Google, Facebook thời đại bùng nổ công nghệ Đằng sau thành cơng có đóng góp khơng nhỏ mơ hình lập trình đưa Google – mơ hình lập trình phân tán MapReduce MapReduce mơ hình lập trình phân tán, bao gồm hai giai đoạn Map Reduce Mơ hình lập trình MapReduce dùng để xử lý liệu lớn dựa lý thuyết mơ hình tính tốn song song mơ hình xử lý liệu phân tán cụm máy tính MapReduce có ưu điểm bật như: Xử lý tốt toán với lượng liệu lớn có tác vụ phân tích tính tốn phức tạp; Có thể tiến hành chạy song song máy phân tán cách xác hiệu Không cần quan tâm đến trao đổi liệu cluster với chúng hoạt động cách độc lập; Có thể thực mơ hình MapReduce nhiều ngôn ngữ (Java, C/ C++, Python, Perl, Ruby) với thư viện tương ứng Trong thực tiễn, có nhiều tốn mã hóa thám mã với u cầu xử lý liệu lớn, thời gian xử lý ngắn Do hướng ứng dụng MapReduce để giải số tốn mã hóa thám mã mục tiêu mà lựa chọn để thực luận văn: “Giải số tốn mã hóa thám mã môi trường xử lý phân tán” Mục tiêu nội dung nghiên cứu 2.1 Mục tiêu Xây dựng mơ hình lập trình phân tán MapReduce tảng Hadoop để giải số tốn mã hóa thám mã có khối lượng tính tốn lớn 2.2 Nội dung nghiên cứu - Tìm hiểu lý thuyết mã hóa liệu RSA, MD5 -3- Tìm hiểu lý thuyết thám mã liệu - Tìm hiểu lý thuyết tảng tính tốn Hadoop - Tìm hiểu lý thuyết mơ hình xử lý phân tán MapReduce - Xây dựng thuật tốn mã hóa, thám mã dùng ngơn ngữ lập trình Java Đối tượng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu - Cấu trúc Framework, Hadoop, Kiến trúc HDFS - Các tốn giải thuật mã hóa - Tìm hiểu xây dựng hàm Map, hàm Reduce - Triển khai mơ hình hệ thống 3.2 Phạm vi nghiên cứu - Mơ hình xử lý phân tán tảng Hadoop - Ứng dụng mơ hình xử lý phân tán MapReduce để giải số tốn mã hóa thám mã liệu Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết - Tìm hiểu mơ hình xử lý phân tán - Các toán bảo mật liệu - Giải thuật xử lý phân tán 4.2 Phương pháp thực nghiệm - Xây dựng sơ đồ, thuật tốn bảo mật liệu - Lập trình ứng dụng ngôn ngữ Java -4- Xây dựng chương trình thử nghiệm Dự kiến kết đạt 5.1 Về lý thuyết - Hiểu lý thuyết hệ xử lý phân tán tảng Hadoop - Hiểu thuật toán bảo mật liệu 5.2 Về thực nghiệm - Xây dựng tốn mã hóa thám mã mơ hình xử lý phân tán MapReduce - Xây dựng triển khai hệ thống Ý nghĩa khoa học thực tiễn 6.1 Ý nghĩa khoa học Xây dựng giải thuật giải toán mã hóa thám mã từ giải thuật sang xử lý song song 6.2 Ý nghĩa thực tiễn Ứng dụng mơ hình phân tán giải tốn mã hóa thám mã với số lượng liệu lớn nhằm tăng hiệu suất giảm thời gian tính tốn -5CHƯƠNG TỔNG QUAN ĐỀ TÀI 1.1 Khái niệm mã hóa thám mã Mã hóa phương pháp xử lý thông tin (văn bản, phim ảnh, hình ảnh, ) từ định dạng bình thường sang dạng thơng tin khơng thể hiểu khơng có phương pháp giải mã Hình 1.1 Sơ đồ mã hóa giải mã Thám mã cơng việc phân tích tin mã hóa để nhận tin rõ điều kiện khơng biết trước khóa mã Thơng thường, hành vi kẻ công muốn xâm nhập vào hệ thống bảo vệ mật mã Theo nguyên tắc mật mã, để lấy thơng tin gốc, tác nhân giải mã phải có thành phần: thơng tin mật (ciphertext), khóa (secret key) thuật tốn giải mã (decryption algorithm) 1.2 Phân loại mã hóa liệu 1.2.1 Phân loại theo phương pháp 1.2.1.1 Mã hóa đối xứng 1.2.1.2 Mã hóa chiều 1.2.1.3 Mã hóa bất đối xứng 1.2.2 Phân loại theo số lượng khóa -61.3 Một số ứng dụng mã hóa liệu 1.4 Mã hóa đối xứng Hình 1.2 Mơ hình hệ thống mã hóa đối xứng 1.5 Mã hóa chiều Hình 1.3 Sơ đồ chữ ký số sử dụng hàm băm -7- Hình 1.4 Sơ đồ xác thực chữ ký số sử dụng hàm băm 1.6 Mã hóa bất đối xứng Mật mã hóa khóa cơng khai dạng mật mã cho phép người sử dụng trao đổi thông tin mật mà khơng cần phải trao đổi khóa chung bí mật trước Điều thực cách sử dụng cặp khóa có quan hệ tốn học với khóa cơng khai khóa cá nhân (hay khóa bí mật) Hình 1.5 Ngun lý mã hóa khóa cơng khai -81.7 Kết chương Chương tác giả trình bày tổng quan mã hóa cổ điển mã hóa đại (mã hóa chiều hàm băm mã hóa cơng khai) Mật mã hóa khóa cơng khai dạng mật mã hóa cho phép người sử dụng trao đổi thông tin mật mà khơng cần phải trao đổi khóa chung bí mật trước Điều thực cách sử dụng cặp khóa có quan hệ tốn học với khóa cơng khai khóa cá nhân (hay khóa bí mật) Trong mật mã hóa khóa cơng khai, khóa cá nhân phải giữ bí mật khóa cơng khai phổ biến cơng khai Trong khóa, dùng để mã hóa khóa lại dùng để giải mã Điều quan trọng đối khơng thể tìm khóa bí mật biết khóa cơng khai -9CHƯƠNG MƠ HÌNH XỬ LÝ PHÂN TÁN MAPREDUCE 2.1 Hệ thống tập tin phân tán 2.1.1 Hệ thống tập tin phân tán Hadoop 2.1.2 Thành phần Hadoop Ngày nay, NDFS (đã đổi tên lại thành HDFS Hadoop Distributed File System) MapReduce, đội ngũ phát triển Hadoop phát triển dự án dựa HDFS MapReduce Hiện nay, Hadoop gồm dự án sau: Hình 2.1 Cấu trúc thành phần Hadoop 2.1.3 Các tiến trình Hadoop 2.1.4 Cấu trúc mạng Hadoop Hình 2.2 Kiến trúc cụm Hadoop nhiều node -102.1.5 Nguyên tắc hoạt động Hadoop MapReduce Hình 2.3 Mơ hình xử lý Hadoop 2.2 Mơ hình xử lý phân tán MapReduce 2.2.1 Tổng quan MapReduce 2.2.2 Nguyên lý hoạt động MapReduce 2.2.3 Q trình xử lý MapReduce Hình 2.4 Mơ hình thực cơng việc MapReduce -112.2.4 Hadoop MapReduce 2.2.5 Nhận xét đánh giá MapReduce 2.3 Kết chương Chương tác giả trình bày lý thuyết tổng quan tảng tính tốn phân tán với Hadoop, mơ hình xử lý phân tán MapReduce Chương phân tích triển khai thuật tốn mã hóa/thám mã tảng Map Reduce -12CHƯƠNG TRIỂN KHAI MỘT SỐ THUẬT TỐN MÃ HĨA TRÊN NỀN TẢNG MAPREDUCE 3.1 Hàm băm MD5 thám mã tảng MapReduce Hình 3.1 Mơ tả tác vụ vòng MD5 3.1.1 Ứng dụng MD5 3.1.2 Thuật tốn mã hóa Hình 3.2 Nhồi liệu MD5 3.1.3 Tấn cơng hàm băm MD5 -133.1.4 Thám mã MD5 tảng MapReduce Hình 3.3 Mơ hình MapReduce thám mã MD5 3.1.5 Kết thám mã MD5 mơi trường MapReduce Hình 3.4 Các Data node -143.2 Mã hóa cơng khai RSA thám mã tảng MapReduce Hình 3.6 Mơ hình mật mã RSA 3.2.1 Thuật tốn sinh khóa 3.2.2 Thuật tốn mã hóa 3.2.3 Thuật tốn giải mã 3.2.4 Chuyển đổi văn rõ 3.2.5 Tấn cơng mã hóa RSA 3.2.5.1 Các công 3.2.5.2 Tấn công với số mũ bí mật nhỏ (Tấn cơng Wiener) 3.2.5.3 Tấn công với số mũ công khai nhỏ 3.2.5.4 Tấn công cài đặt 3.2.6 Thám mã RSA tảng MapReduce 3.2.7 Kết thám mã RSA môi trường MapReduce 3.3 Đánh giá kết Bảng 3.1 Thời gian xử lý liệu từ điển (giây) -15Số lượng cụm máy tính Thời gian tải liệu Thời gian tạo băm Thời gian so sánh Tổng thời gian 1.435 0.584 23.712 27.042 1.421 0.322 12.345 15.406 0.901 0.198 6.478 14.392 0.899 0.184 6.925 8.869 0.766 0.107 4.124 10.120 0.768 0.105 3.983 6.556 0.557 0.089 3.223 8.349 0.553 0.081 2.916 6.191 0.521 0.076 3.241 7.206 10 0.526 0.072 3.421 6.021 -16Bảng 3.2 Thời gian xử lý liệu mật (giây) Số lượng cụm máy tính Thời gian tải liệu Thời gian tạo băm Thời gian so sánh Tổng thời gian 1.435 0.586 23.547 27.059 1.882 0.579 11.808 15.714 1.897 0.584 5.897 15.152 1.927 0.589 6.161 10.050 1.908 0.590 3.925 11.239 1.887 0.584 3.942 8.061 1.880 0.587 3.134 9.868 1.935 0.576 2.913 8.152 1.939 0.572 2.811 8.747 10 1.942 0.573 2.802 6.918 Đồ thị 3.1 Thời gian thực chương trình -17- Đồ thị 3.2 Thời gian trung bình tải từ điển Đồ thị 3.3 Thời gian trung bình tạo giá trị băm từ điển -18- Đồ thị 3.4 Thời gian trung bình giá trị băm 3.3.1 Kết MapReduce RSA, thuật toán RSA với giá trị n nhỏ Bảng 0.1 So sánh CPU MapReduce với số nguyên tố nhỏ (163 * 521) Dữ liệu (bytes) Số khối Threads khối MapReduce RSA Thuật toán RSA So sánh tốc độ Tuần tự /MapReduce 256 64 7.58 12.56 1.66 512 64 7.25 19.14 2.64 1.024 16 64 6.86 23.6 3.44 2.048 32 64 5.38 29.33 5.45 4.096 64 64 5.68 32.64 5.75 8.192 128 64 6.29 35.16 5.59 16.392 256 64 7.21 39.66 5.50 32.784 512 64 9.25 42.37 4.58 65.568 1024 64 10.35 47.59 4.60 131.136 2048 64 11.73 58.04 4.95 -19- Đồ thị 3.5 Biểu diễn thuật toán RSA, MapReduce RSA, so sánh tốc độ 3.3.2 So sánh CPU RSA giá trị n nhỏ với MapReduce RSA giá trị n lớn Đồ thị 3.7 So sánh thuật toán (nguyên tố nhỏ), MapReduce (nguyên tố lớn) -203.4 Kết chương Chương trình bày thuật tốn mã hóa/thám mã, thực minh họa, kết thu từ việc thám mã thuật tốn mã hóa RSA So sánh kết thu mơ hình xử lý phân tán MapReduce với kết toán kỹ thuật -21KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Kết luận Sự phát triển công nghệ thông tin, mạng Internet, làm thay đổi nhiều hoạt động đời sống xã hội, đó, có nảy sinh hoạt động giao dịch điện tử bên cạnh giao dịch truyền thống Chữ ký số phát triển để đảm bảo tính xác thực, an tồn, bảo mật toàn vẹn liệu văn giao dịch điện tử môi trường mạng ngày ứng dụng nhiều lĩnh vực nước giới Hầu hết sản phẩm chuẩn sử dụng hệ mã khóa cơng khai để mã hóa, chữ ký điện tử sử dụng rộng rãi hệ mã RSA Tuy nhiên, với phát triển ngành thám mã lực ngày tăng nhanh chóng hệ thống máy tính, độ dài khóa để đảm bảo an tồn cho hệ mã RSA ngày tăng nhanh chóng, điều này làm giảm đáng kể hiệu hệ thống sử dụng hệ mã RSA Kỹ thuật xử lý lỗi thời, thay vào xử lý liệu mơ hình xử lý phân tán MapReduce lĩnh vực khơng có nhiều tiềm đáng để nghiên cứu Bước đầu luận văn thu số kết định là: Khái quát kiến thức phương thức mã hóa, tảng tính tốn phân tán với Hadoop; Nêu phương pháp giải số thuật toán mã hóa thám mã theo mơ hình xử lý phân tán MapReduce; Tập trung nghiên cứu, xây dựng toán thám mã theo mơ hình xử lý phân tán MapReduce mà tiêu biểu tốn mã hóa hàm băm tốn mã hóa RSA Chương trình thể bước xử lý Hadoop MapReduce số thuật tốn mã hóa thám mã Luận văn cài đặt thành cơng chương trình đạt kết ban đầu Xuất thông tin mà hệ thống Hadoop MapReduce xử lý Qua đó, khẳng định lần mơ hình xử lý liệu phân tán MapReduce -22được quan tâm, phát triển liên tục nhằm nghiên cứu, giải số tốn có kích thước liệu lớn sống Hướng phát triển Trên sở kết nghiên cứu trình bày luận văn, số vấn đề cần tiếp tục nghiên cứu để có kết tốt như: phát triển thêm với nguồn tài nguyên lớn hơn, đánh giá việc xử lý toán mã hóa thám mã mơi trường xử lý phân tán Thực phân tích liệu đầu vào với liệu lớn nhiều Tiếp tục phát triển ứng dụng khoa học với hệ thống MapReduce Đưa ứng dụng vào thực tế để triển khai mã hóa thám mã tính tốn có hiệu Trong q trình thực luận văn, dù cố gắng nghiên cứu tìm hiểu kiến thức để thực tốt đề tài Tuy nhiên, thời gian nghiên cứu trình độ thân có hạn nên khơng thể tránh khỏi thiếu sót Rất mong nhận góp ý để tiếp tục nghiên cứu phát triển./  ... tốn mã hóa thám mã với yêu cầu xử lý liệu lớn, thời gian xử lý ngắn Do hướng ứng dụng MapReduce để giải số tốn mã hóa thám mã mục tiêu mà lựa chọn để thực luận văn: Giải số tốn mã hóa thám mã môi. .. hình xử lý phân tán tảng Hadoop - Ứng dụng mô hình xử lý phân tán MapReduce để giải số tốn mã hóa thám mã liệu Phương pháp nghiên cứu 4.1 Phương pháp lý thuyết - Tìm hiểu mơ hình xử lý phân tán. .. nghĩa khoa học Xây dựng giải thuật giải tốn mã hóa thám mã từ giải thuật sang xử lý song song 6.2 Ý nghĩa thực tiễn Ứng dụng mơ hình phân tán giải tốn mã hóa thám mã với số lượng liệu lớn nhằm