Ứng dụng mô hình xử lý phân tán mapreduce để giải quyết bài toán TSP

ĐẠI HỌC ĐÀ NẴNG TRƢỜNG ĐẠI HỌC BÁCH KHOA PHAN NHỰT TÂN ỨNG DỤNG MƠ HÌNH XỬ LÝ PHÂN TÁN MAPREDUCE ĐỂ GIẢI QUYẾT BÀI TOÁN TSP Chuyên ngành: Khoa học máy tính Mã số: 60.48.01.01 TĨM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng – Năm 2018 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Ngƣời hƣớng dẫn khoa học: PGS.TS NGUYỄN TẤN KHÔI Phản biện 1: TS Huỳnh Hữu Hƣng Phản biện 2: TS Phạm Văn Việt Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ Khoa học máy tính Trường Đại học Bách khoa vào ngày 16 tháng năm 2018 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa - Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa – Đại học Đà Nẵng MỞ ĐẦU Lý chọn đề tài Trong tin học lý thuyết đồ thị toán Người bán hàng (Travelling Salesman Problem-TSP) tốn kinh điển khó[2][3] Bài tốn có phát biểu đơn giản khó giải trường hợp tổng qt với khơng gian tìm kiếm rộng lớn, khó thuật toán hiệu biết đến có thời gian giải tốn tăng dần theo cấp số nhân n, hay độ phức tạp thuật tốn tăng dần theo hàm mũ[4] Có nhiều cách tiếp cận toán từ đời, sử dụng quy hoạch tuyến tính, thuật toán vét cạn, thuật toán người láng giềng gần nhất, kỹ thuật nhánh cận, dừng lại liệu nhỏ Gần có nhiều thuật tốn đời theo hướng tiếp cận tiến hóa thuật toán di truyền Genetic Algorithm, hay phương pháp tối ưu hóa đàn kiến (Ant Colony Optimization) Để giải toán Người bán hàng (Travelling Salesman ProblemTSP) các thuật toán, kỹ thuật, phương pháp nêu gặp nhiều khó khăn độ phức tạp tính tốn cao, việc giải tốn với tính chất giải thuật số đỉnh lên đến hàng chục ngàn đỉnh gặp phải vấn đề thời gian thực chương trình, tốc độ xử lý, khả lưu trữ nhớ,…Để xử lý liệu có quy mơ lớn, kích thước tốn tăng lên khơng gian tìm kiếm lớn Điều đặt ta phải chia toán cho nhiều xử lý đồng thời tham gia tính tốn, dẫn đến ta phải xây dựng thuật toán song song đa xử lý [1][5][6][7][8] Với phát triển công nghệ đặt cho nhiều thách thức Bởi thời đại mà sống ngành công nghệ máy tính phát triển vũ bão Từ kỷ thứ trước công nguyên, thư viện Alexandria coi nơi chứa đựng toàn kiến thức lồi người Ngày nay, tổng lượng thơng tin toàn giới đủ để chia cho đầu người lượng nhiều gấp 320 lần lượng thông tin mà sử gia tin thư viện Alexandria lưu trữ - ước tính vào khoảng 120 exabyte Nếu tất thông tin ghi lại vào đĩa CD xếp chồng đĩa CD lên nhau, có tới chồng đĩa mà chồng vươn dài chạm tới mặt trăng Sự bùng nổ liệu xuất gần Cách không lâu, vào năm 2000, có phần tư lượng thơng tin lưu trữ toàn giới dạng kỹ thuật số Ba phần tư lại người ta lưu giấy tờ, phim, phương tiện analog khác Nhưng lượng liệu kỹ thuật số bùng nổ nhanh – năm lại tăng gấp đôi – cục diện nhanh chóng đảo ngược Ngày nay, 2% tổng lượng thông tin chưa chuyển sang lưu trữ dạng kỹ thuật số Theo tài liệu Intel vào tháng 09/2013, giới tạo petabyte liệu 11 giây, tương đương với đoạn video HD dài 13 năm Nhà bán lẻ online Amazon.com phải xử lí hàng triệu hoạt động ngày, yêu cầu từ khoảng triệu đối tác bán hàng Tương tự, Facebook phải quản lí 50 tỉ ảnh từ người dùng tải lên, YouTube hay Google phải lưu lại hết lượt truy vấn video người dùng nhiều loại thông tin khác có liên quan Để xử lý lượng liệu khổng lồ đó, nhiều cơng nghệ đời Trong phải kể đến cơng nghệ tính tốn phân tán Ý tưởng việc tính tốn phân tán chia toán thành toán giải máy riêng biệt kết nối cluster Chúng ta thấy thành công công ty Google, Facebook thời đại bùng nổ công nghệ Đằng sau thành cơng có đóng góp khơng nhỏ mơ hình lập trình đưa Google – mơ hình lập trình phân tán MapReduce [9][10][11] MapReduce mơ hình lập trình phân tán, bao gồm hai giai đoạn Map Reduce Mơ hình lập trình MapReduce dùng để xử lý liệu lớn dựa lý thuyết mơ hình tính tốn song song mơ hình xử lý liệu phân tán cụm máy tính MapReduce có ưu điểm bật như: Xử lý tốt toán với lượng liệu lớn có tác vụ phân tích tính tốn phức tạp khơng lường trước được; Có thể tiến hành chạy song song máy phân tán cách xác hiệu Không cần quan tâm đến trao đổi liệu cụm máy tính với chúng hoạt động cách độc lập; Có thể thực mơ hình MapReduce nhiều ngơn ngữ (Java, C/ C++, Python, Perl, Ruby) với thư viện tương ứng [10][12][13] Trong thực tiễn, có nhiều tốn với yêu cầu xử lý liệu lớn, thời gian xử lý ngắn Do hướng ứng dụng MapReduce để giải toán Người bán hàng(Travelling Salesman Problem-TSP) mục tiêu mà lựa chọn cho đề tài luận văn cao học: “Ứng dụng mơ hình xử lý phân tán Mapreduce để giải toán TSP ” Mục tiêu nhiệm vụ nghiên cứu 2.1 Mục tiêu nghiên cứu Nghiên cứu ứng dụng mơ hình xử lý phân tán MapReduce tảng hadoop để giải tốn Người bán hàng(Travelling Salesman Problem-TSP) có kích thước liệu lớn 2.2 Nhiệm vụ nghiên cứu -Tìm hiểu tảng tính tốn phân tán với Hadoop -Tìm hiểu mơ hình tính tốn MapReduce -Tìm hiểu lý thuyết đồ thị -Tìm hiểu tốn Người bán hàng(TSP) -Xây dựng giải thuật giải toán Người bán hàng(TSP) dựa theo mơ hình MapReduce Đối tƣợng phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu -Cấu trúc Framework, Hadoop, Kiến trúc HDFS -Bài toán Người bán hàng(TSP) -Tìm hiểu xây dựng hàm Map, hàm Reduce -Triển khai mơ hình hệ thống 3.2 Phạm vi nghiên cứu -Mơ hình xử lý phân tán MapReduce tảng hadoop -Ứng dụng mơ hình MapReduce để giải toán Người bán hàng(TSP) Phƣơng pháp nghiên cứu 4.1 Phương pháp nghiên cứu lý thuyết Tìm hiểu mơ hình xử lý phân tán Bài tốn Người bán hàng(TSP) Giải thuật xử lý phân tán 4.2 Phương pháp nghiên cứu thực nghiệm Xây dựng sơ đồ, thuật toán giải toán Người bán hàng(TSP) Lập trình ứng dụng ngơn ngữ Java Xây dựng chương trình thử nghiệm Ý nghĩa khoa học thực tiễn luận văn 5.1 Ý nghĩa khoa học Xây dựng giải thuật giải toán Người bán hàng (TSP) từ giải thuật sang xử lý song song mơ hình phân tán MapReduce 5.2 Ý nghĩa thực tiễn Ứng dụng xử lý liệu lớn mơ hình phân tán giải tốn Người bán hàng (TSP) CHƢƠNG - TỔNG QUAN VỀ DỮ LIỆU LỚN VÀ BÀI TOÁN TSP 1.1 Dữ liệu lớn Trước đây, biết đến liệu có cấu trúc (structure data), ngày nay, với kết hợp liệu internet, xuất dạng khác liệu Big data (dữ liệu lớn)[10] Dữ liệu từ nguồn như: Hồ sơ hành chính, giao dịch điện tử, dòng trạng thái (status), chia sẻ hình ảnh, bình luận, nhắn tin chúng ta, nói cách khác chúng liệu sản sinh qua q trình chia sẻ thơng tin trực tuyến liên tục người sử dụng Sự bùng nổ liệu xuất gần Cách khơng lâu, vào năm 2000, có phần tư lượng thơng tin lưu trữ tồn giới dạng kỹ thuật số Ba phần tư lại người ta lưu giấy tờ, phim, phương tiện analog khác Nhưng lượng liệu kỹ thuật số bùng nổ nhanh – năm lại tăng gấp đôi – cục diện nhanh chóng đảo ngược Ngày nay, 2% tổng lượng thông tin chưa chuyển sang lưu trữ dạng kỹ thuật số Theo tài liệu Intel vào tháng 09/2013, giới tạo petabyte liệu 11 giây, tương đương với đoạn video HD dài 13 năm Nhà bán lẻ online Amazon.com phải xử lí hàng triệu hoạt động ngày, yêu cầu từ khoảng triệu đối tác bán hàng Tương tự, Facebook phải quản lí 50 tỉ ảnh từ người dùng tải lên, YouTube hay Google phải lưu lại hết lượt truy vấn video người dùng nhiều loại thông tin khác có liên quan Hình 1.1: Mơ tả liệu lớn 1.1.1 Đặc trưng liệu lớn khác biệt với liệu truyền thống 1.1.2 Đặc trưng 5V liệu lớn 1.1.3 Sự khác biệt liệu lớn với liệu truyền thống Dữ liệu lớn khác với liệu truyền thống điểm bản: Dữ liệu đa dạng hơn; lưu trữ liệu lớn hơn; truy vấn nhanh hơn; độ xác cao a) Dữ liệu đa dạng Khi khai thác liệu truyền thống (dữ liệu có cấu trúc), thường phải trả lời câu hỏi: Dữ liệu lấy kiểu gì? Định dạng liệu nào? Đối với liệu lớn, trả lời câu hỏi Hay nói khác khai thác, phân tích liệu lớn khơng cần quan tâm đến kiểu liệu định dạng chúng, điều quan tâm giá trị mà liệu mang lại có đáp ứng cho cơng việc tương lai hay không b) Lưu trữ liệu lớn Lưu trữ liệu truyền thống vô phức tạp đặt câu hỏi lưu nào? Dung lượng kho lưu trữ đủ? Gắn kèm với câu hỏi chi phí đầu tư tương ứng Cơng nghệ lưu trữ liệu lớn phần giải vấn đề nhờ công nghệ lưu trữ đám mây, phân phối lưu trữ liệu phân tán kết hợp liệu phân tán lại với cách xác xử lý nhanh thời gian thực c) Truy vấn liệu nhanh Dữ liệu lớn cập nhật liên tục, kho liệu truyền thống cập nhật tình trạng khơng theo dõi thường xun gây tình trạng lỗi cấu trúc truy vấn dẫn đến khơng tìm kiếm thông tin đáp ứng theo yêu cầu d) Độ xác cao Dữ liệu lớn đưa vào sử dụng thường kiểm định lại liệu với điều kiện chặt chẽ, số lượng thông tin kiểm tra thông thường lớn, đảm bảo nguồn lấy liệu khơng có tác động người vào thay đổi số liệu thu thập 1.2 Các khái niệm đồ thị 1.2.1 Định nghĩa đồ thị 1.2.2 Đồ thị Hamilton 1.3 Bài toán ngƣời bán hàng (TSP) 1.3.1 Giới thiệu toán người bán hàng (TSP) Bài toán người bán hàng hay gọi tốn TSP [4][5] toán tiếng lĩnh vực tối ưu tổ hợp nghiên cứu lý thuyết khoa học máy tính có nội dung sau: Một người bán hàng xuất phát từ thành phố anh ta, muốn tìm đường ngắn qua tất thành phố khách hàng thành phố lần sau trở thành phố ban đầu Nó nhanh chóng trở thành tốn khó thách thức tồn giới độ phức tạp thuật toán tăng theo hàm số mũ (trong chuyên ngành thuật tốn người ta gọi chúng tốn NP-khó) 1.3.2 Mơ tả tốn TSP Bài tốn TSP mơ đồ thị (hình 1.10), đỉnh đồ thị tương ứng với thành phố cạnh tương ứng với đường nối thành phố, chiều dài cạnh tương ứng với khoảng cách thành phố Một đường toán TSP chu trình Hamilton đồ thị lời giải tối ưu tốn chu trình Hamilton ngắn Hình 1.10: Mơ tả tốn TSP Đồ thị thường đồ thị đầy đủ, cặp cạnh nối cạnh Đây bước đơn giản hóa tốn việc tìm chu trình Hamilton đồ thị đầy đủ dễ Các tốn mà khơng phải hai thành phố nối với chuyển đổi thành đồ thị đầy đủ cách thêm cạnh có độ dài lớn thành phố này, cạnh khơng xuất chu trình tối ưu 1.3.3 Các thuật toán giải toán TSP 1.4 Kết chƣơng Chương trình bày tổng quan liệu lớn, toán người bán hàng, lý thuyết đồ thị thuật toán để giải toán người bán hàng Trong số phương pháp giới thiệu chương 1, cách giải toán người bán hàng thuật toán nhánh cận lựa chọn làm thuật toán để triển khai mơ hình Mapreduce Nội dung chi tiết mơ hình tính tốn phân tán Hadoop-Mapreduce trình bày chương 10 Hình 2.2: Tổng quan Hadoop cluster 2.2 Hệ thống file phân tán Hadoop 2.2.1 Giới thiệu 2.2.2 Kiến trúc HDFS Hình 2.4: Quá trình nodes đọc file HDFS Hình 2.5: Quá trình nodes ghi file HDFS 11 2.3 Mơ hình tính tốn MapReduce 2.3.1 Giới thiệu Trước thời điểm Google cơng bố mơ hình MapReduce, với bùng nổ liệu (hàng petrabyte), lúc nhu cầu thực xử lý nghiệp vụ lượng liệu khổng lồ thách thức lớn lúc Cùng với nhu cầu ấy, doanh nghiệp gặp vấn đề tương tự muốn tìm giải pháp tốn chi phí hiệu thể cao Trong nghiên cứu, nhóm nhân viên Google khám phá ý tưởng để giải nhu cầu xử lý lượng liệu lớn việc cần phải có hệ thống nhiều máy tính cần có thao tác để xử lý đồng hệ thống Và họ xác định thao tác Map Reduce, lấy cảm hứng từ phong cách lập trình hàm (Functional Programming) Với ý tưởng trên, Google phát triển thành cơng mơ hình MapReduce, mơ hình dùng cho xử lý tính tốn song song phân tán hệ thống phân tán Nói cách đơn giản hơn, mơ hình phân rã từ nghiệp vụ (do người dùng muốn thể hiện) thành công việc để chia công việc máy tính hệ thống thực xử lý cách song song, sau thu thập lại kết Với mơ hình này, doanh nghiệp cải thiện đáng kể hiệu suất xử lý tính tốn liệu lớn, chi phí đầu tư rẻ độ an toàn cao[11][12] 2.3.2 Tổng quan mơ hình tính tốn Mapreduce 2.3.3 Cơ chế hoạt động MapReduce 2.3.4 Quá trình xử lý MapReduce MapReduce xây dựng từ mơ hình lập trình hàm lập trình song song Tăng tốc độ thực thi xử lý liệu mục đích quan trọng MapReduce 12 Quy trình gồm phần: Map: Đầu vào nút chủ (master node) sau chia nhỏ thành vấn đề bé Gọi split 0, split 1, split 2, … Reduce: Từ đầu trung gian tổng hợp lại để đưa kết cuối cho vấn đề master Để xử lý khối liệu bao gồm nhiều cặp (key, value), lập trình viên viết hai hàm Map Reduce Thực hàm Map - Trộn xếp kết thu từ máy tính để kết tiện lợi so với mục đích q trình - Tổng hợp kết trung gian thu từ máy tính phân tán Thực hàm Reduce Đưa kết cuối Hình 2.7: Mơ hình làm việc công việc MapReduce Lấy ý tưởng từ lập trình hàm, mơ hình MapReduce dựa hai hàm Map Reduce Để xử lý khối liệu bao gồm nhiều cặp (key, value), lập trình viên viết hai hàm Map Reduce Hàm Map có đầu vào cặp (k1,v1) đầu danh sách cặp (k2, v2), hàm Map viết cách hình thức sau: 13 Input (khóa, giá trị) Hàm Map Map(k1,v1)List( k2,v2) Output Danh sách cặp (khóa, giá trị) Hình 2.8: Mơ hình làm việc hàm Map Mơ hình MapReduce áp dụng hàm Map (do người dùng viết) vào cặp (key, value) khối liệu vào, chạy nhiều phiên hàm Map song song với node cluster Sau giai đoạn kết thúc, kết thu tập hợp nhiều cặp (key, value) gọi cặp (key, value) trung gian Các cặp lại nhóm lần theo khóa, cặp (key, value) trung gian có khóa nằm nhóm trung gian Sau đó, hàm Reduce (cũng người dùng viết) áp dụng vào nhóm trung gian để tạo thành kết cuối tùy theo yêu cầu đặt Một cách hình thức, hàm Reduce mơ tả sau: Input (khóa, giá trị) Hàm Reduce Reduce(k2,list(v2))list(v3) Output DL Output Hình 2.9: Mơ hình làm việc hàm Reduce Trong k2 khóa chung nhóm trung gian, list(v2) tập giá trị nhóm list(v3) danh sách giá trị trả hàm Reduce thuộc kiểu liệu v3 Do hàm Reduce áp dụng vào nhiều nhóm trung gian độc lập, chúng lại lần chạy song song với 14 2.3.5 Hadoop MapReduce Hadoop giữ nguyên chế MapReduce Google để cài đặt thành máy thực thi MapReduce Đây framework cho phép dễ dàng phát triển triển khai ứng dụng MapReduce Cơ chế hoạt động mapreduce Phân nhỏ liệu đầu vào Thông qua thư viện MapReduce ứng với ngơn ngữ, chương trình có nhiệm vụ phân mảnh tệp liệu đầu vào Dữ liệu vào chia thành phần nhỏ Sao chép chương trình Chương trình MapReduce làm nhiệm vụ chép chương trình chạy thành tiến trình song song lên máy tính phân tán Các máy gồm có Master Worker Trong máy Master làm nhiệm vụ điều phối hoạt động trình thực MapReduce máy Worker Các máy Worker làm nhiệm vụ thực trình Map Reduce với liệu mà nhận Thực hàm Map Máy master phân phối tác vụ Map Reduce vào worker rảnh rỗi Các tác vụ Master phân phối cho máy dựa vị trí liệu liên quan hệ thống Máy Worker nhận tác vụ Map đọc liệu mà nhận từ phân vùng liệu gán cho thực hàm Map Kết đầu cặp trung gian Các cặp lưu tạm nhớ đệm máy Sau thực xong công việc Map Các máy Worker làm nhiệm vụ chia giá trị trung gian thành R vùng (tương ứng với R tác vụ Reduce) lưu xuống đĩa thông báo kết quả, vị trí lưu cho máy Master 15 Master gán giá trị trung gian vị trí cặp liệu cho máy thực cơng việc Reduce Các máy Reduce làm nhiệm vụ xử lý key, thực hàm Reduce đưa kết cuối Thơng báo kết Master kích hoạt thơng báo cho chương trình người dùng trình MapReduce hoàn tất Kết đầu lưu trữ R tập tin Để thể chức việc viết chương trình cần xây dựng hàm: +Hàm Map +Hàm reduce +Driver 2.4 Kết chƣơng Chương trình bày lý thuyết tảng tính tốn phân tán Hadoop – MapReduce Trong hai khái niệm HDFS mơ hình tính tốn Map Reduce hai khái niệm quan trọng Hadoop Trong chương tiếp theo, tác giả xin trình bày thuật toán để giải toán TSP cách thiết kế thuật tốn mơ hình Mapreduce CHƢƠNG - PHÂN TÍCH THIẾT KẾ BÀI TỐN TSP DỰA TRÊN MƠ HÌNH XỬ LÝ MAPREDUCE 3.1 Bài toán TSP Một người bán hàng hệ thống n thành phố Giữa thành phố có khơng đường nối, đường nối có chi phí xác định từ trước Người bán hàng xuất phát từ thành phố, tới tất thành phố khác thành phố qua lần quay 16 trở lại thành phố ban đầu Hãy xác định hành trình cho tổng chi phí đường nhỏ nhất[5] Xét đồ thị đầy đủ G=(V,E), với V={1, 2, , n}, có trọng số với trọng số Cij= C(i,j) khác Cji = C(j,i) Như vậy, ta xem G đồ thị có hướng đầy đủ “mạnh” theo nghĩa với i, j=1, 2, , n, với ij, ln có (i,j), (j,i) thuộc E Bài tốn trở thành tìm chu trình Hamilton có độ dài ngắn G Hình 3.1: Mơ tả toán TSP 3.2 Phƣơng pháp nhánh cận giải toán ngƣời bán hàng 3.3 Thiết kế cấu trúc liệu cài đặt thuật toán nhánh cận 3.4 Thiết kế TSP mơ hình MapReduce 3.4.1 Bài tốn TSP Một người bán hàng xuất phát từ thành phố anh ta, muốn tìm đường ngắn qua tất thành phố khách hàng thành phố lần sau trở thành phố ban đầu[5] 17 Hình 3.4 : Mơ hình tốn TSP 3.4.2 Qui trình xử lí tốn TSP mơ hình Mapreduce Giả sử toán gồm n thành phố khoảng cách thành phố lưu trữ ma trận trọng số hình 3.5 biểu diễn dạng đồ thị hình 3.6 Hình 3.7: Đồ thị tốn TSP Các bước giải toán TSP sau: 18 Phân (Partition) : Chia toán thành n thành phần Hình 3.8 : Chia tốn TSP thành n thành phần Giải phần riêng biệt (Map) Hình 3.9: Giải thành phần riêng biệt toán TSP 19 Kết hợp thành phần (Reduce) Hợp thành phần lại với Để hợp thành phần loại bỏ cung từ thành phần thêm đường cung nối thành phần với Việc hợp diễn nhiều lần đạt kết tốt Hình 3.10: Kết hợp thành phần lại với Kết quả(Result) Hợp nhiều lần để kết cuối Hình 3.11: Hợp tất thành phần để có kết cuối 20 3.4.3 Cài đặt chạy tốn TSP mơ hình MapReduce Input: Ma trận trọng số (Chi phí thành phố) Hình 3.13 : Giao diện tốn TSP Hadoop Output: Đường từ thành phố qua tất thành phố, mội thành phố lần quay thành phố ban đầu với chi phí thấp Hình 3.14: Kết thực chương trình tốn TSP Hadoop 21 City 0-> City 1-> City 2-> City 7-> City 4-> City 8-> City 6-> City 5-> City 9-> City 3-> City Tổng chi phí thấp nhất: 2019 3.4.4 Đánh giá kết So sánh hệ thống xử lý trước với thuật toán song song để kiểm tra khác biệt kết có kết luận tối ưu hóa đạt sử dụng thuật tốn Hình 3.15 mơ tả thời gian thực thuật tốn có số đỉnh khác biểu diễn ba đường khác biểu diễn giai đoạn map 1, Chi phí hệ thống lớn thuật tốn thực cố mạng xảy dẫn đến làm tăng thời gian cần thiết để trình tính tốn hồn thành Hình 3.18 Mơ tả hoạt động thuật toán số giai đoạn MapReduce tăng Nhìn vào biểu đồ ta biết số giai đoạn tăng thời gian thực thuật toán tăng Số đỉnh cho hàm Mapper số lượng máy cụm mang lại kết tốt với hiệu suất tối ưu Tuy nhiên, hệ thống song song, chạy với số lượng đỉnh lớn cho hệ thống làm cho hệ thống hiệu với xử lý tải lớn nhiều so với hệ thống Hệ thống xử lý nhiều đỉnh hệ thống song song xử lý đơn với khả tính tốn bị giới hạn Khi hệ thống song song thực cụm lớn, khả tính tốn lớn nhiều hệ thống thực tính tốn tốt Mục đích thực nghiệm để so sánh thời gian thực chương trình hai thuật tốn: thuật tốn xử lý theo kiểu truyền thống thuật toán xử lý song song theo mơ hình 22 Mapreduce Với liệu sinh từ chương trình sinh liệu ngẫu nhiên sinh liệu với số đỉnh khoảng 100000 đỉnh Kết thực nghiệm cho thấy chương trình chạy cho kết đắn Với liệu 100000 đỉnh chương trình viết MapReduce chạy máy cho thời gian thực khoảng 36 giây Đây kết bước đầu cho thấy thời gian thực chương trình nhanh nhiều so với chương trình viết thuật tốn xử lý với số đỉnh Điều thêm lần khẳng định việc ứng dụng chế xử lý phân tán MapReduce để giải tốn đồ thị có liệu lớn có hiệu đắn 3.5 Kết chƣơng Chương giới thiệu giải thuật để giải toán TSP, thiết kế tốn TSP mơ hình MapReduce, qui trình xử lí tốn TSP mơ hình MapReduce, cài đặt chạy chương trình, đánh giá kết TSP KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN Kết Luận Chúng ta sống thời đại mà ngành cơng nghệ máy tính phát triển vũ bão Số lượng người sử dụng máy tính tài nguyên trực tuyến để xử lý ngày tăng nhanh dẫn đến khối lượng liệu số phồng to với tốc độ chóng mặt Khi khối lượng liệu hệ thống gia tăng tới mức độ định việc hệ thống phải đối mặt với thách thức làm để lưu trữ, phân tích xử lý liệu Việc lưu trữ xử lý liệu phân tán mô hình xử lý phân tán MapReduce lĩnh vực khơng có tiềm đáng để nghiên cứu Trải qua trình làm việc nghiêm túc, bước đầu thu 23 số kết định Khái quát kiến thức LTĐT, tảng tính tốn phân tán với Hadoop Nêu phương pháp giải số tốn đồ thị theo mơ hình MapReduce Tập trung nghiên cứu, xây dựng toán thuật tốn LTĐT theo mơ hình MapReduce nhằm giải toán người bán hàng TSP Luận văn nghiên cứu giải toán người bán hàng (TSP), lý thuyết đồ thị mơ hình xử lý phân tán MapReduce tảng Hadoop nhận dạng toán thực tế để đưa giải tốn đồ thị có kích thước liệu lớn Chương trình thể bước xử lý Hadoop MapReduce Luận văn cài đặt thành cơng chương trình đạt kết ban đầu Xuất thông tin mà hệ thống MapReduce xử lý Khẳng định lần chế xử lý phân tán MapReduce quan tâm, phát triển liên tục nhằm nghiên cứu, giải số tốn có kích thước liệu lớn sống Hƣớng phát triển Trên sở kết nghiên cứu trình bày luận văn, chúng tơi nhận thấy số vấn đề cần tiếp tục nghiên cứu để có kết tốt như: Sẽ phát triển thêm với nguồn tài nguyên lớn hơn, đánh giá việc xử lý toán với nhiều nút Thực liệu đầu vào với Data lớn nhiều Tiếp tục phát triển ứng dụng khoa học với hệ thống MapReduce Đưa ứng dụng vào thực tế để triển khai tính tốn có hiệu Trong q trình làm luận văn, dù cố gắng nghiên cứu tìm hiểu kiến thức để thực tốt đề tài Tuy nhiên thời gian nghiên cứu trình độ thân có hạn nên khơng thể tránh khỏi 24 thiếu sót Rất mong nhận góp ý quý Thầy, Cô giáo, đồng nghiệp, bạn bè quan tâm đến đề tài đưa để nội dung nghiên cứu hoàn thiện ... học: Ứng dụng mơ hình xử lý phân tán Mapreduce để giải toán TSP ” Mục tiêu nhiệm vụ nghiên cứu 2.1 Mục tiêu nghiên cứu Nghiên cứu ứng dụng mơ hình xử lý phân tán MapReduce tảng hadoop để giải toán. .. định việc ứng dụng chế xử lý phân tán MapReduce để giải toán đồ thị có liệu lớn có hiệu đắn 3.5 Kết chƣơng Chương giới thiệu giải thuật để giải toán TSP, thiết kế toán TSP mơ hình MapReduce, ... toán Người bán hàng (TSP) từ giải thuật sang xử lý song song mơ hình phân tán MapReduce 5.2 Ý nghĩa thực tiễn Ứng dụng xử lý liệu lớn mơ hình phân tán giải toán Người bán hàng (TSP) CHƢƠNG - TỔNG