Song song hoá thuật toán tìm đường đi ngắn nhất trên nguồn dữ liệu lớn dùng MPI luận văn thạc sĩ

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** Đặng Như Tồn Song song hố thuật tốn tìm đường ngắn nguồn liệu lớn dùng MPI Luận văn Thạc sỹ Công nghệ thông tin Đồng Nai - năm 2011 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC LẠC HỒNG *** Đặng Như Toàn Song song hố thuật tốn tìm đường ngắn nguồn liệu lớn dùng MPI Chuyên ngành: Công nghệ thông tin Mã số: 604805 Luận văn Thạc sỹ Công nghệ thông tin Người hướng dẫn khoa học PGS.TS Trần Văn Lăng Đồng Nai - năm 2011 LỜI CẢM ƠN Được định hướng thầy PGS TS Trần Văn Lăng, em lựa chọn đề tài “Song song hố thuật tốn tìm kiếm đường ngắn với MPI” Được giúp đỡ hướng dẫn tận tình thầy PGS TS Trần Văn Lăng số đồng nghiệp, đến em hoàn thành luận văn Mặc dù cố gắng, thời gian có hạn hạn chế thân nên khơng tránh khỏi có thiếu sót Em mong nhận ý kiến đóng góp Thầy Cơ bạn đồng nghiệp để luận văn hoàn thiện Tác giả Đặng Như Toàn MỤC LỤC Trang LỜI CẢM ƠN .iii MỤC LỤC iv Danh mục thuật ngữ vii Danh mục hình vẽ, bảng biểu .viii MỞ ĐẦU 1 Đặt vấn đề Mục đích luận văn Nội dung luận văn Phương pháp nghiên cứu CHƯƠNG - MỘT SỐ KỸ THUẬT TÌM KIẾM ĐƯỜNG ĐI NGẮN NHẤT 1.1 Bài tốn tìm kiếm đường ngắn 1.2 Các thuật toán 1.2.1 Thuật toán Dijkstra 1.2.2 Thuật toán A star 1.2.3 Thuật toán di truyền CHƯƠNG - LẬP TRÌNH SONG SONG VỚI MPI 16 2.1 Tổng quan lập trình song song với MPI 16 2.1.1 Giới thiệu 16 2.1.2 Một số đặc điểm lập trình MPI 17 2.2 Lập trình song song với MPI 19 2.2.1 Giới thiệu 19 2.2.2 Một số vấn đề hiệu 21 2.2.2.1 Năng lực tính toán 21 2.2.2.2 Cân tải 23 2.2.2.3 Sự bế tắc 25 CHƯƠNG - MPI TRONG THUẬT TỐN DIJKSTRA CHO BÀI TỐN TÌM KIẾM ĐƯỜNG ĐI NGẮN NHẤT 27 3.1 u cầu đặt cho tốn tìm kiếm đường ngắn theo giải thuật Dijksta 27 3.2 Xây dựng hàm tìm kiếm đường ngắn 27 3.2.1 Xây dựng thuật toán Dijkstra cho toán 27 3.2.2 Thực song song hoá 28 3.2.3 Thuật toán song song 29 3.2.4 Lựa chọn hàm MPI cho thuật toán song song 30 3.2.5 Công thức song song 35 3.3 Chi phí thời gian 38 CHƯƠNG - KẾT QUẢ THỬ NGHIỆM 39 4.1 Các kết thử nghiệm 39 4.1.1 Kết thử nghiệm giải thuật Dijkstra cổ điển 39 4.1.2 Kết thử nghiệm tìm kiếm giải thuật Dijkstra song song 40 4.2 Đánh giá kết 41 KẾT LUẬN 44 TÀI LIỆU THAM KHẢO 45 Danh mục thuật ngữ LIS – Language Independent Specifications MIMD – Multiple Instruction Multiple Data MPI – Message Passing Interface OSI – Open Systems Interconnection PVM – Parallel Vitual Machine TCP – Transmission Control Protocol TTDT – Thuật tốn di truyền Danh mục hình vẽ, bảng biểu Hình 1.1 – Kỹ thuật quay bánh xe Hình 2.1 – Khả tăng tốc độ tính tốn, trường hợp lý tưởng Hình 2.2 – Khả tăng tốc độ tính tốn, trường hợp thực tế Hình 3.1 – Sơ đồ khối thuật toán Dijkstra song song Bảng 4.1 – Thời gian thực thuật toán Dijkstra cổ điển Bảng 4.2 – Thời gian thực thuật toán Dijkstra song song Bảng 4.3: Thời gian thực thuật toán Dijkstra song song với nhiều tiến trình Hình 4.4: So sánh kết thử nghiệm thuật tốn Dijksta Hình 4.5: So sánh kết thử nghiệm thuật toán Dijksta với nhiều tiến trình MỞ ĐẦU Đặt vấn đề Tim kiếm đường ngắn toán kinh điển nghiên cứu nhiều ứng dụng hệ thống chuyên biệt Rất nhiều nghiên cứu cải tiến thuật toán tối ưu thuật tốn khơng gian tìm kiếm, thời gian tìm kiếm Tuy nhiên, với bùng nổ thông tin phát triển cơng nghệ thơng tin, thuật tốn tìm kiếm đường ngắn kinh điển khơng thể đáp ứng thời gian tìm kiếm tốt lượng liệu lớn Bài toán đặt làm để giải vấn đề tìm kiếm đường ngắn với nguồn liệu lớn phân tán, đáp ứng mục tiêu rút ngắn thời gian tìm kiếm Mục đích luận văn Nghiên cứu song song hoá thuật toán Dijkstra cho toán tìm đường ngắn nguồn liệu lớn phân tán; từ nâng cao hiệu việc xử lý liệu Nội dung luận văn Trong luận văn gồm có nội dung: - Nội dung 1: Nghiên cứu tốn tìm kiếm đường ngắn Đánh giá ưu điểm, nhược điểm thuật toán - Nội dung 2: Cải tiến thuật tốn Dijkstra cho tốn tìm kiếm đường ngắn cách song song hóa thuật tốn để tối ưu thời gian tìm kiếm nguồn liệu lớn - Nội dung 3: Tiến hành thử nghiệm, đánh giá thuật toán cải tiến Phương pháp nghiên cứu Để thực nội dung nêu trên, tác giả sử dụng số phương pháp cho nội dung sau: - Nội dung 1: sử dụng phương pháp phân tích, so sánh đánh giá thuật tốn tìm kiếm đường ngắn - Nội dung 2: sử dụng phương pháp phân tích khả song song hóa thuật tốn Dijkstra - Nội dung 3: sử dụng phương pháp đối sánh để đánh giá kết thử nghiệm thuật toán cải tiến ... lượng liệu lớn Bài toán đặt làm để giải vấn đề tìm kiếm đường ngắn với nguồn liệu lớn phân tán, đáp ứng mục tiêu rút ngắn thời gian tìm kiếm Mục đích luận văn Nghiên cứu song song hoá thuật tốn... kiếm đường ngắn 27 3.2.1 Xây dựng thuật toán Dijkstra cho toán 27 3.2.2 Thực song song hoá 28 3.2.3 Thuật toán song song 29 3.2.4 Lựa chọn hàm MPI cho thuật toán song. .. MỘT SỐ KỸ THUẬT TÌM KIẾM ĐƯỜNG ĐI NGẮN NHẤT 1.1 Bài tốn tìm kiếm đường ngắn Trong lý thuyết đồ thị, toán đường ngắn nguồn đơn tốn tìm đường hai đỉnh cho tổng trọng số cạnh tạo nên đường nhỏ Định