Phục hồi lỗi trong các hệ thống tính toán đồ thị phân tán THuy Hue Tapchi TinhocNH

Phục hồi lỗi trong các hệ thống tính toán đồ thị phân tán THuy Hue Tapchi TinhocNH tài liệu, giáo án, bài giảng , luận v...

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI --------------------------------------- LUẬN VĂN THẠC SĨ KHOA HỌC GIẢI PHÁP NÂNG CAO HIỆU QUẢ CỦA GIẢN ĐỒ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY TRONG CÁC HỆ THỐNG TÍNH TOÁN TÌNH NGUYỆN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Nguyễn Quang Hòa Người hướng dẫn khoa học: TS. NGÔ HỒNG SƠN Hà Nội – 2008 1 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 LỜI CAM ĐOAN Tôi xin cam đoan bản Luận văn này là công trình nghiên cứu của riêng tôi. Các dữ liệu và kết quả nêu trong Luận văn là hoàn toàn trung thực và có nguồn gốc rõ ràng. TÁC GIẢ (Ký tên) 2 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 Chương 1. LỜI CẢM ƠN Trước hết, tôi xin được chân thành cảm ơn TS. Ngô Hồng Sơn đã tận tình hướng dẫn, cung cấp tài liệu và kiến thức cần thiết giúp tôi hoàn thành Luận văn tốt nghiệp này. Tôi xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô giáo trong Khoa Công nghệ thông tin cũng như các thầy, cô giáo trong trường Đại học Bách Khoa Hà Nội đã truyền đạt cho tôi những kiến thức quan trọng trong suốt thời gian tôi học tập và nghiên cứu tại trường. Cuối cùng, tôi xin được nói lời cảm ơn đến gia đình và bạn bè, những người luôn ở bên tôi, cổ vũ và động viên tôi trong suốt thời gian học tập và làm luận văn tốt nghiệp. Trong quá trình hoàn thành luận văn, do còn thiếu kinh nghiệm, sự ràng buộc về thời gian và sự hạn chế về kiến thức nên chắc chắn không tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được sự đóng góp ý kiến và giúp đỡ của các thầy, các cô và các bạn. Hà Nội, ngày 20 tháng 11 năm 2008 Người thực hiện luận văn 3 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 MỤC LỤC LỜI CAM ĐOAN .1 LỜI CẢM ƠN .2 MỤC LỤC .3 DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ .5 MỞ ĐẦU .6 Chương 1. TỔNG QUAN .8 1.1 Tính toán lưới 8 1.2 Tính toán ngang hàng 12 1.3 Tính toán tình nguyện 14 1.3.1 Khái niệm 14 1.3.2 BOINC 15 1.3.2.1 Khái niệm .15 1.3.2.2 Các đặc trưng cơ bản của BOINC [23] 16 1.3.2.3 Kiến trúc BOINC .18 1.3.3 Lập lịch trong tính toán tình nguyện .19 1.3.3.1 Lập lịch phía máy trạm 20 1.3.3.2 Lập lịch phía máy chủ 20 1.3.3.3 Lập lịch chịu lỗi dựa trên độ tin cậy 21 1.3.4 So sánh với tính toán lưới và tính toán ngang hàng .23 1.3.4.1 Tính toán lưới .23 1.3.4.2 Tính toán ngang hàng .23 Chương 2. LÝ THUYẾT CƠ BẢN VỀ LẬP LỊCH NGHIÊN CỨU CÁC PHƯƠNG PHÁP PHỤC HỒI LỖI TRONG CÁC HỆ THỐNG TÍNH TỐN ĐỒ THỊ PHÂN TÁN ThS Nguyễn Thanh Thụy – Học viện Ngân hàng ThS.Trần Thị Huế - Học viện Ngân hàng Tóm tắt Với phổ biến liệu đồ thị ứng dụng thực tế (ví dụ, mạng xã hội, mạng lưới điện thoại di động, đồ thị web, vv…) kích thước ngày tăng nó, nhiều hệ thống tính tốn đồ thị phân tán phát triển năm gần để xử lý phân tích đồ thị đồ sộ Ngồi ra, hệ thống tính toán đồ thị phân tán chủ yếu khai thác nhớ nhằm hỗ trợ tính linh hoạt đồ thị Do phức tạp việc phân tích đồ thị, khơng gian nhớ đặc biệt cần thiết phân tích đồ thị sinh kết trung gian lớn Như q trình hệ thống thực xuất hoạt động bất thường suy giảm hiệu suất nghiêm trọng nhớ bị cạn sử dụng q số lõi Khơng thế, hệ thống tính tốn đồ thị phân tán ngày đòi hỏi nhiều nút tính tốn để đối phó với u cầu đặt đồ thị dựa ứng dụng BigData thời, việc tăng số lượng nút tính tốn làm tăng việc xuất nút lỗi Do việc trích lập dự phòng chiến lược phục hồi lỗi hiệu quan trọng hệ thống tính tốn đồ thị phân tán Bài viết trình bày số kỹ thuật khơi phục lỗi cho hệ thống xử lý đồ thị phân tán song song với q trình phục hồi Ý tưởng để phân chia phần bị lỗi đồ thị cho tập lại dựa checkpoint file log Giới thiệu Đồ thị nắm bắt mối quan hệ phức tạp phụ thuộc liệu, quan trọng cho ứng dụng Big Data phân tích mạng xã hội, phân tích khơng-thời gian chuyển hướng, phân tích người tiêu dùng MapReduce đề xuất mơ hình lập trình cho Big Data khoảng thập kỷ trước, kể từ đó, nhiều hệ thống phân phối MapReduce dựa thiết kế cho ứng dụng Big Data phân tích liệu quy mơ lớn [Li14] Tuy nhiên, năm gần đây, MapReduce chứng minh không hiệu để xử lý liệu đồ thị, số hệ thống Pregel [Malewicz10], Giraph [2], GraphLab [Gonzalez12, Low12], Trinity [Shao13] đề xuất gần nhằm mở rộng khả xử lý đồ thị phân tán Với bùng nổ kích thước đồ thị nhu cầu ngày tăng phân tích phức tạp, hệ thống xử lý đồ thị phải liên tục mở rộng cách tăng số lượng nút tính tốn, để xử lý tải Nhưng nhân rộng số lượng nút có hai tác dụng khả phục hồi lỗi hệ thống Thứ nhất, tăng số lượng nút chắn dẫn đến gia tăng số lượng nút bị hỏng Thứ hai, sau bị lỗi, tiến độ toàn hệ thống phải dừng lại lỗi phục hồi Do đó, tiềm lớn nút trở nên nhàn rỗi tập hợp nhỏ nút lỗi Vì việc khơi phục lỗi nhanh xuất lỗi trở nên quan trọng hệ thống xử lý đồ thị phân tán Việc thiết kế chế phục hồi lỗi hệ thống phân tán nhiệm vụ không tầm thường, họ phải đối phó với số điều kiện đối lập Nút lỗi xảy lúc nào, thời gian thực công việc bình thường, giai đoạn phục hồi Các thiết kế thuật tốn phục hồi phải có khả xử lý hai loại lỗi Hơn nữa, thuật toán phục hồi phải hiệu chi phí phục hồi làm giảm đáng kể hiệu hệ thống Đến mức độ định, thời gian phục hồi dài, thất bại xảy nhiều lần trước hệ thống thu hồi từ thất bại ban đầu Nếu vậy, hệ thống vào vòng lặp phục hồi vô tận mà không cần tiến thực Cuối cùng, hệ thống phải đối phó với lỗi trì chế phục hồi với ứng dụng người dùng Điều ngụ ý thuật tốn phục hồi dựa vào mơ hình tính tốn hệ thống, khơng phải tính tốn logic áp dụng cho ứng dụng cụ thể Các phương pháp phục hồi bình thường thơng qua hệ thống xử lý đồ thị phân tán checkpoint-based [Low10, Malewicz10, Xin13] Nó u cầu nút tính tốn định kỳ đồng ghi lại trạng thái đồ thị riêng để lưu trữ trạng thái ổn định hệ thống tập tin phân tán dạng checkpoint Khi có lỗi, checkpoint-base phục hồi sử dụng nút tính tốn khỏe mạnh chưa sử dụng để thay cho nút lỗi yêu cầu tất nút tính tốn để tải lại tình trạng đồ thị từ checkpoint gần sau đồng tái thực tất khối lượng công việc bị Một lỗi phục hồi tất nút kết thúc tính tốn hồn thành trước lỗi xảy Các tính toán lại bị lặp lại lần lỗi tiếp tục xảy trình phục hồi Mặc dù checkpoint-base phục hồi xử lý nút lỗi, có khả gặp phải cố trễ phục hồi cao Nguyên nhân checkpoint-base phục hồi thực lại khối cơng việc tồn đồ thị, trú nút lỗi nút tính tốn khỏe mạnh dựa checkpoint gần Điều phải chịu chi phí tính tốn cao chi phí truyền thơng cao, bao gồm tải tồn checkpoint, thực tính tốn qua thơng điệp tất nút tính tốn q trình phục hồi Thứ hai, lỗi tiếp tục xảy thời gian phục hồi, việc tính tốn gây lỗi trước phục hồi phần Tuy nhiên, checkpoint-base phục hồi bỏ qua tất phần khối cơng việc hồn thành này, quay ngược lại nút tính tốn đến checkpoint gần lặp lại tính tốn Điều làm giảm khả thực việc phục hồi bước Phục hồi lỗi hệ thống xử lý đồ thị phân tán (DGPS) Chúng ta xem xét công việc đồ thị thực thi tập N nút tính tốn từ superstep tới smax Một nút tính tốn lỗi lúc q trình thực cơng việc bình thường Hãy để F(Nf, sf) biểu thị thất bại xảy vào tập Nf (⊆ N) nút tính tốn cơng việc thực thực bình thường superstep s f (∈ [1, smax]) Chúng liên kết F với hai trạng thái SF SF*, ghi lại trạng thái đỉnh trước sau phục hồi F tương ứng Hãy xem xét thất bại F(Nf, sf) xảy thực bình thường công việc đồ thị Trong thời gian phục hồi cho F, nút tính tốn thất bại lúc Cụ thể hơn, nhiều thất bại xảy theo trình tự trước hệ thống đạt trạng thái SF* Để đẩy nhanh phục hồi cho F, cần thực ba nhiệm vụ chính: Tái thực tính tốn cho tình trạng ... BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC GIẢI PHÁP NÂNG CAO HIỆU QUẢ CỦA GIẢN ĐỒ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY TRONG CÁC HỆ THỐNG TÍNH TOÁN TÌNH NGUYỆN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Nguyễn Quang Hòa Người hướng dẫn khoa học: TS. NGÔ HỒNG SƠN Hà Nội – 2008 1 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 LỜI CAM ĐOAN Tôi xin cam đoan bản Luận văn này là công trình nghiên cứu của riêng tôi. Các dữ liệu và kết quả nêu trong Luận văn là hoàn toàn trung thực và có nguồn gốc rõ ràng. TÁC GIẢ (Ký tên) 2 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 Chương 1. LỜI CẢM ƠN Trước hết, tôi xin được chân thành cảm ơn TS. Ngô Hồng Sơn đã tận tình hướng dẫn, cung cấp tài liệu và kiến thức cần thiết giúp tôi hoàn thành Luận văn tốt nghiệp này. Tôi xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô giáo trong Khoa Công nghệ thông tin cũng như các thầy, cô giáo trong trường Đại học Bách Khoa Hà Nội đã truyền đạt cho tôi những kiến thức quan trọng trong suốt thời gian tôi học tập và nghiên cứu tạ i trường. Cuối cùng, tôi xin được nói lời cảm ơn đến gia đình và bạn bè, những người luôn ở bên tôi, cổ vũ và động viên tôi trong suốt thời gian học tập và làm luận văn tốt nghiệp. Trong quá trình hoàn thành luận văn, do còn thiếu kinh nghiệm, sự ràng buộc về thời gian và sự hạn chế về kiến thức nên chắc chắn không tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được sự đóng góp ý kiến và giúp đỡ của các thầy, các cô và các bạn. Hà Nội, ngày 20 tháng 11 năm 2008 Người thực hiện luận văn 3 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 MỤC LỤC LỜI CAM ĐOAN 1 LỜI CẢM ƠN 2 MỤC LỤC 3 DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ 5 MỞ ĐẦU 6 Chương 1. TỔNG QUAN 8 1.1 Tính toán lưới 8 1.2 Tính toán ngang hàng 12 1.3 Tính toán tình nguyện 14 1.3.1 Khái niệm 14 1.3.2 BOINC 15 1.3.2.1 Khái niệm 15 1.3.2.2 Các đặc trưng cơ bản của BOINC [23] 16 1.3.2.3 Kiến trúc BOINC 18 1.3.3 Lập lịch trong tính toán tình nguyện 19 1.3.3.1 Lập lịch phía máy trạm 20 1.3.3.2 Lập lịch phía máy chủ 20 1.3.3.3 Lập lịch chịu lỗi dựa trên độ tin cậy 21 1.3.4 So sánh với tính toán lưới và tính toán ngang hàng 23 1.3.4.1 Tính toán lưới 23 1.3.4.2 Tính toán ngang hàng 23 Chương 2. LÝ THUYẾT CƠ BẢN VỀ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY 25 2.1 Mô hình cơ bản và các giả định 25 4 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 2.2 Các kĩ thuật chịu lỗi truyền thống. 28 2.2.1 Biểu quyết theo số đông 29 2.2.2 Kiểm tra điểm 30 2.2.2.1 Kiểm tra điểm dùng danh sách đen 31 2.2.2.2 Kiểm tra điểm không dùng danh sách đen 32 2.3 Chịu lỗi dựa trên độ tin cậy 33 2.3.1 Tổng quan 33 2.3.2 Tính toán độ tin cậy 35 2.3.3 Ứng dụng sự tin cậy 36 2.3.3.1 Kết hợp biểu quyết và kiểm tra điểm 36 2.3.3.2 Kiểm tra điểm bằng biểu quyết 37 2.4 Khảo sát một số giản đồ lập lịch. 38 2.4.1 Lập lịch Round Robin 39 2.4.2 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ KHOA HỌC GIẢI PHÁP NÂNG CAO HIỆU QUẢ CỦA GIẢN ĐỒ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY TRONG CÁC HỆ THỐNG TÍNH TOÁN TÌNH NGUYỆN NGÀNH: CÔNG NGHỆ THÔNG TIN MÃ SỐ: ……………………………… Nguyễn Quang Hòa Người hướng dẫn khoa học: TS. NGÔ HỒNG SƠN Hà Nội – 2008 1 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 LỜI CAM ĐOAN Tôi xin cam đoan bản Luận văn này là công trình nghiên cứu của riêng tôi. Các dữ liệu và kết quả nêu trong Luận văn là hoàn toàn trung thực và có nguồn gốc rõ ràng. TÁC GIẢ (Ký tên) 2 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 Chương 1. LỜI CẢM ƠN Trước hết, tôi xin được chân thành cảm ơn TS. Ngô Hồng Sơn đã tận tình hướng dẫn, cung cấp tài liệu và kiến thức cần thiết giúp tôi hoàn thành Luận văn tốt nghiệp này. Tôi xin bày tỏ lòng biết ơn sâu sắc tới các thầy, cô giáo trong Khoa Công nghệ thông tin cũng như các thầy, cô giáo trong trường Đại học Bách Khoa Hà Nội đã truyền đạt cho tôi những kiến thức quan trọng trong suốt thời gian tôi học tập và nghiên cứu tạ i trường. Cuối cùng, tôi xin được nói lời cảm ơn đến gia đình và bạn bè, những người luôn ở bên tôi, cổ vũ và động viên tôi trong suốt thời gian học tập và làm luận văn tốt nghiệp. Trong quá trình hoàn thành luận văn, do còn thiếu kinh nghiệm, sự ràng buộc về thời gian và sự hạn chế về kiến thức nên chắc chắn không tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được sự đóng góp ý kiến và giúp đỡ của các thầy, các cô và các bạn. Hà Nội, ngày 20 tháng 11 năm 2008 Người thực hiện luận văn 3 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 MỤC LỤC LỜI CAM ĐOAN 1 LỜI CẢM ƠN 2 MỤC LỤC 3 DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ 5 MỞ ĐẦU 6 Chương 1. TỔNG QUAN 8 1.1 Tính toán lưới 8 1.2 Tính toán ngang hàng 12 1.3 Tính toán tình nguyện 14 1.3.1 Khái niệm 14 1.3.2 BOINC 15 1.3.2.1 Khái niệm 15 1.3.2.2 Các đặc trưng cơ bản của BOINC [23] 16 1.3.2.3 Kiến trúc BOINC 18 1.3.3 Lập lịch trong tính toán tình nguyện 19 1.3.3.1 Lập lịch phía máy trạm 20 1.3.3.2 Lập lịch phía máy chủ 20 1.3.3.3 Lập lịch chịu lỗi dựa trên độ tin cậy 21 1.3.4 So sánh với tính toán lưới và tính toán ngang hàng 23 1.3.4.1 Tính toán lưới 23 1.3.4.2 Tính toán ngang hàng 23 Chương 2. LÝ THUYẾT CƠ BẢN VỀ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY 25 2.1 Mô hình cơ bản và các giả định 25 4 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 2.2 Các kĩ thuật chịu lỗi truyền thống. 28 2.2.1 Biểu quyết theo số đông 29 2.2.2 Kiểm tra điểm 30 2.2.2.1 Kiểm tra điểm dùng danh sách đen 31 2.2.2.2 Kiểm tra điểm không dùng danh sách đen 32 2.3 Chịu lỗi dựa trên độ tin cậy 33 2.3.1 Tổng quan 33 2.3.2 Tính toán độ tin cậy 35 2.3.3 Ứng dụng sự tin cậy 36 2.3.3.1 Kết hợp biểu quyết và kiểm tra điểm 36 2.3.3.2 Kiểm tra điểm bằng biểu quyết 37 2.4 Khảo sát một số giản đồ ... thuật tốn phục hồi dựa vào mơ hình tính tốn hệ thống, khơng phải tính tốn logic áp dụng cho ứng dụng cụ thể Các phương pháp phục hồi bình thường thơng qua hệ thống xử lý đồ thị phân tán checkpoint-based... ngược lại nút tính tốn đến checkpoint gần lặp lại tính tốn Điều làm giảm khả thực việc phục hồi bước Phục hồi lỗi hệ thống xử lý đồ thị phân tán (DGPS) Chúng ta xem xét công việc đồ thị thực thi... thiết kế thuật tốn phục hồi phải có khả xử lý hai loại lỗi Hơn nữa, thuật toán phục hồi phải hiệu chi phí phục hồi làm giảm đáng kể hiệu hệ thống Đến mức độ định, thời gian phục hồi dài, thất bại