Giải pháp nâng ao hiệu quả của giản đồ lập lịch dựa trên độ tin cậy trong các hệ thống tính toán tình nguyện

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC GIẢI PHÁP NÂNG CAO HIỆU QUẢ CỦA GIẢN ĐỒ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY TRONG CÁC HỆ THỐNG TÍNH TỐN TÌNH NGUYỆN NGÀNH: CƠNG NGHỆ THƠNG TIN MÃ SỐ: ……………………………… Nguyễn Quang Hòa Người hướng dẫn khoa học: TS NGÔ HỒNG SƠN Hà Nội – 2008 Tai ngay!!! Ban co the xoa dong chu nay!!! 17057204818041000000 LỜI CAM ĐOAN Tôi xin cam đoan Luận văn cơng trình nghiên cứu riêng tơi Các liệu kết nêu Luận văn hoàn toàn trung thực có nguồn gốc rõ ràng TÁC GIẢ (Ký tên) Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 Chương LỜI CẢM ƠN Trước hết, xin chân thành cảm ơn TS Ngô Hồng Sơn tận tình hướng dẫn, cung cấp tài liệu kiến thức cần thiết giúp tơi hồn thành Luận văn tốt nghiệp Tơi xin bày tỏ lịng biết ơn sâu sắc tới thầy, cô giáo Khoa Công nghệ thông tin thầy, cô giáo trường Đại học Bách Khoa Hà Nội truyền đạt cho kiến thức quan trọng suốt thời gian học tập nghiên cứu trường Cuối cùng, tơi xin nói lời cảm ơn đến gia đình bạn bè, người ln bên tôi, cổ vũ động viên suốt thời gian học tập làm luận văn tốt nghiệp Trong q trình hồn thành luận văn, cịn thiếu kinh nghiệm, ràng buộc thời gian hạn chế kiến thức nên chắn không tránh khỏi thiếu sót Vì tơi mong nhận đóng góp ý kiến giúp đỡ thầy, cô bạn Hà Nội, ngày 20 tháng 11 năm 2008 Người thực luận văn Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 MỤC LỤC LỜI CAM ĐOAN .1 LỜI CẢM ƠN .2 MỤC LỤC DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ .5 MỞ ĐẦU .6 Chương TỔNG QUAN .8 1.1 Tính tốn lưới 1.2 Tính tốn ngang hàng 12 1.3 Tính tốn tình nguyện 14 1.3.1 Khái niệm 14 1.3.2 BOINC 15 1.3.2.1 Khái niệm .15 1.3.2.2 Các đặc trưng BOINC [23] 16 1.3.2.3 Kiến trúc BOINC 18 1.3.3 Lập lịch tính tốn tình nguyện 19 1.3.3.1 Lập lịch phía máy trạm 20 1.3.3.2 Lập lịch phía máy chủ 20 1.3.3.3 Lập lịch chịu lỗi dựa độ tin cậy 21 1.3.4 So sánh với tính tốn lưới tính tốn ngang hàng .23 1.3.4.1 Tính tốn lưới 23 1.3.4.2 Tính tốn ngang hàng .23 Chương LÝ THUYẾT CƠ BẢN VỀ LẬP LỊCH DỰA TRÊN ĐỘ TIN CẬY 25 2.1 Mơ hình giả định 25 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 2.2 Các kĩ thuật chịu lỗi truyền thống 28 2.2.1 Biểu theo số đông 29 2.2.2 Kiểm tra điểm 30 2.3 2.2.2.1 Kiểm tra điểm dùng danh sách đen 31 2.2.2.2 Kiểm tra điểm không dùng danh sách đen 32 Chịu lỗi dựa độ tin cậy 33 2.3.1 Tổng quan 33 2.3.2 Tính tốn độ tin cậy 35 2.3.3 Ứng dụng tin cậy 36 2.4 2.3.3.1 Kết hợp biểu kiểm tra điểm .36 2.3.3.2 Kiểm tra điểm biểu 37 Khảo sát số giản đồ lập lịch 38 2.4.1 Lập lịch Round Robin 39 2.4.2 Lập lịch Round Robin dựa ưu tiên khả tính tốn 41 Chương GIẢN ĐỒ LẬP LỊCH ROUND ROBIN DỰA TRÊN ĐỘ TIN CẬY 44 3.1 Giản đồ lập lịch Round Robin dựa ưu tiên độ tin cậy 44 3.2 Giản đồ lập lịch Round Robin dựa kiểm thử độ tin cậy .55 Chương KẾT QUẢ THỰC NGHIỆM 65 4.1 Chương trình mơ .65 4.2 Kịch mô 65 4.3 Kết 66 Chương KẾT LUẬN 72 5.1 Những kết đạt 72 5.2 Những công việc chưa làm 72 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 5.3 Hướng phát triển tương lai 73 TÀI LIỆU THAM KHẢO 74 DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ Hình 1-1 Minh họa tính tốn lưới Hình 1-2 Tổ chức ảo 11 Hình 1-3 Mơ hình mạng ngang hàng 12 Hình 1-4 Mơ hình tính tốn tình nguyện 15 Hình 1-5 Mơ hình BOINC .16 Hình 1-6 Kiến trúc BOINC 18 Hình 1-7 Sự tương tác máy trạm máy chủ 19 Hình 2-1 Mơ hình chủ khách 26 Hình 2-2 Hàng đợi cơng việc lập lịch tham lam với biểu m 28 Hình 2-3 Tỉ lệ lỗi biểu số đông với nhiều giá trị m f [8] 30 Hình 2-4 Hàng đợi công việc lập lịch tham lam nâng cao độ tin cậy [8] 33 Hình 3-1 Mơ tả hệ thống tính tốn tình nguyện .45 Hình 3-2 Sơ đồ hình vẽ bước giản đồ lập lịch Round Robin dựa ưu tiên độ tin cậy .46 Hình 3-3 Sơ đồ hình vẽ bước giản đồ lập lịch kiểm thử dựa độ tin cậy 57 Hình 4-1 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.25,N >P 67 Hình 4-2 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.5,N >P 68 Hình 4-3 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.75,N >P 68 Hình 4-4 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 1,N >P .69 Hình 4-5 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.25,N< P 69 Hình 4-6 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.5,N< P 70 Hình 4-7 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 0.75,N< P 70 Hình 4-8 Biểu đồ so sánh chậm chễ giản đồ lập lịch với s= 1,N< P .71 Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 MỞ ĐẦU Tính tốn tình nguyện mơ hình tính tốn song song hấp dẫn để xây dựng lên hệ thống tính tốn có phạm vi rộng lớn từ số lượng lớn máy tính tình nguyện mạng Trong năm gần đây, có quan tâm tăng lên nhanh chóng hệ thống tính tốn tình nguyện Hệ thống tính tốn tình nguyện cho phép người sử dụng từ nơi mạng, đóng góp thời gian tính tốn nhàn rỗi máy tính để hướng vào giải tốn có thời gian tính tốn lớn Tính tốn tình nguyện giúp cho xây dựng mạng tính tốn tồn cầu lớn nhanh, điều chứng thành cơng dự án SETI@home[2], dự án triển khai hàng trăm nghìn máy tính tình nguyện để tìm kiếm số lượng lớn liệu đàm thoại radio cho tín hiệu sống bên ngồi trái đất, Einstein@Home [6] tìm kiếm neutron xoay nhanh dùng liệu từ nhà dị tìm sóng hấp dẫn LIGO GEO hay Climateprediction.net@Home [7] dùng để dự đốn khí hậu trái đất … Trong hệ thống tính tốn tình nguyện, khả chịu đựng lỗi vấn đề quan trọng có nhiều người dùng ác ý mạng phá hoại hệ thống việc cố ý đệ trình kết sai Để giải yêu cầu đưa kết tốt hệ thống tính tốn tình nguyện mà có người dùng ác ý tham gia hệ thống lập lịch máy chủ phải thực thi sách lập lịch chịu lỗi Do luận văn này, tơi quan tâm đến vấn đề lập lịch nhiệm vụ phía máy chủ hệ thống tính tốn tình nguyện thực thi kĩ thuật chịu đựng lỗi Mặc dù số kĩ thuật chịu lỗi tồn biểu theo số đông, kiểm tra điểm, kết hợp biểu quyêt kiểm tra điểm, kiêm tra điểm biểu [8], hay giản đồ lập lịch Round Robin dựa ưu tiên khả tính tốn [10] đảm bảo yêu cầu độ tin cậy cho kết tính tốn, nhiên, kĩ thuật luôn nguyên nhân làm cho hiệu giảm giới hạn tồn thời gian tính tốn Trong luận văn tơi đề xuất hai kĩ thuật lập lịch hiệu cho máy chủ gọi lập lịch Round Robin dựa ưu tiên độ tin cậy lập lịch Round Robin dựa kiểm thử độ tin cậy nhằm nâng cao hiệu giản đồ lập lịch dựa độ tin Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 cậy hệ thống tính tốn tình nguyện Các kĩ thuật đưa tiêu chí để chọn máy trạm phù hợp để thực thi nhiệm vụ Kĩ thuật quan tâm đến chọn máy trạm có khả có độ tin cậy cao khả thực tốt Kĩ thuật thứ hai chọn máy trạm cho nhiệm vụ thực độ tin cậy nhiệm vụ tăng lên, Bằng việc sử dụng mô VCSIM để thực mơ thuật tốn lập lịch, tơi kĩ thuật đưa giúp giảm bớt thời gian thực thi toàn hệ thống so với kĩ thuật lập lịch Round Robin tương ứng Phần lại luận văn tổ chức sau: • Chương Giới thiệu tổng quan: Trình bày hệ thống tính tốn phân tán, tính tốn lưới, tính tốn ngang hàng, tính tốn tình nguyện, BOINC, khảo sát qua thuật tốn lập lịch tính tốn tình nguyện • Chương Lý thuyết lập lịch dựa độ tin: Trình bày mơ hình hệ thống giả định, kĩ thuật chịu lỗi chuyền thống, chịu lỗi dựa độ tin cậy khảo sát số giản đồ lập lịch chịu lỗi dựa độ tin cậy • Chương Giản đồ lập lịch dựa độ tin cậy: Mô tả đề xuất giản đồ lập lịch dựa độ tin cậy • Chương Kết thực nghiệm: Giới thiệu kịch mô thảo luận kết mơ • Chương Kết luận: Tóm tắt lại cơng việc đạt được, công việc chưa làm hướng phát triển tương lai Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 Chương TỔNG QUAN Ngày nay, với phát triển vượt bậc khoa học kỹ thuật công nghệ, xuất tốn nhiều lĩnh vực địi hỏi sức mạnh tính tốn mà máy tính riêng lẻ khơng thể đảm trách Xuất phát từ nhu cầu đó, kỹ thuật tính tốn song song, tính tốn phân tán đề xuất phần đáp ứng yêu cầu Tuy nhiên, tham vọng người khơng dừng lại Họ muốn sức mạnh tính tốn lớn hơn, với khả chia sẻ tài nguyên người phạm vi toàn cầu, khả tận dụng phần mềm tài nguyên vật lý phân tán mặt địa lý Các tổ chức giải vấn đề hai cách: • Đầu tư thêm trang thiết bị, sở hạ tầng tính tốn (mua thêm máy chủ, máy trạm, siêu máy tính, cluster ) Tuy nhiên cách làm tốn • Có cách làm khác hiệu phân bố lại hợp lý nguồn tài nguyên tổ chức thuê thêm nguồn tài nguyên từ bên (tất nhiên với chi phí rẻ nhiều so với việc đầu tư cho sở hạ tầng tính tốn) Thực tế cho thấy có phần lớn nguồn tài nguyên sử dụng lãng phí: máy để bàn công sở thường hoạt động khoảng 5% cơng suất, máy chủ phải hoạt động với 20% công suất Việc tận dụng hiệu nguồn tài nguyên mang lại sức mạnh tính tốn khổng lồ Cách giải thứ hai mục tiêu tính tốn lưới tính tốn tình nguyện 1.1 Tính tốn lưới Tính tốn lưới hướng đến việc chia sẻ sử dụng hiệu nguồn tài nguyên thuộc nhiều tổ chức quy mô rộng lớn (thậm chí quy mơ tồn cầu) Chính công nghệ mạng truyền thông phát triển mạnh mẽ năm qua biến khả dần trở thành thực Các nghiên cứu tính toán lưới tiến hành nhằm tạo sở hạ tầng lưới cho phép dễ dàng chia sẻ quản lý tài nguyên đa dạng phân tán môi trường Nguyễn Quang Hòa - Lớp CH CNTT 2006 – 2008 lưới Như vậy, tính tốn lưới, hiểu cách đơn giản dạng tính tốn phân tán Mục đích tạo máy tính ảo lớn mạnh từ tập lớn hệ thống không đồng nhằm nâng cao khả tính tốn, chia sẻ tài nguyên khác Một ví dụ dự án tính toán lưới dự án Avian Flu Grid[24], dự án nhằm sử dụng lưới PRAGMA[25] sở hạ tầng tính tốn hiệu cao để phát triển mơ hình cho hợp tác tồn cầu đấu tranh chống lại đe dọa dịch lớn cúm avian bệnh dịch lây nhiễm nghiêm trọng khác Hệ thống lưới PRAGMA, mà trung tâm HPCC-HUT (Trung tâm tính toán hiệu cao trường Đại Học Bách Khoa Hà Nội) thành viên, tạo nhằm trì hoạt động cộng tác thúc đẩy sử dụng kĩ thuật lưới ứng dụng khoa học tiên tiến viện hàng đầu nước có đường biên giới nằm biển thái bình dương Hình 1-1 Minh họa tính tốn lưới Hình 1-1 ví dụ lưới, mạng liên kết tài nguyên phân tán mặt địa lý, tài nguyên phong phú, đa dạng, bao gồm tập siêu máy tính, thiết bị truyền thông vệ tinh, kho lưu trữ, cluster tính tốn hiệu cao Nguyễn Quang Hịa - Lớp CH CNTT 2006 – 2008