Xay dung va quan ly ha tang luu tru luoi cho he 72518

Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên sinh viên: Đào Hải Hưng Điện thoại liên lạc: 0978118659 Email: hunga1_87@yahoo.com Lớp: Hệ thống thông tin – K50 Hệ đào tạo: Đại học quy Đồ án tốt nghiệp thực tại: Trung tâm tính tốn hiệu cao – Trường đại học Bách Khoa Hà Nội Thời gian làm ĐATN: Từ ngày: 1/03/2010 đến: 31/05/2010 Mục đích nội dung ĐATN Xây dựng quản lý tầng lưới lưu trữ cho hệ thống lưu trữ chia sẻ liệu LINDA Các nhiệm vụ cụ thể ĐATN - Xây dựng kiến trúc hệ thống LINDA tầng lưới liệu - Nghiên cứu cách tạo quản lý giấy ủy quyền (proxy) cho máy chủ hệ thống - Đưa quy trình thêm thành phần thuộc tầng lưới liệu hệ thống - Nghiên cứu sử dụng thư viện lập trình lưới Java CoG Kit để sử dụng dịch vụ lưới web/servlet - Nghiên cứu mơ hình quản lý tài nguyên Xây dựng module quản lý tài nguyên LINDA có khả mở rộng độc lập với sách tài nguyên hệ thống tham gia - Xây dựng chế quản lý dịch vụ chạy hệ thống - Tìm hiểu chế kiểm soát tốc độ giao thức GridFTP, áp dụng sách hạn chế tốc độ download/upload Lời cam đoan sinh viên Tôi – Đào Hải Hưng - cam kết ĐATN cơng trình nghiên cứu thân hướng dẫn PGS TS Nguyễn Thanh Thủy Các kết nêu ĐATN trung thực, chép tồn văn cơng trình khác Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA Hà Nội, ngày 23 tháng năm 2010 Tác giả ĐATN Đào Hải Hưng Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ Hà Nội, ngày tháng năm Giáo viên hướng dẫn PGS TS Nguyễn Thanh Thủy Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP LINDA hệ thống lưu trữ liệu dựa công nghệ lưới liệu, xây dựng sinh viên K49 trung tâm Tính tốn hiệu cao trường Đai học Bách khoa Hà Nội (phiên gọi LINDA – K49) Hiện tại, hệ thống LINDA – k49 xây dựng sách hồn thiện cho người sử dụng, chế kiểm soát dung lượng, chế hạn chế download/upload hoạt động ổn định Quá trình upload/download thực máy chủ trung tâm Tính tốn hiệu cao nên đạt tốc độ cao Tuy nhiên, dựa vào phân tích tính chất hệ phân tán, hạn chế LINDA làm giảm chất lượng khả triển khai/mở rộng hệ thống:  Hệ thống chưa có module quản lý giấy ủy quyền (proxy) nên chưa khai thác sức mạnh lưới liệu xây dựng hoạt động ổn định  Hệ thống khơng có khả triển khai mở rộng: chưa cung cấp giao diện thêm thành phần Ngoài ra, tham số cấu hình đặt cố định mã nguồn nên hệ thống khơng có khả triển khai rộng rãi  Hệ thống chưa có module kiểm soát tài nguyên: điều làm cho hệ thống hoạt động khơng ổn định hiệu Mục đích đồ án sử dụng lưới tính tốn có sẵn để xây dựng tầng lưu trữ lưới cho LINDA Để sử dụng dịch vụ mà lưới cung cấp, cần phải nghiên cứu xây dựng module quản lý giấy ủy quyền (proxy) hiệu cho người dùng hệ thống lưới Nhằm nâng cao chất lượng dịch vụ, đồ án nghiên cứu chế quản lý tài nguyên môi trường lưới, đồng thời đưa thiết đế để xây dựng module quản lý tài nguyên Module quản lý tài nguyên phải đảm bảo khả phát thành phần hệ thống gặp lỗi, mà cịn có khả thu nhận thông tin cần thiết tài nguyên hệ thống để phục phụ cho module khác Các hệ thống tham gia lưới tính tốn thường có chế quản lý tài nguyên bảo mật khác Module quản lý tài nguyên thiết kế độc lập với sách quản lý hệ thống, dễ dàng thay đổi cần phải thu nhận thông tin tài nguyên khác Trong trình hoạt động hệ thống, số thành phần gặp lỗi cần phải thay thế, cần nâng cấp – mở rộng hệ thống Đồ án xây dựng điều kiện, chế giao diện để thêm thành phần tầng lưới liệu: quy trình thêm Headnode Datanode Đầu tiên, đồ án xác định yêu cầu máy chủ muốn trở thành Headnode Datanode LINDA cần phải đáp ứng, sau Đồ án Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA đưa bước giao diện để thêm thành phần Trong hệ thống đa người dùng LINDA, việc kiểm soát tài nguyên người dùng điều quan trọng Đồ án nghiên cứu áp dụng chế kiểm soát tốc độ upload/download file người dùng, cách nghiên cứu phụ thuộc tốc độ giao thức GridFTP số luồng liệu độ lớn đệm liệu Thành viên cơng trình: o Phó giáo sư, Tiến Sỹ Nguyễn Thanh Thủy - Chủ nhiệm dự án, Chủ tịch hội đồng quản trị Viện tin học Pháp ngữ, - Giám đốc Trung tâm tính tốn hiệu cao - Giảng viên viện CNTTT Truyền thông trường ĐHBKHN o Tiến Sỹ Nguyễn Hữu Đức - Phó giám đốc Trung tâm tính toán hiệu cao - Giảng viên viện CNTTT Truyền thông trường ĐHBKHN o Kỹ Sư Phạm Hồng Phong – giảng viên viện CNTTT Truyền thông trường ĐHBKHN, cộng tác viên Trung tâm tính tốn hiệu cao – DHBKHN o Kỹ Sư Lê Đức Hùng -cán nghiên cứu, trung tâm tính tốn hiệu cao, ĐHBKHN o SV Đào Hải Hưng, lớp hệ thống thông tin – k50 o SV Bùi Hải Phong, lớp tin pháp – k50 Trang chủ: http://hpcc.hut.edu.vn/linda Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA LỜI NÓI ĐẦU Em xin gửi lời cảm ơn chân thành tới PGS.TS Nguyễn Thanh Thuỷ, giám đốc Trung Tâm tính tốn hiệu cao, trường đại học Bách Khoa Hà Nội, người tạo cho em hội học tập nghiên cứu môi trường khoa học lý tưởng, người tận tình hướng dẫn em suốt thời gian thực tập tốt nghiệp giai đoạn làm đồ án tốt nghiệp Em xin bày tỏ lòng biết ơn sâu sắc tới TS Nguyễn Hữu Đức, người có đóng góp quý báu cho nội dung đồ án, hướng dẫn tận tình nhóm sinh viên chúng em suốt q trình thực tập làm đồ án tốt nghiệp trung tâm Em xin gửi lời cảm ơn tới KS Phạm Hồng Phong, KS Lê Đức Hùng có lời khuyên đóng góp quý báu để đồ án em hoàn thiện Em xin gửi lời cảm ơn tới viện Công nghệ thông tin truyền thông, Trung tâm Tính tốn hiệu cao tồn thể thầy cơ, anh chị bạn nhiệt tình tạo điều kiện thuận lợi cho em trình nghiên cứu học tập trường Đại Học Bách Khoa Hà Nội Mình xin gửi lời cảm ơn tới bạn nhóm LINDA Bùi Hải Phong, bạn sinh viên K50 Trung tâm Tính tốn hiệu cao – Trường đại học Bách Khoa Hà Nội sát cánh giúp đỡ vượt qua khó khăn q trình thực tập, hồn thành đồ án Cuối cùng, xin gửi lời biết ơn vô hạn tới bố mẹ, bố mẹ điểm tựa vững cho cơng việc Chính hy sinh to lớn bố mẹ giúp có ngày hơm Hà Nội, tháng năm 2010 Sinh viên thực Đào Hải Hưng Lớp Hệ thống thông tin – K50 Trường Đại học Bách Khoa Hà Nội Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA MỤC LỤC PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP 1 Thông tin sinh viên .1 Mục đích nội dung ĐATN Các nhiệm vụ cụ thể ĐATN .1 Lời cam đoan sinh viên Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP LỜI NÓI ĐẦU .5 MỤC LỤC DANH MỤC HÌNH ẢNH CÁC TỪ VIẾT TẮT VÀ CHÚ GIẢI 11 CHƯƠNG – ĐẶT VẤN ĐỀ 13 1.1 Giới thiệu hệ thống LINDA – K49 13 1.1.2 Nhu cầu cho hệ thống lưu trữ trực tuyến .13 1.1.3 Những vấn đề cho dịch vụ lưu trữ trực tuyến 13 1.1.3.1 Tính cục 13 1.1.3.2 Tính cộng đồng 14 1.1.4 Cách tiếp cận hệ thống LINDA – K49 15 1.2 Khảo sát hệ thống LINDA – K49 15 1.2.1 Tính chất hệ thống phân tán 15 1.2.1.1 Liên kết người sử dụng tài nguyên 15 1.2.1.2 Tính suốt .16 1.2.1.3 Tính mở 18 1.2.2 Đánh giá .18 1.3 Mục tiêu vị trí đồ án .19 1.3.1 Mơ hình hệ thống 19 1.3.2 Cách tiếp cận cho tầng lưới liệu 20 1.3.3 Vị trí đồ án .20 1.4 Nội dung đồ án 21 CHƯƠNG – NỀN TẢNG CÔNG NGHỆ 23 2.1 Lưới liệu 23 2.1.1 Bối cảnh đời .23 2.1.2 Khái niệm lưới liệu 23 2.1.3 Kiến trúc lưới liệu 24 2.2 Bộ công cụ Globus Toolkit 26 2.2.1 Giới thiệu .26 2.2.2 Thư viện lập trình lưới Java Cog Kit 28 2.2.2.1 Giới thiệu .28 2.2.2.2 Kiến trúc Java Cog Kit 28 2.2.2.3 Lập trình với Java Cog Kit 30 2.3 Giới thiệu lưới PRAGMA 32 2.4 Lập trình sử dụng dịch vụ lưới Java Cog Kit 32 Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA 2.4.1 Giao thức truyền file lưới – GridFTP 32 2.4.1.1 FTP .32 2.4.1.2 GridFTP .33 2.4.1.3 Mơ hình lập trình 35 2.4.2 Đệ trình job sử dụng ngôn ngữ đặc tả tài nguyên - RSL .36 2.4.2.1 Ngôn ngữ đặc tả tài nguyên RSL 36 2.4.2.2 GateKeeper đệ trình job lên lưới (job submission) 37 2.4.2.3 Mơ hình lập trình 38 2.4.3 GassServer 39 2.4.3.1 Giới thiệu .39 2.4.3.2 Mơ hình lập trình 39 2.5 Lập trình web với Servlet Struts 40 2.5.1 Servlet JSP 40 2.5.2 Struts 40 2.6 Mơ hình hệ thống 41 2.6.1 Sơ đồ vật lý hệ thống .41 2.6.2 Sơ đồ dịch vụ hệ thống 43 CHƯƠNG – QUẢN LÝ GIẤY ỦY QUYỀN CHO HEADNODE 45 3.1 Đặt vấn đề 45 3.1.1 Nền tảng bảo mật lưới – GSI ủy quyền môi trường lưới 45 3.1.1.1 Nền tảng bảo mật lưới - GSI 45 3.1.1.2 Sự ủy quyền môi trường lưới 45 3.1.1.3 Quá trình chứng thực 46 3.1.2 Dịch vụ lưu trữ giấy ủy quyền trực tuyến MyProxy 46 3.1.2.1 Giới thiệu .46 3.1.2.2 Ủy nhiệm cho máy chủ lưu trữ 46 3.1.2.3 Truy suất giấy ủy quyền .47 3.2 Thiết kế module quản lý proxy Headnode .48 3.2.1 Yêu cầu cho module quản lý proxy .48 3.2.2 Thiết kết module quản lý proxy 48 3.2.2.1 Biểu đồ use case 48 3.2.2.2 Đối tượng SHARED_MEMORY 50 3.2.2.3 Đối tượng PROXY_SERVICE_MONITOR 51 3.2.2.4 Các lược đồ 52 3.3 Tích hợp hệ thống .55 CHƯƠNG – QUY TRÌNH THÊM CÁC THÀNH PHẦN CỦA HỆ THỐNG .56 4.1 Quy trình thêm Headnode 56 4.1.1 Yêu cầu môi trường cho Headnode .56 4.1.2 Các thông số cấu hình Headnode 56 4.1.3 Cây thư mục Headnode 58 4.1.4 Các bước thêm Headnode 59 4.2 Quy trình thêm/bỏ Datanode 62 4.2.1 Yêu cầu môi trường cho Datanode 62 4.2.2 Cây thư mục Datanode 62 4.2.3 Thêm Datanode vào hệ thống 62 CHƯƠNG - QUẢN LÝ TÀI NGUYÊN CHO TẦNG LƯỚI DỮ LIỆU .63 5.1 Tài nguyên Datanode 63 5.2 Quản lý tài nguyên Datanode 63 5.2.1 Tổng quan quản lý tài nguyên môi trường lưới .63 5.2.2 Lỗi phương pháp phát lỗi môi trường lưới 64 5.2.2.1 Lỗi phần cứng 64 5.2.2.2 Lỗi đường truyền 64 Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA 5.2.3 Các mơ hình quản lý tài nguyên 65 5.2.3.1 Mơ hình Push .65 5.2.3.2 Mơ hình Pull 66 5.2.3.3 Sử dụng kết hợp hai mơ hình Push Pull 67 5.2.4 Các yêu cầu cho module quản lý tài nguyên LINDA 68 5.3 Thiết kế module quản lý tài nguyên cho tầng lưới liệu .68 5.3.1 Mơ hình vật lý module 68 5.3.2 Biểu đồ use case 71 5.3.3 Đối tượng RESOURCE_MONITOR_OBJECT 71 5.3.4 Các biểu đồ 71 5.4 Tích hợp hệ thống .73 CHƯƠNG – KIỂM SOÁT TỐC ĐỘ TRUYỀN TỆP CỦA HỆ THỐNG .76 6.1 Cải tiến tốc độ truyền tệp GridFTP .76 6.2 Công thức xác định phụ thuộc tốc độ giao thức GridFTP vào số luồng liệu độ lớn đệm luồng liệu 76 6.3 Giới hạn tốc độ truyền file giao thức GridFTP .78 6.3.1 Cách chọn số luồng liệu – N 79 6.3.1 Cách chọn độ lớn đệm liệu (buffer) 79 CHƯƠNG – KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 81 7.1 Các cơng việc hồn thành 81 7.2 Hướng phát triển 81 TÀI LIỆU THAM KHẢO 82 Sinh viên Đào Hải Hưng – Lớp Hệ thống thông tin – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA DANH MỤC HÌNH ẢNH Hình 1.1 – Mơ hình LINDA 19 Hình 1.2 - Các trung tâm viện nghiên cứu thành viên tham gia lưới PRAGMA .20 Hình 2.1 - Tổng quan lưới liệu 24 Hình 2.2 - Kiến trúc chung lưới liệu 25 Hình 2.3 – Các thành phần Globus Toolkit 27 Hình 2.4 - Kiến trúc Java CoG kit .29 Hình 2.5 – Các lớp Java Cog Kit .30 Hình 2.6 - Sự tương ứng gói với lớp kiến trúc Java Cog Kit 31 Hình 2.7 – Biểu tượng lưới PRAGMA .32 Hình 2.8 - Giao thức FTP 33 Hình 2.9 - Truyền liệu song song 34 Hình 2.10 - Truyền liệu song song với đối tác thứ ba 34 Hình 2.11 - GateKeeper .38 Hình 2.12 - Sơ đồ vật lý hệ thống 41 Hình 2.13 - Sơ đồ luồng liệu upload file từ người dùng: Các gói tin chuyển tiếp thơng qua đệm Headnode tới Datanode server Lưới liệu 42 Hình 2.14 - Sơ đồ download file từ Datanode thơng qua đệm nằm Headnode 43 Hình 2.15 - Sơ đồ bố trí dịch vụ Headnode .43 Hình 3.1 - Lưu giấy ủy quyền lên máy chủ lưu trữ 47 HÌnh 3.2 - Truy xuất giấy ủy quyền từ máy chủ lưu trữ 47 Hình 3.3 – Biểu đồ use case module quản lý proxy 48 Hình 3.4 – Lớp SHARED_MEMORY 51 Hình 3.5 – Lớp PROXY_SERVICE_MONITOR .51 Hình 3.6 - Lược đồ cho module quản lý proxy 52 Hình 3.7 - Biểu đồ cho chức khác .55 Hình 3.8 – Module quản lý proxy .55 Hình 4.1 – Cây thư mục Headnode 58 Hình 4.2 – Import file cấu hình cho Headnode .60 Hình 4.3 – Tạo sở liệu Headnode 61 Hình 4.4 – Khởi tạo dịch vụ Headnode 61 Hình 4.5 – Cây thư mục DATANODE 62 Hình 5.1 - Phát lỗi phần cứng 64 Đào Hải Hưng – HTTT – K50 Xây dựng quản lý hạ tầng lưu trữ lưới cho hệ thống lưu trữ chia sẻ liệu LINDA Hình 5.2 - Phát lỗi đường truyền .64 Hình 5.3 - Mơ hình Push 65 Hình 5.4 - Phát lỗi mơ hình Push 66 Hình 5.5 - Mơ hình Pull 66 Hình 5.6 - Phát lỗi mơ hình Pull 67 Hình 5.7 Sử dụng kết hợp hai mơ hình Push Pull .67 Hình 5.8 – Module quản lý tài nguyên .69 Hình 5.10 – Lớp RESOURCE_MONITOR_OBJECT 71 Hình 5.11 – Biểu đồ lấy trạng thái tài nguyên .71 Hình 5.12 – Biểu đồ quản lý module quản lý tài nguyên 73 Hình 5.13 – Module quản lý tài nguyên 74 Hình 6.1 - GridFTP nhiều luồng TCP với mơ hình thời gian liên tục 77 Hình 6.2 – ảnh hưởng số luồng liệu vào tốc độ GridFTP 79 Đào Hải Hưng – HTTT – K50 10