Nghiên cứu và phát triển một số tính năng mở rộng cho hệ thống lưu trữ và chia sẻ dữ liệu lindax

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - ĐÀO QUANG MINH NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ TÍNH NĂNG MỞ RỘNG CHO HỆ THỐNG LƯU TRỮ VÀ CHIA SẺ DỮ LIỆU LINDAX LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN Hà Nội - 2010 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - ĐÀO QUANG MINH NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ TÍNH NĂNG MỞ RỘNG CHO HỆ THỐNG LƯU TRỮ VÀ CHIA SẺ DỮ LIỆU LINDAX Chuyên ngành: CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC PGS.TS NGUYỄN THANH THỦY Hà Nội, tháng 10 năm 2010 LỜI CAM ĐOAN Tôi – Đào Quang Minh – xin cam đoan   Luận văn tốt nghiệp Thạc sĩ công trình nghiên cứu thân dƣới hƣớng dẫn PGS.TS Nguyễn Thanh Thủy Các kết Luận văn tốt nghiệp trung thực, chép toàn văn công trình khác Hà Nội, ngày 27 tháng 10 năm 2010 Đào Quang Minh LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc đến thầy – Phó Giáo sƣ – Tiến sĩ Nguyễn Thanh Thủy, ngƣời hƣớng dẫn tận tình theo dõi sát trình làm luận văn Chính Thầy ngƣời đƣa ý tƣởng, giúp lựa chọn đề tài, đƣa nhận xét lời khuyên định hƣớng để luận văn đƣợc hoàn thành Tôi xin gửi lời cảm ơn chân thành tới Tiến sĩ Nguyễn Hữu Đức – Phó Giám đốc Trung tâm Tính toán Hiệu cao ĐHBK Hà Nội Ngay từ bắt đầu làm luận văn, Thầy ngƣời tận tình dẫn cụ thể bƣớc để có đủ kiến thức để hoàn thành luận văn Tôi xin gửi lời cảm ơn đến Trung tâm Tính toán Hiệu cao – nơi làm việc, tạo điều kiện sở vật chất cho nghiên cứu Xin đƣợc cảm ơn đồng nghiệp, bạn bè bên cạnh gặp khó khăn, động viên nguồn sức mạnh để tiếp tục công việc Cuồi cùng, xin đƣợc gửi lời cảm ơn sâu sắc đến bố, mẹ chị chỗ dựa vững tin cậy cho không quãng thời gian làm luận văn mà toàn trình làm việc DANH MỤC HÌNH VẼ Hình 1.1 – Logo Rapidshare Hình 1.2 – Logo MegaUpload Hình 1.3 – Logo MediaFire 10 Hình 1.4 – Logo MegaShare 10 Hình 2.1 – Thành phần lƣới 14 Hình 2.2 – Tiến trình phân tán sử dung space để phối hơp hoạt động 16 Hình 2.3 – Hệ quản trị liệu mô tơ liệu 17 Hình 2.4 – Lƣới liệu so sánh với sở liệu quan hệ 19 Hình 2.5 – Kiến trúc phân tầng lƣới liệu 23 Hình 2.6 – Các thành phần Globus Toolkit 24 Hình 2.7 – Giao thức FTP 25 Hình 2.8 – Truyền liệu song song 26 Hình 2.9 – Truyền liệu song song với đối tác thứ ba 26 Hình 2.10 – Mối quan hệ GridFTP Client GridFTP Server 27 Hình 2.11 – Kịch lựa chọn liệu theo tiêu chí ứng dụng 29 Hình 2.12 – Quan hệ RLI LRC 30 Hình 2.13 – RLS hai tầng 32 Hình 2.14 – Một hình trạng RLS phân cấp 32 Hình 2.15 – Kiến trúc Java Cog Kit 35 Hình 2.16 – Các lớp Java Cog Kit 36 Hình 3.1 – Mô hình tổng hệ thống LindaX 38 Hình 3.2 – Kịch upload 43 Hình 3.3 – Kịch download 45 Hình 3.4 – Sơ đồ bố trí vật lý tầng lƣu trữ lƣới 47 Hình 3.5 – Sơ đồ bố trí logic tầng lƣu trữ lƣới 48 Hình 3.6 – Cây thƣ mục HeadNode 49 Hình 3.7 – Sơ đồ truyền tệp 50 Hình 3.8 – Sơ đồ trình tạo lập 51 Hình 3.9 – Biểu đồ use-case cho module quản lý proxy 52 Hình 3.10 - Lớp SHARED_MEMORY 54 Hình 3.11 – Lớp PROXY_SERVICE_MONITOR 55 Hình 3.12 – Module quản lý Proxy 55 Hình 3.13 – Cây thƣ mục DataNode 56 Hình 3.14 – Mô hình Push 57 Hình 3.15 – Phát lỗi mô hình Push 58 Hình 3.16 – Mô hình Pull 58 Hình 3.17 – Phát lỗi mô hình Pull 58 Hình 3.18 – Sử dụng kết hợp hai mô hình Push Pull 59 Hình 3.19 – Module quản lý tài nguyên 60 Hình 3.20 – Biểu đồ use-case module quản lý tài nguyên 62 Hình 3.21 - Lớp RESOURCE_MONITOR_OBJECT 62 Hình 3.22 – Kết chạy module quản lý tài nguyên 63 Hình 4.1 – Kịch triển khai LindaX 64 Hình 4.2 – Trang chủ LindaX 68 Hình 4.3 – Giao diện upload tệp 69 Hình 4.4 – Giao diện tiến trình upload 69 Hình 4.5 – Upload tệp thành công 70 Hình 4.6 – Upload tệp bị lỗi 70 Hình 4.7 – Giao diện download 71 Hình 4.8 – Giao diện trình download 71 Hình 4.9 – Giao diện quản trị 72 DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Nghĩa tiếng Anh Chú giải API Application Programming Interface Giao diện lập trình ứng dụng, thƣờng làm tập hàm giúp lập trình viên dễ dàng tƣơng tác với dịch vụ , hệ thống AJAX Asynchronous JavaScript and XML Là nhóm công nghệ phát triển web đƣợc sử dụng để tạo ứng dụng web động hay ứng dụng giàu tính Internet Certificate Authentication chế chứng thực ngƣời dùng tài nguyên sử dụng môi trƣờng lƣới Nó dựa tảng khóa công khai để chứng thực đối tƣợng liên quan CAS Community Authorization Service Dịch vụ chứng thực cộng đồng Một dịch vụ bảo mật môi trƣờng lƣới cho phép dung hòa sách sử dụng tài nguyên cộng đồng ngƣời dùng với sách sử dụng tài nguyên nhà cung cấp FTP File Transfer Protocol Giao thức truyền tệp tiếng qua mạng Globus XIO Globus eXtensible Input/Ouput Giao diện vào mức thấp kiến trúc Globus GridFTP Grid File Transfer Protocol GridFTP mở rộng giao thức FTP, tích hợp khả bảo mật lƣới, truyền liệu tốt so với FTP Grid Security Infrastructure Cơ sở hạ tầng bảo mật lƣới kiến trúc Globus, hỗ trợ giấy chứng nhận theo chuẩn X509 dùng hệ mã công khai GT Globus Toolkit Bộ công cụ middleware hỗ trợ tính toán lƣới, cung cấp số dịch vụ đệ trình công việc, quản lý tài nguyên, hạ tầng bảo mật, nhƣ hỗ trợ việc xây dựng dịch vụ lƣới… LDAP Giao thức đặc tả kỹ thuật định danh đối tƣợng, Lightweight Directory mô hình liệu, tìm kiếm ghi khoản mục Access Protocol liệu LFN Logical File Name CA GSI Tên logic thực thể liệu lƣới liệu, hàm chứa nội dung thực thể liệu LRC Local Replica Catalogue Catalog định vị địa phƣơng, lƣu trữ tập ánh xạ bao gồm hai trƣờng: {tên logic thực thể liệu, vị trí vật lý cụ thể thực thể đó} ODBC Open Database Connectivity Giao diện API giúp lập trình viên tƣơng tác với sở liệu PFN Physical File Name Tên vật lý tệp liệu: bao hàm giao thức truy cập, địa máy mà chứa tệp liệu đó, ngƣời sử dụng dễ dàng truy cập đƣợc vào thực thể liệu RLI Replica Location Index Lƣu thông tin mục cho dịch vụ định vị sao, ghi bao gồm {LFN, trỏ tới LRC tƣơng ứng} RLS Replica Location Service Dịch vụ định vị kiến trúc lƣới liệu Globus TCP Tranmission Control Protocol Giao thức truyền thông tiếng cho mạng Internet XML eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng, đƣợc dùng nhƣ chuẩn trao đổi liệu thông dụng MỤC LỤC LỜI CAM ĐOAN LỜI CẢM ƠN DANH MỤC HÌNH VẼ DANH MỤC CÁC TỪ VIẾT TẮT MỤC LỤC Chƣơng GIỚI THIỆU LUẬN VĂN 1.1 Lý chọn đề tài 1.2 Mục đích nghiên cứu luận văn 11 1.3 Luận điểm đóng góp 12 1.4 Cấu trúc luận văn 12 Chƣơng LƢỚI DỮ LIỆU 13 Tổng quan tính toán lƣới lƣới liệu 13 2.1 2.1.1 Lƣới liệu 14 2.1.2 Phân loại lƣới liệu 14 2.1.3 Đặc điểm lƣới liệu 17 2.1.4 Kiến trúc lƣới liệu 21 2.2 Globus Toolkit 23 2.3 Giao thức chuyển tệp GridFTP[12] 25 2.3.1 FTP[13] 25 2.3.2 GridFTP 26 Dịch vụ định vị RLS 28 2.4 2.4.1 Đặc điểm 29 2.4.2 Kiến trúc dịch vụ định vị 30 2.4.3 Kho định vị cục LRC 31 2.4.4 Chỉ mục định vị RLI 31 2.5 Bảo mật lƣới liệu 33 2.6 Thƣ viện lập trình lƣới Java Cog Kit 34 2.6.1 Kiến trúc Java Cog Kit 35 2.6.2 Lập trình với Java Cog Kit 36 Chƣơng XÂY DỰNG HỆ THỐNG LƢU TRỮ VÀ CHIA SẺ 38 3.1 Mô hình tổng thể 38 3.1.1 Tầng ứng dụng web 39 3.1.2 Tầng lƣu trữ lƣới 39 3.1.3 Kết nối tầng ứng dụng web tầng lƣu trữ lƣới 40 Yêu cầu chức 41 3.2 3.2.1 Cho phép Upload/Download liệu lên lƣới 41 3.2.2 Quản lý không gian lƣu trữ 41 3.2.3 Tạo lập quản lý 41 3.2.4 Quản trị nút lƣu trữ 42 3.3 Kịch sử dụng 43 3.3.1 Upload 43 3.3.2 Download 44 Xây dựng tầng lƣu trữ 47 3.4 3.4.1 Nút giao dịch (HeadNode) 48 3.4.2 Module điều khiển truyền tệp 49 3.4.3 Module định vị RLS 51 3.4.4 Module quản lý Proxy 52 3.4.5 Nút lƣu trữ (DataNode) 56 3.4.6 Module quản lý tài nguyên 57 Chƣơng THỬ NGHIỆM VÀ ĐÁNH GIÁ 64 4.1 Triển khai thử nghiệm 64 4.1.1 Kịch triển khai 64 4.1.2 Ứng dụng web 64 4.1.3 Máy chủ HeadNode 66 4.1.4 Các DataNode 67 4.1.5 Kết triển khai 67 Đánh giá 72 4.2 Chƣơng KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 74 5.1 Kết luận 74 5.2 Hƣớng phát triển 74 TÀI LIỆU THAM KHẢO 76 Chƣơng – Xây dựng hệ thống lƣu trữ chia sẻ Hình 3.20 – Biểu đồ use-case module quản lý tài nguyên Đối tượng RESOURCE_MONITOR_OBJECT Hình 3.21 - Lớp RESOURCE_MONITOR_OBJECT Việc lƣu trữ đối tƣợng RESOURCE_MONITOR_OBJECT đảm bảo yêu cầu cho module quản lý proxy:    Tại thời điểm có tuyến quảy lý module Cung cấp giao diện thông tin quản lý module (lấy trạng thái từ trƣờng status) Module chạy ngầm định hay chạy có yêu cầu ngƣời quản trị 3.4.6.4 Kết luận Module đƣợc thử nghiệm đảm bảo yêu cầu:    Là hệ thống quản lý tập trung, độc lập với sách quản lý tài nguyên DataNode Chỉ có tuyến quản lý module thời điểm Chỉ có thread cho DataNode thời điểm 62 Chƣơng – Xây dựng hệ thống lƣu trữ chia sẻ     Module có hai chế độ chạy: module hoạt động định kỳ, sau khoảng thời gian cập nhật thông tin trạng thái cho DataNode Hoặc module đƣợc module khác yêu cầu update thời điểm Module có khả tự động cập nhật thông tin cách thành phần đƣợc thêm vào hệ thống mà khởi động lại Có khả mở rộng: hệ thống có yêu cầu lấy trạng thái mới, module có khả thực yêu cầu mà khởi động lại Cung cấp thông tin hoạt động module, giao diện để khởi động lại module Hình 3.22 – Kết chạy module quản lý tài nguyên 63 Chương THỬ NGHIỆM VÀ ĐÁNH GIÁ Trong chƣơng trƣớc, mô hình tổng thể yêu cầu chức hệ thống đƣợc làm rõ; trình xây dựng tầng lƣu trữ tầng ứng dụng web, nhƣ việc kết nối hai tầng đƣợc đề cập chi tiết Dựa theo kịch sử dụng, hệ thống LindaX đƣợc triển khai thực tế Chƣơng sâu vào việc triển khai tầng lƣu trữ lƣới tầng ứng dụng web cụ thể nhƣ để có đƣợc hệ thống lƣu trữ chia sẻ liệu LindaX 4.1 Triển khai thử nghiệm 4.1.1 Kịch triển khai 202.191.56.49 Tầng ứng dụng web Tầng lƣu trữ lƣới 202.191.56.48 202.191.56.61 Hình 4.1 – Kịch triển khai LindaX 4.1.2 Ứng dụng web Máy chủ ứng dụng web có lớp nghiệp vụ nhƣ sau: 202.191.56.62 Chƣơng – Thử nghiệm đánh giá 4.1.2.1 Lớp biên # Thư mục Tên UserManagePage Web Mô tả File Manage_user.jsp Lớp giao diện quản lý ngƣời dùng SupplierManagePage Web Managesupplier.jsp Lớp giao diện quản lý nhà cung cấp SearchPage Web Search.jsp Lớp giao diện tìm kiếm FileManagePage Web Manage_file.jsp Lớp giao diện quản lý tệp UploadPage Web Homepage.jsp Lớp giao diện upload tệp DownloadPage Web Download.jsp Lớp giao diện download tệp RegisterPage Web Register.jsp Lớp giao diện đăng ký tài khoản LoginPage Web Header.jsp Lớp giao diện đăng nhập hệ thống Account.jsp Lớp giao diện quản lý tài khoản cá nhân PersonalManagePage Web 4.1.2.2 Lớp tác vụ # Tên UserManageServlet Gói File Mô tả Linda.action UserManageServlet.java Lớp tác vụ quản lý ngƣời dùng Lớp tác vụ quản lý nhà cung cấp SupplierManageServlet Linda.action SupplierManageServlet java SearchServlet Linda.action SearchServlet.java Lớp tác vụ tìm kiếm FileManageServlet Linda.action FileManageServlet.java Lớp tác vụ quản lý tệp PersonalManageServlet java Lớp tác vụ quản lý tài khoản cá nhân PersonalManageServlet Linda.action ServerLoadControl WebStorage.action ServerLoadControl.java Lớp tác vụ lựa chọn máy chủ lƣu trữ để upload FileUploadServlet WebStorage.action FileUploadServlet.java Lớp tác vụ upload tệp 65 Chƣơng – Thử nghiệm đánh giá lên máy chủ lƣu trữ NodeManage WebStorage.action NodeManage.java Lớp tác vụ quản lý máy chủ lƣu trữ Download WebStorage.action Download.java Lớp tác vụ download DownloadMult.java Lớp tác vụ download đa luồng RegisterServlet.java Lớp tác vụ đăng ký tài khoản LoginServlet.java Lớp tác vụ đăng nhập tài khoản Logout Servlet.java Lớp tác vụ đăng xuất tài khoản 10 DownloadMulti 11 RegisterServlet 12 LoginServlet 13 Logout Servlet WebStorage.action Linda.action Linda.action Linda.action 4.1.3 Máy chủ HeadNode Nhƣ trình bày trên, máy HeadNode đóng vai trò điều khiển máy lƣu trữ tầng lƣới Máy HeadNode đƣợc triển khai thành phần sau:        Web server Tomcat: Tomcat dùng để triển khai số ứng dụng đƣợc thiết kế cho dịch vụ LindaX, bao gồm thao tác có nhiệm vụ liên kết tầng ứng dụng web tầng lƣu trữ lƣới Chứng thực tài nguyên: Để máy HeadNode sử dụng dịch vụ lƣới, ta cần có chứng thực tài nguyên cho máy Chứng thực cho máy đƣợc cài đặt theo chuẩn Globus Chứng thực ngƣời dùng: Ngƣời dùng “lindax” đƣợc tạo máy HeadNode để chạy tác vụ lƣới Đây chứng thực ngƣời dùng cho toàn hệ thống Quản lý proxy cho ngƣời dùng lƣới Dịch vụ GridFTP: dịch vụ cài HeadNode có nhiệm vụ điều khiển trình truyền tệp server lƣu trữ Dịch vụ RLS: dịch vụ định vị Dịch vụ lƣới liệu hỗ trợ tạo quản lý nhân lƣới Cơ sở liệu cho dịch vụ RLS: sở liệu đƣợc xây dựng sẵn Globus Toolkit 4.0.2 Hệ quản trị sở liệu đƣợc sử dụng MySql 66 Chƣơng – Thử nghiệm đánh giá  Cơ sở liệu quản lý server lƣu trữ: Quản lý thông tin tài nguyên cung cấp máy lƣu trữ tệp Hệ quản trị sở liệu đƣợc sử dụng MySql 4.1.4 Các DataNode Nhƣ trình bày trên, DataNode máy chủ lƣu trữ liệu thực hệ thống Tại DataNode đƣợc triển khai thành phần sau:        Một ngƣời dùng hệ thống: tạo ngƣời dùng với tên “lindax” Ngƣời dùng đặc quyền máy lƣu trữ dùng để chạy dịch vụ hệ thống Web server Apache: Sử dụng với mục đích công khai đƣờng dẫn vật lý tới ngƣời dùng qua giao diện web xử lý số sách download Web server Tomcat: Triển khai module upload download module có nhiệm vụ nhận, xử lý trả thông tin cho ngƣời dùng trình upload, download Tomcat phải đƣợc khởi động quyền ngƣời dùng lindax Quản lý tài nguyên DataNodes Chứng thực tài nguyên: Để sử dụng dịch vụ lƣới bảo mật tổ chức tham gia vào hệ thống lƣu trữ Ánh xạ ngƣời dùng: Ánh xạ quyền ngƣời dùng lƣới máy lƣu trữ đến ngƣời dùng linda Khi đó, máy HeadNode điều khiển đƣợc máy StorageNode dƣới quyền ngƣời dùng lindax Các thƣ mục file cấu hình hệ thống: Đây thƣ mục file cấu hình hệ thống LindaX, đƣợc tạo sẵn hệ thống máy lƣu trữ để xác định thông tin trình vận hành 4.1.5 Kết triển khai Hệ thống đƣợc triển khai dựa thực tế Trung tâm Tính toán Hiệu cao, Đại học Bách Khoa Hà Nội theo nhƣ mô hình đề cập Chƣơng Các máy chủ ứng dụng web, máy chủ thông tin liệu (HeadNode), máy chủ lƣu trữ liệu (DataNode) sở hữu IP thực Chi tiết dịch vụ đƣợc triển khai nhƣ bảng dƣới # Tên máy Giao diện giao tiếp ngƣời dùng hpcc.hut.edu.vn 202.191.56.49 Quản lý giao diện ngƣời dùng Cơ sở liệu tệp logic HeadNode Thành phần triển khai Trung gian ngƣời dùng tầng lƣu trữ lƣới WebServer Chức bkluster.hut.edu.vn 202.191.56.48 67 Cơ sở liệu ngƣời dùng Dịch vụ định vị (RLS) Máy chủ quản lý tầng lƣu trữ lƣới Dịch vụ quản lý Proxy Dịch vụ quản lý DataNode Dịch vụ GridFTP Chƣơng – Thử nghiệm đánh giá Chứng thực CA DataNode 202.191.56.61 DataNode 202.191.56.62 Module upload/download Node lƣu trữ liệu Dịch vụ GridFTP Module upload/download Node lƣu trữ liệu Chứng thực CA Dịch vụ GridFTP Một số kết đạt đƣợc thể qua giao diện hệ thống 4.1.5.1 Giao diện trang chủ LindaX Hình 4.2 – Trang chủ LindaX 68 Chứng thực CA Chƣơng – Thử nghiệm đánh giá 4.1.5.2 Giao diện trình upload Hình 4.3 – Giao diện upload tệp Hình 4.4 – Giao diện tiến trìnhupload 69 Chƣơng – Thử nghiệm đánh giá Hình 4.5 – Upload tệp thành công Hình 4.6 – Upload tệp bị lỗi 70 Chƣơng – Thử nghiệm đánh giá 4.1.5.3 Giao diện trình download Hình 4.7 – Giao diện download Hình 4.8 – Giao diện trình download 71 Chƣơng – Thử nghiệm đánh giá 4.1.5.4 Giao diện quản trị Hình 4.9 – Giao diện quản trị 4.2 Đánh giá Về chức năng: Hệ thống thực đƣợc hai chức bắt buộc phải có hệ thống lƣu trữ chia sẻ tệp upload download Bên cạnh đó, hệ thống đƣợc tích hợp thêm chức phụ trợ khác để làm đầy đủ tiện dụng cho ngƣời dùng nhƣ: chia sẻ liên kết, quản lý không gian tệp, quản lý ngƣời dùng Về mặt hệ thống, LindaX có chức giám sát nút lƣu trữ hỗ trợ cho việc kết nạp thêm nút lƣu trữ vào hệ thống Về hiệu năng: Do hạn chế trang thiết bị sở hạ tầng, hệ thống chƣa đƣợc triển khai số lƣợng lớn máy lƣu trữ phân tán thực mặt địa lý, nên chƣa đánh giá đƣợc hết hiệu hệ thống đƣợc triển khai thực đầy đủ Tuy nhiên, phạm vi luận văn thử nghiệm đánh giá, hệ thống cho thấy nét khả quan hiệu sử dụng công nghệ lƣới liệu để lƣu trữ chia sẻ liệu Về tính dễ sử dụng: Hệ thống có đƣợc giao diện thân thiện với ngôn ngữ tiếng Việt, chức bố trí hợp lý, không gian thao tác đƣợc thiết kế đẹp mắt ngƣời dùng dễ dàng thao tác với chức Tính dễ sử dụng đƣợc cải thiện thông qua việc sử dụng công nghệ AJAX giúp cho ngƣời dùng có cảm giác nhƣ sử dụng ứng dụng Desktop truy cập trang web Điều tạo lên hiệu đáng kể việc thu hút khách hàng đến với dịch vụ hệ thống Về khả mở rộng: Bƣớc đầu hệ thống triển khai phạm vi hẹp với mục đích thử nghiệm Tuy nhiên tính khả thi khả mở rộng hệ thống hoàn toàn Việc dễ dàng kết nối vào hệ thống quyền lợi đầy đủ nhà cung cấp máy chủ lƣu trữ thúc đẩy nhà cung cấp sẵn sàng tham gia mở rộng không gian hệ thống không gian lƣu trữ không gian địa lý Những nghiên cứu luận vănđang bƣớc đầu, khả 72 Chƣơng – Thử nghiệm đánh giá nghiên cứu mặt công nghệ để nâng cao chất lƣợng hệ thống, tính bảo mật độ ổn định nhiều 73 Chương KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 Kết luận Có thể nói luận văn đạt đƣợc hầu hết mục tiêu đƣợc đặt ban đầu xây dựng triển khai thành công hệ thống lƣu trữ chia sẻ liệu LindaX, đáp ứng đƣợc yêu cầu hệ thống lƣu trữ chia sẻ, có chức tƣơng tự nhƣ hệ thống tiếng giới đề cập đến Chƣơng luận văn Các mục tiêu cụ thể là:    Nghiên cứu công nghệ lƣới lƣới liệu Triển khai thành công lƣới liệu phục vụ cho tầng lƣu trữ hệ thống LindaX Xây dựng mô-đun cho tầng lƣu trữ liệu nhƣ: quản lý ủy quyền (proxy), quản lý tài nguyên lƣới, điều khiển truyền tệp, định vị lƣới, mô-đun upload/download v.v dựa dịch vụ công cụ Globus Toolkit 4.0.2, phục vụ cho nhiều ứng dụng khác Triển khai tính upload download ứng dụng web kết nối đƣợc với tầng lƣu trữ lƣới, có sách cụ thể hệ thống lƣu trữ nhƣ: giới hạn dung lƣợng, hạn chế IP download, giới hạn tốc độ, thời gian lƣu trữ tệp, download đa luồng, v.v… 5.2 Hướng phát triển Do thời gian nghiên cứu thực luận văn hạn chế, nên hệ thống LindaX cần nhiều nâng cấp bổ sung để hoàn thiện ứng dụng rộng rãi đƣợc thực tế Những định hƣớng phát triển cho hệ thống LindaX cụ thể là: Hỗ trợ tính lưu liệu trực tuyến Khi ngƣời dùng không may xóa nhầm liệu không gian lƣu trữ mình, hệ thống có chế lập lịch lƣu liệu cho số đối tƣợng khách hàng sử dụng dịch vụ Khi đó, LindaX có tính khôi phục lại trạng thái kho liệu thời điểm trƣớc Việc lƣu liệu khách hàng quy định hệ thống tự lập lịch cách hợp lý Xây dựng tính quản lý phiên Khi nhiều ngƣời dùng muốn chia sẻ nguồn liệu để thao tác chung lên liệu đó,hệ thống LindaX lƣu trữ riêng biệt phiên liệu thời điểm khác tƣơng ứng với ngƣời dùng tác động lên liệu chung Việc quản lý phiên ảnh hƣởng lên vùng liệu ngƣời dùng quy định đƣợc chia sẻ cho nhóm ngƣời xác định Nâng cao độ bảo mật Hệ thống cần phải thiết lập thêm chế bảo mật cho trình upload/download tệp, xác nhận ngƣời dùng hệ thống, v.v Đối với hệ thống lƣu trữ chia sẻ trực tuyến, Chƣơng – Kết luận hƣớng phát triển vấn đề đƣợc đặt lên hàng đầu Cơ chế bảo mật phải gắn liền với sách ngƣời dùng hệ thống LindaX Cải thiện tốc độ upload/download Tốc độ upload/download hệ thống phụ thuộc vào nhiều yếu tổ khác Để tăng tốc độ download/upload, hệ thông LindaX sử dụng thông tin vị trí địa lý ngƣời dùng, cho phép ngƣời dùng tiếp cận với máy chủ liệu gần Theo lý thuyết, cách làm làm tăng đáng kể tốc độ upload download ngƣời dùng Muốn làm đƣợc điều này, hệ thống LindaX đƣa quy trình nhanh gọn, hỗ trợ mở rộng nhà cung cấp máy chủ lƣu trữ Bên cạnh đó, sách hạn chế băng thông đƣợc xem xét kỹ để hệ thống không bị tải 75 TÀI LIỆU THAM KHẢO [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] MichaelDiStefano, “DistributedDataManagementforGridComputing,” page4, chapter1,JohnWiley&Sons,Inc.2005 I Foster, “What is the Grid? A Three Point Checklist,” page 2-3, GRIDToday, July 2002 Ian Foster, Carl Kesselman, and Steven Tuecke, “The Autonomy of the Grid, Enabling Scalable Virtual Organizations,” Int J Supercomput Appl 2002 Ian Foster, Adriana Iamnitchi, “On Death, Taxes, and Convergence of Peer-to-Peer and Grid Computing” In 2nd International Workshop on Peer-to-Peer Systems (IPTPS'03), Berkeley, CA, Feb 2003 PeterJ.Braam,“TheCodaDistributedFileSystem”, http://www.coda.cs.cmu.edu/ Ian Foster,JensVo¨ckler,MichaelWilde,andYongZhao,“TheVirtualDataGrid:A NewModeland Architecturefor Data-IntensiveCollaboration,”CIDR 2003,page1 NguyễnKimAnh,“Nguyênlýcủacáchệ cơsởdữliệu”chƣơng3,chƣơng5,chƣơng7, chƣơng8,NhàxuấtbảnĐạihọcquốcgiaHàNội Ann Chervenak, Ian Foster, Carl Kesselman, Charles Salisbury, and Steven Tuecke, “The Data Grid: Towards an Architecture for the Distributed Management and Analysis of Large Scientific Datasets,” page William Stallings, “Computer Organization and Architecture,” chapter 5, 5th, Prentice Hall Inc, 1996 IanFoster, CarlKesselman,“Adatagridreferencearchitecture”,Jan.2001 Globusproject, http://www.globus.org/toolkit W Allcock, J Bresnahan, R Kettimuthu, M Link, C Dumitrescu, I Raicu, I Foster, “The Globus Striped GridFTP Framework and Server,” Proceedings of Super Computing 2005 (SC05), Nov 2005 J.Postel,J.Reynolds,“File Transfer Protocol”, http://www.w3.org/Protocols/rfc959/ I Foster, C Kesselman, G Tsudik, S Tuecke, “A Security Architecture for ComputationalGrids,”Proc.5th ACMConferenceon ComputerandCommunications SecurityConference,page83-92,1998 J Novotny, S.Tuecke,V.Welch, “An OnlineCredential RepositoryfortheGrid: MyProxy,”ProceedingsoftheTenthInternational Symposium onHighPerformance DistributedComputing(HPDC-10),IEEEPress,Aug.2001 L Pearlman, V Welch, I Foster, C Kesselman, S Tuecke, “A Community AuthorizationServiceforGroupCollaboration,”Proceedingsof theIEEE3rd International WorkshoponPoliciesfor DistributedSystems andNetworks,2002 ...BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - ĐÀO QUANG MINH NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ TÍNH NĂNG MỞ RỘNG CHO HỆ THỐNG LƯU TRỮ VÀ CHIA SẺ DỮ LIỆU LINDAX Chuyên... lƣới liệu cho việc lƣu trữ chia sẻ Các công nghệ hỗ trợ xây dựng sách cho hệ thống lƣu trữ chia sẻ liệu Các dịch vụ cho hệ thống lƣu trữ chia sẻ triển khai lên lƣới liệu Trong đó, đối tƣợng nghiên. .. Lƣới liệu hứa hẹn đáp ứng đƣợc nhu cầu phức tạp hệ thống lƣu trữ chia liệu Luận văn hƣớng tới việc nghiên cứu phát triển số tính mở rộng cho hệ thống LindaX, đƣợc xây dựng dựa tảng lƣới liệu