Thiết kế bộ phân tải cho các cụm máy chủ trang web lớn đảm bảo khả năng nhanh chóng mở rộng hệ thống

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Họ tên tác giả luận văn KIỀU THÀNH CHUNG TÊN ĐỀ TÀI LUẬN VĂN Thiết kế phân tải Cho cụm máy chủ trang Web lớn Đảm bảo khả nhanh chóng mở rộng hệ thống Chuyên ngành : CÔNG NGHỆ THÔNG TIN LUẬN VĂN THẠC SĨ KHOA HỌC CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC TIẾN SĨ : NGUYỄN KHANH VĂN Hà Nội – Năm 2010 MỤC LỤC MỤC LỤC DANH MỤC HÌNH VẼ MINH HỌA DANH MỤC CÁC BẢNG MINH HỌA LỜI CAM ĐOAN PHẦN MỞ ĐẦU Lý chọn đề tài: Lịch sử nghiên cứu: Mục tiêu chính: 10 Sơ lược luận văn 11 Phương pháp nghiên cứu 11 PHẦN NỘI DUNG 12 CHƯƠNG I: CÂN BẰNG TẢI LƯU LƯỢNG WEB 12 1.1 Giới thiệu 12 1.2 Phân loại cân tải 13 1.3 Khả mở rộng – Scalability 15 1.4 Cân tải không nhận biết nội dung 16 1.4.1 Chuyển tiếp lớp 17 1.4.2 Chuyển tiếp lớp 18 1.4.3 Các sách phân phối yêu cầu không nhận biết nội dung 21 1.5 Cân tải nhận biết nội dung 22 1.5.1 Kiến trúc hai chiều 24 1.5.1.1 Ràng buộc kết nối TCP - TCP Connection Binding 24 1.5.1.2 Ghép nối TCP - TCP Splicing 26 1.5.1.3 Các luồng chuyển hướng - Redirect Flows 26 1.5.2 Kiến trúc chiều 27 1.5.2.1 Chuyển giao TCP - TCP Hand-Off 27 1.5.2.2 Di trú trạng thái TCP gói tin tới lọc gói tin 29 1.5.2.3 Nhân Socket – Socket Clonning 30 1.5.2.4 Ràng buộc kết nối chiều - One-way Connection Binding 32 1.5.2.5 Tái thiết TCP – TCP Rebuilding 32 1.5.3 Các sách phân phối yêu cầu nhận biết nội dung 33 1.5.3.1 Các giải pháp nhận biết địa phương 33 1.5.3.2 Các giải pháp không nhận biết địa phương 37 1.6 Tổng kết chương I 40 CHƯƠNG II: ĐIỀU KHIỂN TRUY NHẬP VÀ BURSTINESS TRONG HỆ THỐNG WEB44 2.1 Giới thiệu 44 2.2 Các ảnh hưởng lưu lượng Web Server 45 2.3 Tính truyền loạt (Burstiness) Internet 46 2.3.1 Phát tính truyền loạt dựa lưu lượng mạng 46 2.3.2 Phát tính truyền loạt dựa giao thức TCP 47 2.3.3 Phát tính truyền loạt sở liệu 48 2.3.4 Phát tính truyền loạt theo số lần phục vụ .48 2.4 Các sách điều khiển truy nhập 48 2.4.1 Các sách lập lịch nhận biết chất lượng dịch vụ (QoS) 48 2.4.2 Các sách điều khiển truy nhập cổ điển 49 2.4.3 Các sách truy nhập thương mại điện tử 49 2.4.4 Các sách truy nhập dựa cụm Web 51 2.4.5 Các cách khác 52 2.5 Tổng kết 54 CHƯƠNG III: PHÁT HIỆN VÀ GIÁM SÁT BURSTINESS 58 3.1 Giới thiệu 58 3.2 Giám sát Khe thời gian 60 3.3 Các yếu tố Burstiness 61 3.3.1 BF1 62 3.3.2 BF2 63 3.3.3 BF3 64 3.3.4 BF4 66 3.3.5 BF5 66 3.3.6 BF6 67 3.4 Lập khe thời gian thích nghi 68 CHƯƠNG IV: THUẬT TOÁN CÂN BẰNG TẢI VÀ ĐIỀU KHIỂN TRUY NHẬP 71 4.1 Giới thiệu 72 4.2 Tối thiểu hóa chi phí 73 4.3 Tổng quan thuật toán 75 4.3.1 Kiến trúc hệ thống 75 4.3.2 Nhận biết chất lượng dịch vụ (QoS) 76 4.3.3 Các tham số sử dụng thuật toán 76 4.4 Dự báo thông lượng 78 4.4.1 P1: Dựa trình lọc 78 4.4.2 P2: Dựa tính burstiness 79 4.4.3 P3: Dựa lọc tính truyền loạt 80 4.4.4 P4: Dựa bình phương trung bình nhỏ .80 4.4.5 P5: NLMS – Dựa bình phương trung bình nhỏ thông thường 81 4.4.6 Các kết dự đoán thông lượng 81 4.5 Phân bổ tài nguyên 82 4.6 Kỹ thuật cân tải 85 PHẦN KẾT LUẬN & HƯỚNG PHÁT TRIỂN 86 Kết luận 86 Hướng phát triển 88 TÀI LIỆU THAM KHẢO 90 Tài liệu tiếng Anh 90 Tài liệu tiếng Việt 91 DANH MỤC CÁC TỪ VIẾT TẮT 92 DANH MỤC HÌNH VẼ MINH HỌA Hình 1.1: Tổ chức giải pháp cân tải web 14 Hình 1.2: Ví dụ thực thi chuyển tiếp layer-2 17 Hình 1.3: Thực thi chuyển tiếp layer-3 kiến trúc hai chiều (two-ways) 19 Hình 1.4 Thiết lập kết nối TCP sử dụng NAT IPTun 20 Hình 1.5: Cân tải theo kiến trúc chiều layer-7 22 Hình 1.6: Các kỹ thuật cân tải Layer-7 kiến trúc hai chiều: 25 Hình 1.7: Chuyển giao TCP Di trú trạng thái TCP gói tin 28 Hình 1.8: Socket Cloning TCP Rebuilding kiến trúc chiều 31 Hình 3.1: Dự kiến tỷ lệ giám sát sau lần quan sát khác 61 Hình 3.2 Tỉ lệ đến yếu tố Burstiness 65 Hình 3.3: Giám sát theo lập khe thời gian thích nghi số khe sử dụng BF1 70 Hình 4.1: Các dự đoán thông lượng 82 DANH MỤC CÁC BẢNG MINH HỌA Bảng 2.1 Các giải pháp cân tải không nhận biết nội dung 16 Bảng 2.2: Các giải pháp cân tải nhận biết nội dung 23 Bảng 2.3: Các đặc điểm sách phân phối yêu cầu nhận biết nội dung 43 Bảng 3.1: Các đặc điểm sách điều khiển truy nhập 57 LỜI CAM ĐOAN Tôi xin cam đoan công trình nghiên cứu riêng tôi, không chép Nội dung luận văn có tham khảo thông tin đăng tải báo, trang web theo danh mục tài liệu tham khảo luận văn Tôi xin chân thành cảm ơn Tiến sĩ Nguyễn Khanh Văn hướng dẫn thực đề tài Mọi góp ý, bổ sung nội dung hình thức đề tài xin gửi địa email: kieuthanhchung@gmail.com Tôi xin chân thành cảm ơn tới giảng viên Viện Công nghệ thông tin nhiệt tình hướng dẫn giúp đỡ thời gian học tập, nghiên cứu Trường Đại học Bách khoa Hà nội! Tôi xin chân thành cảm ơn Trung tâm Công nghệ - Công ty Cổ phần Đầu tư phát triển công nghệ VTC giúp đỡ trình tìm hiểu, nghiên cứu công trình Tôi xin chân thành cảm ơn! Tác giả luận văn Kiều Thành Chung PHẦN MỞ ĐẦU Lý chọn đề tài: Một đặc thù bật cách mạng thông tin diễn phát triển vũ bão Internet với ứng dụng phong phú dựa Web Hiện giới chứng kiến dịch vụ thông tin Web với số lượng người sử dụng khổng lồ tính hàng triệu, ví dụ Google, Facebook, Youtube, … Đương nhiên, việc đáp ứng số lượng người dùng đồng thời lớn sở nhiều vấn đề kỹ thuật nóng bỏng Cung cấp dịch vụ cho tập thể nghiên cứu rõ ràng (một doanh nghiệp chẳng hạn) việc quen thuộc khứ, cung cấp dịch vụ cho toàn công chúng, số người sử dụng đồng thời lớn không lường trước được, thách thức mới: để đảm bảo không xảy tắc nghẽn tối ưu hiệu hệ thống Để đáp ứng số lượng người dùng đồng thời cao, đương nhiên tài nguyên tính toán (số lượng máy chủ) phải lớn, đầu tư nhiều vào thiết bị giải vấn đề Ở ta cần nhấn mạnh đến tính hiệu việc tổ chức sử dụng thiết bị: giải pháp hợp lý, xử lý thông minh, thiết bị tốn không hoạt động công suất, gây lãng phí lớn tắc nghẽn xảy Yếu tố hệ thống thường biết đến với tên gọi “khả mở rộng hệ thống”, hay nói tắt “khả mở” (scalability) Với việc thiết kế hệ thống kém, điểm ách tắc (bottleneck) cố hữu làm hệ thống khó mở rộng khả đáp ứng nhu cầu người dùng, dù tăng cường số lượng máy chủ lớn Đây tượng xảy phổ biến Việt nam, mạng xã hội nhỏ lẻ, dịch vụ game-online mở tự phát, không đầu tư kỹ thiết kế Ban đầu doanh nghiệp nhanh chóng phát triển với lượng người sử dụng (NSD) không lớn đó, nhanh chóng đạt đến điểm tới hạn (khoảng cỡ trăm nghìn NSD) vượt cải tổ kỹ thuật triệt để Câu chuyện đời phát triển mạng xã hội quen biết giới cho học, dẫn chứng tốt việc đảm bảo tính khả mở, tức nhanh chóng mở rộng dich vụ Mạng xã hội xuất lần năm 1995 với đời trang Classmate với mục đích kết nối bạn học, xuất SixDegrees vào năm 1997 với mục đích giao lưu kết bạn dựa theo sở thích Các mạng nhiên chưa có tính thu hút mạnh giới hạn công nghệ Internet lúc Năm 2002, Friendster trở thành trào lưu Hoa Kỳ với hàng triệu thành viên ghi danh Tuy nhiên phát triển nhanh dao hai lưỡi: server Friendster thường bị tải ngày, gây bất bình cho nhiều thành viên Năm 2004, MySpace đời với tính phim ảnh (embedded video) nhanh chóng thu hút hàng chục ngàn thành viên ngày, thành viên cũ Friendster chuyển qua MySpace vòng năm, MySpace trở thành mạng xã hội có nhiều lượt xem Google tập đoàn News Corporation mua lại với giá 580 triệu USD Năm 2006, đời Facebook đánh dấu bước ngoặt cho hệ thống mạng xã hội trực tuyến với tảng lập trình "Facebook Platform" cho phép thành viên tạo công cụ (apps) cho cá nhân thành viên khác dùng Facebook Platform nhanh chóng gặt hái thành công vược bậc, mang lại hàng trăm tính cho Facebook đóng góp không nhỏ cho số trung bình 19 phút mà thành viên bỏ trang ngày Để đáp ứng đảm bảo khả mở rộng (scalability), phận hệ thống chủ chốt thiếu dịch vụ web lớn hệ thống tự động phân tải (Load-balancer) Đây thiết bị phần mềm làm nhiệm vụ đón yêu cầu tất NSD “phân việc” cho số máy chủ (server) xủ lý thông tin cụ thể Để đảm bảo tối ưu hiệu sử dụng toàn hệ thống máy chủ, phận phân tải phải làm việc “công minh” khéo léo, tìm giao việc cho “người” vừa nhẹ tải vừa “chuyên môn” Tức là, phận phân tải cần phải vừa nắm vững tình hình máy chủ, vừa nhanh chóng nắm chất dòng yêu cầu xử lý gửi đến liên tục Luận văn cao học đặt mục tiêu nghiên cứu tìm hiểu sâu kỹ thuật thiết kế hệ phân tải đảm bảo khả mở rộng hệ thống (scalability) dịch vụ mạng với số lượng NSD lớn Cụ thể hơn, luận văn tìm hiểu tổng hợp có hệ thống phương pháp phân tải phong phú biết tới lâu này, thực tế nghiên cứu lý thuyết Luận văn đưa phân tích so sánh dựa vào đặc điểm riêng hoàn cảnh sử dụng phương pháp phổ biến Đây lĩnh vực kỹ thuật biết tới chưa nhiều Việt nam, nên tác giả hy vọng tìm thấy phân tích kỹ thuật khuyến nghị sử dụng hợp lý, mẻ cho nhà xây dựng cung cấp dịch vụ lớn nước Một mục tiêu cụ thể tìm áp dụng kỹ thuật tiên tiến hợp lý cho hệ thống dịch vụ game-online cung cấp tổng công ty VTC, môi trường công tác tác giả Lịch sử nghiên cứu: Việc sử dụng Internet tất lĩnh vực đời sống phát triển đáng kể thập kỷ qua Internet thực trở thành công cụ cần thiết cho sống nhân loại hiển nhiên không ngừng phát triển cải thiện nhiều khía cạnh kiến trúc Khi hệ thống sở hạ tầng mạng chưa đạt thành tựu định, ví dụ tốc độ truyền qua đường Dial up chậm, số lượng web ít, số lượng server phục vụ web ít, chủ yếu trang web tĩnh,…thì vấn đề tải hệ thống mạng chưa quan tâm Tuy nhiên, sở hạ tầng mạng nâng cấp, chất lượng số lượng web phát triển nhanh gây tắc nghẽn số mạng định Bước đầu lịch sử, người ta nghiên cứu giải pháp cân tải đơn giản, chủ yếu phục vụ cho hệ thống web tĩnh hệ thống máy chủ đồng Tuy nhiên, công nghệ ứng dụng dựa web thay đổi, việc tìm kiếm hay đưa giải pháp cân tải cần thiết để đảm bảo đáp ứng đa dạng nội dung, phát triển loại yêu cầu khác nhau, với thời đáp ứng yêu cầu khác Nhiều nhóm nghiên cứu toàn giới tiếp tục nghiên cứu Internet họ cố gắng tăng tốc độ giao thức truyền thông nâng cao hiệu hoạt động cấp độ ứng dụng web Ngoài ứng dụng phát triển để thực qua kết nối Internet Voice Over Internet Protocol (VOIP) điện thoại, trò chơi trực tuyến mạng xã hội Mục tiêu chính: Trên sở nghiên cứu giải pháp, mục tiêu luận văn đánh giá giải pháp cân tải sử dụng hệ thống Web Nghiên cứu yếu tố tác động vào tải hệ thống web Qua đó, nghiên cứu cách giải toán tắc nghẽn Mục đích cuối dựa đánh giá cụ thể giải pháp cân tải nhằm tìm kiếm giải pháp thích hợp để áp dụng vào thực tiễn hệ thống Web Việt nam Đối tượng luận văn giải pháp cân tải Đặc biệt giải pháp cân tải nhận biết nội dung với phân tích đánh giá yếu tố burstiness thông qua việc thiết lập khe thời gian thích ứng Ngoài ra, luận văn mô tả giải pháp khác giải pháp cân tải không nhận biết nội dung, giải pháp cân tải nhận biết QoS Thông qua đối tượng đó, để đánh giá khả đáp ứng khả mở rộng hệ thống Web số lượng người truy nhập tăng đột biến hay lớn Do đối tượng nghiên cứu nhiều, nên phạm vi nghiên cứu lớn Tuy nhiên, khuôn khổ luận văn này, phạm vi nghiên cứu hệ thống Web Game lớn triển khai Việt nam Một số Web Game Online Tổng công ty Truyền thông Đa phương tiện VTC 10 Sơ lược luận văn Để thực mục tiêu trên, luận văn chia thành hai phần chính: Phần nội dung gồm chương - Chương 1: Khái niệm phân loại cân tải; Khả mở rộng Scalability; Các kiến trúc ứng dụng cân tải; Các sách phân phối yêu cầu; - Chương 2: Các ảnh hưởng lưu lượng máy chủ Web; Tính truyền loạt – burstiness; Các sách điều khiển truy nhập; - Chương 3: Phát giám sát burstiness; Giám sát khe thời gian; Các yếu tố burstiness; Lập khe thời gian thích nghi - Chương 4: Thuật toán cân tải điều khiển truy nhập; Mục tiêu tối thiểu hóa chi phí thực hiện; Tổng quan thuật toán; Dự báo thông lượng; Phân bổ tài nguyên; Kỹ thuật cân tải Phần kết luận hướng phát triển: gồm kết luận hướng phát triển nghiên cứu lý thuyết định hướng ứng dụng Phương pháp nghiên cứu Phương pháp nghiên cứu chủ yếu luận văn tổng hợp nguồn tài liệu Internet, tạp chí số tài liệu khác Qua đó, đánh giá giải pháp cân tải nhằm đưa giải pháp thích hợp mang tính ứng dụng hệ thống web 11 M số đại lượng trọng số sử dụng lọc thích nghi, µ thông số kích thước bước Vectơ w(k) x(k) xác định sau: w(k ) = [w0 , w1 , , wM −1 (k )] T x(k ) = [x(k ), x(k − 1), , x(k − M + 1)] T Giá trị dự đoán thông lượng truy cập thu cách dự báo tuyến tính theo biểu thức: ∧ M −1 x (k + 1) = ∑ w( x).x(k − x) (4.6) x =0 4.4.5 P5: NLMS – Dựa bình phương trung bình nhỏ thông thường Phiên chuẩn hóa lọc LMS đề xuất nhằm tránh nhạy cảm (sensitivity) thuật toán LMS loại liệu đầu vào x(k) khác Giải pháp thực chuẩn hóa biểu thức trước cách chia véc tơ x(k) cho bình phương Euclide ∧ ⎡ ⎤ x(k ) w(k + 1) = w(k ) + µ ⎢ x(k ) − x5 (k )⎥ ⎣ ⎦ x(k ) (4.7) 4.4.6 Các kết dự đoán thông lượng Thử nghiệm mô OPNET Modeler để mô tả tác động yếu tố dự báo Các kết biểu thị hình 4.1 bao gồm lưu lượng truy cập máy chủ kèm theo năm trình dự báo lưu lượng truy cập giới thiệu Qua đó, ta thấy cách thức phương pháp thực dự đoán P1 – P3 tương ứng với lưu lượng truy cập kể từ bắt đầu trình mô Sự tham gia phương pháp P4 – P5, thực dự báo dựa lý thuyết lọc Do đó, phương pháp cần nhiều khe để có ước lượng tốt Trong trường 81 hợp kết mô trình bày hình 4.1, toàn trình dự báo thông lượng truy cập cần gần 400 giây Điều số lượng đại lượng trọng số (M) thiết lập giá trị 20, 20 slots dự báo thông lượng truy cập Kể từ khe 21, trình dự báo thông lượng truy cập xảy chậm suốt thời gian khe 21 đạt giá trị chấp nhận Hình 4.1: Các dự đoán thông lượng Tuy nhiên, khó để kiểm tra hiệu dự báo thị giác Để đảm bảo tính tin cậy kết dự báo, cần tính toán giá trị sai khác trung bình, giá trị thể tính đắn trình thực thuật toán kiểm soát truy nhập cân tải Để làm điều đó, đề cập đến vấn đề cấp phát tài nguyên cho thuật toán cân tải Qua thấy tranh tổng quát toàn trình 4.5 Phân bổ tài nguyên Quá trình dự đoán thông lượng truy cập cho phép ước tính mức độ sử dụng tối đa cho phép máy chủ ứng với loại dịch vụ, để thiết lập số lượng tối 82 đa yêu cầu chấp nhận cho việc giới hạn mức độ sử dụng máy chủ tránh tình trạng tắc nghẽn xảy trình bảo đảm QoS Với giá trị yếu tố dự báo thông lượng truy cập mô tả ∧ phần trước, x(k + 1) , thời gian phục vụ, δ(k), thu từ máy chủ, tính toán gần mức độ sử dụng máy chủ, theo khe thời gian tương ứng với loại dịch vụ Để dịch vụ SLA thực tốt, cần phải tiến hành hiệu chỉnh hiệu suất sử dụng CPU Sau điều chỉnh hiệu suất sử dụng CPU không vượt ngưỡng qui định, tính toán số lượng yêu cầu tối đa mà máy chủ xử lý tương ứng với loại dịch vụ Do đó, dự đoán mức độ sử dụng mà loại lưu lượng đạt tới máy chủ hệ thống Web, thông qua biểu thức: ∧ ∧ u (k + 1) = x(k + 1).δ (k ) (4.8) Giá trị dự báo không bao gồm SLA xác định cho loại yêu cầu Cần chuẩn hóa mức độ sử dụng dự đoán để đảm bảo mức độ ưu tiên loại yêu cầu Để xác định cụ thể hơn, cần thêm số số cho biểu thức, thông lượng truy cập dự báo mức độ sử dụng tính cho máy chủ Web máy chủ App/DB, cho loại dịch vụ Vì vậy, cần có ba số phụ sau: - Chỉ số cho biết số máy chủ Web máy chủ App/DB thiết lập, ký hiệu i {1, , N} - Chỉ số thứ hai cho biết trạng thái loại dịch vụ ký hiệu j - Chỉ số phụ thứ ba nội dung yêu cầu tĩnh động, z {1, , r} (sta, dyn) Trong trường hợp yêu cầu nội dung tĩnh, yêu cầu xử lý Web Server 83 Các máy chủ App/DB xử lý hầu hết yêu cầu động Vì vậy, tính toán hiệu suất sử dụng cách riêng biệt hai tầng kiến trúc hệ thống web Việc chuẩn hóa thiết lập mức độ sử dụng thực nhằm đạt 100% công suất hệ thống web loại yêu cầu, N số máy chủ Web máy chủ App/DB cấu thành hệ thống web: ∧' ∧' u i , j , z (k + 1) = (c j N ) u i , j , z (k ) ∑ ∧' ∀i u i , j , z (k ) (4.9) Với việc chuẩn hóa, đảm bảo loại lưu lượng dành riêng mức độ sử dụng hệ thống Web tương ứng với SLA Để biết số lượng tối đa yêu cầu chấp nhận cho loại lưu lượng máy chủ khe, thực nghịch đảo nhân thông lượng truy cập thu theo thời gian khe kế tiếp: ∧' γ i , j , z (k + 1) = u i , j , z (k + 1) d (k + 1) (4.10) δ i , j (k ) Trong khe tiếp theo, phân phối đếm số lượng yêu cầu chấp nhận tương ứng với loại yêu cầu máy chủ web App/DB Khi γ i , j ,k (k + 1) đạt đến ngưỡng giới hạn, máy chủ ngừng tham gia xử lý loại yêu cầu lần gọi thực thuật toán cân tải kiểm soát truy cập Hiệu suất sử dụng server nằm cận trái khe thuộc ∧' khoảng giá trị ⎡⎢0, u i , j , z (k + 1)⎤⎥ Việc tính toán mức độ sử dụng lại tính tổng ⎣ ⎦ mức sử dụng trừ mức sử dụng thực tế khe k + 1, tính theo công thức: ∧' u i , j ,k (k + 1) − ui , j ,k (k + 1) 84 4.6 Kỹ thuật cân tải Kỹ thuật chuyển tin dựa sách cân tải cổ điển, sử dụng để phân phối yêu cầu gửi đến máy chủ Web máy chủ App/DB, phân biệt loại dịch vụ yêu cầu khác Node phân phối thực phân tích nhận biết nội dung yêu cầu để xác định loại dịch vụ cần phải tham gia vào yêu cầu Gọi r số lượng loại dịch vụ, xác định • r trường hợp độc lập sách cân tải cổ điển; r tương ứng với yêu cầu tĩnh, r lại tương ứng cho yêu cầu động Một sách cân tải cổ điển chọn để xem xét Round Robin (RR) Các node phân phối tổ chức máy chủ Web App/DB theo phương pháp vòng tròn định kỳ loại dịch vụ Nếu N máy chủ hoạt động việc tham dự yêu cầu cho loại dịch khác nhau, máy chủ i 1, , N nhận số yêu cầu x, i = (x mod N) + Nếu máy chủ web máy chủ App/DB đạt đến giới hạn tối đa việc xử lý yêu cầu cho loại dịch vụ (j) thiết lập lần gọi trước thuật toán kiểm soát truy nhập, máy chủ ngắt khỏi danh sách máy chủ có khả đáp ứng node phân phối lần gọi thuật toán kiểm soát truy nhập Chính sách thứ hai đề cập đến sách Least Connection (LC) việc phân phối yêu cầu máy chủ Trong trường hợp này, máy chủ lựa chọn để tham gia xử lý yêu cầu máy chủ có kết nối Cũng sách trước, máy chủ đạt đến giới hạn tối đa việc xử lý yêu cầu loại dịch vụ j, cân tải tự động thay đổi trạng thái máy chủ thành trạng thái ngắt để tránh việc phải nhận thêm yêu cầu xử lý Theo đó, phân phối yêu cầu dừng việc gửi đến máy chủ yêu cầu đến dịch vụ loại j cho đến lần gọi thuật toán kiểm soát truy nhập 85 PHẦN KẾT LUẬN & HƯỚNG PHÁT TRIỂN Kết luận Mục đích luận án thiết kế thuật toán cân tải nhận biết nội dung điều khiển truy nhập thích nghi chi phí thấp cho hệ thống web Luận văn có đề cập đến số giải pháp sách truy nhập phù hợp, kết luận tóm tắt nội dung luận văn sau: Chương 1: Giới thiệu giải pháp cân tải trang Web, tách kiến trúc mạng sách phân phối Đồng thời, giới thiệu kỹ thuật phân tải dựa giao thức OSI, bao gồm kỹ thuật nhận biết nội dung Qua đó, chứng minh kỹ thuật cân tải nhận biết nội dung hữu dụng kỹ thuật cân tải không nhận biết nội dung Tuy nhiên, hai kỹ thuật lúc tách biệt nhau, số trường hợp, kỹ thuật cân tải nhận biết nội dung chuyển nhiệm vụ phân phối cho kỹ thuật cân tải không nhận biết nội dung để đạt cân tải tối ưu Tóm tắt sách phân phối cho thấy quan tâm cộng đồng nghiên cứu giải pháp nhận biết vùng năm 2000, để cố gắng cải thiện hiệu suất nhớ cache Do đó, đề xuất thường tập trung vào yêu cầu truy nhập nội dung web tĩnh Các đề xuất gần tập trung nội dung web động, thách thức tiếp tục nghiên cứu Ví dụ: số lần truy xuất dịch vụ không dễ đoán trước kịch tạo trang web động Chương 2: Xem xét lại đề xuất đây, giải vấn ùn tắc hệ thống web Ví dụ như: phát burstiness giải pháp kiểm soát truy nhập Việc phát burstiness giới thiệu vài lĩnh vực nghiên cứu khác Tuy nhiên, luận văn quan tâm chủ yếu lĩnh vực liên quan đến lưu lượng mạng Các đề xuất kiểm soát truy nhập nghiên cứu Chúng phân loại theo cách gọi định kỳ không định kỳ Cách gọi phi định có 86 yêu cầu truy nhập phiên kết nối tới cho hệ thống Tỷ lệ đến xem tham số quan trọng, làm thay đổi tần số gọi kiểm soát truy nhập để tránh tình trạng tắc nghẽn có hệ thống web Chương 3: Xác định nghiên cứu sáu burstiness yếu tố khác Dựa yếu tố burstiness để lập khe thời gian thích nghi Nó dùng để đặt tần số giám sát số liệu sử dụng thuật toán cân tải kiểm soát truy nhập, để đặt thời hạn khe thích hợp dựa tính bursty yêu cầu tới hệ thống Trong số yếu tố burstiness nghiên cứu chương 3, kết luận BF1, BF5 BF6 cứng nhắc không thay đổi đáng kể giá trị chúng với thay đổi tỉ lệ yêu cầu tới Tuy nhiên, yếu tố bao gồm ngăn cản làm cho BF3 BF4 đạt giá trị tối đa cách dễ dàng phát khe bursty liên tiếp, thế, làm tăng thêm mức yêu cầu đến tăng lên không phát BF2 - yếu tố burstiness áp dụng thuật toán, cho phép nhận biết mức độ tăng tỷ lệ yêu cầu đến độc lập với khối lượng tải thực tế hệ thống Chương 4: thuật toán cân tải điều khiển truy nhập, dựa lập khe thời gian thích nghi đề cập đến Chương Khe thời gian sử dụng để gọi thực thi thuật toán Do đó, thuật toán cân tải đưa yếu tố burstiness cho lần gọi thực thi Kỹ thuật kiểm soát truy nhập thích nghi phân phối mức độ sử dụng máy chủ yêu cầu khác dựa dự báo thông qua tham chiếu QoS Thuật toán phân phối mức độ sử dụng máy chủ loại dịch vụ đảm bảo yêu cầu SLA Với năm yếu tố tiên đoán thông qua mô tả Chương kết luận dự báo phù hợp tốt thuật toán cân tải dựa LMS cách có thời gian phản ứng và tác động ổn định Điều có nghĩa dịch vụ đảm bảo tỷ lệ đạt đến ngưỡng hệ thống web 87 Chiến lược cân dựa sách cổ điển Do đó, so sánh hai sách: LC RR kết luận: nhiều máy chủ hoạt động cho loại dịch vụ riêng biệt, sách RR cân yêu cầu gửi đến cluster tốt so với LC Khi so sánh chiến lược lập khe thời gian thích nghi khe thời gian cố định, qua phân tích đến kết luận: việc lập khe thời gian thích nghi đạt hiệu tốt đánh giá mức độ sử dụng CPU, số lượng trang tải (download) thời gian phản hồi Việc cố định khe thời gian không đảm bảo việc lưu trữ thông tin mức độ sử dụng CPU cách xác Hướng phát triển Vấn đề thiết kế yếu tố burstiness mục 3.3, phải tiếp tục nghiên cứu để tìm kiếm cải thiện yếu tố burstiness mang lại lợi ích tốt Đặc biệt trường hợp phát bursty khe liên tiếp Yếu tố burstiness phù hợp cho tất tỉ lệ yêu cầu đến, hệ thống web mong đợi đáp ứng tỉ lệ yêu cầu đến khác phạm vi giá trị định nghĩa cho Việc phát triển yếu tố burstiness nhận biết tỷ lệ đến số dịch vụ khác theo yêu cầu gửi đến đòi hỏi truy nhập Do đó, vấn đề khác biệt lưu lượng yếu tố burstiness Vấn đề cải thiện hiệu suất hệ thống web tất loại dịch vụ không yêu cầu với cường độ tương tự hệ thống web Khi nghiên cứu thuật toán kiểm soát truy nhập (mục 4.5), việc dự phòng tài nguyên máy chủ web, thực mà không quan tâm tới số lượng dịch vụ yêu cầu Do đó, vấn đề loại dịch vụ mức ưu tiên thấp đạt tới mức độ sử dụng CPU tối đa tất máy chủ, yêu cầu đòi hỏi truy nhập dịch vụ bị từ chối Điều dẫn đến việc dự phòng mức sử dụng yêu cầu mức ưu tiên cap đến hệ thống khe Vấn đề có 88 thể giải cách xác định số xác suất dựa ghi lưu giữ số tỷ lệ phần trăm yêu cầu đến loại dịch vụ vài khe trước Qua đó, thiết lập hội việc không nhận yêu cầu có mức ưu tiên cao, cho phép tăng mức độ sử dụng yêu cầu có mức ưu tiên thấp Tuy nhiên, quan điểm cần nghiên cứu thêm 89 TÀI LIỆU THAM KHẢO Tài liệu tiếng Anh [1] Cisco systems, inc http://www.cisco.com/ [2] Mohit Aron, Darren Sanders, Peter Druschel, andWilly Zwaenepoel Scalable contentaware request distribution in cluster-based network servers In proc of the USENIX 2000 Annual Technical Conference, (2000) [3] Valeria Cardellini, Emiliano Casalicchio, Michele Colajanni, and Philip S Yu The state of the art in locally distributed web-server systems ACM Comput Surv., 34:263– 311, (2002) [4] Sheng-Tzong Cheng, Chi-Ming Chen, and Ing-Ray Chen Performance evaluation of an admission control algorithm: dynamic threshold with negotiation Performance Evaluation, 52:1–13, (2003) [5] Mei-Ling Chiang, Yu-Chen Lin, Lian-Feng GuoThe Journal of Systems, and Software Design and implementation of an efficient web cluster with content-based request distribution and file caching The Journal of Systems and Software, 81:2044– 2058, (2008) [6] Steven Colby, John J Krawezyk, Raj Krishnan Nair, Katherine Royee, Kenneth P Siegel, Richard C Stevens, and Seott Wasson Method and system for directing a flow between a client and a server United States Patent 6,006,264, (December 2001) Arrowpoint Communications, Inc [7] David A Maltz and Pravin Bhagwat TCP splicing for application layer proxy performance Technical report, IBM, 1998 [8] Daniel A Menasc´e and Virgilio A.F Almeida Capacity Planning for Web Performance Metrics, Models and Methods Prentice Hall, 1998 90 [9] Chu-Sing Yang and Mon-Yen Luo Efficient support for content-based routing in web server clusters In proc of the 2nd conference on USENIX Symposium on Internet Technologies and Systems - Volume 2, (1999) Tài liệu tiếng Việt 91 DANH MỤC CÁC TỪ VIẾT TẮT STT Từ Tiếng Anh ALBM Adaptive Load Balancing Mechanism AON Application Oriented Networking App/DB Application/Database ARP Address Resolution Protocol AS Autonomous System BCB Balanced Content-Based CAD Content-Aware Dispatching CAHRD Content-Aware Hybrid Request Distribution CAP Client-Aware Policy CAWLL Content-Aware Weighted Least Load CPU Central Processing Unit CWARD/CR Content-based Workload-Aware Request Distribution with Core Replication CWARD/FR Content-based Workload-Aware Request Distribution with Frequency-based Replication CDNs Content Distribution Networks 92 DNS Domain Name System DoS Denial-of-Service DR Direct Routing DSR Direct Server Return E-FSPF Extended Fewest Server Processes First FARD Fuzzy Adaptive Request Distribution HACC Harvard Array of Clustered Computers HTTP HyperText Transfer Protocol IP Internet Protocol IPTun IP Tunneling ISS Initial Send Sequence IRS Initial Receive Sequence IQRD Intelligent Queue-based Request Dispatcher JSQ Join Shortest Queue KNITS Knowledgeable Node Initiated TCP Splicing LAN Local Area Network LARD Locality-Aware Request Distribution 93 LC Least Connection LL Least Loaded LMS Least Mean Square LVS Linux Virtual Server L7SW Linux Layer7 switching MAA Message-Aware Adaptive MAC Media Access Control MSS Maximum Segment Size NAT Network Address Translation NLB Network Load Balancing NLMS Normalised Least Mean Square NPSSM Non Probabilistic Server Selection Method OS Operative System OSI Open Systems Interconnection TAP2 Time and Access Probability-based Prefetch TCP Transmission Control Protocol RAM Random Access Memory 94 RR Round Robin RTT Round-Trip Time SAA Session Affinity-Aware SLB Server Load Balancing SHLPN Stochastic High-Level Petri Net RXP Resonate Exchange Protocol QoS Quality of Service UDP User Datagram Protocol VIP Virtual IP VLAN Virtual LAN VOIP Voice Over Internet Protocol WAN Wide Area Network WARD Workload-Aware Request Distribution WLC Weighted Least-Connection WRR Weighted Round Robin xLARD/R Extended Locality-Aware Request Distribution with Replication Policy 95 ... cùng, lực máy chủ hữu hạn Điều liên quan tới lợi ích quan trọng khả mở rộng, tính sẵn có, khả quản lý tính bảo mật trang web Cân tải cải thiện khả mở rộng ứng dụng cụm máy chủ cách phân phối tải nhiều... sâu kỹ thuật thiết kế hệ phân tải đảm bảo khả mở rộng hệ thống (scalability) dịch vụ mạng với số lượng NSD lớn Cụ thể hơn, luận văn tìm hiểu tổng hợp có hệ thống phương pháp phân tải phong phú... gọi hệ thống web phân tán cục • Cân tải phụ thuộc vào địa IP: Sự khác biệt thực nhóm phụ thuộc vào địa IP tường minh hệ thống web hiển thị cho khách hàng Các node máy chủ web hệ thống web phân