Dự đoán hiệu năng web services sử dụng phân tích hồi quy gaussion process và mô hình hàng đợi

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG ──────── * ─────── ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC NGÀNH CÔNG NGHỆ THÔNG TIN Dự đốn hiệu Web Services sử dụng phân tích hồi quy Gaussion Process mơ hình hàng đợi Sinh viên thực : Phùng Đình Vũ Lớp KSTN CNTT K52 Giáo viên hướng dẫn : PGS.TS Huỳnh Quyết Thắng Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang HÀ NỘI 5-2012 PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Thông tin sinh viên Họ tên sinh viên: Phùng Đình Vũ Điện thoại liên lạc: 01252777431 Email: phungdinhvu@gmail.com Lớp: CNTT KSTN K52 Hệ đào tạo: Kĩ sư tài Công Nghệ Thông Tin Đồ án tốt nghiệp thực tại: Viện CNTT & Truyền thông – Trường ĐH Bách Khoa Hà Nội Thời gian làm ĐATN: Từ ngày 04/03/2012 đến 01/06/2012 Mục đích nội dung ĐATN Mục đích đồ án nhằm đề xuất hướng tiếp cận giải toán dự đoán hiệu Web Services việc kết hợp phương pháp phân tích hồi quy Gaussian Process với mơ hình hàng đợi dựa mơ hình nhiễu mơ hình tín hiệu liệu đề xuất Các nhiệm vụ cụ thể ĐATN - Trình bày Web Services, hiệu Web Services, phân tích hồi quy Gausian Process, mơ hình hàng đợi, phương pháp tiếp cận tồn để giải toán dự đoán hiệu Web Services - Thu thập liệu hiệu Web Services, xây dựng mơ hình nhiễu mơ hình tín hiệu dựa liệu thu thập - Nghiên cứu phát triển phương pháp dự đốn hiệu Web Services sử dụng phân tích hồi quy Gaussian Process kết hợp với mơ hình hàng đợi dựa mơ hình liệu đầu vào, đồng thời đánh giá giá trị kì vọng độ tin cậy kết dự đoán thu Lời cam đoan sinh viên: Tơi – Phùng Đình Vũ – cam kết TTTN cơng trình nghiên cứu thân hướng dẫn PGS.TS Huỳnh Quyết Thắng Các kết nêu ĐATN trung thực, khơng phải chép tồn văn cơng trình khác Hà Nội, ngày tháng năm 2012 Tác giả ĐATN Phùng Đình Vũ Xác nhận giáo viên hướng dẫn mức độ hoàn thành ĐATN cho phép bảo vệ: Hà Nội, ngày tháng năm 2012 Giáo viên hướng dẫn Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang PGS.TS Huỳnh Quyết Thắng Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang LỜI CẢM ƠN Tôi xin gửi lời cám ơn chân thành, sâu sắc tới Thầy PGS.TS Huỳnh Quyết Thắng, môn Công nghệ phần mềm – Viện công nghệ thông tin & truyền thông – Đại học Bách Khoa Hà Nội Trong trình thực đồ án, Thầy hướng dẫn bảo ân cần, cung cấp cho nhiều tài liệu, liệu quan trọng tảng để tìm tịi nghiên cứu sâu đề tài Mỗi lời góp ý Thầy giúp tơi định hướng tốt hơn, đắn cho đề tài chọn Tôi xin gửi lời cám ơn tới tập thể Thầy, Cô Viện Công nghệ thông tin truyền thơng tận tình dạy dỗ tơi năm học vừa qua, cung cấp cho nhiều kiến thức q báu, bổ ích, lí thú Để từ đó, tơi có đủ khả hiểu biết để thực hoàn thành đồ án cách tốt Tôi xin gửi lời cảm ơn tới Thầy, Cô anh, chị Trung tâm đào tạo tài & chất lượng cao quan tâm, giúp đỡ, giải đáp thắc mắc cho đợt làm đồ án năm năm học đại học gắn bó với mái ấm thân u, nơi ni dưỡng niềm đam mê học tập nghiên cứu cho tôi, giúp trưởng thành Lời cảm ơn xin giành cho Thầy Lê Quốc, tập thể anh chị công ty Cazoodle Việt Nam với gần hai năm gắn bó, làm việc, học hỏi thực hành nhiều kiến thức trường học liên quan tới Web & Web Services Cảm ơn công ty cho hợp tác làm việc để thu thập số liệu hiệu Web Services, số liệu đầu vào quan trọng dẫn tới kết khả quan cho phương pháp dự đoán đề xuất Cuối cùng, xin giành lời cảm ơn tới ba mẹ tơi quan tâm, chăm sóc, ủng hộ vật chất tinh thần lớn lao để tơi có động lực theo đuổi đề tài Cảm ơn người bạn thân thiết sát cánh, động viên, an ủi thực hoàn thành tốt đồ án Tác giả ĐATN Phùng Đình Vũ Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP Đồ án thực nhằm giải toán dự đoán hiệu Web Services Đối với hệ thống, hiệu đại lượng quan trọng, có ảnh hưởng trực tiếp tới cảm nhận người dùng Việc đánh giá hiệu giúp cho nhà quản trị từ đề nhiều chiến lược tối ưu hóa hiệu cách hợp lí Có nhiều mơ hình hóa hiệu Web Services, đồ án sử dụng mơ hình hay dùng báo biểu diễn mối quan hệ thời gian đáp ứng hệ thống theo tốc độ tới người dùng Phương pháp đề xuất mơ hình nhiễu liệu vào, sử dụng mơ hình hàng đợi để làm giàu liệu vào, kết hợp với phân tích hồi quy Gaussian Process để dự đoán kết Kết dự đốn giá trị kì vọng thời gian đáp ứng , với lỗi (error bar) với khoảng tin cậy 95% Đồ án thực phương pháp dự đoán đề cập với nội dung sau: Phần mở đầu: Nêu lên thực trạng tồn hệ thống Web Services, tính cần thiết toán dự đoán hiệu Web Services Để từ đề định hướng giải pháp để giải tốn Chương 1: Trình bày sở lí thuyết phục vụ làm đồ án Có nhiều lí thuyết khác liên quan, chương tập trung trình bày Web Services, hiệu Web Services, mơ hình hàng đợi hệ thống Web Services, tổng quan phương pháp phân tích hồi quy Chương 2: Đây chương trình bày nội dung đồ án Phần đầu đề cập phương pháp dự đoán tồn nhằm giải toán dự đoán hiệu Web Services, ưu – nhược điểm tồn phương pháp Phần trình bày hướng tiếp cận mới, chi tiết bước để thực phương pháp Bước trình bày cách thức thu thập giá trị mẫu hiệu Web Services, mơ hình hóa liệu đầu vào cho tín hiệu nhiễu liệu hiệu Bước hai trình bày việc sử dụng mơ hình hàng đợi để làm giàu liệu đầu vào điểm hiệu môi trường tải cao Và bước cuối phân tích hồi quy Gaussian Process kết dự đoán mong muốn với khoảng tin cậy 95% kì vọng giá trị dự đốn Cuối phần đánh giá kết dự đốn mặt lí thuyết Chương 3: Trình bày triển khai dịch vụ Web Service hàng đợi, thiết kế chương trình thực phương pháp môi trường cài đặt Tiếp theo phần đánh giá sai số đánh giá thực nghiệm phương pháp dự đoán Phần kết luận: Đưa kết luận chung cho phương pháp tiếp cận dự đoán hiệu Web Services Đề xuất hướng pháp triển sâu thêm để có kết dự đốn tốt Những nội dung trình bày đồ án kế thừa phát triển thêm từ nội dung trình bày báo cáo đề tài hội nghị sinh viên nghiên cứu khoa học Viện Công nghệ thông tin truyền thông, đại học Bách Khoa Hà Nội Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang ABSTRACT OF THESIS This thesis is performed to solve the “Web Services performace prediction” problem, or simply the prediction problem Web Services are emerging as paradigm to build complex distributed systems across different oganizations The Web Services arichitecture allows loosely-coupled services, potentially implimented on different platforms, to communicate via the Internet using standard protocols Performance plays an impotant role in Web Services because it has a direct affection for user experience Evaluating the performance of Web Services is therefore neccessary and important in bulding high quality Web Service-based systems There are many ways to model performance of Web Services In the scenario of this thesis, we use the model that performs the relationship between response time and arrival rate of users We provides the models of input data, including signal model and noise model Then we combine Gaussian Process and queuing model to predict the results base on this input data The results include mean value of response time , following the error bar Error bar depicts the 95% of confidence interval for The content of this thesis is as below: - Introduction: This part describes current status of Web Service-based systems, the neccessary in predicting performance of Web Services Then we provides the new solution for solving the prediction problem - Chapter 1: This chapter describes some related theories such as Web Services, components of Web Services, the performance of Web Services, queueing theory in prediction performance of Web Services, and the basic of regression methods - Chapter 2: This chapter contains the main content of this thesis The first part refers to the exists methods for solving prediction problem We analyze then point out the advantage and disadvantage of each method The second part describes the new provided method, and the detail in each step that excutes this new method The first step is about collecting performance data, and building the input models The second step uses queuing model to enrich the input data Then the enriched data is used in Gaussian Process regression in step After step 3, we provide the prediction results This chapter also includes the estimation in theory of our new method - Chapter 3: This chapter desribes the deployment of a Web Service-based queuing system, the software design to impliment the new method Then we estimate the error on prediction, estimate the practiced results of new method - Conclusion: This chapter gives the conclusions of the new method and further researches Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang MỤC LỤC PHIẾU GIAO NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP LỜI CẢM ƠN TÓM TẮT NỘI DUNG ĐỒ ÁN TỐT NGHIỆP ABSTRACT OF THESIS MỤC LỤC DANH MỤC CÁC BẢNG VÀ HÌNH VẼ DANH MỤC THUẬT NGỮ VÀ TỪ VIẾT TẮT MỞ ĐẦU 10 CHƯƠNG 1: CƠ SỞ LÍ THUYẾT 12 1.1 Web Services 12 1.1.1 Tổng quan Web Services 12 [8] 1.1.2 Các thành phần Web Services 13 1.1.2.1 Simple Object Access Protocol (SOAP) 13 1.1.2.2 Web Service Definition Language (WSDL) 15 1.1.2.3 Universal Description, Discovery and Integration (UDDI) .16 1.1.3 Hiệu Web Services [4] 16 1.2 Hệ thống dựa hàng đợi - Queue System [3] 19 1.2.1 Tổng quan 19 1.2.2 Arrivals Service21 1.2.3 Đánh giá hiệu Queue System 22 1.2.2 Các mơ hình hàng đợi 24 1.3 Các phương pháp phân tích hồi quy [2] 26 1.3.1 Tổng quan 26 1.3.2 Phân tích hồi quy có tham số 27 1.3.3 Phân tích hồi quy phi tham số 27 1.4 Kết chương 28 CHƯƠNG : XÂY DỰNG PHƯƠNG PHÁP DỰ ĐOÁN 29 2.1 Các phương pháp dự đoán hiệu WS 29 [1] 2.1.1 Dự đốn sớm hiệu qua mơ 29 2.1.2 Dự đốn hiệu luồng cơng việc WS[9] 30 2.1.3 Dự đốn hiệu phía Client 32 2.2 Xây dựng phương pháp dự đoán hiệu 32 2.2.1 Tổng quan phương pháp 32 2.2.2 Xây dựng mơ hình liệu đầu vào 34 2.2.3 Thực phân tích hồi quy Gaussian Process 37 2.2.3.1 Lựa chọn hàm hiệp phương sai 37 2.2.3.2 Đánh giá siêu tham số hàm hiệp phương sai 39 2.2.3.3 Q trình phân tích hồi quy 41 2.2.3.4 Nhận xét phân tích hồi quy Gaussian Process .42 2.2.4 Dự đốn sử dụng mơ hình hàng đợi 44 2.2.5 Kết hợp Gaussian Process mơ hình hàng đợi 45 Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang 2.3 Đánh giá phương pháp mặt lí thuyết 47 2.3.1 Đánh giá khoảng tin cậy cho kì vọng 47 2.3.2 Những ưu điểm phương pháp đề xuất 49 2.3.3 So sánh với phương pháp khác 50 2.4 Kết chương 51 CHƯƠNG 3: CÀI ĐẶT VÀ ĐÁNH GIÁ THỰC NGHIỆM 52 3.1 Cài đặt phương pháp 52 3.1.1 Triển khai Web Services 52 3.1.2 Thiết kế chương trình 55 3.2 Chiến lược kiểm thử mơ hình đầu vào 58 3.3 Kết sai số dự đoán 59 3.3.1 Sử dụng phân tích hồi quy Gaussian 59 3.3.2 Sử dụng mơ hình hàng đợi60 3.3.3 Sử dụng phương pháp đề xuất 61 3.4 Đánh giá thực nghiệm phương pháp 62 KẾT LUẬN VÀ ĐỊNH HƯỚNG PHÁT TRIỂN 65 Kết luận 65 Định hướng phát triển 67 DANH MỤC TÀI LIỆU THAM KHẢO 69 PHỤ LỤC 70 P-1 Các biểu đồ UML phương pháp dự đoán hiệu sớm P-2: Bảng số liệu hiệu Web Service TPC-App[2] 71 P-3: Bảng số liệu hiệu Web Service hộ 72 Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 70 Trang DANH MỤC CÁC BẢNG VÀ HÌNH VẼ Danh mục hình vẽ: Hình 1: Kiến trúc Web Services 13 Hình 2: Cấu trúc thông điệp SOAP .14 Hình 3: Các thành phần WSDL Hình 4: Mơ hình hóa hiệu theo thời gian đáp ứng .19 Hình 5: Mơ hình hàng đợi, server phục vụ 20 Hình 6: Biểu đồ hoạt động cho phương pháp Marzolla Mirandola[9] 30 Hình 7: Sơ đồ thực phương pháp dự đoán 33 Hình 8: Đồ thị biểu diễn liệu vào Hình 9: Kết phân tích hồi quy GP 43 Hình 10: Đồ thị dự đốn theo mơ hình QN Hình 11: Kết hợp Gaussian Process mơ hình hàng đợi 46 Hình 12: Đồ thị kết dự đoán hiệu Hình 13: Sơ đồ mơ tả dịch vụ Web triển khai 52 Hình 14: Biểu đồ luồng liệu luồng điều khiển modules 56 Hình 15: Đồ thị biểu diễn mơ hình đầu vào WS hộ Hình 16: Kết dự đốn dùng Gaussian Process Hình 17: Kết dự đốn dùng mơ hình hàng đợi Hình 18: Kết dự đoán theo phương pháp .1 Hình 20: Biểu đồ ca sử dụng cho Web Services 70 Hình 21: Biểu đồ trình tự cho Web Services .70 Hình 22: Biểu đồ triển khai cho Web Sercies 71 Danh mục bảng: Bảng 1: Bảng biểu diễn liệu vào .43 Bảng 2: Kết dự đoán theo mơ hình QN Bảng 3: Kết dự đoán hiệu .1 Bảng 4: Mối quan hệ giữa đại lượng n khoảng tin cậy 49 Bảng 5: Nội dung tin SOAP yêu cầu dịch vụ 53 Bảng : Nội dung tin SOAP phản hồi từ dịch vụ 54 Bảng 7: Mơ hình liệu đầu vào WS hộ Bảng 8: Bảng kết dự đoán Gaussian Process 59 Bảng : Bảng kết dự đoán theo mơ hình hàng đợi .60 Bảng 10: Kết liệu thu từ mơ hình hàng đợi 61 Bảng 11: Kết dự đoán theo phương pháp đề xuất .61 Bảng 12: Bảng đánh giá khoảng tin cậy cho giá trị tốc độ tới 63 Bảng 13: Bảng thống kê độ thuộc vào khoảng tin cậy giá trị kì vọng 63 Bảng 14 : Bộ số liệu hiệu Web Service TPC-App 71 Bảng 15: Bảng số liệu hiệu Web Service hộ 72 Sinh viên thực hiện: Phùng Đình Vũ – 20073526 – KSTN-CNTT-K52 Trang 10