1.3.1. Tổng quan
Phân tích hồi quy đề cập đến việc nghiên cứu sự phụ thuộc của một biến số - biến phụ thuộc, vào một hay nhiều biến số khác - biến ngẫu nhiên độc lập, với mục đích dự đoán giá trị kì vọng của biến phụ thuộc dựa trên những giá trị đã biết hay cố định của biến độc lập. Kết quả dự đoán có thể là một giá trị xác định, hoặc một dải giá trị tùy theo từng phương pháp phân tích hồi quy. Ví dụ, trong dự đoán hiệu năng Web Services đầu vào cho phương pháp phân tích hồi quy là các cặp giá trị (tốc độ tới, thời gian đáp ứng) được thu thập trong quá trình kiểm thử hiệu năng hệ thống, thu thập các số liệu từ thực nghiệm. Phương pháp phân tích hồi quy ở đây được sử dụng để dự đoán giá trị thời gian đáp ứng khi cho một giá trị tới xác định nào đó không nằm trong bộ số liệu thu thập. Phân tích hồi quy có hai quá trình: quá trình nội suy và quá trình ngoại suy. Quá trình nội suy là quá trình dự đoán giá trị đầu ra tại các điểm giá trị biến đầu vào nằm “trong” khoảng giá trị của bộ dữ liệu đầu vào thu thập được. Quá trình ngoại suy là quá trình dự đoán giá trị đầu ra tại các điểm giá trị biến đầu vào nằm “ngoài” khoảng giá trị của bộ dữ liệu đầu vào.
Mô hình tổng quát của phân tích hồi quy là: gọi X là biến ngẫu nhiên đầu vào – nhân tố. Y là biến ngẫu nhiên đầu ra có điều kiện phụ thuộc vào biến đầu vào X theo quy luật nào đó. Đặt p N∈ *là số nhân tố được sử dụng cho phân tích hồi quy. ( , , )Ω Α Ρ xác định một không gian xác suất và ( , )Γ S là một không gian đo được, trong đó
*
( , ,.), n, ,
n
S n N
Γ + Γ =¡ = Β ∈ . Ta xác định biến phụ thuộc : ( , )Y Ω Α → Γ( , )S và các biến đầu vào Xi: ( , )Ω Α → Γ( , ),S i=1,p. Đặt F là tập các hàm được xác định bởi Ω nhận các giá trị trong Γmà Y X, 1,...,Xp∈F . Gọi d là một độ đo sao cho (F,d) là một không gian
: ( p, p) ( , )
f Γ S → Γ S sao cho độ đo (d X →Y X X( ), → f X( ))là nhỏ nhất. Với lí do này các phương pháp phân tích hồi quy được xếp vào loại bài toán tối ưu.