Ngược lại với phân tích hồi quy có tham số, phân tích hồi quy phi tham số lại đòi hỏi kích thước bộ dữ liệu đầu vào đủ lớn. Sẽ không có tham số phụ thuộc vào bộ dữ liệu đầu vào như ở trên, mà trong phương pháp này sẽ xây dựng các hàm đặc trưng, có các tham số cho các hàm đặc trưng này, để phân biệt với tham số ở trên ta gọi các tham số của các hàm đặc trưng này là các siêu tham số (hyperparameters). Có các thuật toán tối ưu để tìm ra các siêu tham số này dựa vào bộ dữ liệu vào.
Điển hình cho phương pháp phân tích hồi quy phi tham số là phân tích hồi quy Gaussian Process [5,6,7]. Ta sẽ chỉ ra phân tích hồi quy Gaussian Process được áp dụng vào phương
pháp dự đoán hiệu năng Web Services như thế nào chi tiết trong chương 2 của đồ án này. Ở đây ta sẽ trình bày tư tưởng cơ bản của phân tích hồi quy Gaussian Process là sử dụng một hàm hiệp phương sai k(x,x’) làm nhân, hàm hiệp phương sai này sẽ chứa các siêu tham số. Trước tiên ta cần đánh giá các siêu tham số này dựa vào bộ số liệu đầu vào thông qua các phương pháp tối ưu hóa như phương pháp Gradient liên hợp, phương pháp Nelder- Mead,... Hàm tối ưu hóa được sử dụng là hàm Marginal Likelihood được suy ra từ công thức xác suất điều kiện Bayes. Khi các siêu tham số được đánh giá, hàm hiệp phương sai là hoàn toàn xác định. Tiến tới ta xây dựng ma trận hiệp phương sai, và sử dụng lí thuyết xác suất để đánh giá và tìm ra giá trị dự đoán. Kết quả dự đoán đưa ra giá trị kì vọng ứng với giá trị đầu vào và cả phương sai cho kì vọng, giá trị phương sai là cơ sở để xác định khoảng sai số cho kì vọng dự đoán với độ tin cậy xác định.