Bình phương nhỏ nhất thông thường (OLS) là một loại phương pháp bình phương nhỏ nhất tuyến tính để ước tính các tham số chưa biết trong mô hình hồi quy tuyến tính. OLS chọn các tham số của một hàm tuyến tính của một tập hợp các biến giải thích theo nguyên tắc bình phương nhỏ nhất: tối thiểu hóa tổng bình phương của sự khác biệt giữa biến phụ thuộc quan sát (giá trị của biến được quan sát) trong tập dữ liệu đã cho và những biến được dự đoán bằng hàm tuyến tính.
Phương pháp bình phương tối thiểu (OLS) thường được gọi là hồi quy tuyến tính (đơn giản hoặc bội số tùy thuộc vào số lượng biến giải thích). Trong trường hợp mô hình có p biến giải thích, mô hình hồi quy OLS viết:
�
� = �� + ∑ ���� + �
=�
�
Trong đó Y là biến phụ thuộc, β0 là hệ số chặn của mô hình, Xj tương ứng với biến giải thích thứ j của mô hình (j = 1 đến p) và Ɛ là sai số ngẫu nhiên với kỳ vọng 0 và phương sai σ².
Trong trường hợp có n quan sát, ước tính giá trị dự đoán của biến phụ thuộc Y cho lần quan sát thứ i được xác định bởi:
�
�� = �� + ∑ �����
=�
�
Phương pháp OLS tương ứng với việc giảm thiểu tổng chênh lệch bình phương giữa các giá trị được quan sát và dự đoán. Các mô hình bình phương nhỏ nhất thông thường giả định rằng phân tích phù hợp với một mô hình về mối quan hệ giữa một hoặc nhiều biến giải thích và biến kết quả liên tục hoặc ít nhất trong khoảng thời gian tối thiểu hóa tổng sai số bình phương, trong đó lỗi là sự khác biệt giữa thực tế và giá
trị dự đoán của biến kết quả. Phương pháp phân tích phổ biến nhất sử dụng mô hình OLS là hồi quy tuyến tính (với một hoặc nhiều biến dự báo) (Zdaniuk, 2014).