Qua tìm hiểu các phương pháp nội suy và qua các thực nghiệm đơn giản ở trên ta thấy các phương pháp nội suy ở trên làm phát sinh các chi tiết lạ, ảnh thu được sau nội suy có độ sắc nét kém hơn ảnh gốc. Quy luật nội suy càng đơn giản thì kết quả nội suy càng kém. Cụ thể là trong ba phương pháp kể trên nội suy ghép trơn (spline) có quy luật nội suy phức tạp nhất tiếp đến là nội suy song tuyến tính và cuối cùng là nội suy các điểm
gần nhất. Ảnh thu được từ nội suy ghép trơn (spline) tốt hơn ảnh nội suy bilinear, ảnh nội suy song tuyến tính (bilinear) tốt hơn ảnh nội suy các điểm gần nhất. Tuy nhiên các phương pháp nội suy cũng có tính chất chọn lọc ảnh. Có những phương pháp nội suy thích hợp với ảnh này, có những phương pháp nội suy thích hợp với những ảnh khác. Thậm chí, các phương pháp nội suy còn có tính chất chọn lọc vùng ảnh. Trong cùng một ảnh, khu vực này thì thích hợp với phương pháp nội suy này, khu vực khác thì thích hợp với phương pháp nội suy khác. Việc lựa chọn tập các giá trị đã biết để tìm ra những giá trị chưa biết cũng có ảnh hưởng đến kết quả của việc nội suy.
Từ đây nảy sinh ra một vấn đề nếu ta biết sử dụng những thông tin hình ảnh cho việc nội suy ảnh thì có thể cho ảnh nội suy có chất lượng tốt hơn. Yếu tố rất quan trọng của thông tin hình ảnh là cấu trúc/trật tự trong không gian (2 chiều) của các điểm ảnh, các thành phần cơ bản (đường,vùng...) và các đối tượng (người, đồ vật, xe cộ...).
Ràng buộc hình học là sự ràng buộc giữa các điểm ảnh được quy định bởi một số cấu trúc hình học nào đó. Ví dụ: các điểm tạo thành một dạng hình (shape), sự đồng nhất về dạng mẫu (pattern/texture), sự đồng nhất về hướng trong một phạm vi nào đó
Sự đồng nhất về hướng là dạng ràng buộc dễ sử dụng nên thường được khai thác nhất. Trong ảnh, sự đồng nhất này thường xuất hiện trong những phạm vi cục bộ.
Phần dưới đây trình bày về phương pháp nội suy có sử dụng thông tin hình ảnh đó là nội suy dựa theo hướng.