Bằng việc gán một hướng thích hợp cho mỗi điểm khóa dựa trên các đặc tính ảnh cục bộ, bộ mô tả điểm khóa được trình bày ở phần sau có liên quan tới hướng này và vì vậy đạt được sự bất biến đối với phép xoay ảnh. Để gán một hướng cục bộ cho mỗi điểm khóa ta sử dụng hướng gradient của ảnh. Tỷ lệ của điểm khóa được dùng để lựa chọn ảnh được làm trơn Gaussian,
L, với tỷ lệ gần nhất, để thực hiện tất cả các tính toán theo kiểu bất biến tỷ lệ.
Đối với mỗi mẫu ảnh, L(x, y), ở tỷ lệ này, cường độ gradient, m(x, y), và
𝑚(𝑥, 𝑦) = √(𝐿(𝑥 + 1, 𝑦) − 𝐿(𝑥 − 1, 𝑦))2+ (𝐿(𝑥, 𝑦 + 1) − 𝐿(𝑥, 𝑦 − 1))2
𝜃(𝑥, 𝑦) = tan−1((𝐿(𝑥, 𝑦 + 1) − 𝐿(𝑥, 𝑦 − 1))/(𝐿(𝑥 + 1, 𝑦) − 𝐿(𝑥 − 1, 𝑦))) Một biểu đồ hướng được thiết lập từ các hướng gradient của các điểm mẫu trong phạm vi một vùng lân cận xung quanh điểm khóa. Biểu đồ hướng có 36 bin bao phủ 360 độ của tất cả các hướng. Mỗi mẫu được thêm vào biểu đồ được gán trọng số bởi độ lớn gradient của nó và bởi một cửa sổ hình tròn Gaussian với gấp 1.5 lần tỷ lệ của điểm khóa đó.
Các đỉnh trong biểu đồ hướng tương ứng với các hướng bao quát các gradient cục bộ. Dựa vào biểu đồ hướng ta có thể xác định được đỉnh cao nhất trong biểu đồ và khi đó bất kỳ đỉnh cục bộ nào khác nằm trong phạm vi 80% so với đỉnh cao nhất đều được dùng để tạo ra một điểm khóa với cùng hướng đó. Vì vậy, đối với các vị trí có nhiều đỉnh có cường độ tương tự nhau, thì sẽ có nhiều điểm khóa được tạo ra ở cùng vị trí và tỷ lệ đó nhưng các hướng thì khác nhau. Chỉ có khoảng 15% điểm được gán nhiều hướng, nhưng những điểm này góp phần đáng kể cho tính ổn định của việc so khớp. Cuối cùng, một đường parabol được làm phù hợp với 3 giá trị của biểu đồ gần với mỗi đỉnh nhất để nội suy vị trí của đỉnh đó để mang lại độ chính xác tốt hơn.