Lượng tử hóa bao gồm việc phân chia bởi một kích thước bước lượng tử hóa (Qstep) và làm tròn tiếp theo trong khi lượng tử hóa ngược bao gồm phép nhân bởi một kích thước bước lượng tử hóa. Tương tự như H264, một tham
số lượng tử hóa (QP) được sử dụng để xác định kích thước bước lượng tử hóa trong HEVC. QP có thể nhận 52 giá trị từ 0 tới 51 cho các chuỗi vido 8 bit.
QP tăng lên 1 có nghĩa là kích thước bước lượng tử hóa tăng xấp xỉ 12% (tức
là 21/6). Tăng QP lên 6 có nghĩa kích thước bước lượng tử được tăng theo hệ số 2. Ngoài ra để xác định sự khác biệt tương đối giữa các kích thước bước của hai giá trị QP liên tiếp, cũng cần xác định kích thước bước tuyệt đối được gắn với phạm vi các giá trị QP. Điều đó được thực hiện bằng cách chọn Qstep
= 1 cho QP = 4.
Mối quan hệ kết quả giữa QP và kích thước bước lượng tử hóa tương đương cho một biến đổi trực chuẩn được xác định bởi:
Qstep(QP) = (21/6)QP-4 (2.5)
Công thức (2.5) cũng có thể được biểu diễn như sau:
Qstep(QP) = GQP%6 << QP/6 (2.6)
với
G = [G0, G1, G2, G3, G4, G5]T = [2-4/6, 2-3/6, 2-2/6, 2-1/6, 20, 21/6]T
Ước lượng điểm cố định trong HEVC được xác định bởi:
gQP%6 = round(26 x GQP%6)
Điều đó dẫn tới
g = [g0, g1, g2, g3, g4, g5]T = [40, 45, 51, 57, 64, 72]T
HEVC hỗ trợ lượng tử hóa phụ thuộc tần số bằng cách sử dụng các ma trận lượng tử hóa cho mọi kích thước khối biến đổi. Đặt W[x][y] là kí hiệu
trọng số ma trận lượng tử hoa cho các hệ số biến đổi tại vị trí (x, y) trong một khối biến đổi. Một giá trị W[x][y] = 1 chỉ định rằng không có trọng xố. Biểu diễn điểm cố định của W[x][y] được xác định bởi:
w[x][y] = round(16 x W[x][y])
Với một đầu ra bộ lượng tử, level[x][y], bộ giải lượng tử được xác định trong chuẩn HEVC là:
coeffQ[x][y] = ((level[x][y].w[x][y].(gQP%6 << )) + offsetIQ) >> shift1 (2.7)
với shift1 = (M – 5 + B) và offsetIQ = 1 << (M – 6 + B). Lưu ý rằng các
trọng số ma trận lượng tử hóa w[x][y] điều chỉnh kích thước bước lượng tử hóa sử dụng cho mức tại các vị trí khác nhau trong khối biến đổi dẫn tới một sự lượng tử hóa phụ thuộc tần số..
Tổng kết lại, các nhân tử bộ lượng tử hóa, fi, và các nhân tử bộ giải lượng tử hóa, gi, được chọn để thỏa mãn các điều kiện sau [1]:
• Đảm bảo rằng gi có thể được biểu diễn với loại dữ liệu 8 bit có dấu • Đảm bảo rằng độ tăng gần như ngang bằng nhau trong kích thước bước từ một giá trị QP tới giá rị tiếp theo (xấp xỉ 12%)
• Đảm bảo rằng độ lợi thống nhất xấp xỉ qua các quá trình lượng tử và giải lượng tử hóa
• Cung cấp giá trị tuyệt đối của kích thước bước lượng tử hóa như mong muốn cho QP = 4 (hoặc tương đương, level = coeff x 2-(15-B-M) với QP = 4).