QP 0 1 2 3 4 5 6 7 8 9 10 11 12 …
QStep 0.625 0.6875 0.8125 0.875 1 1.125 1.25 1.375 1.625 1.75 2 2.25 2.5 …
QP … 18 … 24 … 30 … 36 … 42 … 48 … 51
QStep … 5 … 10 … 20 … 40 … 80 … 160 … 224
QStep có giá trị gấp đôi khi chỉ số QP tăng lên 6 đơn vị. Tập hợp gồm 52 giá trị của kích thước bước lượng tử QStep làm cho bộ nén có thể điều khiển được sự trao đổi một cách chính xác và linh hoạt giữa tốc độ bít và chất lượng của bộ nén. Các giá trị của QP có thể là khác nhau đối với thành phần độ chói và thành phần sắc độ. Cả hai thông số đều nằm trong khoảng từ 0 đến 51 và mặc định thông số QPc được dẫn ra từ thông số QPy sao cho QPc nhỏ hơn QPy đối với QPy>30. Một phép ánh xạ được định nghĩa bởi người sử dụng giữa QPy và QPc.
Hệ số a2, ab/2 hoặc b2/4 được kết hợp vào bộ lượng tử hoá thuận: Trước tiên, block lối vào X được biến đổi để thu được một block của các hệ số chưa được điều chỉnh W=CXCT. Sau đó, mỗi hệ số Wij được lượng tử hoá theo biểu thức sau [1]:
Zij = round(Wij.
QStep PF
) (2.14)
PF là a2
, ab/2 hoặc b2/4 tuỳ thuộc vào vị trí (i, j):
Vị trí PF
(0,0), (2,0), (0,2) hoặc (2,2) a2 (1,1), (1,3), (3,1) hoặc (3,3) b2
Ở đây: MFqbits
2 =
QStep PF
, qbits = 15+floor(QP/6) (2.15)
Biểu diễn theo các tính toán số tự nhiên biểu thức trên có thể được khai triển như sau:
|Zij|=(|Wij|.MF+f)>>qbits (2.16) Sign(Zij)=sign(Wij) (2.17)
Ở đây >> biểu diễn phép dịch phải nhị phân. Trong mô hình tham chiếu mềm, f là 2qbit/3 đối với các block Intra hoặc 2qbit/6 đối với các block Inter.
Bảng dưới đây đưa ra 6 giá trị đầu của MF được sử dụng trong H.264: