Việc giải lượng tử hóa sẽ tăng ti lệ các hệ số được giải mã bởi bộ giải mã entropy và biến đổi ngược sẽ chuyển đổi các hệ số tỉ lệ thành các điểm ảnh phần dư sử dụng một biến đổi cosine rời rạc ngược (IDCT) hoặc một biến đổi sin rời rạc ngược (IDST). So với H264, biến đổi ngược HEVC tạo ra rất nhiều thách thức đáng kể cho việc triển khai phần cứng. Đó là kết quả của các yếu tố sau [1]:
1. Sự đa dạng kích thước TU làm phức tạp thiết kế của logic điều khiển do các TU có kích thước khác nhau sẽ cần số lượng chu kì khác nhau để xử lý.
2. Các biến đổi 2D trong HEVC được tách ra thành các biến đổi 1D dọc theo các cột và hàng. Một biến đổi 2D NxN bao gồm N biến đổi cột 1D và N biến đổi hàng 1D, mỗi biến đổi trong số đó có thể được xem như là sản phẩm của một ma trận biến đổi NxN với Nx1 hệ số đầu vào. Số lượng tổng cộng của các phép nhân do đó là 2N3 hoặc 2N mỗi hệ số. Do đó, IDCT lớn nhất trong HEVC cần 4 lần số lượng các phép nhân trên mỗi hệ số khi so sánh với IDCT lớn nhất trong H264. Hơn thế nữa, độ chính xác cải thiện trong các biến đổi HEVC làm tăng gấp đôi chi phí của mỗi phép nhân. Do đó, logic biến đổi HEVC có độ phức tạp tính toán gấp 8 lần so với H264.
3. Cần một bộ nhớ trung gian để lữu trữ TU giữa phép biến đổi cột và hàng. Một IDCT 1D 32-điểm chu kì đơn với các nhân tử dịch-và-cộng được mã hóa Booth mất khoảng 135 kgate logic. Do đó, các tối ưu hóa tích cực mà khai thác các thuộc tính khác nhau của ma trận biến đổi là cần thiết để đạt được một khu vực có thể chấp nhận được. Ngoài ra, một IDCT 32 điểm chu kì đơn cung cấp thông lượng cao hơn nhiều so với thứ được yêu cầu cho phép toán thời gian thực. Ta cũng có thể làm giảm khu vực bằng cách tính toán DCT thông qua nhiều chu kì sử dụng các phép nhân ma trận từng phần. Một thông lượng 2 điểm ảnh/chu kì tại 20MHz là đủ cho bộ giải mã UHD 4K tại 30fps [2].