Mỗi khung hình video được chia thành các MB có kích thước cố định gồm 16x16 mẫu cho thành phần độ chói và 8x8 mẫu cho thành phần sắc độ.
Tuỳ theo mức độ đồng nhất hay chi tiết của khung hình mà mỗi MB được giữ nguyên hay được phân chia tiếp thành các block nhỏ hơn khi thực hiện các mode dự đoán. Ngoài ra, nó còn quyết định đến việc lựa chon các mode Intra hoặc Inter.
Trong mode Inter, mỗi MB của thành phần độ chói có thể được phân chia theo bốn cách như hình vẽ 2.4: một MB hoặc hai block 16x8 hoặc hai block 8x16 hoặc bốn block 8x8.
Nếu phân dạng block 8x8 được chọn, các block 8x8 trong MB có thể được phân chia tiếp theo bốn cách (như hình bên dưới) gồm: hai block 8x4 hoặc hai block 4x8 hoặc bốn block 4x4. Các cách phân chia và các block con thu được làm tăng tính kết hợp bên trong mỗi MB. Đây là phương pháp phân chia MB thành các block nhỏ hơn được sử dụng cho quá trình bù chuyển động với các kích thước thay đổi được biết đến như là bù chuyển động cấu trúc cây.
Hình vẽ 2.5: Phân chia MB theo các kích thước 8x8, 4x8, 8x4 và 4x4
Các MB sau khi được dự đoán bởi các mode Intra/Inter sẽ chứa thông tin sai khác giữa các block trong MB hiện tại so với các block trong MB thuộc khung hình tham chiếu. MB sau đó lại được xử lý theo từng block nhỏ kích thước 4x4 (đối với thành phần độ chói) trong các phép biến đổi DCT tương đương và phép lượng tử hoá.
Trong cấu trúc dòng dữ liệu, các MB được tổ chức thành các Slice cho phép nâng cao hiệu quả trong vấn đề về truyền thông như sửa lỗi và truyền lại.
Thứ tự truyền của các MB phụ thuộc vào thông tin ánh xạ vị trí của MB trong dòng bít và không nhất thiết phải theo thứ tự quét. H264/MPEG-4 Part 10 hỗ trợ 5 dạng Slice khác nhau:
Slice I: Trong đó tất cả MB được mã hoá không có sự tham chiếu tới các ảnh khác trong dãy video.
Slice P: Chỉ tham chiếu tới các ảnh trước đó.
Slice B: Có sự tham chiếu tới các ảnh trước và sau nó.
SI (Switching I) và SP (Switching P): được dùng cho chuyển mạch giữa các dòng bít được mã hoá ở các tốc độ bít khác nhau.