Việc sử dụng mô hình hóa phân lớp và phát hiện cho phép phát hiện các vật thể trên nền mới trong pha phát hiện chuyển động – sau khi đã có đƣợc mô hình nền của quá trình khởi tạo. Nếu không, thì rất dễ các vật thể sẽ bị trộn với các vật thể đứng yên khác nền xác định từ trƣớc đó. Sau khi thực hiện xong quá trình khởi tạo từ điển thì chúng ta tiến hành thêm một bƣớc là cập nhật mô hình. Việc này thực hiện đƣợc dựa trên một mô hình đệm H với 3 tham số TH, Tadd, Tdelete. Chu kỳ TH cho phép lọc các từ mã ứng với các điểm ảnh tới đƣợc lƣu trong từ điển H, giống nhƣ mô hình nền xây dựng ở phần trên. Tham số Tadd là khoảng thời gian lặp lại để từ mã có thể đƣợc thêm vào mô hình nền nhƣ là nền xét trong thời gian ngắn. Giả sử rằng mô hình đã thu đƣợc trong quá trình đào tạo là mô hình vĩnh cửu. Nếu từ mã không đƣợc lặp lại trong khoảng thời gian Tdelete thì sẽ đƣợc loại bỏ khỏi từ điển. Từ đó, ta có thể chia điểm ảnh tới có thể thuộc 1 trong 4 loại sau: (1) nền tìm thấy trong nền vĩnh cửu, (2) nền trong mô hình nền xét thời gian ngắn, (3) vật thể tìm thấy trong mô hình đệm và (4) vật thể không thuộc các nhóm trên. Chính khả năng thích nghi này cho phép chúng ta bắt đƣợc các thay đổi của môi trƣờng trong suốt quá trình sử dụng từ điển.
Thuật toán cho mô hình nền sử dụng từ điển phân lớp đƣợc mô tả cụ thể nhƣ sau:
1. Sau quá trình đào tạo, mô hình nền M đƣợc xác định, chúng ta tạo một mô hình đệm là mô hình H.
2. Với mỗi điểm ảnh tới x, tìm từ mã phù hợp trong M: a. Nếu thấy thì cập nhật từ mã đó.
b. Nếu không thấy thì tìm từ mã phù hợp trong H. i. Nếu thấy thì cập nhật từ mã đó.
ii. Nếu không thì tạo từ mã mới là h và thêm vào H. 3. Tiến hành lọc mô hình đệm H trên cơ sở tham số TH.
H = H – {hi | hi ϵ H, của hi lớn hơn TH} 4. Chuyển các từ mã trong H có đủ thời gian tồn tại sang M
M = M + {hi | hi ϵ H, hi tồn tại lâu hơn Tadd}
5. Xóa các từ mã trong M không đƣợc sử dụng trong thời gian dài M = M – {ci | ci ϵ M, ci không đƣợc sử dụng trong Tdelete} 6. Lặp lại bƣớc (2)