Như đã biết, video gồm dãy N khung hình (f1, f2... f1), mỗi khung hình là một ảnh. Các khung hình này được hiển thị lần lượt, độ sáng của một điểm ảnh đã cho có thể coi là một hàm của thời gian f(x,y,t). Mục đích chính của xác định cảnh video là phát hiện ranh giới của các shot (cảnh phim) và chia phim thành các shot (cảnh phim). Để phát hiện chuyển cảnh, ngoại trừ rất ít các phương pháp dựa vào độ tương đương giữa hai khung hình, hầu hết các phương pháp đã có đều sử dụng các đại lượng thể hiện sự khác nhau giữa khung hình với khung hình. Để tính sự khác nhau giữa hai khung hình, ta thực hiện trừ ảnh. Hiểu theo nghĩa hẹp, trừ hai ảnh có cùng kích thước là việc xây dựng ảnh mới từ sự khác biệt của hai ảnh. Theo nghĩa rộng hơn, trừ ảnh là việc tính toán độ chênh lệch giữa hai ảnh trên một đặc trưng ảnh nào đó nhờ cường độ, màu sắc, kết cấu, hình dáng, chuyển động... Có nhiều kỹ thuật trừ ảnh khác nhau, nhưng có thể chia làm 3 loại:
- Dựa vào điểm ảnh: So sánh các cặp điểm ảnh tương ứng trên hai ảnh. - Dựa vào khối: Chia ảnh thành các miền và so sánh các miền tương ứng. - Dựa vào biểu đồ: So sánh sự phân bố của thuộc tính nào đó của ảnh. Kết hợp các loại này với thuộc tính so sánh của ảnh, ta sẽ có nhiều kỹ thuật trừ ảnh khác nhau.
Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2. Sự sai khác lớn hơn giá trị ngưỡng sẽ xác định ranh giới giữa hai cảnh phim. Quá trình phân đoạn được thể hiện trong hình dưới đây:
24
Sự thay đổi trên khung hình được tính toán trên một đặc trưng nhất định.
Người ta thường dùng đặc trưng là nội dung màuu sắc, là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), hoặc đôi khi là cạnh, các véctơ chuyển động, các góc quay texture.
Khi thực hiện phát hiện cảnh phim, trước hết phải xác định đặc trưng đem so sánh, thứ hai là xác định công thức trừ ảnh D, và cuối cùng là quyết định ngưỡng sai khác Tb. Giá trị ngưỡng này thường được xác định trước.
Đôi khi ta cũng dùng ngưỡng thích ứng. Chỉ những sai khác lớn hơn Tb sẽ được xem xét xử lý.
Hiện nay, có nhiều kỹ thuật trừ ảnh, và có thể chia làm 5 loại: dựa vào điểm ảnh, dựa vào khối, dựa vào biểu đồ, dựa vào thống kê, và dựa vào đặc trưng.
Giả sử xét hai ảnh I1, I2 có cùng kích thước.
Trừ hai ảnh I1, I2 là việc tính toán sự sai khác giữa hai ảnh đó. Dưới đây sẽ lần lượt xét đến từng kỹ thuật.