Video có 4 đặc tr-ng chính là: + Màu (color). + Kết cấu (texture). + Hình dáng (shape). + Chuyển động (motion). 1.1.2.3. Màu(Color)
Màu là một thuộc tính quan trọng của ảnh. Biểu đồ màu biểu diễn sự phân bố màu, là một đặc tr-ng phổ biến nhất hiện nay. Biểu đồ màu không phụ thuộc vào sự quay, dịch chuyển ảnh cũng nh- chiều nhìn ảnh. Tính hiệu quả của nó lại phụ thuộc vào hệ màu và ph-ơng pháp định l-ợng đ-ợc dùng. Có một vấn đề với biểu đồ màu là nó không biểu diễn thông tin về không gian phân bố các điểm ảnh, do đó hai ảnh có cùng biểu đồ màu có thể có nội dung rất khác nhau. Hình d-ới đây minh hoạ điều này.
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
Hình 1.9: Biểu đồ thể hiện 4 loại ảnh cơ bản
1.1.2.4. Kết cấu (Texture)
Đây là một đặc tr-ng quan trọng của bề mặt, nơi xảy ra việc lặp lại mẫu cơ bản. Có hai dạng biểu diễn texture phổ biến: biểu diễn dạng ma trận đồng thời và biểu diễn Tamura. Ma trận đồng thời mô tả h-ớng và khoảng cách giữa các điểm ảnh, nhờ đó các thống kê có nghĩa có thể đ-ợc trích chọn. Ng-ợc lại, ng-ời ta thấy rằng entrophi và mômen chênh lệch nghịch đảo lại có khả năng phân biệt tốt nhất. Biểu diễn Tamura đ-ợc thúc đẩy nhờ các nghiên cứu về tâm lý trong việc thu nhận trực giác của con ng-ời và nó bao gồm các đại l-ợng đo tính thô, độ t-ơng phản, h-ớng, tính trơn, tính cân đối và độ ráp. Các đặc tr-ng Tamura rất hấp dẫn trong việc hiểu nội dung ảnh vì nó biểu đạt trực quan. Ngoài ra còn có một số các dạng biểu diễn khác nh- tr-ờng ngẫu nhiên Markov, biến đổi Gabor, biến đổi gợn sóng...
1.1.2.5. Hình dáng (Shape)
Các đặc tr-ng hình dáng có thể đ-ợc biểu diễn sử dụng phân tích hình dáng truyền thống nh- bất biến momen, mô tả Fourier, mô hình học tự động quay lui và các thuộc tính hình học. Các đặc tr-ng này có thể đ-ợc phân chia
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
thành đặc tr-ng toàn cục và đặc tr-ng cục bộ. Đặc tr-ng toàn cục là đặc tr-ng thuộc tính thu đ-ợc từ toàn bộ hình dáng ảnh, chẳng hạn nh- chu vi, tính tròn, mô men trung tâm, h-ớng trục chính.
Đặc tr-ng cục bộ là đặc tr-ng thu đ-ợc từ việc thao tác với một phần của ảnh, không phụ thuộc vào toàn bộ ảnh.
1.1.2.6. Chuyển động (Motion)
Motion là thuộc tính quan trọng của video. Thông tin về chuyển động có thể đ-ợc sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng. Các đặc tr-ng chuyển động nh- mô men của tr-ờng chuyển động, biểu đồ chuyển động hoặc là các tham số chuyển động toàn cục có thể đ-ợc trích chọn từ vectơ chuyển động. Các đặc tr-ng mức cao phản ánh di chuyển camera nh- quét (pan), nghiêng (tilt), phóng to (zoom in), thu nhỏ (zoom out) cũng có thể đ-ợc trích chọn.
Hình 1.10: Các thao tác camera
1.2. Bài toán tái tạo video
Yêu cầu đặt ra là cần phải tái tạo lại đoạn video từ các khung hình đặc tr-ng này thông qua việc sinh ra các khung hình trung gian.
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
Trong việc tạo lập khung hình trung gian, một khung hình sẽ đ-ợc xác định bởi tập các đặc tr-ng và tập các thuộc tính đó là:
Hình 1.11: Mô hình chung của phép cộng ảnh
Để tạo lập khung hình trung gian giữa hai khung hình đặc tr-ng, chúng ta cần biến đổi tập các đặc tr-ng và nội suy tập các thuộc tính nh- sau:
I = (F,A). Trong đó:
F: xác định tập các đặc tr-ng, xác định hình dáng đối t-ợng ảnh. A: tập các thuộc tính, th-ờng các thuộc tính về màu sắc và mức xám. Có nhiều kỹ thuật khác nhau để tạo lập các khung hình trung gian nh-: kỹ thuật cộng ảnh đơn giản, cộng ảnh nâng cao, kỹ thuật nắn chỉnh ảnh và kỹ thuật làm biến dạng ảnh... với những thuật toán từ đơn giản đến phức tạp.
1.2.1. Các cách tiếp cận và ứng dụng cơ bản
Mặc dù có nhiều thuật toán tạo lập khung hình trung gian khác nhau nh-ng tất cả các thuật toán tạo lập khung hình trung gian đều phải tuân thủ một số nguyên tắc sau đây để đạt đ-ợc hình ảnh tái tạo tốt.
1.2.1.1 Chuyển đổi thuộc tính
Một đối t-ợng hình học bao gồm hình dáng cùng với thuộc tính của nó. Vì vậy khi tạo ra các khung hình trung gian, thì các thuộc tính từ khung hình này cần đ-ợc biến đổi sang các thuộc tính t-ơng đ-ơng của khung hình kia và ng-ợc lại. Đối t-ợng 1 Đối t-ợng 2 Tập các đặc tr-ng F1 Tập các đặc tr-ng F2 Tập các thuộc tính A1 Tập các thuộc tính A2 Phép cộng ảnh Biến đổi Nội suy
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
1.2.1.2 Duy trì miền lồi
Nếu các miền biến đổi của các khung hình đầu vào là miền lồi (th-ờng
các miền biến đổi đ-ợc chia thành các miền lồi) thì các miền trung gian của các khung hình trung gian cũng cần là các miền lồi.
1.2.1.3. Duy trì hình trạng hình học
Nếu các đối t-ợng có cùng hình trạng hình học thì hình trạng này cần đ-ợc duy trì trong suốt quá trình biến đổi.
1.2.1.4. ánh xạ đúng đặc tr-ng
Khi thực hiện ánh xạ các đặc tr-ng chúng ta phải ánh xạ làm sao cho từng đặc tr-ng riêng biệt của đối t-ợng này phải đ-ợc tham chiếu đúng đến đặc tr-ng đó trên đối t-ợng kia.
Hình 1.12: ánh xạ các đặc tr-ng
Khi chúng ta dùng kỹ thuật cộng ảnh nâng cao, thì ánh xạ đúng các đặc tr-ng cho chất l-ợng hình ảnh khá tốt.
Một ví dụ điển hình khi chúng ta xây dựng ánh xạ giữa hai đối t-ợng là khuôn mặt ng-ời thì các đặc tr-ng thuộc về mắt phải đ-ợc ánh xạ cho nhau, và các đặc tr-ng khác cũng vậy. Chúng ta không thể ánh xạ các đặc tr-ng thuộc về mắt sang các đặc tr-ng thuộc về mũi.
1.2.2.5. Duy trì tính nhẵn của đối t-ợng
Khi thực hiện tạo ra các khung hình trung gian thì các đối t-ợng của nó cũng phải có tính nhẵn nh- các đối t-ợng gốc và đích.
1.2.2.6. Đảm bảo nền của ảnh
Thông th-ờng khi nội suy đối t-ợng ảnh thì nền của chúng cũng bị nội suy theo. Đối với hai khung hình có nền nh- nhau và nền tuân thủ theo quy luật
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
nào đó. Ví dụ nh- một l-ới hình chữ nhật, thì nền của khung hình th-ờng sẽ không còn nguyên vẹn là hình chữ nhật nữa. Tuy nhiên khắc phục tình trạng này là khá khó: có thể thực hiện tách nền sau đó ghép nền lại cho khung hình.
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
Ch-ơng 2
Một số Vấn đề trong táI tạo video
2.1. Trích rút video
Trích rút video là việc lấy ra một hoặc một số khung hình đặc tr-ng trong từng cảnh để l-u trữ thay vì phải l-u trữ toàn bộ đoạn video. Quá trình trích rút video gồm 2 b-ớc:
- Xác định cảnh trong video hay còn gọi là phân đoạn video. - Trích rút khung hình đặc tr-ng trong mỗi cảnh của video.
Có nhiều kỹ thuật giúp xác định cảnh trong video nh-ng có lẽ đơn giản và hiệu quả nhất vẫn là kỹ thuật trừ ảnh.
2.1.1. Kỹ thuật trừ ảnh xác định cảnh trong video
Nh- đã biết, video gồm dãy N khung hình (f1,f2... f1), mỗi khung hình là một ảnh. Các khung hình này đ-ợc hiển thị lần l-ợt, độ sáng của một điểm ảnh đã cho có thể coi là một hàm của thời gian f(x,y,t). Mục đích chính của xác định cảnh video là phát hiện ranh giới của các shot (cảnh phim) và chia phim thành các shot (cảnh phim). Để phát hiện chuyển cảnh, ngoại trừ rất ít các ph-ơng pháp dựa vào độ t-ơng đ-ơng giữa hai khung hình, hầu hết các ph-ơng pháp đã có đều sử dụng các đại l-ợng thể hiện sự khác nhau giữa khung hình với khung hình. Để tính sự khác nhau giữa hai khung hình, ta thực hiện trừ ảnh.
Hiểu theo nghĩa hẹp, trừ hai ảnh có cùng kích th-ớc là việc xây dựng ảnh mới từ sự khác biệt của hai ảnh. Theo nghĩa rộng hơn, trừ ảnh là việc tính toán độ chênh lệch giữa hai ảnh trên một đặc tr-ng ảnh nào đó nh- c-ờng độ, màu sắc, kết cấu, hình dáng, chuyển động... Có nhiều kỹ thuật trừ ảnh khác nhau, nh-ng có thể chia làm 3 loại:
- Dựa vào điểm ảnh: So sánh các cặp điểm ảnh t-ơng ứng trên hai ảnh. - Dựa vào khối: Chia ảnh thành các miền và so sánh các miền t-ơng ứng. - Dựa vào biểu đồ: So sánh sự phân bố của thuộc tính nào đó của ảnh. Kết hợp các loại này với thuộc tính so sánh của ảnh, ta sẽ có nhiều kỹ thuật trừ ảnh khác nhau.
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
Ký hiệu D(f1,f2) là sự sai khác giữa hai khung hình f1, f2. Sự sai khác lớn hơn giá trị ng-ỡng sẽ xác định ranh giới giữa hai cảnh phim. Quá trình phân đoạn đ-ợc thể hiện trong hình d-ới đây:
Hình 2.1: Quá trình phân đoạn video
Sự thay đổi trên khung hình đ-ợc tính toán trên một đặc tr-ng nhất định. Ng-ời ta th-ờng dùng đặc tr-ng là nội dung màu sắc, là biểu đồ (biểu đồ màu hoặc biểu đồ mức xám), hoặc đôi khi là cạnh, các véctơ chuyển động, các góc quay texture.
Nh- vậy, khi thực hiện phát hiện cảnh phim, tr-ớc hết phải xác định đặc tr-ng đem so sánh, thứ hai là xác định công thức trừ ảnh D, và cuối cùng là quyết định ng-ỡng sai khác Tb. Giá trị ng-ỡng này th-ờng đ-ợc xác định tr-ớc. Đôi khi ta cũng dùng ng-ỡng thích ứng. Chỉ những sai khác lớn hơn Tb sẽ đ-ợc xem xét xử lý.
Hiện nay, có nhiều kỹ thuật trừ ảnh, và có thể chia làm 5 loại: dựa vào điểm ảnh, dựa vào khối, dựa vào biểu đồ, dựa vào thống kê, và dựa vào đặc tr-ng. Giả sử xét hai ảnh I1, I2 có cùng kích th-ớc. Trừ hai ảnh I1, I2 là việc tính toán sự sai khác giữa hai ảnh đó. D-ới đây sẽ lần l-ợt xét đến từng kỹ thuật.
2.1.2. Trừ ảnh dựa vào điểm ảnh
Ph-ơng pháp đơn giản nhất để trừ hai khung hình là tính giá trị biểu diễn sự chênh lệch tổng cộng về c-ờng độ sáng của tất cả các điểm ảnh t-ơng ứng trên cả hai khung hình
D(f1 ,f2) = 1 0 1 0 1 X x Y y Y X f1(x,y) – f2(x,y)
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
So sánh giá trị đó với ng-ỡng chuyển cảnh Tb để xác định xem có chuyển cảnh hay không.
Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản. Nh-ợc điểm lớn nhất của kỹ thuật này là không thể phân biệt đ-ợc thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn. Ví dụ, các cắt cảnh rất dễ bị bỏ sót khi một phần nhỏ của khung hình có thay đổi lớn và nhanh. Nói chung tất cả các kỹ thuật trừ giá trị điểm ảnh rất nhạy với nhiễu và các di chuyển camera. Một b-ớc phát triển hơn là đi đếm tổng số điểm ảnh có thay đổi lớn hơn một ng-ỡng và so sánh tổng đó với một ng-ỡng khác để phát hiện chuyển cảnh:
DP(x,y) = 1 f1(x,y) f2(x,y) T 0 Nếu lại ng-ợc Nếu D(f1,f2) = 1 0 1 0 ) , ( 1 X X Y Y y x DP Y X
Nếu tỷ lệ số điểm ảnh thay đổi D(f1,f2) lớn hơn ng-ỡng T1 thì đã có chuyển cảnh do cắt. Tuy các thay đổi không liên quan trong khung hình đã đ-ợc loại bớt nh-ng h-ớng tiếp cận này vẫn nhạy với di chuyển camera và đối t-ợng. Chẳng hạn, khi camera quay h-ớng theo đối t-ợng, rất nhiều điểm ảnh đ-ợc coi là thay đổi, dù cho chỉ có ít điểm ảnh dịch chuyển. Có thể giảm tác động này bằng cách áp dụng một bộ lọc trơn: tr-ớc khi so sánh, mỗi điểm ảnh đ-ợc thay thế bằng giá trị trung bình của các điểm ảnh lân cận. Để giải quyết tốt hơn vấn đề này, ng-ời ta áp dụng kỹ thuật trừ ảnh phân khối, sẽ đ-ợc trình bày d-ới đây. Một nh-ợc điểm khác của kỹ thuật trừ ảnh dựa vào giá trị điểm ảnh là độ nhạy của điểm ảnh với việc chiếu sáng, một ví dụ là chiếu đèn flash. Khi đó ng-ời ta điều chỉnh độ sai khác giá trị điểm ảnh bằng cách chia nó cho c-ờng độ của điểm ảnh trên khung hình thứ hai. Ng-ời Ta gọi ảnh thu đ-ợc từ độ chênh lệch hiệu chỉnh là ảnh chromatic. D(f1,f2) = 1 0 1 0 2 2 1 ) , ( ) , ( ) , ( 1 X x Y y f x y y x f y x f Y X
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
Ph-ơng pháp trừ giá trị điểm ảnh cơ bản là tính toán từ các giá trị c-ờng độ, nh-ng có thể mở rộng với các ảnh màu. Ví dụ với ảnh màu RGB, ta tính tổng có trọng số sai khác của ba giá trị Red, Green, và Blue của các điểm ảnh.
D(f1,f2) = w 1( , ) 2 ( , ) 0 0 R,G,B i fi x y f i x y X x Y y i 2.1.3. Trừ ảnh phân khối
Trái ng-ợc với h-ớng tiếp cận sử dụng các đặc tính toàn cục của cả khung hình, h-ớng tiếp cận phân khối sử dụng các đặc tính cục bộ nhằm tăng tính độc lập với các di chuyển của camera và đối t-ợng. Mỗi khung hình đ-ợc chia thành b khối. Các khối trên khung hình f1 đ-ợc so sánh với khối t-ơng ứng trên khung hình f2. Về cơ bản, độ chênh lệch giữa hai khung hình đ-ợc tính nh- sau:
D(f1,f2) = b k k DP f f k C 1 2 1, , ) ( .
Trong đó Ck là hệ số cho tr-ớc, DP(f1,f2,k) là độ chênh lệch giữa hai khối thứ k của hai khung hình f1, và f2.
Kasturi[10] so sánh các khối t-ơng ứng áp dụng công thức:
k = 2 2 1 2 2 1 2 1 . 2 2 k k k k k k
Trong đó 1k, 2k là giá trị c-ờng độ trung bình của khối thứ k, và 1k , 2k là độ chênh lệch t-ơng ứng với hai khối đó.
DP(f1, f2, k) = 1 1 0 T k Nếu lại ng-ợc Nếu
Một cắt cảnh xảy ra khi số các khối này thay đổi đủ lớn, nghĩa là D(f1,f2)
> T2 và Ck >1 cho tất cả các khối. Ph-ơng pháp này chậm đi theo độ phức tạp của hàm thống kê. Ph-ơng pháp này có một bất lợi là các chuyển shot sẽ bị bỏ qua trong tr-ờng hợp hai khối rất khác nhau có thể có cùng hàm mật độ. Tuy nhiên tr-ờng hợp đó cũng ít xảy ra.
Một h-ớng tiếp cận khác với kỹ thuật trừ ảnh phân khối do Shahraray đ-a ra. Shahraray[13] đã chia khung hình thành 12 miền và tìm miền thích hợp nhất
Số húa bởi Trung tõm Học liệu http://www.lrc-tnu.edu.vn/
cho mỗi miền của khung hình kia. Độ chênh lệch tính bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền đ-ợc sắp xếp. Tổng có trọng số của các chênh lệch