11.6.1. Cấu trúc khối kết hợp
Bierling (1988) đã phát triển tìm kiếm thứ bậc dựa trên hai nhận xét sau đây. Một mặt, cho một dịch chuyển tương đối lớn, phù hợp với khối chính xác đòi hỏi phải có một kích thước khối tương đối lớn. Điều này có thể hiểu được nếu ta xem xét trường hợp ngược lại: chuyển lớn với một cửa sổ tương quan nhỏ. Trong tình trạng này, phạm vi tìm kiếm lớn. Vì vậy xác suất của việc tìm thấy nhiều cao, kết quả trong dự toán chuyển độngkhông đáng tin cậy. Mặt khác, một khối kích thước lớn có thể vi phạm các giả định rằng tất cả các điểm ảnh trong khối chia sẻ cùng một vecto chuyển động. Do đó, một khối kích thước tương đối nhỏ là cần thiết để đáp ứng các giả định. Những quan sát này làm sáng tỏ vấn đề bằng cách sử dụng một khối kích thước cố định, có thể dẫn đến dự toán chuyển động không đáng tin cậy.
Để đáp ứng các yêu cầu mâu thuẫn với 2 đồng thời, trong một thủ tục tìm kiếm phân cấp một tập hợp các kích cỡ khác nhau của các khối và tương quan các cửa sổ được sử dụng. Để tạo điều kiện thuận lợi cho các cuộc thảo luận, xem xét phù hợp với khối phân cấp cấp ba thuật toán, trong đó ba khối phù hợp với thủ tục được tiến hành, với các thông số riêng của mình. Kết hợp khối đầu tiên được thực hiện đối với kích thước lớn nhất của các khối và các cửa sổ tương quan. Sử dụng các vector chuyển động ước tính như là một vecto ban đầu ở cấp độ thứ hai, một tìm kiếm mới được thực hiện đối với kích thước lớn thứ hai, một tìm kiếm mới đượcthực hiện đối với kích thước lớn thứ hai của các khối và các cửa sổ tương quan. Các thủ tục tìm kiếm thứ ba được thực hiện tương tự, dựa vào kết quả tìm kiếm thứ hai. Một ví dụ với ba mối tương quan các cửa sổ được minh họa trong hình 11.13. Cần lưu ý rằng các vecto chuyển kết quả là tổng của ba vectơ chuyển được xác định bởi ba tìm kiếm.
11.4. Trước khi mỗi khối kết hợp, một bộ lọc thông thấp riêng biệt được áp dụng cho toàn bộ hình ảnh để đạt được kết hợp khối đáng tin cậy. lọc thông thấp được sử dụng đơn giản chỉ là một địa phương trung bình. Đó là, giá trị màu xám của mỗi điểm ảnh được thay thế bởi giá trị trung bình của các giá trị màu xám của tất cả các điểm ảnhtrong một khu vực quảng trường trung tâm tại các điểm ảnh mà giá trị trung bình được giao.
Lọc thông thấp được sử dụng là chỉ đơn giản là một địa phương trung bình. Đó là, giá trị màu xám của mỗi điểm ảnh được thay thế bởi giá trị trung bình của các giá trị màu xám của tất cả các điểm ảnhtrong một khu vực quảng trường trung tâm tại các điểm ảnh mà giá trị trung bình được giao. Trong tính toán các giá trị tiêu chí phù hợp với D, lấy mẫu con được áp dụng cho các khối ban đầu và cửa sổ tương quan để tiết kiệm tính toán, đã được thảo luận trong mục 11.3.5.
(a)khung ti (b). khung ti-1
Hình 11.13: Kết hợp khối phân cấp
Bảng 11.3: Các Kết quả thí nghiệm (II).
Tổng các khối dừng Thời gian tiến hành tiết kiệm đc so tại mức cao nhất với phương pháp 1 tại Tzovaras et al. (1994)
Các trạng thái thử nghiệm
Chuỗi “Hoa hậu Mỹ” 38 20
Chuỗi “xe lửa” 52 17 (TH=3)
Chuỗi “bóng đá” 38 14
Ở mức đầu tiên, đối với mỗi điểm ảnh có kích thước bề ngang và bề dọc đều là 8 (cho ta 1 kích thước bước là 8x8), khớp khối được thực hiện với sự dịch chuyển tối đa ±7 điểm ảnh, 1 ô tương quan với kích thước là 64x64, và 1 nhân tử mẫu con 4x4. Một bộ lọc thông thấp trung bình 5x5 được áp dụng trước khớp khối mức đầu tiên. Khớp khối ở mức độ 2 được thực hiện với kích thước mỗi chiều là 4 (cho ta 1 kích thước bước là 4x4). Chú ý rằng với 1 điểm ảnh mà ước lượng vecto dịch chuyển chưa xác định được ở khớp khối đầu tiên thì lấy ước lượng là trung bình của 4 ước lượng gần nó nhất. Tất cả tham số cho mức thứ 2 được liệt kê trong bảng 11.4. Phải nhấn mạnh một điều là trong khớp khối ở mức này thì cửa sổ tìm kiếm sẽ được thay thế bởi vecto dịch chuyển ước lượng tìm được ở mức đầu tiên. Khớp khối ở mức 3 được thực hiện với mỗi chiều ngang dọc là 2 (cho ta 1 kích thước bước là 2x2). Những tham số khác nhau được liệt kê trong bảng 11.4. Tại mỗi một bước trong 3 bước này thì áp dụng 3 bước tìm kiếm được nêu trong mục 11.3.3.
Việc thí nghiệm cho ta 1 ước lượng chuyển động đáng tin cậy hơn do sử dụng 1 loạt các kích thước khác nhau đối với cả khối ban đầu và cửa sổ tương quan. Mức đầu tiên với 1 cửa sổ có kích thước lớn và 1 dãy dịch chuyển lớn, ta có thể xác định được 1 phần lớn vecto dịch chuyển 1 cách đáng tin cậy. Các mức tiếp theo với các kích thước ô cửa nhỏ hơn và chuỗi dịch chuyển nhỏ hơn thì có khả năng ta sẽ ước lượng được các vecto chuyển động tương ứng 1 cách cục bộ.
Hình 11.4 chỉ ra 1 phần của 1 bức ảnh với điểm ảnh được xử lý lần lượt theo 3 bước này. Chú ý rằng có thể áp dụng thêm 1 phép nội suy sau 3 mức này thì ta sẽ có đáp án của 1 miền vecto chuyển động
Bảng 11.4: Các tham số được sử dụng trong khớp khối theo thứ tự 3 mức
chuyển tối đa ô cửa tương quan bước ô cửa LPF 1 ± 7 pel 64 x 64 8 5 x 5 4 x 4 2 ± 3 pel 28 x 28 4 5 x 5 4 x 4 3 ± 1 pel 12 x 12 2 3x 3 2 x 2
: Được xử lý trong mỗi mức trong 3 mức : Được xử lý trong mức 2 và 3
: Được xử lý trong mức 3
Hình 11.14: Một phần của bức ảnh với các điểm ảnh được xử lý trong cả 3 mức
Miền giải vector chuyển động khá hữu ích trong ứng dụng như phép nội suy bù chuyển động trong điện thoại truyền hình. Ở đó, để duy trì 1 tốc độ truyền bít, 1 vài bức ảnh sẽ được bỏ qua. Ở đầu thu, những ảnh được bỏ qua này cần được nội suy. Như được nêu trong chương 10, phép nội suy bù chuyển động có thể tạo ra chất lượng bức ảnh tốt hơn những bức ảnh đạt được do việc sử dụng phép nội suy tuyến trọng số.
11.6.2. Khớp khối đa lưới
Học thuyết khớp khối đa lưới được biết đến đầu tiên trong toán học (Hackbusch và Trottenberg, 1982). Đó là 1 cấu trúc tính toán hữu dụng trong việc xử lý hình ảnh bên cạnh quá trình đa giải được miêu tả trong mục 11.3.6. Hình 11.5 cho thấy một biểu đồ với 3 mức khác nhau sử dụng để minh họa 1 cấu trúc đa lưới. Mặc dù là 1 cấu trúc theo bậc, mỗi mức trong bậc có cùng 1 đáp án. Một vài thuật toán dựa trên cấu trúc đa lưới đã được phát triển để cải thiện kỹ thuật khớp khối. Hai phương pháp cải tiến được giới thiệu ở dưới đây:
Hình 11.15: Cấu trúc phân cấp 3 mức khác nhau
Khớp khối ngưỡng đa lưới- Nhận thấy rằng mô hình chuyển động dựa trên khối (giả
định 1 chuyển động đồng đều trong 1 khối có kích thước cố định) trong kỹ thuật khớp khối có thể có 1 vài hạn chế, Chan et al (1990) đã đề xuất 1 kỹ thuật khớp khối với kích thước khối biến thiên. Ý tưởng chủ đạo là sử dụng chiến lược chia nhỏ và hợp nhất với 1 cấu trúc đa lưới để phân đoạn 1 bức ảnh trong 1 loạt khối kích thước biến thiên, mỗi một khối trong đó có 1 chuyển động gần như đồng đều. Một cấu trúc cây nhị phân (gọi là cây nhánh) được sử dụng để ghi lại mối quan hệ giữa những khối có kích thước khác nhau.
Đặc biệt, 1 bức ảnh ban đầu được chia thành 1 loạt các khối hình vuông bằng việc cắt ảnh này 1 cách luân phiên theo chiều ngang và chiều dọc. Đối với mỗi khối được tạo ra, việc ghép khối được tiến hành ghép với phần khung ảnh trước của nó. Sau đó, việc khớp chính xác về tổng lỗi bình phương được so sánh với ngưỡng cho trước. Nếu nó nhỏ hơn hoặc bằng ngưỡng cho trước thì khối vẫn ko đổi trong toàn bộ quá trình và vecto chuyển động ước lượng là kết quả cuối cùng. Nếu không, khối sẽ được chia nhỏ làm 2 và khớp khối mới được thực hiện tại mỗi một khối trong 2 khối con này. Qúa trình sẽ tiếp diễn cho đến khi hoặc vecto ước lượng thỏa mãn yêu cầu chính xác đặt ra hoặc kích thước khối đạt mức tiền định nhỏ nhất. Tại điểm này, Chan et al đề nghị tiến
hành 1 quá trình hòa nhập. Các khối bên cạnh ở cùng các nút giao điểm trong cây nhị phân sẽ được kiểm tra để làm rõ liệu nó đã được kết hợp hay chưa, VD, liệu 1 khối kết hợp này có gần giống với độ chính xác cần thiết của 1 khối trong khung được dựng lại trước đó hay không. Chú ý rằng việc hợp nhất có thể phụ thuộc vào các trường hợp đặc thu.
Hình 11.16 cho ta một biểu đồ khối gồm khớp khối đa lưới. Chú ý rằng nó giống với những gì được nêu trong hình 11.8 về khớp khối ngưỡng đa giải đã nêu trong mục 11.3.6. Quan sát này phản ánh sự đồng dạng giữ cấu trúc đa lưới và cấu trúc đa giải: về cơ bản, cả 2 đều có thứ bậc và có thể dễ dàng chia nhỏ cũng như hợp nhất. Một ví dụ về sự phân tích và và cây nhị phân tương ứng được nêu trong hình 11.17.
Chan et al (1990) đã cho thấy: với một bức ảnh của một con chuột máy tính và một đồng xu, khớp khối với kích thước biến thiên cho trước đã đạt được tới mức 6-dB về SNR và giảm khoảng 30% trong bít yêu cầu so với khớp khối kích thước cố định(16x16). Đối với một vài chuỗi hội thảo truyền hình điển hình thì thuật toán này luôn luôn cho kết quả tốt hơn kỹ thuật khớp khối với kích thước cố định về mặt cái thiện SNR của ảnh được dựng lại với cùng tỷ lệ bit.
Sử dụng một thuật toán tương tự do Xia và Shi (1996) đưa ra về phân đoạn dựa trên cây 4 nhánh. Kỹ thuật tính toán ngưỡng cũng giống như kỹ thuật được Shi và Xia (1997) sử dụng và nhấn mạnh việc giảm mức độ tính toán phức tạp. Kết quả là đối với loại đầu-vai của các chuỗi điện thoại truyền hình thì thuật toán ngưỡng khớp khối đa lưới cho hiệu quả tốt hơn ngưỡng phân giải khối phù hợp với thuật toán. Đối với các chuỗi video chứa các chi tiết phức tạp hơn và di động,tuy nhiên,so sánh hiệu suất vòng ra bị đảo ngược
Một vài nhận xét có thể được thực hiện như một kết luận cho kỹ thuật ngưỡng.Mặc dù nó cần để mã hóa và truyền cây – thùng hoặc cây – dây chập bốn như một phần thông tin, và để giải quyết vấn đề ngưỡng đặt trước,tổng thể,các thuật toán đề xuất đạt được hiệu suất tốt hơn so với khối phù hợp với kích thước cố định. Với sự linh hoạt cung cấp thông qua các phương pháp thay đổi kích thước,cách tiếp cận đề suất có khả năng khiến cho mô hình của chuyển động thống nhất trong mỗi khối chính xác so với khối phù hợp với kích thước cố định có thể làm
Hinh 11.16 : Sơ đồ của nhiều khối kết hợp
Chặn nhiều lưới tối ưu phù hợp – như đã chỉ ra ở chương 10, mục tiêu cuối cùng của dự đoán chuyển động và đền bù chuyển động trong bối cảnh của video mã hóa để cung cấp một mã hiệu quả cao trong thời gian thực.Nói cách khác,dự đoán chính xác chuyển động thực sự không phải là mục tiêu cuối cùng , mặc dù ước tính chính xác chuyển động được chắc chắn mong muốn. Điểm này được trình bày bởi Bierling (1988).Ở đó,các yêu cầu khác nhau cùng liên quan tới chuyển động bồi thường mã hóa và chuyển động nội suy được bồi thường.Trong khi trước đây đòi hỏi phải có véc tơ chuyển động dẫn đến lỗi dự đoán tối thiểu và đồng thời một số lượng thấp của các thông tin véc tơ chuyển động, sau này đòi hỏi các dự toán chính xác.
Hoàn tất phù hợp cho khối Khối kết hợp Tách khối Bạn có hài lòng với các tiêu chí đặt ra Bạn có hài lòng với các tiêu chí đặt ra Kích thước khối có đạt được tới mức cho phép Kích thước khối có đạt được tới mức cho phép
Điều này đã được nói tới rất nhiều Dufaux and Moscheni (1995).Họ nêu rõ dàng trong bối cảnh mã hóa video,ước lượng thực sự của chuyển động trong không gian thế giới 3D không phải là mục tiêu cuối cùng.
Hình 11.17 : Nhiều lưới chặn kết hợp
Thay vào đó, dự toán chuyển động nên có thể cung cấp dự đoán thời gian và tại cùng một thời gian yêu cầu thông tin chi phí thấp. Trong một từ, tổng số
lượng thông tin mà cần phải được mã hóa nênđược giảm thiểu. Dựa trên quan sát này, kỹ thuật phù hợp với nhiều lưới với một tiêu chí entropy tiên tiến đã được đề xuất (hệ số entropy).
Kể từ khi nó thuộc về thể loại của ngưỡng đa phù hợp với khối lưới, nó chia sẻ nhiều điểm tương đồng với những người Chan et al(1990) và Xia và Shi(1996). Nó cũng mang một số ngưỡng phù hợp với khối đa độ phân giải (Shi và Xia, năm 1997). Điều gì thực sự phân biệt này phương pháp tiếp cận từ các thuật toán khác là quy tắc quyết định phân khúc của nó. Thay vì một ngưỡng định trước, thuật toán làm việc với một dữ liệu ngẫu nhiên thích ứng tiêu chuẩn,nhằm mục đích kiểm soát các phân khúc để đạt được một giải pháp tối ưu theo cách như vậy mà tổng số các bit cần thiết để đại diện cho cả hai lỗi dự báo và trên không chuyển động được giảm thiểu. Quyết định chia tách khối được thực hiện chỉ khi các chi phí chuyển động thêm liên quan đến phân chia thấp hơn so với lợi ích thu được từ dự đáon lỗi ít hơn do dự toán chuyển động chính xác hơn. Không chỉ là tối ưu trong ý thức tiết kiệm bit, nhưng nó cũng giúp loại bỏ sự cần thiết phải thiết lập một ngưỡng.
Số lượng bit cần thiết cho chuyển động mã hóa thông tin có thể được ước tính một cách đơn giản. Theo như các lỗi dự đoán là có liên quan, các bit cần thiết có thể được đại diện bởi entropy tổng số các lỗi dự đoán, có thể được ước tính bằng cách sử dụng một biểu thức phân tích được trình bày bởi Dupfaux(1994) và Monscheni et al. (1993). Lưu ý rằng chi phí mã hóa thông tin phân khúc quad-tree là không đáng kể so với sử dụng cho mã hóa dự đoán lỗi và vectơ chuyển động, và do đó, bỏ qua trong việc xác định các tiêu chí.
Hình 11.18 : Khung hình thứ 20 của chuỗi “ vườn hoa”
Ngoài tiêu chí entropy này, một thủ tục tiên tiến hơn là áp dụng trong thuật toán để xuống dự các vectơ chuyển động giữa hai lưới liên tiếp trong các thô - tốt lặp đi lặp lại quá trình sàng lọc.
Cả hai đánh giá chất lượng và số lượng trong các thí nghiệm chứng minh hiệu suất tốt của nó.Nó đã được báo cáo rằng, khi PSNR là cố định, tỷ lệ bit tiết kiệm cho "Vườn hoa" trình tự là 10-20%, "Calendardi động" 6-12%, và "bóng bàn" lên đến 8%. Điều này có thể được dịch ra tiếng đạt được trong PSNR từ 0,5 đến 1,5 dB. Chủ quan,chất lượng hình ảnh được cải thiện rất nhiều. Đặc biệt, cạnh di chuyển trở nên sắc nét hơn. Con số 11,18,11,19 và 11,20 hiển thị một khung từ “Vườn hoa”,”Lịch điên thoại di động” và “Bóng bàn” trình tự tương ứng.
11.6.3 Đoán trước sự thay đổi lĩnh vực chia nhỏ gói dữ liệu
Như đã chỉ ra ở mục 11.5, mô hình khối dựa trên giả định chuyển động liên tục