tái tạo video dựa vào kỹ thuật nội suy bù chuyển động

Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG oOo Phạm Tuấn Anh TÁI TẠO VIDEO DỰA VÀO KỸ THUẬT NỘI SUY BÙ CHUYỂN ĐỘNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Thái Nguyên, tháng 06 năm 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Để hoàn tất một luận văn thạc sĩ yêu cầu sự tập trung, sự cố gắng và độc lập nghiên cứu. Bản thân tôi sau những năm tháng học tập vất vả và nghiên cứu cũng đã cố gắng để hoàn thành được luận văn này. Tôi luôn ghi nhận những sự đóng góp giúp đỡ nhiệt tình của những người bên cạnh mình, sự ủng hộ, sự hỗ trợ của gia đình bạn bè giúp tôi có thêm động lực để hoàn thành luận tốt nghiệp, nhân đây tôi muốn gửi lời cảm ơn nhất tới họ. Lời cảm ơn trân trọng đầu tiên tôi muốn dành tới TS Nguyễn Thị Hồng Minh, đã hướng dẫn tôi trong suốt quá trình làm luận văn, nhờ sự định hướng của cô giúp tôi tự tin nghiên cứu những vấn đề mới và giải quyết bài toán một cách khoa học. Tôi xin trân trọng cảm ơn Ban giám hiệu trường Đại học công nghệ thông tin, Đại học Thái nguyên, khoa CNTT đã tạo các điều kiện cho chúng tôi được học tập và làm khóa luận một cách thuận lợi. Lời cảm ơn sâu sắc muốn được gửi tới các thầy cô giáo đã dạy dỗ và mở ra cho chúng tôi thấy chân trời tri thức mới, hướng dẫn chúng tôi cách khám phá và làm chủ công nghệ mới. Tôi muốn gửi lời cảm ơn chân thành đến tập thể lớp CHK11D-KHMT đã cùng tôi đi qua những tháng ngày miệt mài học tập, cùng chia sẻ những niềm vui nỗi buồn, động viên tôi đi qua những khó khăn, để tôi vững bước vượt qua những vất vả, quyết tâm hoàn thành luận văn này. Tuy nhiên do thời gian có hạn, mặc dù đã nỗ lực cố gắng hết mình nhưng chắc rằng luận văn khó tránh khỏi những thiếu sót. Rất mong được sự chỉ bảo, góp ý tận tình của Quý thầy cô và các bạn. S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ Mục lục Lời cảm ơn 1 Phần mở đầu 6 Ch-ơng 1: Khái quát về video và bài toán tái tạo video 8 1.1. Khái quát về video 8 1.1.1. Một số khái niệm cơ bản 8 1.1.1.1. Các dạng video 9 1.1.1.2. Một số định chuẩn video 10 1.1.2. Video và các thao tác video 26 1.1.2.1 Các hiệu ứng biên tập video 276 1.1.2.2. Một số thuộc tính đặc tr-ng của video 287 1.1.2.2.1. Màu(Color) 287 1.1.2.2.2. Kết cấu (Texture) 298 1.1.2.2.3. Hình dáng (Shape) 298 1.1.2.2.4. Chuyển động (Motion) 309 1.2. Bài toán tái tạo video 30 Ch-ơng 2: Một số vấn đề trong tái tạo video 33 2.1. Trích rút video 33 2.1.1. Kỹ thuật trừ ảnh xác định trong video 33 2.1.2. Trừ ảnh dựa vào điểm ảnh 34 2.1.3. Trừ ảnh phân khối 36 2.1.4. Trừ ảnh dựa vào biểu đồ 38 2.2. Một số kỹ thuật tái tạo video 44 2.2.1. Kỹ thuật nội suy không gian 50 2.2.3. Kỹ thuật nội suy bù chuyển động 52 Ch-ơng 3: Ch-ơng trình thử nghiệm 57 3.1. Đặt vấn đề 57 3.2. Phân tích, lựa chọn công cụ 57 3.3. Một số giao diện của ch-ơng trình 58 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ PhÇn kÕt luËn 60 Danh môc tµi liÖu tham kh¶o 621 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Danh môc h×nh vÏ Hình 1.1 : Cấu trúc phân cấp video 8 Hình 1.2 : Minh họa chuyển đổi giữa các lia 9 Hình 1.3 :Sơ đồ giải nén MPEG-1(ISO/IEC 11172) 18 Hình 1.4 : Sơ đồ nén dữ liệu âm thanh 18 Hình 1.5 : Mô hình hệ thống giải mã MPEG-2 20 Hình 1.6 : Mô hình nén và giải nén theo từng lớp của MPEG-4 23 Hình 1.7 : Một số wipe cơ bản 27 Hình 1.8 : Các ảnh rất khác nhau nhưng có cùng biểu đồ màu 28 Hình 1.9 : Biểu đồ thể hiện 4 loại ảnh cơ bản 28 Hình 1.10 : Các thao tác camera 29 Hình 1.11 : Mô hình chung của phép cộng ảnh 30 Hình 1.12 : Ánh xạ các đặc trưng 31 Hình 2.1 : Quá trình phân đoạn video 34 Hình 2.2 : Các cửa sổ cơ sở trong thuật toán so sánh thực 37 Hình 2.3 : Chênh lệch biêt đồ, * cắt cảnh, chồng mờ 38 Hình 2.4 : So sánh biểu đồ màu giữa hai ảnh 39 Hình 2.5 : So sánh các cặp a, Chênh lệch biểu đồ liên tiếp b, Chênh lệch biêt đồ tích lũy 42 Hình 2.6 : Phát hiện chuyển cảnh dần dần bằng kỹ thuật so sánh cặp 43 Hình 2.7 : Biểu diễn giá trị f c (x,y)bằng nội suy song tuyến 49 Hình 2.8 : Ảnh tịn tiến di chuyển d x , d y 51 Hình 2.9 : Nội suy sinh khung trung gian f(n 1 , n 2 , t) 53 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 2.10 : Mô tả nội suy theo thời gian 54 Hình 2.11 : tái tạo cảnh theo ba bước (1) hình ảnh gốc I 0 và I 1 được kéo giãn để tạo ra những hình ảnh song song I^ 0 và I^ 1. (2)I^ S được tạo ra bằng cách phối hợp hai hình ảnh kéo giãn( trung gian).(3) I^ S được co lại để tạo thành I S 55 Hình 3.1 : Giao diện module trích rút video 58 Hình 3.2 : Giao diện module tái tạo video 59 S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ Phần Mở đầu Video ra i vo nhng nm u ca th k XX v phỏt trin khỏ mnh m, nhng phi n cui thp k XX video s mi phỏt trin. Vi s ra i v phỏt trin mnh ca mỏy tớnh v h thng vin thụng, d liu video ó c s hoỏ v a vo x lý trờn h thng mỏy tớnh. Vic x lý d liu video c s hoỏ trờn mỏy tớnh t ra khỏ hiu qu. Kt qu l d liu video s ó c a vo rt nhiu ng dng trong thc t nh truyn hỡnh, o to in t da vo mỏy tớnh, h tr o to trờn mng, h thng mụ phng, video theo yờu cu. Video l phng tin thụng tin i chỳng cú phõn gii cao v ni dung thụng tin rt phong phỳ. Tuy nhiờn vỡ nhiu nguyờn nhõn nh: cht lng thit b thu nhn video, do chuyn ng ca i tng lm thiu khuyt cỏc khung hỡnh trong video, nh hng n ni dung, cht lng ca video. Do ú cn tỏi to cỏc khung hỡnh b thiu khuyt trong video. Hin nay cú rt nhiu cụng trỡnh nghiờn cu tỏi to cỏc khung hỡnh b thiu khuyt trong video v ó t c nhng kt qu nht nh. Tuy nhiờn vic s dng k thut ni suy bự chuyn ng tỏi to khung hỡnh b thiu khuyt trong video vn cha cú nhiu s u t, nghiờn cu chuyờn sõu. Xut phỏt trong hon cnh ú lun vn la chn ti: Tỏi to video da vo k thut ni suy bự chuyn ng. Để đạt đ-ợc mục tiêu đề ra, luận văn tập trung nghiên cứu một số vấn đề cơ bản sau đây: "Nghiên cứu tổng quan về video". Phần này trình bày một số khái niệm và các vấn đề cơ bản trong xử lý và tái tạo video. "Nghiên cứu một số kỹ thuật trích rút và tái tạo video". Phần này trình bày các nghiên cứu về kỹ thuật trừ ảnh và lọc ảnh, các -u và nh-ợc điểm của từng kỹ thuật trong việc xác định cảnh của video và trích rút khung hình đặc tr-ng trong mỗi cảnh của video để l-u trữ. Phần này cũng trình bày các nghiên cứu về các kỹ thuật tạo lập khung hình trung gian trong việc tái tạo đoạn video từ các khung hình đại diện dựa vào kỹ thuật nội suy bù chuyển động. S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ "Nghiên cứu và ứng dụng kỹ thuật tái tạo video". Đ-a ra một số ứng dụng kỹ thuật tái tạo video. Cài đặt và thử nghiệm và đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động để khôi phục lại các khung hình bị thiếu khuyết từ những khung hình đã trích rút. Trên cơ sở các mục tiêu đặt ra, cấu trúc của luận văn bao gồm 3 ch-ơng: Ch-ơng 1: Khái quát về video và bài toán tái tạo video Ch-ơng 2: Một số vấn đề trong tái tạo video. Ch-ơng 3: Ch-ơng trình thử nghiệm S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ Ch-ơng 1 kháI quát về video và bài toán táI tạo video 1.1. Khái quát về video 1.1.1. Một số khái niệm cơ bản Video là tập hợp các khung hình (frames), mỗi khung hình là một ảnh. Shot (hay lia) là đơn vị cơ sở của video. Một lia là một đơn vị vật lý của dòng video, gồm các chuỗi các khung hình liên tiếp, không thể chia nhỏ hơn, ứng với một thao tác camera đơn. Scene (cảnh) là các đơn vị logic của dòng video, một cảnh gồm các lia liên quan về không gian và liền kề về thời gian, cùng mô tả một nội dung ngữ nghĩa hoặc một tình tiết. Khi phim đ-ợc chiếu, các khung hình lần l-ợt đ-ợc hiển thị ở tốc độ nhất định. Tốc độ th-ờng thấy ở các định dạng video khác nhau là 25 hoặc 30 hình/s. Nh- vậy, một giờ video sẽ có số l-ợng khung hình t-ơng ứng là 90000 hoặc là 1080000. Cấu trúc phân cấp của video đ-ợc thể hiện trên hình d-ới đây. Hình 1.1: Cấu trúc phân cấp video Phân đoạn video là quá trình phân tích và chia nội dung hình ảnh video thành các đơn vị cơ sở gọi là các lia (shot). Việc lấy mẫu chính là chọn gần đúng một khung video đại diện cho mỗi lia (hoặc nhiều hơn tuỳ theo mức độ phức tạp của nội dung hình ảnh của lia) và đ-ợc gọi là các khung khoá. Khung khoá là khung hình đại diện mô tả nội dung chính của shot. Quá trình phân đoạn dữ liệu video tiến hành, phát hiện sự chuyển đổi từ lia này sang lia khác hay chính là sự phát hiện ranh giới giữa các lia (đó chính là đo sự khác nhau giữa các khung hình liền kề). Trong hình d-ới đây minh họa về sự chuyển đổi giữa các lia: Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ H×nh 1.2: Minh ho¹ vÒ sù chuyÓn ®æi gi÷a c¸c lia 1.1.1.1.Các dạng video 1.1.1.1.1.Video tương tự NTSC Video: Đây là dạng Video tương tự với 525 dòng trên một khung hình, 30 khung hình trong một giây, quét cách dòng, chia làm hai trường (mỗi trường 262.5 dòng), có 20 dòng dự trữ cho thông tin điều khiển tại thời điểm bắt đầu mỗi trường. PAL Video: Dạng Video này có 625 dòng trên một khung hình, 25 khung hình trong một giây, quét cách dòng. Khung gồm hai trường chẵn lẽ, mỗi trường bao gồm 312.5 dòng. 1.1.1.1.2.Video số Một số tiêu chuẩn của Video số lấy theo tiêu chuẩn CCI. CCIR 601525/60 NTSC CCIR 601625/50 PAL/SECAM CIF QCIF Độ phân giải độ chói 720x480 360x576 352x288 176x144 Độ phân giải màu sắc 360x480 360x576 176x144 88x72 Lấy mẫu màu 4:2:2 4:2:2 4:2:0 4:2:0 Số trường /s 60 50 30,15,10,7.5 30,15,10,7.5 Cách quét Cách dòng Cách dòng Liên tục Liên tục Bảng 1. 1: Các tiêu chuẩn của Video số [...]... phụ thuộc vào toàn bộ ảnh 1.1.2.6 Chuyển động (Motion) Motion là thuộc tính quan trọng của video Thông tin về chuyển động có thể đ-ợc sinh ra bằng các kỹ thuật ghép khối hoặc luồng ánh sáng Các đặc tr-ng chuyển động nh- mô men của tr-ờng chuyển động, biểu đồ chuyển động hoặc là các tham số chuyển động toàn cục có thể đ-ợc trích chọn từ vectơ chuyển động Các đặc tr-ng mức cao phản ánh di chuyển camera... hơn Tb sẽ đ-ợc xem xét xử lý Hiện nay, có nhiều kỹ thuật trừ ảnh, và có thể chia làm 5 loại: dựa vào điểm ảnh, dựa vào khối, dựa vào biểu đồ, dựa vào thống kê, và dựa vào đặc tr-ng Giả sử xét hai ảnh I1, I2 có cùng kích th-ớc Trừ hai ảnh I1, I2 là việc tính toán sự sai khác giữa hai ảnh đó D-ới đây sẽ lần l-ợt xét đến từng kỹ thuật 2.1.2 Trừ ảnh dựa vào điểm ảnh Ph-ơng pháp đơn giản nhất để trừ hai... Một số Vấn đề trong táI tạo video 2.1 Trích rút video Trích rút video là việc lấy ra một hoặc một số khung hình đặc tr-ng trong từng cảnh để l-u trữ thay vì phải l-u trữ toàn bộ đoạn video Quá trình trích rút video gồm 2 b-ớc: - Xác định cảnh trong video hay còn gọi là phân đoạn video - Trích rút khung hình đặc tr-ng trong mỗi cảnh của video Có nhiều kỹ thuật giúp xác định cảnh trong video nh-ng có lẽ... màu sắc và mức xám Có nhiều kỹ thuật khác nhau để tạo lập các khung hình trung gian nh-: kỹ thuật cộng ảnh đơn giản, cộng ảnh nâng cao, kỹ thuật nắn chỉnh ảnh và kỹ thuật làm biến dạng ảnh với những thuật toán từ đơn giản đến phức tạp 1.2.1 Các cách tiếp cận và ứng dụng cơ bản Mặc dù có nhiều thuật toán tạo lập khung hình trung gian khác nhau nh-ng tất cả các thuật toán tạo lập khung hình trung gian... sắc, kết cấu, hình dáng, chuyển động Có nhiều kỹ thuật trừ ảnh khác nhau, nh-ng có thể chia làm 3 loại: - Dựa vào điểm ảnh: So sánh các cặp điểm ảnh t-ơng ứng trên hai ảnh - Dựa vào khối: Chia ảnh thành các miền và so sánh các miền t-ơng ứng - Dựa vào biểu đồ: So sánh sự phân bố của thuộc tính nào đó của ảnh Kết hợp các loại này với thuộc tính so sánh của ảnh, ta sẽ có nhiều kỹ thuật trừ ảnh khác nhau... đ-ờng đó Hình 1.7: Một số wipe cơ bản Các hiệu ứng đó tạo nên sự biến đổi cho các khung hình, tạo nên các chuyển cảnh Cắt cứng tạo nên chuyển cảnh đột ngột, fade, chồng mờ và wipe tạo nên chuyển cảnh dần dần 1.1.2.2.Một số thuộc tính đặc tr-ng của video Video có 4 đặc tr-ng chính là: + Màu (color) + Kết cấu (texture) + Hình dáng (shape) + Chuyển động (motion) 1.1.2.3 Màu(Color) Màu là một thuộc tính... giá trị đó với ng-ỡng chuyển cảnh Tb để xác định xem có chuyển cảnh hay không Kỹ thuật trừ ảnh dựa vào điểm ảnh rất đơn giản Nh-ợc điểm lớn nhất của kỹ thuật này là không thể phân biệt đ-ợc thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn Ví dụ, các cắt cảnh rất dễ bị bỏ sót khi một phần nhỏ của khung hình có thay đổi lớn và nhanh Nói chung tất cả các kỹ thuật trừ giá trị điểm... to ra cỏc tp video cú d liu gim ỏng k Kiu nộn ny cho phộp ngi x lý video cú th iu chnh to ra cỏc video dựng cho cỏc bng thụng khỏc nhau Vớ d: cú th iu chnh to ra video dựng cho modem 56Kb, 28,8Kb hay ng cỏp mng Mó nộn ny c thit k lm vic cựng vi mó nộn õm thanh Intel Audio + Intel Indeo Video Raw R1.1: c s dng tt nht cho vic thu cỏc tớn hiu video lm d liu video ngun s dng cho son tho video, vi thit... in), thu nhỏ (zoom out) cũng có thể đ-ợc trích chọn Hình 1.10: Các thao tác camera 1.2 Bài toán tái tạo video Yêu cầu đặt ra là cần phải tái tạo lại đoạn video từ các khung hình đặc tr-ng này thông qua việc sinh ra các khung hình trung gian S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ Trong việc tạo lập khung hình trung gian, một khung hình sẽ đ-ợc xác định bởi tập các đặc tr-ng và tập các... Web video Mó nộn cú t l nộn cao v tc gii nộn nhanh Cinepak dựng thut toỏn nộn khụng i xng cỏc tp video cú kớch c nh nhng thi gian nộn rt lõu Cho kt qu tt nht nu dựng Cinepak to tp video + Sorenson Video: c s dng nộn video 24 bit Cỏc tp s dng mó nộn ny dựng cho CD-ROM v Web video Nú cng ging nh mó nộn Cinepak nhng l mó nộn mi thit k nộn vi cht lng cao Mó nộn ny cho hỡnh nh tt hn, kớch c tp video . và ứng dụng kỹ thuật tái tạo video& quot;. Đ-a ra một số ứng dụng kỹ thuật tái tạo video. Cài đặt và thử nghiệm và đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động để khôi. dựa vào điểm ảnh 34 2.1.3. Trừ ảnh phân khối 36 2.1.4. Trừ ảnh dựa vào biểu đồ 38 2.2. Một số kỹ thuật tái tạo video 44 2.2.1. Kỹ thuật nội suy không gian 50 2.2.3. Kỹ thuật nội suy bù. trình bày các nghiên cứu về các kỹ thuật tạo lập khung hình trung gian trong việc tái tạo đoạn video từ các khung hình đại diện dựa vào kỹ thuật nội suy bù chuyển động. S húa bi Trung tõm