Tái tạo video dựa vào kỹ thuật nội suy bù chuyển động

LỜI CẢM ƠN Để hoàn tất luận văn thạc sĩ yêu cầu tập trung, cố gắng độc lập nghiên cứu Bản thân sau năm tháng học tập vất vả nghiên cứu cố gắng để hồn thành luận văn Tơi ln ghi nhận đóng góp giúp đỡ nhiệt tình người bên cạnh mình, ủng hộ, hỗ trợ gia đình bạn bè giúp tơi có thêm động lực để hồn thành luận tốt nghiệp, nhân muốn gửi lời cảm ơn tới họ Lời cảm ơn trân trọng muốn dành tới TS Nguyễn Thị Hồng Minh, hướng dẫn tơi suốt q trình làm luận văn, nhờ định hướng cô giúp tự tin nghiên cứu vấn đề giải toán cách khoa học Tôi xin trân trọng cảm ơn Ban giám hiệu trường Đại học công nghệ thông tin, Đại học Thái nguyên, khoa CNTT tạo điều kiện cho chúng tơi học tập làm khóa luận cách thuận lợi Lời cảm ơn sâu sắc muốn gửi tới thầy cô giáo dạy dỗ mở cho thấy chân trời tri thức mới, hướng dẫn cách khám phá làm chủ công nghệ Tôi muốn gửi lời cảm ơn chân thành đến tập thể lớp CHK11D-KHMT qua tháng ngày miệt mài học tập, chia sẻ niềm vui nỗi buồn, động viên tơi qua khó khăn, để tơi vững bước vượt qua vất vả, tâm hoàn thành luận văn Tuy nhiên thời gian có hạn, nỗ lực cố gắng luận văn khó tránh khỏi thiếu sót Rất mong bảo, góp ý tận tình Quý thầy cô bạn Môc lôc Lêi cảm ơn Phần mở đầu Chương 1: Khái quát video toán tái tạo video 1.1 Kh¸i qu¸t vỊ video 1.1.1 Mét số khái niệm 1.1.1.1 Các dạng video 1.1.1.2 Một số định chuẩn video 10 1.1.2 Video c¸c thao t¸c video 26 1.1.2.1 C¸c hiƯu øng biªn tËp video 276 1.1.2.2 Mét sè thuộc tính đặc tr-ng video 287 1.1.2.2.1 Màu(Color) 287 1.1.2.2.2 KÕt cÊu (Texture) 298 1.1.2.2.3 Hình dáng (Shape) 308 1.1.2.2.4 Chuyển động (Motion) 309 1.2 Bài toán tái tạo video 30 Ch­¬ng 2: Mét sè vÊn đề tái tạo video 33 2.1 Trích rút video 33 2.1.1 Kü thuËt trõ ảnh xác định video 33 2.1.2 Trừ ảnh dựa vào điểm ảnh 34 2.1.3 Trừ ảnh phân khối 36 2.1.4 Trừ ảnh dựa vào biĨu ®å 38 2.2 Mét sè kü tht tái tạo video 44 2.2.1 Kỹ thuật nội suy kh«ng gian 50 2.2.3 Kü thuËt néi suy bù chuyển động 52 Chương 3: Chương trình thử nghiệm 57 3.1 Đặt vấn đề 57 3.2 Phân tích, lựa chọn công cô 57 3.3 Mét sè giao diện ch-ơng trình 58 Phần kết luận 60 Danh mơc tµi liƯu tham khảo 671 Danh mục hình vÏ Hình 1.1 : Cấu trúc phân cấp video Hình 1.2 : Minh họa chuyển đổi lia Hình 1.3 :Sơ đồ giải nén MPEG-1(ISO/IEC 11172) 18 Hình 1.4 : Sơ đồ nén liệu âm 18 Hình 1.5 : Mơ hình hệ thống giải mã MPEG-2 20 Hình 1.6 : Mơ hình nén giải nén theo lớp MPEG-4 23 Hình 1.7 : Một số wipe 27 Hình 1.8 : Các ảnh khác có biểu đồ màu 28 Hình 1.9 : Biểu đồ thể loại ảnh 28 Hình 1.10 : Các thao tác camera 29 Hình 1.11 : Mơ hình chung phép cộng ảnh 30 Hình 1.12 : Ánh xạ đặc trưng 31 Hình 2.1 : Quá trình phân đoạn video 34 Hình 2.2 : Các cửa sổ sở thuật tốn so sánh thực 37 Hình 2.3 : Chênh lệch biêt đồ, * cắt cảnh, chồng mờ 38 Hình 2.4 : So sánh biểu đồ màu hai ảnh 39 Hình 2.5 : So sánh cặp a, Chênh lệch biểu đồ liên tiếp b, Chênh lệch biêt đồ tích lũy 42 Hình 2.6 : Phát chuyển cảnh kỹ thuật so sánh cặp 43 Hình 2.7 : Biểu diễn giá trị fc(x,y)bằng nội suy song tuyến 49 Hình 2.8 : Ảnh tịn tiến di chuyển dx, dy 51 Hình 2.9 : Nội suy sinh khung trung gian f(n1, n2, t) 53 Hình 2.10 : Mơ tả nội suy theo thời gian 54 Hình 2.11 : tái tạo cảnh theo ba bước (1) hình ảnh gốc I0 I1 kéo giãn để tạo hình ảnh song song I^0 I^1 (2)I^S tạo cách phối hợp hai hình ảnh kéo giãn( trung gian).(3) I^S co lại để tạo thành IS 55 Hình 3.1 : Giao diện module trích rút video 58 Hình 3.2 : Giao diện module tái tạo video 59 Phần Mở đầu Video đời vào năm đầu kỷ XX phát triển mạnh mẽ, phải đến cuối thập kỷ XX video số phát triển Với đời phát triển mạnh máy tính hệ thống viễn thông, liệu video số hoá đưa vào xử lý hệ thống máy tính Việc xử lý liệu video số hố máy tính tỏ hiệu Kết liệu video số đưa vào nhiều ứng dụng thực tế truyền hình, đào tạo điện tử dựa vào máy tính, hỗ trợ đào tạo mạng, hệ thống mô phỏng, video theo yêu cầu Video phương tiện thông tin đại chúng có độ phân giải cao nội dung thơng tin phong phú Tuy nhiên nhiều nguyên nhân như: chất lượng thiết bị thu nhận video, chuyển động đối tượng… làm thiếu khuyết khung hình video, ảnh hưởng đến nội dung, chất lượng video Do cần tái tạo khung hình bị thiếu khuyết video Hiện có nhiều cơng trình nghiên cứu để tái tạo khung hình bị thiếu khuyết video đạt kết định Tuy nhiên việc sử dụng kỹ thuật nội suy bù chuyển động để tái tạo khung hình bị thiếu khuyết video chưa có nhiều đầu tư, nghiên cứu chuyên sâu Xuất phát hoàn cảnh luận văn lựa chọn đề tài: Tái tạo video dựa vào kỹ thuật nội suy bù chuyển động §Ĩ đạt đ-ợc mục tiêu đề ra, luận văn tập trung nghiên cứu số vấn đề sau đây: "Nghiên cứu tổng quan video" Phần trình bày số khái niệm vấn đề xử lý tái tạo video "Nghiên cứu số kỹ thuật trích rút tái tạo video" Phần trình bày nghiên cứu kỹ thuật trừ ảnh lọc ảnh, -u nh-ợc điểm kỹ thuật việc xác định cảnh video trích rút khung hình đặc tr-ng cảnh video để l-u trữ Phần trình bày nghiên cứu kỹ thuật tạo lập khung hình trung gian việc tái tạo đoạn video từ khung hình đại diện dựa vào kỹ thuật nội suy bù chuyển động "Nghiên cứu ứng dụng kỹ thuật tái tạo video" Đ-a số ứng dụng kỹ thuật tái tạo video Cài đặt thử nghiệm đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động để khôi phục lại khung hình bị thiếu khuyết từ khung hình đà trích rút Trên sở mục tiêu đặt ra, cấu trúc luận văn bao gồm ch-ơng: Chương 1: Khái quát video toán tái tạo video Chương 2: Một số vấn đề tái tạo video Chương 3: Ch-ơng trình thử nghiệm Chương kháI quát video toán táI tạo video 1.1 Khái quát video 1.1.1 Một số khái niệm Video tập hợp khung hình (frames), khung hình ảnh Shot (hay lia) đơn vị sở video Một lia đơn vị vật lý dòng video, gồm chuỗi khung hình liên tiếp, chia nhỏ hơn, ứng với thao tác camera đơn Scene (cảnh) đơn vị logic dòng video, cảnh gồm lia liên quan không gian liền kề thời gian, mô tả nội dung ngữ nghĩa tình tiết Khi phim đ-ợc chiếu, khung hình lần l-ợt đ-ợc hiển thị tốc độ định Tốc độ th-ờng thấy định dạng video khác 25 30 hình/s Nh- vậy, video có số l-ợng khung hình t-ơng ứng 90000 1080000 Cấu trúc phân cấp video đ-ợc thể hình d-ới Hình 1.1: Cấu trúc phân cấp video Phân đoạn video trình phân tích chia nội dung hình ảnh video thành đơn vị sở gọi lia (shot) Việc lấy mẫu chọn gần khung video đại diện cho lia (hoặc nhiều tuỳ theo mức độ phức tạp nội dung hình ảnh lia) đ-ợc gọi khung khoá Khung khoá khung hình đại diện mô tả nội dung shot Quá trình phân đoạn liệu video tiến hành, phát chuyển đổi từ lia sang lia khác phát ranh giới lia (đó đo khác khung hình liền kề) Trong hình d-ới minh họa chuyển đổi lia: Hình 1.2: Minh hoạ chuyển đổi lia 1.1.1.1.Cỏc dng video 1.1.1.1.1.Video tương tự NTSC Video: Đây dạng Video tương tự với 525 dịng khung hình, 30 khung hình giây, qt cách dịng, chia làm hai trường (mỗi trường 262.5 dịng), có 20 dịng dự trữ cho thông tin điều khiển thời điểm bắt đầu trường PAL Video: Dạng Video có 625 dịng khung hình, 25 khung hình giây, quét cách dòng Khung gồm hai trường chẵn lẽ, trường bao gồm 312.5 dòng 1.1.1.1.2.Video số Một số tiêu chuẩn Video số lấy theo tiêu chuẩn CCI Độ phân giải độ chói CCIR CCIR 601525/60 601625/50 NTSC PAL/SECAM 720x480 360x576 CIF QCIF 352x288 176x144 Độ phân giải 360x480 360x576 176x144 88x72 Lấy mẫu màu 4:2:2 4:2:2 4:2:0 4:2:0 Số trường /s 60 50 30,15,10,7.5 30,15,10,7.5 Cách quét Cách dòng Cách dòng Liên tục Liên tục màu sắc Bảng 1: Các tiêu chuẩn Video số 1.1.1.2.Một số định chuẩn video Sự chuẩn hóa video tương tự năm đầu thập niên 1950 (NTSC) năm cuối 1960 (SECAM PAL) làm cho ảnh chuyển động xuất khắp nơi, với thiết bị vô tuyến dùng rộng rãi cho mục đích giải trí, hệ thống ứng dụng công nghệ phát chuyển động tiếp tục phát triển Vào năm 1990, tổ chức chuẩn hóa tổ chức ISO-IEC (International Organization for Standard – International Electrotechnical Commission) đưa chuẩn MJPEG cho video kĩ thuật số, tổ chức chuẩn ITU-T đưa chuẩn H.261 số chuẩn liên quan khác Đi kèm với thiết bị tin học giá rẻ tạo nên phát triển bùng nổ cho ứng dụng đa phương tiện Trong trình soạn thảo, xử lý kết xuất video cần hiểu rõ định chuẩn video Ví dụ: để tạo video sử dụng Intermet cần phải thiết lập tham số nén đảm bảo tệp video theo định dạng mục đích sử dụng Ngoài yếu tố kỹ thuật, việc xác định định dạng video phụ thuộc vào yếu tố kinh nghiệm người xử lý MPEG, AVI cho Windows, MOV cho QuickTime định dạng sử dụng rộng rãi Trong phần làm rõ định chuẩn với mục đích sử dụng, kỹ thuật nén, kích cỡ, thời gian xử lý nén giải nén 10 yêu cầu lưu trữ khối lượng lớn, thường phải tạo khung hai khung liền kề; thuộc khứ, thuộc tương lai so với khung tạo ra.Phương pháp đơn giản thường dùng thực tế phương pháp bậc không (Zer-order hold method) tạo khung cách lặp lại khung có thời điểm gần kề Khi biến đổi ảnh động 24 khung/sec sang tín hiệu NTSC 60 trường /sec, từ khung ảnh động tạo trường nhau, sau từ khung ảnh động kế theo lại tạo trường Quá trình lặp hết ảnh động, phương pháp gỡ dần (Pull-Down Method) Với đa số cảnh (scene) khơng có chuyển động tồn lớn kết tốt, nhiên có chuyển động tồn lớn có tượng giật giật Một cách để cải thiện tượng giật giật bù chuyển động Ảnh động truyền hình quảng bá dãy khung tĩnh hiển thị liên tiếp với tốc độ cao Tốc độ (hay nhịp hiển thị cần thiết) để gây cảm nhận chuyển động tự nhiên thường phải cao, đủ đảm bảo dư thừa thời gian khung kề Phần lớn biến thiên cường độ từ khung sang khung kế theo sau đối tượng chuyển động Quá trình xác định vận động đối tượng dãy khung ảnh gọi ước lượng chuyển động Xử lý ảnh có xét đến tồn chuyển động gọi xử lý ảnh có bù chuyển động Xử lý ảnh có bù chuyển động có nhiều ứng dụng, ứng dụng nội suy ảnh Bằng cách ước lượng thơng số chuyển động ta tạo khung hai khung có Ngồi ta loại bỏ vài khung xây dựng lại khung bị loại bỏ nội suy từ khung mã hoá Bài toán ước lượng chuyển động mà ta xét chuyển động tịnh tiếncủa đối tượng Đặt f (x, y, t-1 ) f (x, y, t0 ) theo thứ tự cường độ ảnh thời điểm t-1 t0 ta gọi f (x, y, t-1 ) khung khứ, f (x, t, t0 ) khung xét f (x, y, t0 ) = f (x - d x , y - d y ,t -1) 56 (2.5) Trong dx dịch chuyển ngang, dy dịch chuyển thẳng đứng t-1 t0 a) f(x,y,t-1) b) f(x,y,t0) Hình 2.8: Ảnh tịnh tiến di chuyển dx, dy Trong đó: vx, vy tốc độ theo phương nằm ngang phương thẳng đứng Hình biểu diễn ví dụ f (x, y, t-1 ) f (x, y, t0 ) thỏa mãn phương trình (2.5) Giả sử có chuyển động t-1 t0 đó: f (x, y, t-1 ) = f (x - vx(t-t-1),y-vy(t-t-1),t-1) (2.6) Giả thiết tịnh tiến đơn giản dẫn đến phương trình: (2.7) giả thiết bổ sung coi phép tịnh tiến có tốc độ dẫn đến phương trình (2.6) có nhiều hạn chế Chẳng hạn khơng cho đối tượng quay, khơng phóng to, thu nhỏ ống kính, vùng không bị trùm phủ tịnh tiến đối tượng, đối tượng không chuyển động với tốc độ vx, vy khác Tuy cách giả thiết có chuyển động tịnh tiến cục bộ, ước lượng thông số chuyển động (dx,dy) hay (vx,vy) pixel hay hình cơng thức (2.7) có hiệu lực vùng không bị ảnh hưởng chuyển động đối tượng Những vùng chiếm tỉ lệ đáng kể dãy khung hình Nếu nhận biết vùng mà ước lượng chuyển động khơng xác, loại bỏ phép xử lý bù chuyển động vùng đó, chẳng hạn nội suy ảnh ta giả thiết vx= vy = 57 2.2.3 Kü tht nét suy bï chun ®éng Đối với ứng dụng nén video, khung hình thường chia thành khối với kích thước nhỏ thông tin chuyển động khối thể véctơ chuyển động (motion vector: MV) Kỹ thuật MCFI chia làm loại tùy vào việc sử dụng véctơ này: kỹ thuật MCFI dùng véctơ chuyển động có sẵn giải mã hay kỹ thuật MCFI phải tìm véctơ chuyển động Giả sử ta có khung liên tiếp: khung khứ f (n1, n2 ,t 1) khung xét f (n1, n2 ,t0 ) hình 2.9, Ta muốn tạo khung f (n1, n2 ,t) t1  t  t0 Cách đơn giản chọn khung gốc gần kề thời gian với khung mong muốn, có tượng xảy dãy khung có chuyển động tổng lớn có tượng giật giật Nếu ta sử dụng phép nội suy thời gian có bù chuyển động từ khung hình liên tiếp f(n1,n2,t-1) f(n1,n2,t0) ta tính tốc độ f(n1,n2,t), sau ta chiếu tốc độ lên khung t-1 t0 mặt thời gian gần với thời điểm mong muốn t Hình 2.9: Nội suy sinh khung trung gian f(n1,n2,t) Vì điểm chiếu khơng gian thường khơng nằm lưới lấy mẫu gốc, nên 58 cần phải nội suy không gian để nhận khung nội suy Nếu tốc độ ước lượng pixel đặc biệt f(n1,n2,t-1) không coi đủ độ xác giả thiết tốc độ Trong trường hợp này, giá trị pixel nội suy có giá trị giống giá trị pixel vị trí f(n1,n2,t-1) f(n1,n2,t0) tuỳ theo khung thời gian gần với thời điểm mong muốn t Không thể dùng ảnh tĩnh để minh hoạ đặc trưng chuyển động phép nội suy khung có bù chuyển động, ta xem khung tĩnh tạo từ hai khung ảnh phương pháp Hình 2.10 trình bày khung: khung gốc hình 3.(a), (c) cịn hai khung nội suy hình 3.(b) Khung nội suy hình (b) nhận cách lấy trung bình khung gốc Ta thấy sử dụng phương pháp bù chuyển động khung nội suy có chất lượng giống hai khung gốc Phương pháp ước lượng dùng phương pháp ràng buộc không gian - thời gian với phép nội suy đa thức Hình 2.10: Mô tả nội suy theo thời gian (a): Khung gốc (b): Khung nội suy lấy trung bình khung (c): Khung gốc Trong hình 2.9 tạo f(n1,n2,t) nội suy f(n1,n2,t-1) f(n1,n2,t0) Trong ví dụ dịch chuyển (dx,dy) nhận từ f(n1,n2,t-1) f(n1,n2,t0) pixel (n1 n2) thời điểm t Mỗi pixel thời điểm t chiếu vào vị trí không gian 59 tương ứng thời điểm t-1 ( ví dụ t gần t-1 t0) cường độ pixel xác định theo f(n1,n2,t-1) vị trí pixel chiếu đến Để thực thuật toán cần nội suy không gian f(n1,n2,t-1) Phép nội suy có bù chuyển động có ứng dụng việc thay đổi nhịp khung Sự thay đổi nhịp khung phối hợp với việc thay đổi thang thời gian âm để thay đổi độ dài ảnh động chương trình Tivi Với số cảnh điển hình thay đổi nhịp khung video qua phép nội suy bù chuyển động tạo tín hiệu video có chất lượng so sánh với tín hiệu gốc, ngoại trừ nhịp chuyển động không tự nhiên số động tác nói chuyện xuất hệ số thay đổi nhịp đủ cao Thuật tốn ba bước sinh khung hình trung gian Sử dụng phép phản chiếu để tạo hình trung gian giữ nguyên gốc Để đạt mục đích này, coi I0 , I1 hai viễn cảnh với ma trận chiếu 0  [H0  H0C0 ] 1  [H1  H1C1 ] [2.17] Sẽ thuận tiện nhiều ta chọn hệ thống cho C0 ,C1 nằm trục X, ví dụ: C0  [ X 0 0]T C1  [ X1 0]T Hai trục cịn lại nên lựa chọn theo cách mà giảm tối đa sai lệch xảy trình phản chiếu hình ảnh Một lựa chọn đơn giản mà hiệu thực tế chọn trục Y theo hướng cắt hai hình ảnh pháp tuyến hình ảnh phẳng 60 Hình 2.11: Tái tạo cảnh theo ba bước (1) hình ảnh gốc I0 I1 kéo giãn để tạo hình ảnh song song I^0 I^1 (2) I^s tạo cách phối hợp hai hình ảnh kéo giãn (trung gian) (3) I^s co lại để tạo thành Is Các nửa hình ảnh đường thẳng C0C1 tạo phối hợp phản chiếu trung hồ hình ảnh, mơ tả hình s  [H s  H sCs ] với Cs tính cơng thức Cs=(8Cx,8Cy,0) Kéo căng hình ảnh -1 thành -1 thành , ta điểm ảnh ^ B1: Tạo hình trung gian: Từ I^s phối hợp đường kẻ màu sắc điểm tương ứng I^0 I^1, áp dụng cơng thức Cs=(8Cx,8Cy,0) B2: Hình thành hình ảnh (phối hợp, co): Hs thành I^s… B3: Kéo giãn hình ảnh cho ta mặt phẳng ảnh theo hàng mà khơng cần phải thay đổi tâm kính hai cameras Việc tái tạo hình ảnh kéo giãn đưa tâm kính Cs Thu hình ảnh lại (hình thành hình ảnh) biến đổi mặt phẳng ảnh hình ảnh vị trí hướng chuẩn hình ảnh mong đợi Các thao tác kéo căng hình ảnh thu gọn hình ảnh, phối hợp với hình trung gian đơn giản, địi hỏi loạt thao tác tái tạo mẫu, điều có tác động đáng kể việc làm mờ nửa hình ảnh trung gian Những ảnh hưởng việc tái tạo mẫu hình ảnh giảm thiểu cách phóng đại hình mẫu đầu vào cách phối kết hợp tất biến thể hình ảnh thành tập hợp cho hình ảnh Sự phối hợp ngược lại, tái tạo hình trung gian, kéo căng hình ảnh trực tiếp móc nối thành đồ đảo ngược Tuy nhiên, kết hợp có mặt hạn chế bao gồm việc làm ưu vốn có việc sử dụng cơng cụ tái tạo hình ảnh để tạo hình nh n gin 61 Kỹ thuật trích rút tái tạo video lĩnh vực đà đ-ợc nhiều nhóm nhà khoa học quan tâm nghiên cứu NhiỊu øng dơng sư dơng c¸c kü tht trÝch rót tái tạo video đà đem lại hiệu râ rƯt viƯc phơc vơ ®êi sèng x· héi ng-ời Chương chương trình thử nghiệm 3.1 Đặt vấn đề Trong phm vi khúa lun, em ó ứng dụng kỹ thuật nội suy để tái tạo lại video sau video ó c trớch rỳt để giải toán giảm thiểu không gian l-u trữ video Các file video sau trích chọn khung hình đặc tr-ng l-u trữ nhằm giảm dung l-ợng video Để tái tạo video, em đà sử dụng kỹ thuật nội suy bù chuyển động để tạo khung hình trung gian nhằm tái tạo lại video 3.2 Phõn tích, lựa chọn cơng cụ Nhằm kiểm chứng kỹ thuật đề xuất chương 2, tiến hành cài đặt chương trình demo thao tác tái tạo video từ khung hình trích rút 62 từ đoạn video Chương trình phát triển mơi trường Visual Basic 6.0 với thư viện mã nguồn mở OpenCV Chức nội suy chức chương trình cài đặt, chức dùng để thực nội suy ảnh Tức sinh hình ảnh trung gian từ ảnh nguồn ảnh đích, ảnh trung gian sinh chuyển động liên tục Quá trình nội suy sau: - Đưa file ảnh làm ảnh nguồn (Ảnh vào) - Đưa file ảnh làm ảnh đích (Ảnh đích) - Thuật tốn nội suy (morphing) thực nội suy từ ảnh nguồn ảnh đích hình ảnh trung gian Số hình ảnh trung gian cài đặt thuật tốn nội suy khơng gian (sinh 20 khung hình trung gian) Thuật toán nội suy thực kiểm tra ảnh xem ảnh vào, ảnh có phải 24 bit, khơng Nếu thực nội suy cho khung hình trung gian - Quá trình nội suy chương trình cài đặt nội suy suôi nội suy ngược - Trong chức cho phép thực tạo video có *.avi save để thực chạy đoạn video 3.3 Một số giao diện chương trình 63 H×nh 3.2: Giao diƯn module trÝch rót video 64 Hình 3.3: Giao diện module tái tạo video Phần kết luận Thực tế đặt nhiều toán liên quan đến xử lý liệu video, thao tác đa ảnh nh-: xác định 65 cảnh video, tách đối t-ợng, tách cảnh, nhận dạng đối t-ợng chuyển động, tái tạo, giảm dung l-ợng video Bởi vậy, kỹ thuật trích rút tái tạo video dựa thao tác đa ảnh đ-ợc quan tâm nhà nghiên cứu, vấn đề hấp dẫn mang đầy tính thực tiễn Những nội dung mà luận văn nghiên cứu bao gồm: - Trình bày tổng quan khái niệm vấn đề việc xử lý video - Hệ thống hoá kỹ thuật trích rút tái tạo video đồng thời có phân tích, đánh giá -u nh-ợc điểm kỹ thuật - Đ-a ứng dụng dựa kỹ thuật trích rút, kỹ thuật tái tạo ứng dụng kết hợp hai kỹ thuật trích rút tái tạo video việc giải toán giảm thiểu dung l-ợng video Ngoài việc giải toán bù khuyết khung hình bị thiếu để táI tạo video, kỹ thuật đ-ợc phát triển tiếp để ứng dụng giải toán khác video nh-: toán tổ chức l-u trữ,nén video, Đây h-ớng phát triển luận văn sau 66 tài liệu tham kh¶o Tiếng Việt Đỗ Năng Tồn, Phạm Việt Bình (2007) Giáo trình xử lý ảnh, Nhà xuất Đại học Hà Nội Lương Xuân Cương, Đỗ Xuân Tiến, Đỗ Trung Tuấn (2004), “Kỹ thuật nâng cao khả phán đoán liệu video ứng dụng e-learning”, Báo cáo khoa học Hội thảo quốc gia “ Một số vấn đề chọn lọc Công nghệ thông tin”, Đà Nẵng, tháng 8/2004 Lương Mạnh Bá, Nguyễn Thanh Thủy Nhập môn xử lý ảnh số, Nhà xuất Khoa học kỹ thuật, Hà Nội Tiếng Anh A Amir, J Argillander, M Berg, S-F Chang, et al.”IBM Research TRECVID2004 Video Retrieval System.” Proc TRECVID 2004 LarsLau Raket, Lars Roholm,Andrés Bruhn and Joachim Weickert ”Motion Compensated Frame Interpolation with a Symmetric Optical Flow Constraint” Advances in Visual Computing, volume 7431 of Lecture Notes in Computer Science, Springer Berlin Heidellberg, (2012) Xu, C., Corso, J.J.: Evaluation of super-voxel methods for early video processing In: CVPR.(2012) Gökce Dane ” Temporal frame interpolation by motion analysis and processing” University of California, San Diego, 2005 Saranta Ponla “Frame rate up conversion by block base affin transform” Mahidol University, 2009 67 Ya-Ting Yang, Yi-Shin Tung, Ja-Ling Wu, Chung-Yi Wen “Low-Bitrate Video Quality Enhancenment by Frame Rate Up-Conversion and Adaptive Fram Encoding” Advances in Multimedia Information Processing –PCM 2005, pp 841-853 Jianning Zhang, Lifeng Sun, Yuzhuo Zhong “A Novel Spatial-Temporal Position Prediction Motion-Compensated Interpolation for Frame Rate UpConversion” Advances in Multimedia Information Processing - PCM 2006, pp.870-879 Gargi, U., Kasturi, R., & Strayer, S H, 2000 Performance characterization of video-shot-change detection methods IEEE Transactions on Circuits and Systems for Video Technology, 10(1), 1-13 Sarah Porter, Majid Mirmehdi, Barry Thomas, 2003 Temporal video segmentation and classication of edit effects Image and Vision Computing 21 (2003) 1097–1106 10 Sawhney, H.S., Hafner, J.L., Efficient color histogram indexing, Proceedings of the IEEE International Conference on Image Processing, Volume: , 994,pp 66 11 Efthymia Tsamoura, Vasileios M ezaris, Ioannis Kompatsiaris, 2008 Video Shot Meta-Segmentation Based On Multiple Criteria For Gradual Transition Detection Content-Based Multimedia Indexing, 2008 CBMI 2008 International Workshop on 18-20 June 2008, pp51 – 57 12 Efthymia Tsamoura, Vasileios Mezaris, Ioannis Kompatsiaris, 2008 Gradual Transition Detection Using Color Coherence And Other Criteria In A Video Shot Meta-Segmentation Framework Image Processing, 2008 ICIP 2008 15th IEEE International Conference on Oct 2008, page(s): 45 – 48 13 Yong Rui, Thomas S Huang, Sahrad Merohtra, Constructing Table-of-Content for Video, Beckman Institude for Advanced Science and Technology, University of Illinois at Urbana Champaign, 2003 68 69 ... nội suy bù chuyển động "Nghiên cứu ứng dụng kỹ thuật tái tạo video" Đ-a số ứng dụng kỹ thuật tái tạo video Cài đặt thử nghiệm đánh giá kỹ thuật tái tạo video dựa vào kỹ thuật nội suy bù chuyển động. .. phân khối 36 2.1.4 Trừ ảnh dựa vào biểu đồ 38 2.2 Một số kỹ thuật tái tạo video 44 2.2.1 Kü thuËt néi suy kh«ng gian 50 2.2.3 Kỹ thuật nội suy bù chuyển động 52 Chương 3: Chương trình... chuyển động để tái tạo khung hình bị thiếu khuyết video chưa có nhiều đầu tư, nghiên cứu chuyên sâu Xuất phát hồn cảnh luận văn lựa chọn đề tài: Tái tạo video dựa vào kỹ thuật nội suy bù chuyn