Nghiên cứu một số kỹ thuật phát hiện chuyển cảnh trong video

Bộ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI TRẦN NGỌC HIẾU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN CHUYỂN CẢNH TRONG VIDEO LUẬN VĂN KHOA HỌC MÁY TÍNH HÀ NỘI, 2015 TRẦN NGỌC HIẾU NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÁT HIỆN CHUYỂN CẢNH TRONG VIDEO Chuyền ngành: Khoa hoc máy tính Mã sổ: 60 48 01 01 LUẬN VĂN KHOA HỌC MÁY TÍNH Ngưòi hướng dẫn: PGS.TS Đỗ Năng Toàn Trong thời gian thực luận văn thạc sỹ em nhận nhiều khích lệ, động viên, giúp đỡ từ phía thầy cô, cha mẹ bạn bè xung quanh Em xin gửi lời cảm ơn chân thành tới thầy cô trường Đại học Sư phạm Hà Nội 2, thầy Viện Công nghệ thông tin truyền đạt vốn kiến thức quý báu cho chúng em Em xin bày tỏ lòng biết ơn chân thành tới thầy giáo, PGS.TS Đỗ Năng Toàn, người trực tiếp hướng dẫn em hoàn thành luận văn thạc sỹ Em cố gắng học tập hoàn thành luận văn thạc sỹ luận văn thạc sỹ có thiếu sót Em mong nhận góp ý, bảo thầy cô bạn để luận văn thạc sỹ hoàn thiện Hà Nội, ngày tháng năm 2015 Tác giả luận văn Trần Ngọc Hiếu Tôi xin cam đoan số liệu kết nghiên cứu luận văn trung thực không trùng lặp với đề tài khác Tôi xin cam đoan giúp đỡ cho việc thực luận văn cảm ơn thông tin trích dẫn luận văn rõ nguồn gốc Hà nội, ngày tháng năm 2015 Tác giả luận văn Trần Ngọc Hiếu LỜI CẢM ƠN LỜI CAM ĐOAN DANH MỤC HÌNH VẺ Hình 1.1 Quá trình hiển thị chỉnh sửa, lưu trữ ảnh thông qua DIB (quy trình chung để hiển thị ảnh Raster thông qua DIB) Hình 1.2 Sự chuyển đổi mô hình biểu diễn ảnh Hình 1.3 Các bước xử lỷ ảnh Hình 1.4 Hệ toạ độ RGB Hĩnh 1.5 Cấu trúc lẩy mẫu theo chuẩn 4:4:4 Hình 1.6 Cẩu trúc lẩy mẫu theo chuẩn 4:2:2 Hình 1.7 Cấu trúc lẩy mẫu theo chuẩn 4:2:0 Hình 1.8 Cấu trúc lẩy mẫu theo chuẩn 4:1:1 Hình 2.1 Quá trình phân đoạn Video Hình 2.2 Các cửa sổ sở thuật toán so sánh thực Hình 2.3 Chênh lệch biểu đồ, * cắt cảnh,— chồng mờ Hình 2.4 So sánh biểu đo màu ảnh Hình 2.5 So sánh cặp a, chênh lệch biểu đồ liên tiếp Hình 2.6 Phát chuyển cảnh kỹ thuật so sánh cặp Hình 2.7 Ảnh trung bình cho kênh màu đỏ, biên ngang, biên thẳng đứng frame Hình 2.8 Phép trừ màu cho khung 65 70 Hình 2.9 Phép trừ biên cho frame 65 70 Hình 2.10 Ket hợp trừ màu trừ biên cho frame 65 70 Hình 2.11 Kết kết hợp sau sử dụng lọc trung bình ngưỡng trễ cho frame 60 70 Hình 2.12 Vỉ dụ cho tính toán mã LBP gốc Hình 2.13 Lận cận cân đổi vòng tròn đặt với giá trị khác P v R Hình 2.14 Giải thuật sử dụng cấu trúc lưới chồng cục Hình 2.15 Đồ thị biển thiên cục mm qua thời gian MỞ ĐẦU Lý chọn đè tài Trong thời đại ngày công nghệ thông tin thâm nhập vào toàn lĩnh vực đời sống xã hội Xã hội phát triển nhu cầu công nghệ thông tin ngày cao, liệu số không xa lạ người Trong lĩnh vực ứng dụng công nghệ thông tin trợ giúp người nhiều Hiện nay, thông tin hình ảnh đóng vai trò quan trọng trao đổi thông tin, phần lớn thông tin mà người thu nhận thông qua thị giác Trong năm gần lượng liệu video số tăng lên đáng kể với việc sử dụng rộng rãi ứng dụng đa phương tiện giáo dục, giải trí, kinh doanh, y tế Thực tế đặt toán như: Giảm dung lượng video tăng tốc độ xử lý, tổ chức lưu trữ tìm kiếm video hiệu quả, hiểu nội dung video, nhận dạng đối tượng video Nhiều nhóm nghiên cứu nước đưa phương pháp giải nhằm tổ chức tốt sở liệu video, hiểu nội dung video đặc biệt toán giảm dung lượng video quan tâm tính ứng dụng đa dạng cần thiết khoa học, xã hội thực tiễn đời sống người Do em lựa chọn đề tài: “Nghiên cứu sổ kỹ thuật phát chuyển cảnh video ” ứng dụng trích rút tái tạo video làm đề tài luận văn tốt nghiệp thạc sỹ Mục đích nghiên cứu - lý thuyết: Tìm hiểu tổng quan xử lý video toán phát chuyển cảnh, kỹ thuật phát chuyển cảnh video -Ve thực tiễn: Trên sở kiến thức thu thập nghiên cứu, tổng hợp kỹ thuật để hướng đến ứng dụng trích rút tái tạo video làm giảm dung lượng video Nhiệm vụ nghiền cứu - Tìm hiểu tổng quan xử lý video toán phát chuyển cảnh - Các kỹ thuật phát hiển chuyển cảnh video - ứng dụng cho trích rút tài tạo video Đổi tượng phạm vi nghiền cứu Đối tượng, phạm vi nghiên cứu tổng quan xử lý ảnh, kỹ thuật phát chuyển cảnh video chọn kỹ thuật trích rút tái tạo video ứng dụng giảm dung lượng video Phương pháp nghiền cứu Thu thập tài liệu, phân tích, suy luận, tổng họp, đánh giá Từ đề xuất nghiên cứu tìm hiểu: ‘‘‘'Nghiên cứu sổ kỹ thuật phát chuyển cảnh vỉdeo Cấu trúc luận văn Ngoài phần Mở đầu, kết luận tài liệu tham khảo luận văn gồm chương: Chương 1: Khái quát vè xử lý video toán phát chuyển cảnh 1.1 Khái quát video 1.2 Các thao tác video 1.3 Bài toán phát chuyển cảnh video Chương 2: Một số kỹ thuật phát chuyển cảnh vỉdeo 2.1 Phát chuyển cảnh dựa vào kỹ thuật trừ ảnh 2.2 Phát chuyển cảnh dựa vào kỹ thuật trừ 2.3 Phát chuyển cảnh dựa vào độ đo kết cấu LBP (Local Binary Patterm) 2.4 Phát chuyển cảnh dựa vào biến thiên cục vecter kết cấu SP Chương 3: Chương trình thử nghiệm 3.1 Đặt vấn đề 3.2 Phân tích lựa chọn công cụ 3.3 Một số giao diện chương trình CHƯƠNG 1: KHÁI QUÁT VÈ xử LÝ VIDEO VÀ BÀI TOÁN PHÁT HIỆN CHUYỂN CẢNH 1.1 1.1.1 Khái quát video Lieh sử * 1.1.1.1 •• Lieh sử điên ảnh Điện ảnh có 100 năm tuổi Sự đời điện ảnh ngày 28 Tháng 12 năm 1895 Auguste Louis Lumipere cho phát phim họ cho đối tượng trả tiền Paris Sự phát triển máy ảnh máy chiếu họ thông qua đường dài phát triển cho phát minh bánh xe Faraday vào năm 1831 mà minh họa lý thuyết tồn tầm nhìn Nhiếp ảnh khám phá vào thập niên 1840 ảnh thực vào năm 1839 William Henry Fox giấy halogen bạc 1872 chứng kiến lần sử dụng loạt hình ảnh cho phong trào thu âm (Eadweard Muybridge) Khi George Eastman sản xuất phim cuộn giấy vào năm 1885, Etienne- Jules Marey, lấy cảm hứng từ Muybridge, xây dựng máy ảnh chụp 100 hình giây Chỉ năm sau vào năm 1889, Thomas Alva Edison phát triển máy ảnh sử dụng phim nhựa Ông cho thấy phim vào vòng lặp liên tục loại máy peep - show gọi kinetoscope Nó phát minh gây ấn tượng anh em Lumipere đủ để cố gắng chiếu công cộng điện ảnh năm 1895 Các rạp chiếu phim xây dựng xuất vào năm 1906 (Omnia - Pathé) Paris Tại Mỹ năm 1908 có gần 10.000 nickelodeons thu hút 20 triệu người tuần 1.1.1.2 Lịch sử phát sóng truyền hình Phát sóng truyền hình thực lần đầu vào ngày 02 tháng 11 năm 1936 BBC từ Alexandra Palace Đó với việc phát sóng lễ đăng quang Vua George VI vào ngày 12 tháng năm đó, truyền hình cho thấy tiềm để phổ biến thông tin nhanh chóng Trong năm 1953, đăng quang Nữ hoàng xem nhà 3.000.000 trường họp chứng minh TV thiết bị phương tiện truyền thông đại chúng hãng Truyền hình màu phát sóng lần vào năm 1954 Hoa Kỳ cách sử dụng tiêu chuẩn NTSC Châu âu lựa chọn để đánh giá chương trình truyền màu sắc khác năm 1967 PAL (Phase Altemate Line) tiêu chuẩn phát sóng thông qua để phát sóng truyền hình màu Anh Đức Định dạng tín hiệu màu sắc lựa chọn để người với ti vi màu đen trắng nhận tín hiệu 1.1.1.3 Lịch sử ghi hình video Thiết bị quay video có sau nhiều so với TV Các thiết bị phát minh vào đầu năm 1950 RCA phát triển máy tính với tốc độ băng m / giây Họ sử dụng ghi âm theo chiều dọc tín hiệu băng, yậy tốc độ nhanh yêu cầu để ghi lại tín hiệu truyền hình băng thông lớn Máy ghi hình thực tế phát triển vào năm 1953 tập đoàn Ampex Nó sử dụng xếp quét xoắn ốc mà ngày sử dụng cho phép tốc độ ghi lại hiệu cao mà tốc độ băng đáng sợ Các thiết bị video gia đình phát triển Philips vào năm 1972 nhanh chóng thay máy VHS Panasonic máy Betamax Sony năm 1978 Sự xuất định dạng đánh dấu khởi đầu kỷ nguyên video gia đình Khả ghi chỉnh sửa chương trình thực người sử dụng nhà tăng phổ biến truyền hình Sony thua chiến tiếp thị tiếng vào năm 1980 VHS trở thành tiêu chuẩn cho người sử dụng video gia đình chủ yếu thời gian chơi Đây chất lượng cao định dạng Betamax 1.2 Các thao tác Video 1.2.1 Đăc điểm Video Ảnh Video: Là chuỗi ảnh tĩnh, chuỗi frame ảnh (gọi khung hình), xuất liên tiếp tạo cảm thụ theo thời gian, quan hệ thời gian frame biểu diễn ảnh động s = f (x,y,t) đó: - X, y tọa độ điểm ảnh ( Thông tin không gian) - t: thông tin thời gian ảnh tĩnh trường họp riêng video, chuỗi ảnh không thay đổi theo thời gian: f(x,y,tl) = f(x,y,t2) Chất lượng Video: Tốc độ xuất khung hình độ phân giải ảnh nhân tố quan trọng chất lượng video Một sổ thông sổ quan trọng tín hiệu Video: - Độ phân giải theo chiều dọc (Vertical resolution): Thông số có liên quan đến số dòng quét frame - Tỉ lệ co (aspect ratio): Tỉ lệ chiều rộng chiều cao frame Tín hiệu Video có đặc điểm sau: - Tín hiệu video tín hiệu mang tính chất xung: xung đồng xung xóa, tín hiệu video thường có thay đổi biên đột ngột, tạo biên nước va biên sau “xung hình” - Tín hiệu Video tín hiệu đơn cực, có thành phần chiều; - Tín hiệu video coi tín hiệu tuần hoàn Tín hiệu video tương tự tín hiệu ảnh tính phải số hóa trước đưa vào hệ thống xử lý số Cũng hệ thống xử lý tín hiệu chiều, trình số hóa tín hiệu hình ảnh chia làm giai đoạn: Mô hình biên bao gồm ảnh trung bình ảnh độ lệch chuẩn, tính cách áp dụng dò tìm bên sobel phương ngang thẳng đứng với ảnhmức xám Kết gradient phương ngang H, gradient phương thẳng đứng V Ảnh trung bình tính sau: H, =p// + (l-p)ff,_, ^ = pK + (l-p)K(_, Trong p tốc độ học mô hình Các ảnh lệch chuẩn H,t ơv,t tính tương tự mô hình màu Mô hình biên dùng để xác định thay đổi cấu trúc ảnh Các ảnh độ lệch chuẩn tính toán với chuỗi ảnh tĩnh ảnh trung bình cập nhật liên tục Điều cho phép mô hình điểu chỉnh với thay đổi độ chiếu sáng n a IM » ■ ■ M NI n a ■ 50 [...]... đoạn video Quá trình trích rút video gồm 2 bước: - Xác định cảnh trong video hay còn gọi là phân đoạn video, - Trích rút khung hình đặc trưng trong mỗi cảnh của video Có nhiều kỹ thuật giúp xác định cảnh trong video nhưng có lẽ đơn giản và hiệu quả nhất vẫn là kỹ thuật trừ ảnh CHƯƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN CHUYỂN CẢNH TRONG YIDEO 2.1 Phát hiện chuyển cảnh dựa vào kỹ thuật trừ ảnh Như đã biết, video. .. lớn nhất của kỹ thuật này là không thể phân biệt được thay đổi lớn trong một vùng ảnh nhỏ và thay đổi nhỏ trong một vùng ảnh lớn Ví dụ, các cắt cảnh rất dễ bị bỏ sót khi một phần nhỏ của khung hình có thay đổi lớn và nhanh Nói chung tất cả các kỹ thuật trừ giá trị điểm ảnh rất nhạy với nhiễu vì các di chuyển camera Một bước phát triển hơn là đi đếm tổng số điểm ảnh có thay đổi lớn hơn một ngưỡng DPừ.y)... vị chuyển cảnh Neu i và j liên tiếp nhau và sự chênh lệch của hai khung hình lớn hơn ngưỡng thì đó là chuyển cảnh đột ngột do ngắt Neu không, dùng thuật toán trừ ảnh dựa trên việc phát hiện cạnh để phát hiện chuyển cảnh dần dần Hiển nhiên, thuật toán này phụ thuộc vào bước nhảy step: bước nhảy lớn thì tăng hiệu quả nhưng sẽ làm tăng sai sót, bước nhảy nhỏ quá sẽ bỏ qua những chuyển cảnh dần dần Thuật. .. 4:1:1 Như vậy ảnh Video là một chuỗi các ảnh tĩnh xuất hiện liên tiếp tạo cảm thụ chuyển động theo thời gian, gọi là chuỗi các Frame ảnh (Khung Hình) Tốc độ xuất hiện các khung hỉnh và độ phân giải ảnh là các nhân tố quan trọng của chất lượng video 1.3 Bài toán trích rút Vỉdeo trong việc tái tạo Vỉdeo Trích rút video là việc lấy ra một hoặc một số khung hinh đặc trưng trong từng cảnh để lưu trữ thay... biết, video gồm dãy N khung hình (fl, Í2 fl), mỗi khung hình là một ảnh Các khung hình này được hiển thị lần lượt, độ sáng của một điểm ảnh đã cho có thể coi là một hàm của thời gian f(x,y,t) Mục đích chính của xác định cảnh video là phát hiện ranh giới của các shot (cảnh phim) và chia phim thành các shot (cảnh phim) Đe phát hiện chuyển cảnh, ngoại trừ rất ít các phương pháp dựa vào độ tương đương giữa... i in -| ■ iB Ị Hình 2.2 Các cửa sổ cơ sở trong thuật toán so sảnh thực Ý tưởng lấy mẫu theo không gian được mở rộng thành lấy mẫu theo không gian và thời gian Thuật toán mới có sử dụng bước nhảy phát hiện cả chuyển cảnh đột ngột và chuyển cảnh dần dần Thuật toán này đi so sánh hai khung hình i và j, ở đó j = i + step Neu không có sự thay đổi đáng kể nào, thì chuyển tiếp sang so sánh các khung hình cách... cho video kỹ thuật số không phải là toàn bộ khoảng này Thay vì thế video RGB sử dụng thỏa thuận với thang độ và các giá trị tương đối chẳng hạn như (16, 16, 16) là màu đen, (235, 235, 235) là màu trắng v.v Ví dụ, các thang đọ và giá trị tương đối này được sử dụng cho định nghĩa RGB kỹ thuật số trong CCIR 601 Kiểu 16 bit: Kiểu 16 bpp, trong đó hoặc là có 5 bit cho mỗi màu, gọi là kiểu 555 hay thêm một. .. của tín hiệu Video rời rạc, khi đó thành phần phổ chính có thể được tách ra (trong quá trình khôi phục ảnh gốc) bằng các mạch lọc thông thấp đơn giản Ngoài ra, tín hiệu Video tổng họp (bao gồm thành phần màu) được lấy mẫu với tần số là bội số của tần số sóng mang phụ fs (sóng mang màu) Với hệ PAL, tần số lấy mẫu sẽ là 3 fs(13,3 MHz) hoặc 4 fs (17,7 MHz) .Trong hệ thống số hóa tín hiệu Video theo thành... DPừ.y) = { '0 Nếu fị(x,y)- /2C*>y) >T Nếu ng- ợc lại vì so sánh tổng đó với một ngưỡng khác để phát hiện chuyển cảnh: Đ(fJ2)= ^-ỵỵDPự,y) Nếu tỷ lệ số điểm ảnh thay đổi D(fl,f2) lớn hơn ngưỡng TI thì đã có chuyển cảnh do cắt Tuy các thay đổi không liên quan trong khung hình đã được loại bớt nhưng hướng tiếp cận này vẫn nhạy với di chuyển camera vì đối tượng Chẳng hạn, khi camera quay hướng theo đối tượng,... ra Một hướng tiếp cận khác với kỹ thuật trừ ảnh phân khối do Shahraray đã ra Shahraray đã chia khung hình thành 12 miền và tìm miền thích hợp nhất cho mỗi miền của khung hình kia Độ chênh lệch tính bằng kỹ thuật trừ ảnh dựa vào điểm ảnh của từng miền được sắp xếp Tổng có trọng số của các chênh lệch đã sắp xếp cho ta kết quả D cuối cùng Xong phát triển phương pháp trừ ảnh, gọi là so sánh thực, phát hiện