DSpace at VNU: Phân đoạn dữ liệu video và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐỖ XUÂN HIẾU PHÂN ĐOẠN DỮ LIỆU VIDEO VÀ ỨNG DỤNG LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN Hà Nội – Năm 2015 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ ĐỖ XUÂN HIẾU PHÂN ĐOẠN DỮ LIỆU VIDEO VÀ ỨNG DỤNG Ngành: Công nghệ thông tin Chuyên ngành: Hệ thống thông tin Mã số: 60480104 LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƢỜI HƢỚNG DẪN KHOA HỌC : PGS.TS ĐỖ TRUNG TUẤN Hà Nội - 2015 i LỜI CẢM ƠN Tôi xin cảm ơn Thầy, Cô giáo Khoa Công nghệ thông tin, Phòng Đào tạo, Trƣờng Đại học Cơng nghệ, Đại học Quốc gia Hà Nội giảng dạy truyền thụ cho kiến thức quý báu suốt thời gian học tập nghiên cứu trƣờng Tôi xin gửi lời cảm ơn chân thành tới PGS TS Đỗ Trung Tuấn, ngƣời thầy cho định hƣớng, tận tình bảo giúp đỡ, cho tơi ý kiến q báu để tơi hồn thành luận văn tốt nghiệp Tôi xin tỏ lòng biết ơn động viên giúp đỡ gia đình bạn bè, đồng nghiệp, ngƣời ln quan tâm sát cánh bên nguồn động viên khích lệ, tạo cho tơi có đƣợc điều kiện tốt suốt trình học tập Tơi xin chân thành cảm ơn! Hà Nội, tháng 04 năm 2015 Học viên Đỗ Xuân Hiếu ii LỜI CAM ĐOAN Tôi xin cam đoan luận văn công trình nghiên cứu riêng tơi Tất tài liệu tham khảo rõ trích dẫn danh mục tài liệu tham khảo Các kết nêu luận văn trung thực chưa cơng bố cơng trình khác Tác giả Đỗ Xuân Hiếu iii MỤC LỤC LỜI CẢM ƠN i LỜI CAM ĐOAN ii DANH MỤC CÁC TỪ VIẾT TẮT vi DANH MỤC HÌNH VẼ vii MỞ ĐẦU 1 Tính cấp thiết đề tài Mục tiêu đề tài Nội dung đề tài Bố cục .2 CHƢƠNG .3 TỔNG QUAN VỂ DỮ LIỆU VIDEO 1.1 Khái niệm tổng quan 1.1.1 Khung hình 1.1.2 Đoạn sở 1.1.3 Một số hình thức chuyển cảnh 1.1.4 Một số dạng video 1.1.5 Các định dạng video 1.2 Chuẩn nén MPEG 1.2.1 Giới thiệu chuẩn nén MPEG 1.2.2 Cấu trúc ảnh MPEG 10 1.2.3 Cấu trúc dòng bit MPEG Error! Bookmark not defined 1.3 Chuẩn nén ITU-T Error! Bookmark not defined 1.3.1 Chuẩn H.261 .Error! Bookmark not defined 1.3.2 Chuẩn H.263 .Error! Bookmark not defined 1.3.3 Chuẩn H.264 .Error! Bookmark not defined 1.4 Một số đặc trƣng video .Error! Bookmark not defined 1.4.1 Color Error! Bookmark not defined iv 1.4.2 Bề mặt .Error! Bookmark not defined 1.4.3 Hình dáng Error! Bookmark not defined 1.4.4 Chuyển động .Error! Bookmark not defined 1.5 Kết luận Error! Bookmark not defined Chƣơng Error! Bookmark not defined CÁC KỸ THUẬT PHÂN ĐOẠN VIDEO Error! Bookmark not defined 2.1 Bài toán phân đoạn video Error! Bookmark not defined 2.1.1 Các hƣớng tiếp cận phân đoạn videoError! Bookmark not defined 2.1.2 Một số phƣơng pháp phân đoạn .Error! Bookmark not defined 2.1.3 Các yếu tố để xác định phƣơng pháp phân đoạnError! not defined Bookmark 2.2.Phân đoạn video kỹ thuật so sánh điểm ảnhError! Bookmark not defined 2.2.1 So sánh hai điểm ảnh hai khung hình liên tiếp Error! Bookmark not defined 2.2.2 Sự biến thiên cƣờng độ điểm ảnh theo thời gian sử dụng nhãn Error! Bookmark not defined 2.2.3 Ƣu nhƣợc điểm phƣơng pháp so sánh điểm ảnh Error! Bookmark not defined 2.3 Phân đoạn video kỹ thuật so sánh khốiError! defined Bookmark not 2.3.1 So sánh khối dựa thống kê Error! Bookmark not defined 2.3.2 So sánh khối dựa không gian màuError! defined Bookmark not 2.3.3 So sánh khối dựa vào khác biểu đồ màu Error! Bookmark not defined 2.3.4 So sánh khối dựa vào việc lấy mẫu miền không gian thời gian Error! Bookmark not defined 2.3.5 Ƣu nhƣợc điểm phƣơng pháp so sánh khốiError! not defined Bookmark v 2.4 Phân đoạn video kỹ thuật biểu đồ màuError! defined Bookmark not 2.4.1 So sánh biểu đồ màu toàn cục Error! Bookmark not defined 2.4.2 So sánh biểu đồ màu cục .Error! Bookmark not defined 2.4.3 Ƣu nhƣợc điểm phƣơng pháp so sánh biểu đồ màu Error! Bookmark not defined 2.5 Phân đoạn video kỹ thuật phát chuyển liaError! not defined Bookmark 2.5.1 Thuật toán phát chuyển lia Error! Bookmark not defined 2.5.2 Phát chuyển lia đột ngột Error! Bookmark not defined 2.5.3 Phát chuyển lia Error! Bookmark not defined 2.5.4 Ƣu nhƣợc điểm phƣơng pháp phát chuyển lia Error! Bookmark not defined 2.6 Kỹ thuật phân đoạn sổ cửa sổ trƣợtError! defined Bookmark not 2.6.1 Phƣơng pháp tiếp cận .Error! Bookmark not defined 2.6.2 Thuật toán Error! Bookmark not defined 2.6.3 Ƣu nhƣợc điểm phƣơng pháp phân đoạn cửa sổ trƣợt Error! Bookmark not defined 2.7 Kết luận Error! Bookmark not defined Chƣơng .Error! Bookmark not defined THỰC NGHIỆM VÀ ĐÁNH GIÁ .Error! Bookmark not defined 3.1 Đặt bài toán Error! Bookmark not defined 3.1.1 Bài toán .Error! Bookmark not defined 3.1.2 Môi trƣờng thực nghiệm thành phần cài đặt Error! Bookmark not defined 3.2 Thuâ ̣t toán phân đoạn Error! Bookmark not defined 3.2.1 Thuâ ̣t toán Error! Bookmark not defined 3.2.2 Công cụ chƣơng trình .Error! Bookmark not defined 3.3 Giao diện chƣơng trình Error! Bookmark not defined vi 3.3.1 Lựa chọn video cần phân đoạn Error! Bookmark not defined 3.3.2 Kết phân đoạn Error! Bookmark not defined 3.4 Đánh giá kết phân đoạn Error! Bookmark not defined 3.5 Kết luận Error! Bookmark not defined KẾT LUẬN Error! Bookmark not defined Kết đạt đƣợc luận văn .Error! Bookmark not defined Hƣớng nghiên cứu kiến nghị Error! Bookmark not defined TÀI LIỆU THAM KHẢO 11 Tiếng Việt 11 Tiếng Anh 11 DANH MỤC CÁC TỪ VIẾT TẮT AVI Audio Video Interleave CSDL Cơ sở liệu DCT Discrete Cosine Transform DV Digital Video DVD Digital Video Disc MPEG Moving Picture Experts Group NTSC National Television Standard Committee PAL Phase Alternating Lines SECAM Sequential Color with Memory ISO-IEC International Organization for Standardization International Electrotechnical Commission JPEG Joint Picture Experts Group MJPEG Motion JPEG ITU-T International Telecommunication Union vii DDL Data definition language GOP Group of picture AVC Advanced Video Coding VCEG Video Coding Experts Group GOB Group of Block CPU Central Processing Unit viii DANH MỤC HÌNH VẼ Hình 1.1 Cấ u trúc phân cấp liệu video Hình 1.2 : Khung hình Hình 1.3 : Đoạn sở Hình 1.4 Chuyển cảnh đột ngột Hình 1.5 : Cắt cứng .5 Hình 1.6 : Fade in Hình 1.7 : Fade out Hình 1.8 : Chồng mờ Hình 1.9: Một số loại Wipe .6 Hình 1.10 : Cấu trúc GOP Error! Bookmark not defined Hình 1.11 : Cấu trúc GOP khép kín Error! Bookmark not defined Hình 1.12 : Kiến trúc dòng liệu MPEG Error! Bookmark not defined Bảng 1.1 : Mô tả kiểu CIF QCIF Error! Bookmark not defined Hình 1.13 : Biểu đồ màu Error! Bookmark not defined Hình 1.14 : Biểu đồ thể loại ảnh Error! Bookmark not defined Hình 1.15 : Các thao tác Camera Error! Bookmark not defined Hình 2.1 So sánh điểm ảnh khung hình kích thƣớc (X×Y) liên tiếp Error! Bookmark not defined Hình 2.2 Ảnh hƣởng chớp sáng Error! Bookmark not defined Hình 2.3 Các cửa sổ sở Error! Bookmark not defined Hình 2.4 Sự sai khác lƣợc đồ màu(mức xám) phát chuyển lia đột ngột Error! Bookmark not defined Hình 2.5 Sự sai khác lƣợc đồ màu(mức xám) phát chuyển lia Error! Bookmark not defined Hình 2.6 Giao hai biểu đồ màu (mức xám) Error! Bookmark not defined Hình 2.7 Phát chuyển lia dựa ngƣỡngError! defined Bookmark not Hình 2.8 Thuật toán phát chuyển lia Error! Bookmark not defined ix Hình 2.9 Đạo hàm bậc HD[i] Error! Bookmark not defined Hình 2.10 Đạo hàm bậc hai HD[i] Error! Bookmark not defined Hình 2.11 Phát chuyển lia dạng Fade video không nén video nén Error! Bookmark not defined Hình 2.12 Phát chuyển lia dạng Dissolve video không nén video nén Error! Bookmark not defined Hình 2.13 Cửa sổ trƣợt .Error! Bookmark not defined Hình 2.14 Ví dụ thuật tốn cửa sổ trƣợt Error! Bookmark not defined Hình 2.15 Sự biến đổi giá trị PFC [25] .Error! Bookmark not defined Hình 3.1 Một số file thƣ viện AForge.NET Error! Bookmark not defined Hình 3.2 Thuâ ̣t toán phân đoạn video .Error! Bookmark not defined Hình 3.3 Thƣ mục chƣơng trin ̀ h .Error! Bookmark not defined Hình 3.4 Các chƣơng triǹ h liên quan .Error! Bookmark not defined Hình 3.5 Một đoạn mã C Error! Bookmark not defined Hình 3.6 Lựa chọn tệp video cần phân đoạn Error! Bookmark not defined Hình 3.7 Lựa chọn phân đoạn Camera Error! Bookmark not defined Hình 3.8 Kết phân đoạn .Error! Bookmark not defined Hình 3.9 Kết phân đoạn dƣới dạng icon .Error! Bookmark not defined Hình 3.10 Kết phân đoạn video phần mềm Pinnacle Studio Error! Bookmark not defined Hình 3.11 Thuật toán cửa sổ trƣợt phát nhầm chuyển cảnhError! Bookmark not defined Bảng 1.1 : Mô tả kiểu CIF QCIF Error! Bookmark not defined.4 MỞ ĐẦU Tính cấp thiết đề tài Hiện nay, phần lớn lƣợng thông tin mà ngƣời tiếp thu đƣợc từ giới bên ngồi dạng thơng tin thị giác, nghiên cứu dạng thơng tin nhiều mang đến lợi ích thiết thực cho sống Với phát triển khoa học công nghệ nay, thông tin thị giác mà ngƣời nhận đƣợc đuợc số hóa dƣới hai dạng ảnh số video số Khái niệm video xuất vào năm đầu kỷ XX ngày đƣợc ứng dụng nhiều thực tế, nhiên phải đến năm cuối kỷ XX video số thực phát triển Cho đến có đời phát triển mạng máy tính c c t h i ế t b ị s ố việc xử lý liệu video đƣợc số hố máy tính tỏ hiệu Dữ liệu video đƣợc đƣa vào nhiều ứng dụng thực tế nhƣ : đào tạo điện tử dựa vào mạng máy tính, hỗ trợ đào tạo trực tuyến, hệ thống hội thảo trực tuyến, hệ thống mô phỏng, giám sát, video theo yêu cầu… Vấn đề nâng cao hiệu chất lƣợng thao tác, xử lý với liệu video ngày đƣợc quan tâm Trong đa phƣơng tiện liệu video khác với c c l o i liệu khác hai yếu tố thời gian không gian Hơn nữa, dung lƣợng định dạng phi cấu trúc liệu video số đ ã t o khơng khó khăn trình quản lý, truy xuất liệu video So với ảnh số có tính chất tĩnh, video liệu động theo trục thời gian Video đƣợc biểu diễn cách liên tục thành chuỗi với tốc độ định Một đoạn video có chất lƣợng tốt có khoảng 25 đến 30 khung hình (frames) giây theo chuẩn NTSC Chính đặc tính liên tục lƣợng liệu lớn làm cho liệu video trở nên thách thức xử lý tha o tác Nói cách khác, lƣợng thơng tin nhiều hơn, đặc biệt có kèm theo thời gian s ự chuyển động, t h ì lại có thêm nhiều cách để phân tích nội dung video Hơn nữa, nội dung liệu video lại có dạng phân cấp đƣợc chia thành đoạn, cảnh, khung hình đối tƣợng kèm theo hành động Những hệ thống tìm kiếm video hiệu đòi hỏi phân tích mục đƣợc tất yếu tố Trong trình nỗ lực tìm kiếm lời giải cho toán x l ý liệu video, tốn phân đoạn video xuất Để truy vấn, mục, tìm kiếm nội dung video, t rƣ ớc hế t video phải đƣợc phân c hi a cách thích hợp có ý nghĩa mặt nội dung Sự phân đoạn miêu tả đặc điểm tay cách thủ công, tốn nhiều thời gian, phụ thuộc vào kỹ hiểu biết ngƣời thực 2 Trong hệ thống xử lý liệu video, bƣớc quan trọng phân đoạn liệu video theo thời gian Bƣớc nhằm mục đích phân chia dòng video liên tục thành đơn vị sở có ý nghĩa lia (shot), cảnh (scene) hay dãy cảnh quay Chính vậy, việc nghiên cứu phân đoạn video cần thiết cho hệ thống xử lý liệu video ngày trở nên cấp thiết nhu cầu sử dụng liệu video ngày gia tăng Xuất phát từ tơi lựa chọn đề tài "Nghiên cứu số kỹ thuật phân đoạn video ứng dụng" Trƣớc hết, việc mô tả nội dung liệu video văn túy điều khó khăn Video có dung lƣợng lớn, lại chứa thơng tin lặp lại nhiều lần, khung hình gần có nội dung giống Do đó, việc thao tác với tất khung hình thật khơng hiệu Vì cần phải có phƣơng pháp đắn để xử lý liệu video Mục tiêu đề tài Tìm hiểu số kỹ thuật phân đoạn liệu video môi trƣờng đa phƣơng tiện, đề xuất số cải tiến xây dựng ứng dụng cụ thể sử dụng kỹ thuật tìm hiểu Nội dung đề tài  Tổng quan liệu video  Tìm hiểu số kỹ thuật phân đoạn video  Triển khai chƣơng trình thử nghiệm phân đoạn video nhằm tìm phân đoạn có ngữ cảnh phù hợp Các phƣơng pháp phân đoạn liệu video trình bày luận văn góp phần hệ thống hóa lý thuyết CSDL video, cung cấp thuật tốn cơng cụ để chuẩn bị cho việc xây dựng CSDL video số môi trƣờng đa phƣơng tiện đƣợc ứng dụng thực tế Bố cục Luận văn gồm chƣơng với phần mở đầu, kết luận, cơng trình báo khoa học đƣợc công bố:  Chƣơng 1: Tổng quan liệu video môi trƣờng đa phƣơng tiện, đƣa nhìn chung video  Chƣơng 2: Các kỹ thuật phân đoạn video  Chƣơng 3: Thực nghiệm chƣơng trình phân đoạn video Cuối luận văn kết luận danh mục tài liệu tham khảo 3 CHƢƠNG TỔNG QUAN VỀ DỮ LIỆU VIDEO 1.1 Khái niệm tổng quan Ngày nay, với phát triển mạnh mẽ khoa học công nghệ thiết bị số mang lại thành tựu ứng dụng lớn sống Trong đó, phát triển đa phƣơng tiện nhƣ thiết bị truyền thông mang lại nhiều ứng dụng thiết thực đời sống Tuy nhiên, nhƣ chƣa đủ, cần nhiều nghiên cứu liên quan đến khía cạnh Trong việc xử lý video đƣợc đặt lên hàng đầu, đặc tính khó xử lý video Video chuỗi ảnh tĩnh liên tục theo không gian thời gian hai nhằm mơ chuyển động [1,2] Sau đó, hàng loạt nghiên cứu khác liên quan đến việc mô tả chuyển động theo thời gian đƣợc triển khai có ứng dụng đáng kể Video đƣợc hình thành từ ảnh (khung hình - frame) liên tiếp nhau, tuỳ theo chuẩn video khác mà số khung hình giây khác Các khung hình liên tiếp mặt thời gian tạo thành đoạn sở (shot) Một video gồm nhiều đoạn cở sở ghép nối lại, có chuyển đổi từ đoạn sang đoạn chuyển cảnh đột ngột chuyển cảnh việc sử dụng số hiệu ứng biên tập video (dissolve, fade, wipe, ) Hình 1.1 Cấ u trúc phân cấp liệu video Trong cấu trúc phân cấp khung hình lia đơn vị vật lý Các khái niệm cảnh (scene) chuỗi (sequence) đơn vị logic dòng video Một cảnh gồm lia liên quan không gian liền kề thời gian, mô tả nội dung ngữ nghĩa tình tiết Trong số cảnh đƣa đến ý nghĩa, gọi chuỗi (sequence) [1] 1.1.1 Khung hình Một đoạn video gồm chuỗi ảnh tĩnh liên tiếp tạo nên chuyển động Mỗi ảnh tĩnh đƣợc gọi khung hình (frame) Để đoạn video tạo cảm giác chuyển động, khung hình phải đƣợc quay với tốc độ phù hợp Vì mắt ngƣời nhận đƣợc 24 hình/giây, nên nhƣ giây, lần lƣợt 24 hình nhiều đƣợc phát mắt khơng nhận đƣợc rời rạc khung hình, mà thấy cảnh liên tục A A A Khung hình thứ i-1 B B B C Khung hình thứ i C C Khung hình thứ i +1 Hình 1.2 : Khung hình Khung hình đơn vị liệu video Theo chuẩn hệ NTSC giây có 30 khung hình, phút có 1800 khung hình, có 60x1800 = 108000 khung hình Có thề thấy số lƣợng khung hình cho đoạn video thƣờng lớn, cần phải có đơn vị cấp cao cho video số [5] 1.1.2 Đoạn sở Đoạn sở, hay lia (shot) chuỗi khung hình liên thời gian mơ tả hành động liên tục A A Đoạn sở thứ i A B B B Đoạn sở thứ i+1 C C C Đoạn sở thứ i+2 Chuyển cảnh Hình 1.3 : Đoạn sở Một đoạn video có nhiều đoạn sở, mà đoạn sở Những đoạn sở đại diện cho toàn đoạn video, truy xuất đến chúng coi nhƣ truy xuất đến đoạn video Tổ chức đoạn video mức độ đoạn sở thích hợp cho việc duyệt truy tìm thơng tin dựa vào nội dung 1.1.3 Một số hình thức chuyển cảnh Scene (cảnh) đơn vị logic dòng video, cảnh gồm shot (lia) liên quan không gian liền kề thời gian, mô tả nội dung ngữ nghĩa tình tiết Chuyển cảnh chuyển đổi đƣa ngƣời xem từ lia sang lia khác Có hai loại khác q trình chuyển đổi xảy chuyển cảnh [2]:  Chuyến cảnh đột ngột (abrupt scene change hay cut): Xảy có chuyển đổi đột ngột khung hình đoạn camera dừng khởi động có chuyển đổi nhanh cảnh sang cảnh khác A A A B B B Hình 1.4 Chuyển cảnh đột ngột  Chuyển cảnh thay đổi (gradual scene change): Khác với chuyển cảnh đột ngột khung hình thay đổi Việc thay đổi số hiệu ứng biên tập video: Cắt cứng (Cut),Fade in/out, chồng mờ (dissolve), wipe…làm thay đổi màu, khơng gian khung hình  Cắt cứng: biến đổi đột ngột từ hai cảnh, xảy hai khung hình Ví dụ: có chuyển đổi đột ngột A B A A A B B B Hình 1.5 : Cắt cứng  Fade: biến đổi cảnh ảnh cảnh sau xuất mờ dần (fade out) biến đổi dần ảnh cảnh phim cảnh sau xuất rõ dần lên (fade in) A A A A Hình 1.6 : Fade in A A A A A A A A Hình 1.7 : Fade out  Chồng mờ: biến đổi từ cảnh cũ sang cảnh cảnh cũ đƣợc fade out cảnh đƣợc fade in, cảnh xuất có chồng chéo lên Ví dụ có chuyển đổi hai cảnh A cảnh B, nhƣng trình chuyển đổi có chồng chéo A B A AB AB AB AB B Hình 1.8 : Chồng mờ  Wipe: tƣợng cảnh chạy theo đƣờng hình, cảnh xuất phía sau đƣờng Hình 1.9: Một số loại Wipe 1.1.4 Một số dạng video 1.1.4.1 Video tương tự [2,30] NTSC Video: Đây dạng Video tƣơng tự với 525 dòng khung hình, 30 khung hình giây, qt cách dòng, chia làm hai trƣờng (mỗi trƣờng 262.5 dòng), có 20 dòng cho thông tin điều khiển thời điểm bắt đầu trƣờng PAL Video: Dạng Video có 625 dòng khung hình, 25 khung hình giây, quét cách dòng Khung gồm hai trƣờng chẵn lẻ, trƣờng bao gồm 312.5 dòng 7 1.1.4.2 Video số Tín hiệu video số : Đƣợc lƣu trữ dƣới dạng số, đƣợc lấy mẫu lƣợng tử hóa Tín hiệu video số thông tin chiều gồm chiều không gian chiều thời gian hay đƣợc gọi chuỗi ảnh số với ảnh số ảnh đƣợc lấy mẫu lƣợng tử hóa [5] Các chuẩn video số : việc trao đổi giừa ứng dụng sản phẩm video số đƣa chuẩn video số Các chuẩn bao gồm :  Chuẩn nén : dùng để trao đổi thông tin dạng nén video  Chuẩn độ phân giải hiển thị : đƣợc dùng công nghiệp máy tính  Chuẩn studio số : đƣợc dùng ngành công nghiệp ti vi  Chuẩn giao tiếp mạng đƣợc dùng công nghiệp truyền thông Nhƣợc điểm video số: Video số yêu cầu dung lƣợng để lƣu trữ lớn băng thông rộng để truyền tải mạng Internet Với tín hiệu TV chất lƣợng tốt cần 1440 điểm ảnh dòng, 1050 dòng cho frame độ sáng, 720 điểm dòng 525 dòng khung hình Bởi giây có 30 frame bit/pixel nên kết cuối xấp xĩ 545 Mps Đây yêu cầu lớn Do mà hiên phƣơng pháp nén video để giảm kích thƣớc truyền tải lƣu trữ đƣợc nghiên cứu đƣa ứng dụng thực tế Ƣu điểm video số: Tuy có mặt hạn chế nhớ lƣu trữ nhƣng video số lại có nhiều ƣu điểm đƣợc ứng dụng rộng rãi thực tế Video cung cấp số hoạt động tƣơng tác nhƣ : chọn kênh, chỉnh tới lui quay chậm băng video Ngồi để hiển thị tín hiệu theo chuẩn hệ máy dùng chuẩn khác ta cần có chuyển đổi tín hiệu đắt tiền Với tín hiệu số khơng cần phải chuyển đổi tín hiệu Ngồi chỉnh sửa, tạo hiệu ứng video số Video số khơng có vai trò giải trí mà cung cấp nhiều thơng tin quan trọng nhiều lĩnh vực nhƣ ảnh giám sát quân sự, điều khiển giao thơng, rút trích thơng tin từ liệu ảnh video [26] 1.1.5 Các định dạng video Sự chuẩn hóa video tƣơng tự năm đầu thập niên 1950 (NTSC) năm cuối 1960 (SECAM PAL) làm cho ảnh chuyển động xuất hầu nhƣ khắp nơi, với thiết bị vô tuyến đƣợc dùng rộng rãi cho mục đích giải trí, hệ thống ứng dụng cơng nghệ nhƣ phát chuyển động tiếp tục đƣợc phát triển 8 Trong trình xử lý truy xuất video cần hiểu rõ định dạng chuẩn video Ví dụ: để tạo video sử dụng Intermet cần phải thiết lập tham số nén đảm bảo tệp video theo định dạng mục đích sử dụng Ngồi yếu tố kỹ thuật, việc xác định định dạng video phụ thuộc vào yếu tố kinh nghiệm ngƣời xử lý MPEG, AVI cho Windows, MOV cho QuickTime định dạng đƣợc sử dụng rộng rãi [27], ngồi số định dạng khác hay đƣợc sử dụng 1.1.5.1 Định dạng AVI Đây định dạng phổ biến đƣợc thiết kế để dùng môi trƣờng Windows Định dạng linh hoạt, sử dụng nhiều thuật toán nén video đƣợc phát triển từ trƣớc đến để tạo sản phẩm video theo mục đích sử dụng 1.1.5.2 Định dạng MOV QuickTime Movie (*.mov) định dạng đƣợc Apple phát triển Các phần mềm soạn thảo video thƣờng cung cấp mã nén theo chuẩn QuickTime sử dụng môi trƣờng hệ điều hành Windows Mac Định dạng QuickTime đƣợc xây dựng từ nhiều thuật tốn nén ảnh âm mơi trƣờng Mac QuickTime định dạng đƣợc nhiều phần mềm ứng dụng hỗ trợ Khơng thế, đƣợc cài đặt nhiều chíp xử lý hệ thống máy Mac 1.1.5.3 MPEG-4 Video File Định dạng MPEG-4(*.mp4) tiêu chuẩn đƣợc phát triển Moving Picture Experts Group, đƣợc sử dụng nhiều điện thoại thiết bị chơi video (còn gọi thiết bị chơi MP4) Định dạng MPEG-4 sử dụng định dạng nén riêng biệt cho video audio Video đƣợc nén với kiểu mã hóa video MPEG-4 âm đƣợc nén theo kiểu mã hóa AAC 1.1.5.4 Real Media File Real Media (*.rm) định dạng đƣợc phát triển RealNetworks Real Media chứa thông tin video (RealVideo) âm (RealAudio) thƣờng đƣợc dùng để truyền tải tập tin đa phƣơng tiện thơng qua Internet Tập tin RM đƣợc chơi chƣơng trình RealPlayer 1.1.5.5 DVD Video Object File Định dạng VOB chủ yếu liên quan đến DVD Video Movie File Một tập tin VOB thƣờng chứa luồng đa cơng (multiplex) gồm: video, âm phụ đề Có thể dùng VLC để chơi file VOB 9 1.1.5.6 Định dạng WMV WindowsMedia Video định dạng file hay gặp hàng ngày File Windows Media chứa video đƣợc mã hóa theo codec Windows Media Video âm đƣợc mã hóa theo codec Windows Media Audio codec 1.2 Chuẩn nén MPEG 1.2.1 Giới thiệu chuẩn nén MPEG Năm 1988, chuẩn nén MPEG đƣợc lập JTC cơng nghệ thơng tin Nhiệm vụ nhóm chuẩn thể mã hóa hình động, âm liên kết, tổ hợp chúng lƣu trữ tìm kiếm phƣơng tiện số Các phƣơng tiện sô đƣợc xem thiết bị lƣu trữ thông thƣờng, nhƣ : CD-ROM, thiết bị băng, đĩa quang, kênh truyền ISDN, mạng LAN Ban đầu có ba nhóm, để mã hóa hình động âm liên kết với (i) 1.5 Mbps; (ii) 10 Mbps; (iii) 40 Mbps, ứng với MPEG-1, 2, [1,13]  Tiêu chuẩn đƣợc nhóm MPEG đƣa vào năm 1991 theo chuẩn ISO/IEC 11172 MPEG-1, mục tiêu MPEG-1 mã video chất lƣợng VHS, 360x280 pixel, 30 fps, lƣu lƣợng khoảng 1.5 Mbps Tỉ lệ 1.5 Mbps đƣợc chọn thông lƣợng thiết bị CDROM  Tiêu chuẩn thứ : MPEG-2 đƣợc đƣa vào năm 1994 theo chuẩn ISO/IEC 13818, chuẩn nén đƣa nhiều cơng cụ mã hố khác nhau, gọi “Profiles” đƣợc tiêu chuẩn hố sử dụng để phục vụ nhiều mục đích khác  Tiêu chuẩn mà MPEG đƣa MPEG-4, đƣợc đƣa vào năm 1999 theo chuẩn ISO/IEC 14496, tạo phƣơng thức thiết lập tƣơng tác với truyền thơng nghe nhìn mạng Internet, tạo phƣơng thức tiếp cận nội dung video sở nội dung hƣớng đối tƣợng (content/object-based)  MPEG-7: Mô tả nội dung đa phƣơng tiện, chuẩn cho nén mã hoá audio/ảnh động nhƣ MPEG-1, MPEG-2 hay MPEG-4 MPEG-7 sử dụng ngôn ngữ đánh dấu mở rộng XML để lƣu trữ siêu liệu, kèm theo timecode để gắn thẻ cho kiện, hay đồng liệu MPEG-7 bao gồm chuẩn (i) Bộ sơ đồ đặc tả (Description Schemes) đặc tả (Description); (ii) Ngôn ngữ xác định DDL (Description Definition Language) để định nghĩa sơ đồ đặc tả; (iii) Sơ đồ mã hoá q trình đặc tả 10 Các chuẩn MPEG có ba phần chính:(i) MPEG video; (ii) MPEG âm thanh; (iii) MPEG hệ thống MPEG hệ thống có nhiệm vụ đồng hóa dồn kênh dòng bit nén hỗn hợp âm video Ngồi có thêm phần mô tả thủ tục cho phép định đặc tính dòng bit đƣợc nén cho phép đáp ứng yêu cầu ba phần thiết lập Điều quan trọng chuẩn MPEG việc mơ tả cấu trúc dòng bit đƣợc mã hóa, nên giải mã theo chuẩn giải mã dòng bit Các chuẩn khơng mơ tả cách tạo dòng bit, mà dành cho việc thiết kế, cài đặt Các chuẩn MPEG-1, MPEG-2 đƣợc dùng rộng rãi ứng dụng đa phƣơng tiện Việc kết hợp MPEG-4 MPEG-7 tạo giải pháp lý tƣởng cho dịch vụ streaming media hệ thống lƣu trữ thời gian tới 1.2.2 Cấu trúc ảnh MPEG MPEG định nghĩa loại ảnh khác để cân nhắc hiệu mã hóa truy cập nội dung video, có sử dụng thuật tốn dự đốn bù trừ chuyển động “Thuật toán bù chuyển động [30] thuật tốn sử dụng nén video, mơ tả ảnh dƣới dạng biến đổi tác động lên ảnh tham chiếu thu kết ảnh đƣợc thiết lập Ảnh tham chiếu xuất trƣớc hay sau ảnh đƣợc tái lập ảnh đƣợc thiết lập từ tham chiếu khác nữa” Các loại ảnh nhƣ sau [1]: Ảnh loại I (Intra-picture) : Là ảnh đƣợc mã hóa riêng, tƣơng tự nhƣ việc mã hóa ảnh tĩnh JPEG Ảnh I chứa đựng liệu để tái tạo lại tồn hình ảnh chúng đƣợc tạo thành thông tin ảnh để dự báo cho ảnh B,P Ảnh I cho phép truy cập ngẫu nhiên, nhiên cho tỷ lệ nén thấp Ảnh loại P (Predicted-picture) : Là ảnh đƣợc mã hóa có bù chuyển động từ ảnh I ảnh P phía trƣớc Ảnh P có hệ số nén cao ảnh I sử dụng làm ảnh so sánh cho việc bù chuyển động cho ảnh P B khác Ảnh loại B ( Bi-directional predicted picture) : Là ảnh đƣợc mã hóa sử dụng bù chuyển động từ ảnh I P phía trƣớc phía sau Ảnh B cho tỷ lệ nén cao Ảnh I đƣợc gọi ảnh tham chiếu, ảnh P B đƣợc gọi chung ảnh dự đoán Việc tổ chức ba loại ảnh I, P, B xâu video linh hoạt Việc lựa chọn ảnh 11 TÀI LIỆU THAM KHẢO Tiếng Việt [1] Đỗ Trung Tuấn(2010), Cơ sở liệu đa phƣơng tiện, Học viện Cơng nghệ Bƣu Viễn thông [2] Lƣơng Xuân Cƣơng, Đỗ Trung Tuấn (2006), “Thuật toán cho phép nâng cao khả phân đoạn liệu video”, Tạp chí khoa học ĐHQGHN, KHTN&CN T.XXII Số 3,2006 [3] Nguyễn Trung Hiếu (2014), “Một số ki ̃ thuâ ̣t phân đoạn liệu đa phƣơng tiện liệu video”, Luận văn Thạc sĩ Công nghệ thông tin truyền thơng, Học viện Cơng nghệ Bƣu viễn thông Tiếng Anh [4] Akutsu A, Tonomura Y and Ohba Y (1991), Video browsing using brightness data, in Proc SPIE-IST VCIP91, vol 1606,pp 990-989 [5] Borko Furht, Stephen W Smoliar, HongJiang Zhang (1995), Video and Image Processing in Multimedia Systems, Kluwer Academic Publisher, Boston/Dordrecht/London, XII, 376p [6] Boreczky J and Rowe L A (1996), Comparison of video shot boundary detection techniques, in IS&T/SPIE proceedings: Storage and Retrieval for Images and Video Databases IV, volume 2670, pages 170-179, February 1996 [7] Dailianas A, Allen RB, England P(1995), Comparison of automatic video segmentation algorithms, In: SPIE Conference on Integration Issues in Large Commercial Media Delivery Systems, vol 2615, Philadelphia, PA, October 1995 p 2–16 [8] Gulrukh Ahanger, Dan Benson, T.D.C Little (1995), Video Query Formulation, MCL Technical Report 01-09-1995 [9] Kasturi R, Jain R (1993), Dynamic vision, in Computer Vison: Principles Hardcover, Kasturi R and Jain R, IEEE Computer Society Press, Washington DC, p 469-480 [10] Kikukawa T, Kawafuchi S (1992), Development of an automatic 12 summary editing system for the audio-visual resources, Transactions on Electronics and Information J75-A, 204-212 [11] Lawrence S, Ziou D, Auclair-Fortier MF, Wang S, Motion insensitive detection of cuts and gradual transitions in digital videos, Technical Report 266, DMI, University of Sherbrooke, Canada, May 2001 [12] M Petkovic, W Jonker, Content-Based Video Retrieval: A Database Perspective, Kluwer Academic Publishers, Boston, Monograph, ISBN 1- 4020-7617-7, 168p hardcover, 2003 [13] MPEG, MPEG standards, chiariglione.org Retrieved 2014-07-24 [14] Nagasaka A, Tanaka Y (1991), Automatic Video Indexing and Full Video Search for Object Appearances, Visual Database Systems, vol-II, pp 113-127 [15] Nagasaka A, Tanaka Y (1995), Automatic video indexing and fullvideo search for object appearances, in: Knuth E, Wegner L M (Eds), Visual Database Systems II, Elsevier, Amsterdam, 1995, pp 113-127 [16] O’ Toole, Colin, Smeaton, Alan F and Murphy, Noel and Marlow, Seán (1999), Evaluation of Automatic Shot Boundary Detection on a Large Video Test Suite, In CIR 1999-The Challenge of Image Retrieval: 2nd UK Conference on Image Retrieval 25-26 February 1999, Newcastle upon Tyne, UK 05/1999 [17] Ren W, Sharma M, Singh S (2001), Automated video segmentation, In: International Conference on Information, Communication, and Signal Processing, Singapore, October-2001 [18] Tamura H, Mori S, and Yamawaki T (1978), Texture features corresponding to visual perception, IEEE Trans On Sys., Man and Cyb SMC-8(6) [19] Taniguchi Y, Akutsu A, Tonomura Y (1997), Panorama excerpts: extracting and packing panoramas for video browsing, In: ACM International Conference on Multimedia, Seattle, WA, November 1997 13 [20] Wang J, Yang W J, and Acharya R (1997), Color clustering techniques for color-content-based image retrieval from image databases, in Proc IEEE Conf on Multimedia Computing and Systems [21] Xiong W, Lee JCM(1998), Efficient scene change detection and camera motion annotation for video classification, Journal of Computer Vision and Image Understanding 1998;71(2), p.166–181 [22] Yong Rui, Thomas S, Huang (1999), Image Retrieval: Current Techniques, Promising Direction, and Open Issues, In IDEL, Retrieved 0107-1999, p 43 [23] Zhao W, Wang J, Bhat D, Sakiewics K, Nandhakumar N, Chang W(1999), Improving color based video shot detection, In: IEEE International Conference on Multimedia Computing and Systems, vol 2, Florence, Italy, June 1999 p 752–756 [24] Zhang H J, Kankanhalli A, Smoliar S W(1993), Automatic partitioning of full-motion video, Multimedia Systems, p.10-28 [25] S.M.M Tahaghoghi et al (2005), Video Cut Detection using Frame Windows, Proceedings of the Twenty-eight Australasian conference on Computer Science, pp 193-199 Danh mục website tham khảo: [26] CCIR-601, http://www.cs.cf.ac.uk/Dave/Multimedia/node197.html, 2015 [27] Video Formatting, https://sites.google.com/site/tamvm77/cac-thuatngu-dinh-dang-file-video-audio-thong-dung [28] Aforge.NET Library, http://www.aforgenet.com/framework [29] Codec, http://www.codecguide.com/ [30] https://vi.wikipedia.org/wiki/Dự_đoán_bù_trừ_chuyển_động [31] https://vi.wikipedia.org/wiki/ITU-T ... Tổng quan liệu video  Tìm hiểu số kỹ thuật phân đoạn video  Triển khai chƣơng trình thử nghiệm phân đoạn video nhằm tìm phân đoạn có ngữ cảnh phù hợp Các phƣơng pháp phân đoạn liệu video trình... Hình 1.3 : Đoạn sở Một đoạn video có nhiều đoạn sở, mà đoạn sở Những đoạn sở đại diện cho toàn đoạn video, truy xuất đến chúng coi nhƣ truy xuất đến đoạn video Tổ chức đoạn video mức độ đoạn sở... cứu phân đoạn video cần thiết cho hệ thống xử lý liệu video ngày trở nên cấp thiết nhu cầu sử dụng liệu video ngày gia tăng Xuất phát từ tơi lựa chọn đề tài "Nghiên cứu số kỹ thuật phân đoạn video