nghiên cứu một số kỹ thuật phân đoạn video

Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN ĐÌNH TRUNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Thái Nguyên, 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ ĐẠI HỌC THÁI NGUYÊN TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN ĐÌNH TRUNG NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO Chuyên ngành: Khoa học máy tính Mã số: 60 48 01 LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH NGƢỜI HƢỚNG DẪN KHOA HỌC TS. NGUYỄN THỊ HỒNG MINH Đã chỉnh sửa theo ý kiến của hội đồng. Thái Nguyên, 2014 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CAM ĐOAN Tôi xin cam đoan Những nội dung trong luận văn “NGHIÊN CỨU MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO” là do tôi thực hiện dƣới sự hƣớng dẫn trực tiếp của Cô TS. Nguyễn Thị Hồng Minh. Mọi tham khảo dùng trong luận văn đều đƣợc trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm công bố. Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo, hay gian trá, tôi xin chịu trách nhiệm hoàn toàn. Thái Nguyên, tháng 05 năm 2014 Nguyễn Đình Trung Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ LỜI CẢM ƠN Tôi xin gửi lời cảm ơn chân thành nhất tới TS. Nguyễn Thị Hồng Minh, Cô đã cho tôi những định hƣớng, tận tình chỉ bảo giúp đỡ tôi những ý kiến rất quý báu để tôi hoàn thành luận văn tốt nghiệp này. Tôi xin cảm ơn Trƣờng Đại Học Công Nghệ Thông tin và Truyền thông - Đại Học Thái Nguyên đã hết sức tạo điều kiện cho tôi trong quá trình học, làm và hoàn thành khóa luận này. Xin chân thành cảm ơn quý Thầy Cô trong khoa Sau đại học Trƣờng Đại học Công nghệ Thông tin và Truyền thông – ĐH Thái Nguyên đã nhiệt tình giảng dạy, trang bị cho tôi những kiến thức quý báu trong suốt thời gian học tập tại trƣờng. Tôi xin tỏ lòng biết ơn sâu sắc tới các thầy cô, bạn bè đã dìu dắt, giúp đỡ tôi tiến bộ trong suốt quá trình làm khóa luận tốt nghiệp. Xin gửi lời cảm ơn tới gia đình, những ngƣời bạn của tôi đã động viên, giúp đỡ tôi trong suốt quá trình học tập và hoàn thành luận văn. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MỤC LỤC PHẦN MỞ ĐẦU 8 I. Lý do chọn đề tài 8 II. Mục tiêu nghiên cứu 10 III. Nội dung nghiên cứu 10 IV. Phƣơng pháp nghiên cứu 10 Chƣơng 1 KHÁI QUÁT VỀ VIDEO VÀ BÀI TOÁN PHÂN ĐOẠN 12 1.1. Khái quát về video 12 1.1.1. Video là gì 12 1.1.1.2. Chuyển Cảnh 12 1.1.2. Các ứng dụng Video 13 1.1.2.1. Video tƣơng tự 15 1.1.2.2. Video số 16 1.1.3. Các chuẩn video 16 1.1.3.1. Định dạng AVI 17 1.1.3.2. Định dạng MOV 17 1.1.3.3. Các định chuẩn MPEG 19 1.1.3.4. Chuẩn ITU-T 23 1.1.4. Một số đặc trƣng của video 33 1.1.4.1. Màu sắc 33 1.1.4.2. Kết cấu 33 1.1.4.3. Hình dáng 35 1.1.4.4. Chuyển động 35 1.2. Bài toán phân đoạn Video 36 1.2.1. Bài toán 36 1.2.2. Phân loại các phƣơng pháp phân đoạn 36 1.2.3. Các yếu tố chính để xác định phƣơng pháp phân đoạn 37 Chƣơng 2 MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO 38 2.1. Phân đoạn video bằng kỹ thuật phát hiện đối tƣợng từ trên xuống 38 2.2. Phân đoạn và theo vết các vùng Video 39 2.3. Phân đoạn Video bằng kỹ thuật trừ ảnh và phát hiện chuyển cảnh trong Video 41 2.3.1. Các kỹ thuật trừ ảnh 43 2.3.1.1. Trừ ảnh dựa vào điểm ảnh 43 2.3.1.2. Trừ ảnh phân khối 45 2.3.2. Phƣơng pháp biểu đồ màu. 45 2.3.2.1. Biểu đồ toàn cục 48 2.3.2.2. Biểu đồ cục bộ 48 2.3.3. Trừ ảnh dựa vào đặc trƣng 53 2.3.3.1. Đặc trƣng là cạnh 55 2.3.3.2. Đặc trƣng là vectơ chuyển động 55 2.3.4. Phƣơng pháp thống kê 61 2.3.5. Phát hiện chuyển cảnh 64 2.3.5.1. Đối với kỹ thuật phát hiện cắt cảnh 65 2.3.5.2. Đối với các kỹ thuật phát hiện chuyển cảnh dần dần 65 Chƣơng 3 CHƢƠNG TRÌNH THỬ NGHIỆM 67 3.1. Bài toán 68 3.2. Phân tích, lựa chọn công cụ 68 Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ 3.3. Một số kết quả thực hiện chƣơng trình 68 PHẦN KẾT LUẬN 71 TÀI LIỆU THAM KHẢO Error! Bookmark not defined. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC KÝ HIỆU VÀ VIẾT TẮT AVI Audio Video Interleave BLOB Binary Large Object CATV Cable Television CBT Computer Based Training CDMA Code Division Multiple Access CSDL Cơ sở dữ liệu CCIR Consultative Committee for International Radio DBMS Database Management System DBS Direct Broadcast Satellite DCT Discrete Cosine Transform DV Digital Video DVD Digital Video Disc HDTV High Definition TV IEC International Electrotechnical Commission IMA Interactive Multimedia Association ISO International Organization for Standardization ISO-IEC International Organization for Standard – International Electrotechnical Commission ITU-T International Telecommunication Union JPEG Joint Picture Experts Group MACE Macintosh Audio Compression and Expansion codec Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ MOV Quick Time Movie File Extension MPEG Moving Picture Experts Group NTSC National Television Standard Committee OVID Object Video Information Database PAL Phase Alternation Line PES Packetised Elementary Streams RGB Red, Green, Blue RLE Run Leng Encoding TV Television VCD Video Compact Disc VDBMS Video Database Management System VIMSYS Visual Information Management System VOD Video On Demand VODM Video Object Description Model VSDG Video Semantic Directed Graph WBT Web Based Training WMA Windows Media Audio WMV Windows Media file with Audio/Video YUV Sơ đồ mã hoá hình ảnh màu phân cách độ chói (Y) và hai tín hiệu màu: đỏ trừ Y (U) và xanh trừ Y (V). Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ DANH MỤC CÁC HÌNH VẼ Hình 1.1: Cấu trúc phân cấp của video Error! Bookmark not defined. Hình 1.2: Cắt cứng Error! Bookmark not defined. Hình 1.3: Fade in Error! Bookmark not defined. Hình 1.4: Fade out Error! Bookmark not defined. Hình 1.5: Chồng mờ Error! Bookmark not defined. Hình 1.6: Wipe Error! Bookmark not defined. Hình 1.7: push sang trái Error! Bookmark not defined. Hình 1.8: Một số loại wipe cơ bản Error! Bookmark not defined. Hình 1.9: Sơ đồ giải nén MPEG–1 (ISO/IEC 11172)Error! Bookmark not defined. Hình 1.10: Sơ đồ nén dữ liệu âm thanh Error! Bookmark not defined. Hình 1.11: Mô hình hệ thống giải mã MPEG 2 Error! Bookmark not defined. Hình 1.12: Mô hình nén và giải nén theo từng lớp của MPEG 4 Error! Bookmark not defined. Hình 1.13: Các ảnh rất khác nhau nhƣng có cùng biểu đồ màu Error! Bookmark not defined. Hình 1.14: Biểu đồ thể hiện 4 loại ảnh cơ bản Error! Bookmark not defined. Hình 1.15: Các thao tác camera 35 Hình 2.1. Khám phá và khai thác cấu trúc các đối tƣợng ảnh………………………… 36 Hình 2.2. Sơ đồ ứng dụng kỹ thuật trừ ảnh vào phân đoạn video . Error! Bookmark not defined. Hình 2.3. Các cửa sổ cơ sở trong thuật toán so sánh thực Error! Bookmark not defined. Hình 2.4. Chênh lệch biểu đồ, * cắt cảnh, chồng mờ Error! Bookmark not defined. Hình 2.5. So sánh biểu đồ của hai ảnh Error! Bookmark not defined. Hình 2.6. a.Ví dụ một ảnh màu, b.Biểu đồ màu của ảnh a Error! Bookmark not defined. Hình 2.7. So sánh cặp a. chênh lệch biểu đồ liên tiếp, b. chênh lệch biểu đồ tích lũy Error! Bookmark not defined. Hình 2.8. Phát hiện chuyển cảnh dần dần bằng kỹ thuật so sánh cặp Error! Bookmark not defined. Hình 2.9. Phát hiện chuyển cảnh dần dần bằng kỹ thuật phát hiện cạnh Error! Bookmark not defined. Hình 2.10. Ma trận 3 thành phần mở rộng khác nhau có kích thƣớc 3*3, 5*5, 13*13 Error! Bookmark not defined. Hình 2.11. a. Phân số thay đổi cạnh P, b.Độ chênh lệch của P qua các khung hình Error! Bookmark not defined. Hình 2.12. Phát hiện chuyển cảnh dần dần bằng phƣơng pháp phát hiện cạnh a.fade out rồi fade in, b.chồng mờ Error! Bookmark not defined. Hình 2.13. Phân số thay đổi cạnh vào và ra của các khung hình Error! Bookmark not defined. Hình 2.14. Phân số thay đổi cạnh của các khung hình Error! Bookmark not defined. Hình 2.15. Phát hiện chuyển cảnh dần dần Error! Bookmark not defined. Hình 2.16. Mẫu vectơ cho các di chuyển camera Error! Bookmark not defined. Hình 2.17. Các hiệu ứng camera với luồng vectơ khuếch đại Error! Bookmark not defined. Hình 2.18. Sơ đồ khối thuật toán phát hiện chuyển cảnh 65 Hình 2.19. Kết quả phát hiện cắt cảnh. Error! Bookmark not defined. Số hóa bởi Trung tâm Học liệu http://www.lrc-tnu.edu.vn/ Hình 2.20. Kết quả phát hiện cắt cảnh bằng các kỹ thuật cải tiến từ hƣớng tiếp cận so sánh biểu đồ (HistDiff) Error! Bookmark not defined. Hình 3.1. Giao diện phát hiện chuyển cảnh 69 Hình 3.2. Nội dung file lƣu kết quả phân đoạn 69 DANH MỤC CÁC BẢNG Bảng 1.1. Các tiêu chuẩn của Video số 16 Bảng 1.2. Một số ràng buộc của MPEG-1 Error! Bookmark not defined. Bảng 1.3. Mô tả kiểu CIF và QCIF 32 Bảng 2.1. So sánh các kỹ thuật trừ ảnh với việc phát hiện biên tập video 65 [...]... tp video s dng cho mng tc thp + Indeo (R) Video R3:2: s dng nộn video 24 bit dựng cho a CD T l nộn tt, cht lng hỡnh nh cao v tc hin th nhanh hn so vi kiu nộn Microsoft Video 1 Cho kt qu tt nht nu s dng mó nộn Indeo Video trờn d liu video ngun m trc ú d liu ny khụng b nộn vi t l cao bng cỏc k thut nộn mt thụng tin Cỏc tp video c nộn bng k thut nộn Indeo (R) video R3:2 cú cht lng tng ng vi cỏc tp video. .. nộn ny cho phộp ngi x lý video cú th iu chnh to ra cỏc video dựng cho cỏc bng thụng khỏc nhau Vớ d: cú th iu chnh to ra video dựng cho modem 56Kb, 28,8Kb hay ng cỏp mng Mó nộn ny c thit k lm vic cựng vi mó nộn õm thanh Intel Audio + Intel Indeo Video Raw R1.1: c s dng tt nht cho vic thu cỏc tớn hiu video lm d liu video ngun s dng cho son tho video, vi thit b thu Intel Video Mó nộn ny cung cp cỏc... chun ny cho son tho video thụng thng + Component video: c s dng cho thu video cht lng cao to v lu tr video ngun hay to cỏc on video trung gian cho x lý Mó nộn ny cú t l nộn rt thp do ú cỏc tp video chim rt nhiu khụng gian a + Graphics: c s dng cho vic nộn v to video vi cht lng cao, cú sõu mu 8 bớt Mc tiờu ca mó nộn l nộn cỏc nh ng (mt chui cỏc nh) nhng ụi khi cng cú th s dng cho nộn video Mó nộn ny... tỏc, x lý vi d liu video ang c nhiu nh nghiờn cu, trin khai ng dng quan tõm Thụng tin video khỏc vi d liu dng vn bn cng nh d liu nh s bi hai yu t l thi gian v khụng gian Hn th na, dung lng v nh dng phi cu trỳc ca d liu video s gõy ra mt s khú khn trong qun lý, truy xut, tỏi s dng v biờn son cỏc on video thnh ti liu video So vi nh s cú tớnh cht tnh, video l d liu ng vi trc thi gian nh video c biu din mt... side centre out boundery - in Hỡnh 1.8: Mt s loi wipe c bn 1.1.2 Cỏc ng dng Video 1.1.2.1 Video tng t NTSC Video: õy l dng Video tng t vi 525 dũng trờn mt khung hỡnh, 30 khung hỡnh trong mt giõy, quột cỏch dũng, chia lm hai trng (mi trng 262.5 dũng), cú 20 dũng d tr cho thụng tin iu khin ti thi im bt u mi trng PAL Video: Dng Video ny cú 625 dũng trờn mt khung hỡnh, 25 khung hỡnh trong mt giõy, quột... hai dng l nh s v video s Video ra i vo nhng nm u ca th k XX v phỏt trin khỏ mnh m, nhng phi n nhng thp k cui ca th k XX video s mi phỏt trin Vi s ra i v phỏt trin mnh ca mỏy tớnh v cỏc h thng vin thụng, vic x lý d liu video c s hoỏ trờn mỏy tớnh t ra khỏ hiu qu D liu video s ó c a vo rt nhiu ng dng trong thc t nh o to in t da vo mỏy tớnh, h tr o to trờn mng, h thng mụ phng, giỏm sỏt, video theo yờu cu... cung cp cỏc hỡnh nh cht lng cao Cỏc tp video dựng la chn Intel Indeo Video Raw R1.1, cú kớch c nh hn cỏc tp video cha c nộn nh dng ny mu sc ca hỡnh nh video ó c chuyn t khụng gian mu RGB thnh khụng gian mu YUV + Intel Indeo Video Interactive: l kiu nộn tng t nh nh dng 5.10 nhng cú mt s h tr m rng nh c tớnh trong sut, nhiu i tng chuyn ng v cỏc hiu ng hin th li trong video S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/... d: khi x lý cỏc video phim hot hỡnh, s dng kiu nộn ny t ra khỏ hu hiu Kiu nộn ny cú mó nộn di 8 bit dựng thut toỏn nộn RLE v cht lng video cao + Microsoft Video 1: s dng k thut nộn mt thụng tin theo phng phỏp nộn khụng gian mu Mó nộn ny cú nhiu tham s cú th thay i nh: s mu trờn khuụn hỡnh ca video (8 bit hay 24 bit mu), cht lng video, s khung hỡnh chớnh Chun nộn ny cú th to ra cỏc tp video s dng cho... quan trong nh video Hn na, mc dự video l phng tin truyn thụng liờn tc, ni dung cha trong nú cú dng phõn cp theo t nhiờn Mt on phim video c chia thnh cỏc cõu chuyn, shot, frame/on, cnh, khung hỡnh v c cỏc i tng kốm theo hnh ng Nhng h thng tỡm kim video hiu qu ũi hi phõn tớch v ch mc c tt c cỏc yu t ny Trong quỏ trỡnh n lc tỡm kim li gii cho bi toỏn truy vn d liu nh, video, thỡ bi toỏn phõn on video xut... dng mó nộn ny dựng cho CD-ROM v Web video Mó nộn cú t l nộn cao v tc S húa bi Trung tõm Hc liu http://www.lrc-tnu.edu.vn/ gii nộn nhanh Cinepak dựng thut toỏn nộn khụng i xng cỏc tp video cú kớch c nh nhng thi gian nộn rt lõu Cho kt qu tt nht nu dựng Cinepak to tp video + Sorenson Video: c s dng nộn video 24 bit Cỏc tp s dng mó nộn ny dựng cho CD-ROM v Web video Nú cng ging nh mó nộn Cinepak nhng . " ;Nghiên cứu một số kỹ thuật phân đoạn video& quot;. II. Mục tiêu nghiên cứu Mục tiêu của đề tài là tập trung nghiên cứu một số kỹ thuật phân đoạn video, đề xuất một số cải tiến và xây dựng một. toán phân đoạn Video 36 1.2.1. Bài toán 36 1.2.2. Phân loại các phƣơng pháp phân đoạn 36 1.2.3. Các yếu tố chính để xác định phƣơng pháp phân đoạn 37 Chƣơng 2 MỘT SỐ KỸ THUẬT PHÂN ĐOẠN VIDEO. kỹ thuật cải tiến đã đƣợc nghiên cứu. III. Nội dung nghiên cứu Tổng quan về dữ liệu video. Nghiên cứu các kỹ thuật phân đoạn video và đề xuất cải tiến Triển khai ứng dụng thử nghiệm phân