Đồng bộ audio, video theo chuẩn MPEG

Đề tài 18: Đồng Audio, Video theo chuẩn MPEG GVHD: PGS.TS Nguyễn Thị Hoàng Lan Nhóm thực hiện: Bùi Hồng Nhung Nomintsetseg.J Lều Thị Lan Trần Xuân Quý 20111947 20114660 20111775 20112030 Nội dung trình bày Người trình bày Nội dung trình bày Nomintsetseg.J Tổng quan đồng đa phương tiện Bùi Hồng Nhung Đồng audio, video theo chuẩn MPEGTS Lều Thị Lan Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Trần Xuân Quý Ứng dụng thử nghiệm Tổng quan đồng đa phương TIỆN • • • • • • Outline: Tổng quan đồng đa phương tiện Các kiểu đồng bộ, nguyên tắc đồng liệu đa phương tiện Các mô hình đồng Các phương pháp đồng dòng liệu Tài liệu tham khao Tài liệu tham khảo • Media Synchronization - Edward Chow Based on the material in the IEEE JSAC Vol 14, No 1, Jan 1996 Tổng quan đồng đa phương tiện • Dữ liệu đa phương tiện: Dữ liệu từ nhiều nguồn phương tiện khác thời gian không gian nên việc xử lý truyền khác Nguồn dòng liệu đa phương tiện gồm loại là: • Nguồn thông tin trực tiếp: Các tín hiệu vật lý thu nhận, số hóa truyền tới nơi nhận mà không qua lưu trữ trung gian • Nguồn thông tin tái tạo hay tổng hợp: Các đối tượng media khác tổng hợp vốn lưu thiết bị lưu trữ Tổng quan đồng đa phương tiện Các kiểu đồng bộ: • • • • Đồng lien tục Đồng điểm Đồng dòng liệu phương tiện (intramedia synchronization) Đồng dòng liệu (intermedia synchronization) Các nguyên tắc đồng liệu đa phương tiện: Đồng gồm hai nhiệm vụ chính: • • Xác lập lại quan hệ thời gian thực dòng liệu dòng liệu (audio, video) Xác lập lại quan hệ thời gian thực dòng liệu đa phương tiện (đồng audio-video) Hai kỹ thuật chủ yếu: • • Đồng hướng đệm Đồng hướng thời gian Đồng hướng đệm Đồng đa phương tiện trình làm “trơn” hiệu ứng trễ điều khiển phối hợp thời gian trình chiếu đồng thời dòng liệu đa phương tiện (playout of data) để thỏa mãn độ cảm thụ audio, video Bao gồm bước: • • Đệm đơn vị trình diễn (media unit - MU) Lập lịch trình diễn (playout scheduler): Bộ lập lịch hướng đệm (Buffer-oriented scheduler) đánh giá jitter thông qua đệm trình diễn (playout buffer) Các mô hình đồng • • • • Mô hình dòng thời gian (Timeline) Mô hình điểm tham chiếu (Reference point) Mô hình phân cấp (Hierarchic) Mô hình dựa kiện (Event based) • Kỹ thuật đồng audio-video thời gian thực nơi nhận • Tích hợp audio-video Mô hình tích hợp audio-video • Sự kết hợp, bổ sung vào hệ thống có loại liệu, ứng dụng trình diễn thể đa phương tiện (tích hợp định dạng file, vào định dạng Web, tích hợp CSDL ) • Mối quan hệ khoảng: (interval) A trước B B A A bắt đầu B B A B A gặp B A kết thúc B A A B A B B A chồng chéo B A A B A B A B Các phần tử TS • TS Packet: Các phần tử TS (tiếp) • PCR: Program Clock Reference truyền trường adaptation field gói TS PCR sử dụng giải mã để tái tạo phiên điều khiển đồng hồ 27MHz (system_timing_clock ) cho chương trình PID với PCR định nghĩa giá trị pcr_pid, liên kết với PMT PCR gồm 42bit, tái trình diễn PCR 33 bit, bit mở rộng cung cấp cho giải pháp cao • Null packets: gói tin dồn kênh thêm vào để đảm bảo dòng trì tốc độ bitrate cố định yêu cầu số hệ thống ATSC hay DVB PID gói mặc định 0x1FFF Nội dung gói tin rỗng không gồm liệu Các phần tử TS (tiếp) • PAT: Program Association Table Liệt kê tất chương trình có sẵn TS Mỗi chương trình định danh 16 bit gọi program_number Gói TS gồm PAT thông tin có PID 0x0000 • PMT: Program Map Tables chứa thông tin chương trình Mỗi chương trình có PMT Các phần tử TS (tiếp) • Programs: miêu tả PMT với PID nhất, dòng sở liên kết với chương trình có PID riêng liệt kê PMT Quá trình hình thành dòng truyền tải Đồng mã hóa giải mã Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Outline: • • • Giới thiệu phần mềm sử dụng Ngữ cảnh sử dụng Trình bày cách đồng audio-video MPEG2 thời gian thực Giới thiệu phần mềm sử dụng • Phần mềm audio - video Synchronizer công cụ đồng hóa âm video phim Nếu âm thanh/video không đồng bộ, chương trình giúp bạn khắc phục vấn đề • Phần mềm đóng Ngữ cảnh • • Đầu vào: video chưa đồng hóa audio - video tên dolbyaurora.vob từ máy tính lấy từ trang: http://www.digitaldigest.com/movies/movie_index.php?type=dolby Đầu ra: file đồng audio - video tên dolbyaurora.wma Thử nghiệm • • Mở video, so sánh giọng nói môi người nói, phụ đề để đồng âm thanh/video Nếu âm phát trước video, chuyển âm quay lùi lại Nếu âm phát sau video, âm chuyển phía trước Ta thử nhiều lần, bạn có điểm đồng Thêm điểm vào danh sách đồng Thử nghiệm • • • Thêm điểm đầu cuối vị trí đồng phim tốt Tính thời gian bắt đầu kết thúc với điểm đồng âm video Xem trước đoạn video đầu Nếu vấn đề bắt đầu chuyển đổi Ứng dụng thử nghiệm Ứng dụng thử nghiệm • • • Phần mềm sử dụng: VLC Phần mềm miễn phí cung cấp nhiều thư viện mã hóa, giải mã Tích hợp thư viện libavcodec từ FFmpeg Ứng dụng thử nghiệm • Cách thực hiện: Thay đổi giá trị cache trước mở file để đánh giá thay đổi chất lượng hiển thị Video [...]... truyền tải Đồng bộ giữa bộ mã hóa và bộ giải mã Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Outline: • • • Giới thiệu về phần mềm sử dụng Ngữ cảnh sử dụng Trình bày cách đồng bộ audio -video MPEG2 thời gian thực Giới thiệu phần mềm sử dụng • Phần mềm audio - video Synchronizer là công cụ đồng bộ hóa âm thanh và video trong bộ phim Nếu...Các phương pháp đồng bộ giữa các dòng dữ liệu • • • Phương pháp trộn dồn kênh (Multiplexing) Phương pháp dung kênh riêng chứa các thông tin đồng bô (Out-of-band) Phương pháp đồng bộ tại nơi nhận dựa trên các nhãn thời gian vào các gói dữ liệu trước khi truyền đi (Timestamping) Đồng bộ audio, video theo chuẩn MPEG TS Outline • • • • • Giới thiệu MPEG2 -TS • Tài liệu tham khảo: A Realtime... đồng bộ âm thanh /video Nếu âm thanh được phát trước khi video, chuyển âm thanh quay lùi lại Nếu âm thanh được phát sau khi video, âm thanh chuyển về phía trước Ta thử nhiều lần, bạn có thể có được một điểm đồng bộ Thêm điểm vào danh sách đồng bộ Thử nghiệm • • • Thêm ít nhất 2 điểm ở đầu và cuối trong vị trí đồng bộ của bộ phim sẽ tốt hơn Tính thời gian bắt đầu và kết thúc với các điểm đồng bộ của... thanh /video không đồng bộ, chương trình có thể giúp bạn khắc phục vấn đề • Phần mềm đóng Ngữ cảnh • • Đầu vào: video chưa được đồng bộ hóa audio - video tên dolbyaurora.vob từ máy tính được lấy từ trang: http://www.digitaldigest.com/movies/movie_index.php?type=dolby Đầu ra: file đã được đồng bộ audio - video tên dolbyaurora.wma Thử nghiệm • • Mở video, so sánh giọng nói và môi người nói, hoặc phụ đề để đồng. .. Dora, Italy MPEG2 - TS • MPEG2 Transport Stream (MPEG- TS, MTS hay TS) là một container format cho việc truyền và lưu trữ MPEG video trộn với audio, các dòng khác • TS dùng cho TV số và truyền dòng trên mạng, bao gồm internet TS được sử dụng trong các hệ thống quảng bá ví dụ như DVB, ATSC và IPTV • Transport Stream được định nghĩa trong MPEG- 2 Part 1, Systems (thường được biết đến như là chuẩn ISO/IEC... Solution for Resynchronizing Filtered MPEG2 Transport Stream - Bin Yu, Klara Nahrstedt, Department of Computer Science, University of Illinois at Urbana-Champaign Các khái niệm cơ bản Các phần tử cơ bản của TS Quá trình hình thành dòng truyền tải Đồng bộ giữa bộ mã hóa và giải mã – – A Guide to MPEG Fundamentals and Protocol Analysis – Tektronix Company – The MPEG Representation of Digital Media –... của âm thanh và video Xem trước đoạn video đầu ra Nếu không có vấn đề thì bắt đầu chuyển đổi Ứng dụng thử nghiệm Ứng dụng thử nghiệm • • • Phần mềm sử dụng: VLC Phần mềm miễn phí cung cấp nhiều thư viện mã hóa, giải mã Tích hợp bộ thư viện libavcodec từ FFmpeg Ứng dụng thử nghiệm • Cách thực hiện: Thay đổi giá trị cache trước khi mở file để đánh giá sự thay đổi chất lượng hiển thị của Video ... Elementary Streams, là gói tin sau khi gói hóa dòng cơ sở; được định danh bởi tiêu đề, bao gồm cả nhãn thời gian cho việc đồng bộ hóa PES được sử dụng để tạo PS hoặc TS Các khái niệm cơ bản (tiếp) • • Time Stamps: Nhãn thời gian được kết hợp chặt chẽ từng giai đoạn trong mỗi ảnh để giữ audio và video cùng nhau Nhãn thời gian là số 33 bit (33 bit cho phần chia 90kHz clock), chia 27MHz cho 300 PTS/DTS: DTS: nhãn... trường adaptation field của gói TS PCR được sử dụng bởi bộ giải mã để tái tạo phiên bản điều khiển đồng hồ 27MHz (system_timing_clock ) cho mỗi chương trình PID với PCR được định nghĩa bởi giá trị pcr_pid, liên kết với PMT PCR gồm 42bit, được tái trình diễn bởi PCR cơ bản 33 bit, 9 bit mở rộng cung cấp cho giải pháp cao hơn • Null packets: là gói tin do bộ dồn kênh thêm vào để đảm bảo dòng duy trì tốc độ ... quan đồng đa phương tiện Bùi Hồng Nhung Đồng audio, video theo chuẩn MPEGTS Lều Thị Lan Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Trần Xuân Quý Ứng dụng thử nghiệm Tổng quan đồng. .. trình hình thành dòng truyền tải Đồng mã hóa giải mã Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Giải pháp ứng dụng Video thời gian thực theo chuẩn MPEG2 Outline: • • • Giới thiệu... Trình bày cách đồng audio -video MPEG2 thời gian thực Giới thiệu phần mềm sử dụng • Phần mềm audio - video Synchronizer công cụ đồng hóa âm video phim Nếu âm thanh /video không đồng bộ, chương trình