Dữ liệu đa phương tiện cần được hiểu là nhiều loại dữ liệu sẽ được thu thập, gửi đi và hiển thị một cách đồng thời. Có rất nhiều loại dữ liệu: đơn giản nhất là dữ liệu văn bản và các dạng dữ liệu khác như ảnh đồ họa, âm thanh, video . . . Ta có thể phân loại các loại dữ liệu trên ra thành 2 loại, theo ngữ cảnh của việc truyền dữ liệu đa phương tiện.
Trường Đại Học Bách Khoa Hà Nội Viện CNTT & TT *** BÁO CÁO BÀI TẬP LỚN MÔN XỬ LÝ DỮ LIỆU ĐA PHƯƠNG TIỆN Đề tài: Đồng audio-video theo chuẩn MPEG GV hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan Sinh viên thực hiện: Javkhlanbaatar Nomintsetseg 20114660 Lều Thị Lan 20111775 Bùi Hồng Nhung 20111947 Trần Xuân Quý 20112030 Hà Nội, 05/2015 Mục lục Lời Nói Đầu Ngày nay, với phát triển nhanh chóng không ngừng công nghệ thông tin, việc xử lý liệu đa phương tiện toàn cầu nhu cầu cấp thiết loài người liên tục có phát minh đưa người tiến tới xã hội thông tin Vấn đề đồng audio-video theo chuẩn cần thiết cho đài truyền hình cáp,vệ tinh, Một chuẩn mà hãng đài truyền hình cáp hướng đến hay quan tâm đến Chuẩn MPEG2 Tuân theo MPEG2, đài truyền hình nước phát sóng nhau, cho phép người dùng xem chương trình tivi mà không cần quan tâm tới vấn đề đồng Với đề tài “Đồng audio-video theo chuẩn MPEG”, báo cáo chúng em phân chia sau: - Tìm hiểu chung đồng Audio-Video bạn Nomin thực Tìm hiểu đồng tích hợp liệu audio-video theo chuẩn MPEG2 bạn Bùi - Hồng Nhung thực Tìm hiểu giải pháp ứng dụng đồng Audio-Video MPEG2 thời gian thực - giải thích ngữ cảnh áp dụng bạn Lều Thị Lan thực Ứng dụng thử nghiệm giải thích bạn Trần Xuân Quý đảm nhiệm Do thời gian hoàn thành báo cáo ngắn, kiến thức chúng em vấn đề liên quan đến đề tài hạn chế nên báo cáo có nhiều sai sót chưa xác Chúng em mong cô dẫn để báo cáo đầy đủ, xác hoàn thiện Chúng em xin chân thành cảm ơn! I Tổng quan đồng đa phương tiện Dữ liệu đa phương tiện Dữ liệu đa phương tiện cần hiểu nhiều loại liệu thu thập, gửi hiển thị cách đồng thời Có nhiều loại liệu: đơn giản liệu văn dạng liệu khác ảnh đồ họa, âm thanh, video Ta phân loại loại liệu thành loại, theo ngữ cảnh việc truyền liệu đa phương tiện - Loại thứ nhất: Dữ liệu rời rạc (discrete media) gồm loại liệu mà hiển thị không bị bó buộc chặt chẽ thời gian Ví dụ ta nhận ảnh từ web server để hiển thị web browser Tùy theo thông lượng mạng mà thời gian nhận ảnh - nhanh hay chậm trướt giải mã hiển thị Loại thứ 2: Dữ liệu liên tục Dữ liệu có yêu cầu chặt chẽ thời gian hiển thị thông tin nhúng bên liệu Ta thấy ví dụ liệu video, audio Dữ liệu video thường mã hóa theo frame hiền thị với tần số đó, ví dụ 25hình/giây (frame per second fps) Do để hiển thị đối tượng video cách đắn, không cần nhận liệu video cách xác mà cần phải giải mã hiển thị chúng theo trình tự thời điểm Nếu không làm điều video hiển thị chất lượng thấp Do lưu lượng mạng dành cho liệu đa phương tiện coi lưu lượng cố định cần thiết trì định thời gian chặt chẽ Từ ta thấy, thách thức truyền thông đa phương tiện nói chung đặc biệt truyền thông liệu đa phương tiện liên tục, phải đảm bảo tính vẹn toàn liệu thời gian hiển thị (presentation timing) Hơn nữa, liệu đa phương tiện thông thường kết hợp nhiều dòng liệu khác đồng với Do đó, độ phức tạp nhân lên nhiều lần phải đồng dòng liệu với Nguồn dòng liệu đa phương tiện gồm hai loại là: - Nguồn thông tin trực tiếp: Các tín hiệu vật lý thu nhận, số hóa truyền tới nơi nhận mà không qua lưu trữ trung gian - Nguồn thông tin tái tạo hay tổng hợp: Các đối tượng media khác tổng hợp vốn lưu thiết bị lưu trữ Chúng có nguồn gốc “tự nhiên” capture trên, hoàn toàn dạng nhân tạo hoạt hình Một số khái niệm • Đồng đa phương tiện: thiết lập lại quan hệ thời gian gói liệu audio- video để trình diễn liên tục cảm thụ trung thực nơi nhận so với nguồn • Đồng dòng liệu – Đồng nội dòng (intra-stream synchronization): Xác lập lại quan hệ thời gian thực dòng liệu(audio video) • Đồng dòng liệu (inter-stream synchronization): Xác lập lại quan • • • • hệ thời gian thực dòng liệu đa phương tiện (đồng audio-video) Đồng liên tục: đồng bám liên tục theo thời gian Đồng điểm: đồng khối liệu thời điểm tham chiếu Đơn vị trình diễn (media unit-MU) Lập lịch trình diễn (playout scheduler) Các kiểu đồng • Đồng liên tục: đồng bám liên tục theo thời gian • Đồng điểm: đồng khối liệu thời điểm • Đồng dòng liệu phương tiện (intramedia synchronization): Xác lập lại quan hệ thời gian kiện dòng liệu dòng liệu phương tiện, đơn luồng • Đồng dòng liệu (intermedia synchronization): Xác lập lại quan hệ thời gian dòng liệu phương tiện Các nguyên tắc đồng liệu đa phương tiện - Đồng gồm hai nhiệm vụ chính: • Xác lập lại quan hệ thời gian thực dòng liệu dòng liệu (audio, video) • Xác lập lại quan hệ thời gian thực dòng liệu đa phương tiện (đồng audio-video), - Hai kỹ thuật chủ yếu: • Đồng hướng đệm: Đồng đa phương tiện trình làm “trơn” hiệu ứng trễ điều khiển phối hợp thời gian trình chiếu đồng thời dòng liệu đa phương tiện (playout of data) để thỏa mãn độ cảm thụ audio, video • Đồng hướng thời gian (ví dụ đồng môi phối hợp lời nói hình ảnh – lip synchronization) cần xác lập mối quan hệ thời gian cho cảm thụ độ trung thực phối hợp lời nói với hình ảnh 4.1 Đồng hướng đệm Bao gồm bước: • Đệm đơn vị trình diễn (media unit - MU) • Lập lịch trình diễn (playout scheduler): Bộ lập lịch hướng đệm (Buffer- oriented scheduler) đánh giá jitter thông qua đệm trình diễn (playout buffer) 4.2 Đồng hướng thời gian Tổng thời gian trễ MU thứ i: bao gồm: • • Thời gian trễ mạng Thời gian trễ đệm Trễ mạng dao động khoảng Độ rộng khoảng giới hạn sai khasc hai đường mạng khác nhau, hay gọi jitter, ký hiệu Các mô hình đồng 5.1 Mô hình dòng thời gian (Timeline): Các hành động xác định thời điểm bắt đầu, thực đồng bảm theo thời gian tồn đối tượng - Sử dụng dòng thời gian tổng thể - Đồng bảm liên tục theo dòng thời gian, yêu cầu cần phải có đồng đồng hồ - Cho chất lượng cao có yêu cầu chi phí cao 5.2 Mô hình điểm tham chiếu (Reference point): Các thời điểm tham chiếu hay điểm đồng xác định bên thời gian tồn đối tượng đa phương tiện, thời điểm thực đồng bọ thời gian dòng liệu đa phương tiện để trình diễn (player) Dùng nhãn thời gian đánh dấu bên đối tượng thời điểm cần đồng 5.3 Mô hình phân cấp (Hierarchic): Phân cấp thứ tự đối tượng ĐB theo hình Tuy nhiên thời điểm cần đồng điểm bắt đầu hay kết thúc đối tượng mà lả nằm đối tượng bị phân mảnh 5.4 Mô hình dựa kiện (Event based) Đồng dựa kiện: - Bắt đầu đối tượng Kết thúc đối tượng Việc bắt đầu hay kết thúc kiện kích hoạt hành động 5.5 Kỹ thuật đồng audio-video thời gian thực nơi nhận Thiết lập lại quan hệ thời gian gói liệu audio-video để trình diễn lien tục, cảm thụ trung thực nơi nhận so với nguồn kỹ thuật đồng tín hiệu audio video, vấn đề thách thức lớn - Điều độ trình diễn hướng thời gian - Điều độ trình diễn dựa đệm liệu nhận 5.6 Tích hợp audio-video Sự kết hợp, bổ sung vào hệ thống có loại liệu, ứng dụng trình diễn thể đa phương tiện (tích hợp định dạng file, vào định dạng Web, tích hợp CSDL ) Các phương pháp đồng dòng liệu • Phương pháp trộn dồn kênh (Multiplexing): dòng liệu audio, video đồng tích hợp nơi nguồn phát trước lưu trữ, truyền • Phương pháp dung kênh riêng chứa thông tin đồng bô (Out-of-band) • Phương pháp đồng nơi nhận dựa nhãn thời gian vào gói liệu trước truyền (Timestamping) • Đồng audio-video thời gian thực dòng audio chủ II Đồng tích hợp liệu audio – video theo chuẩn MPEG2 Giới thiệu MPEG TS MPEG2 Transport Stream (MPEG-TS, MTS hay TS) chuẩn định dạng đặc biệt, container format cho việc truyền lưu trữ MPEG video trộn với dòng khác Transport Stream phát triển MPEG, lần công bố năm 1995, đặc tả MPEG-2 Phần 1, Systems (thường biết đến chuẩn ISO/IEC 13818-1 hay chuẩn khuyến nghị ITU-T Rec H.222.0) Transport Stream đặc tả định dạng container đóng gói gói dòng sở với mã sửa lỗi (error correction) thành phần đồng dòng để trì tính toàn vẹn việc truyền tín hiệu bị suy thoái TS định nghĩa cách thành phần tổng hợp thành dòng bit truyền tải đồng đơn Quá trình tổng hợp dòng truyền tải gọi trộn Transport Stream thiết kế cho việc truyền dòng tin cậy, cụ thể truyền hình quảng bá mặt đất vệ tinh Hơn nữa, dòng truyền tải mang theo nhiều chương trình Transport Stream thường dùng cho TV số truyền dòng mạng, bao gồm internet TS sử dụng hệ thống quảng bá ví dụ DVB, ATSC IPTV Các vấn đề đồng tích hợp liệu file video bao gồm: - Mã hóa nén ảnh, video, audio ( Video-audio compression encoding) - Gói hóa dòng sở (Elementary stream packetization) - Tạo thành dòng tải liệu trộn video – audio thỏa mãn yêu cầu đồng thời gian Nhãn thời gian theo đồng hồ tham chiếu (Program clock reference time stamp) dùng để tạo gói dòng liệu TS Tên file mở rộng theo MPEG Transport Stream có dạng: ts, tsv, tsa Tổng quan MP2TS Đầu mã hóa MPEG audio hay video gọi dòng sở (elementary stream) Để thuận tiện, dòng sở chia thành khối liệu kích thước dễ quản lý, hay gọi gói hóa dòng sở, tạo thành PES (packetized elementary stream) PES chứa thông tin tiêu đề (information header) để xác định điểm bắt đầu gói tin cần phải có nhãn thời gian (time stamps) việc gói hóa dòng sở phá vỡ trục thời gian Nhãn thời gian PES sử dụng để đảm bảo đồng môi (lip-sync) video audio Trong truyền tải quảng bá truyền hình số, vài chương trình với PES chương trình trộn lại thành dòng truyền tải đơn Một dòng truyền tải khác với dòng chương trình (program stream) việc gói PES chia nhỏ thành gói kích thước nhỏ cố định mang theo nhiều chương trình mã hóa với đồng hồ khác Điều thực TS có kỹ thuật đồng hồ chương trình tham chiếu (PCR – program clock reference) cho phép truyền nhiều thời gian đồng hồ, số chọn tái tạo giải mã 3.4 PTS/DTS Decode time stamp (DTS) xác định thời điểm ảnh phải giải mã, Presentation time stamp (PTS) xác định thời điểm trình chiếu đầu giải mã Hình 1.Giá trị PTS DTS xác định thời điểm giải mã trình chiếu Hình đơn vị truy nhập bao gồm ảnh I nhận, bao gồm DTS PTS phần tiêu đề, nhãn thời gian phân tách nhịp thời gian Nếu mã hóa chiều sử dụng, ảnh P phải theo sau bao gồm nhãn thời gian DTS PTS, phân biệt nhãn thời gian nhịp thời gian phép xen ảnh B vào Do đó, chuỗi IPBB nhận, trình chiếu ảnh I bị trễ nhịp thời gian, ảnh P bị trễ nhịp, ảnh B không bị trễ, chuỗi ảnh trình chiếu trở thành IBBP Cờ PTS/DTS tiêu đề gói tin tập hợp để xác định có mặt riêng PTS hay xuất nhãn thời gian PTS DTS Gói tin Audio bao gồm vài đơn vị truy nhập phần tiêu đề gói tin bao gồm PTS Bởi gói tin audio không truyền thứ tự, nên nhãn DTS gói tin audio Các phần tử chủ yếu TS 4.1 TS Packet Hình MP2TS Packets Mỗi gói tin MPEG-2 TS chứa 184 Bytes phần liệu payload Bytes phần header Phần header bao gồm trường sau: - Synchronisation Byte (8 bits): Byte đồng bộ, xác nhận giải mã Byte có giá trị 0x47 (0100 0111) - Một tập bit cờ sử dụng để xác định cách thức xử lý phần payload o Cờ (The transport error indicator) xác định lỗi truyền tải, vài gói tin chứa lỗi o Cờ thứ (Payload unit start indicator) điểm bắt đầu payload o Cờ thứ (Transport Priority) xác định độ ưu tiên truyền tải - Packet identification (PID): mã dài 13 bit sử dụng để phân biệt loại gói tin khác - Transport scrambling control: gồm bit, sử dụng thủ tục truy nhập có điều kiện để bảo mật payload vài gói tin TS - Adaption field control: gồm bit với giá trị thể sau: o 01: trường điều chỉnh (adaption field), có phần payload o 10: có trường điều chỉnh, phần payload o 11: trường điều chỉnh theo sau payload o 00: để dành, chưa sử dụng - Continuity counter: gồm bit, tăng lên trộn có gói tin có PID gửi Thông tin sử dụng để xác định xảy việc gói tin bị mất, lặp lại, hay không thứ tự Trong vài trường hợp mà cần nhiều thông tin phần tiêu đề hơn, bit Adaption field control thiết lập để phần tiêu đề lớn thông thường Độ dài phần header mở rộng miêu tả trường adaption field length Khi phần tiêu đề mở rộng phần payload trở nên nhỏ để trì độ dài cố định gói tin 4.2 Program Clock Reference (PCR) PCR phương pháp thêm vào trình đồng PCR tái tạo lại đồng hồ tham chiếu ổn định, phân chia để tạo trục thời gian giải mã, để nhãn thời gian cho dòng sở chương trình trở nên hữu dụng Do đó, chương trình định nghĩa tập dòng sở chia sẻ thời gian tham chiếu Để giải mã trình chiếu nội dung đồng bộ, ví dụ dòng audio kết hợp tương ứng với video, với 100ms PCR truyền trường adaption field gói tin Transport Stream PCR sử dụng giải mã để tái tạo phiên điều khiển đồng hồ 27MHz (system_timing_clock ) cho chương trình Đồng hồ mã hóa điều khiển đếm nhị phân chạy liên tục, giá trị đếm lấy mẫu cách định kỳ thay trường adapation field phần tiêu đề, PCR PID với PCR định nghĩa giá trị pcr_pid, liên kết với PMT PCR gồm 42bit, tái trình diễn PCR 33 bit, bit mở rộng cung cấp cho giải pháp cao Hình 3.Thêm nhãn thời gian vào dòng truyền tải, loại bỏ đồng với giải mã Bộ mã hóa sử dụng riêng cho chương trình có đồng hồ chương trình 27MHz Tại bên giải mã, tạo dao động điều khiển điện áp (VCO) tạo dao động tương ứng với 27MHz đồng hồ chia thành PCR local Sau đó, PCR local so sánh với PCR nhận từ phần tiêu đề gói tin để tính sai khác pha PCR, sau lọc để điều chỉnh VCO MPEG yêu cầu PCR gửi tốc độ 10 PCR/1 giây 4.3 Packet Identification (PID) PID: định danh gói tin, dùng phân kênh để phân biệt gói tin chứa loại thông tin khác Tốc độ bit dòng truyền tải phải cố định, tổng tốc độ tất dòng khác mà chứa khác Yêu cầu xử lý việc sử dụng gói tin null (null packet) Nếu tốc độ thực payload không đạt yêu cầu, gói tin null thêm vào Null packets: gói tin dồn kênh thêm vào để đảm bảo dòng trì tốc độ bitrate cố định yêu cầu số hệ thống ATSC hay DVB PID gói mặc định 8191 Nội dung gói tin rỗng không gồm liệu Trong dòng truyền tải, tất gói tin thuộc dòng sở có PID Bộ phân kênh dễ dàng lựa chọn tất liệu cho dòng sở đưa cách đơn giản chấp nhận gói tin PID Bộ phân kênh lựa chọn xác gói tin liên kết xác gói tin với dòng sở mà chúng thuộc Bộ phân kênh làm điều biết PID Đây chức PSI 4.4 Program Specific Information (PSI) PSI thông tin đặc tả chương trình, mang gói tin có PID nhất, vài thông tin chuẩn hóa, số khác đặc tả bảng liên kết thông tin (PAT – Program Association Table), bảng truy nhập điều kiện (CAT – Conditional Access Table) bảng miêu tả dòng truyền tải (TSDT – Transport Stream Desciption Table) Những gói tin phải chứa dòng truyền tải cách định kỳ Bộ dồn kênh phải xác định tất PID tồn việc truy nhập vào bảng thích hợp Transport stream có tập chương trình Mỗi chương trình miêu tả bảng ánh xạ chương trình (PMT- Program Map Table) có PID nhất, dòng sở kết hợp với chương trình có PID liệt kê PMT - PAT: Bảng liệt kê tất chương trình có sẵn dòng truyền tải Mỗi chương trình liệt kê, định danh giá trị 16 bit gọi program_number; có giá trị kết hợp PID cho PMT Gói tin TS chứa thông tin PAT luôn có PID - CAT có PID 1, TSDT có PID - PMT: Bảng bao gồm thông tin chương trình Mỗi chương trình có PMT Mỗi chương trình tồn dòng truyền tải liệt kê gói tin PAT, PAT lại mang PID gói tin PMT Dòng PAT program 0, để dành cho liệu mạng chứa PID của gói tin Bảng thông tin mạng (NIT – Network Information Table) Hình 4.Bảng phân cấp dòng truyền tải đan xen Hình cho thấy PID dòng sở video, audio data thuộc chương trình liệt kê gói tin PMT Mỗi gói tin PMT thông thường có PID riêng Program number PMT định danh PMT Những dòng sở loại liệu, chương trình có PID Vào thời điểm nhận dòng truyền tải, phân kênh phải tìm PID phần tiêu đề gói tin Tất gói tin PID chứa PAT, tất gói tin PID chứa CAT Bằng việc đọc PAT, phân kênh tìm PID NIT PMT, việc tìm PMT, tìm thấy PID dòng sở Do đó, giải mã chương trình riêng biệt yêu cầu, cần tham chiếu đến PAT, sau đến PMT tìm PID tất dòng sở chương trình Nếu chương trình mã hóa bảo mật cần truy cập đến CAT Quá trình đồng tích hợp mã hóa giải mã Hình miêu tả cách khái quát trình thực đồng bên gửi bên nhận Hình 5.Quá trình thực đồng bên gửi bên nhận Tại bên gửi, dòng sở gói hóa thành gói tin PES, đồng thời gắn thêm nhãn thời gian trình chiếu nhãn thời gian mã hóa Sau đó, gói tin dòng sở đóng gói gắn PID tương ứng với chương trình dòng sở, sau gói tin trộn lại với nhau, đồng thời gán nhãn thời gian PCR tạo thành dòng truyền tải Dòng truyền tải lưu trữ lại truyền tùy thuộc vào yêu cầu sử dụng Tại bên nhận, nhận dòng truyền tải, dựa PCR vào PAT PMT xác định PID dòng sở chương trình khác nhau, sau phân kênh phân chia gói tin dòng sở khác nhau, sau thực giải mã riêng phần tái tạo lại dòng sở Tại bên gửi bên nhận có đồng hồ tham chiếu chương trình PCR cấp nhãn thời gian cho việc đồng để đảm bảo trình đồng diễn xác III Giải pháp ứng dụng đồng audio-video MPEG2 thời gian thực Giới thiệu phần mềm • Phần mềm Audio-Video Synchronizer công cụ đồng hóa âm video phim Nếu âm thanh/video không đồng bộ, chương trình giúp bạn • khắc phục vấn đề Phần mềm CHENDU WEISHU TECHNOLOGY CO.,LTD sản xuất, năm phát hành 2007-2008, version • Download phần mềm trang: http://download.com.vn/audio-video- • synchronizer/download Phần mềm đóng Tính phần mềm • Mở video, so sánh giọng nói môi người nói phụ đề để đồng âm thanh/video Nếu âm phát trước video ta chuyển âm quay • lùi lại Nếu âm phát sau video âm chuyển phía trước Thử nhiều lần, ta có điểm đồng Thêm điểm vào danh sách • • • • đồng Thêm điểm đầu cuối vị trí đồng phim tốt Tính thời gian bắt đầu kết thúc với điểm đồng âm video Xem trước đoạn video đầu Nếu vấn đề bắt đầu chuyển đổi Hỗ trợ định dạng video AVI, WMV, MPG, ASF, DAT, VCD, MPEG Nếu bổ xung giải mã, hỗ trợ định dạng DIVX, XVID, DV, MKV, OGM, SVCD, DSM, Các video đầu WMV AVI Nếu bạn cài đặt multiplexers/muxers, chương trình xuất nhiều định dạng video Vì vậy, chương trình công cụ chuyển đổi video Giải pháp phần mềm • Đồng loại bỏ frame: o Dòng liệu audio có vai trò chủ (principle), dòng video (slave jet) o đồng theo dòng audio Tại điểm đồng bộ: nhãn thời gian gói tin dòng video so sánh với nhãn thời gian dòng audio Nếu frame video bị trễ giới hạn bị loại bỏ Ngữ cảnh sử dụng Dùng cho liệu nguồn file video streaming chưa đồng hóa audio-video Cách sử dụng phần mềm Audio- Video Synchronizer Control Panel: : Mở video : tùy chọn đầu Set : bỏ qua phim phía trước Giá trị mặc định 20 giây : bỏ qua phim lạc hậu Giá trị mặc định 10 giây : Chỉ có âm bỏ qua phía trước, giá trị mặc định 0,3 giây.phím nóng i : Chỉ có âm bỏ lạc hậu, giá trị mặc định 0,3 giây.phím nóng p : Đặt lại âm đến vị trí ban đầu phim : Nếu bạn đồng âm video vị trí phim theo đồng môi thoại phụ đề, thêm điểm vào danh sách đồng : Chọn điểm đồng danh sách đồng bộ, chỉnh sửa video âm thời gian tay hộp thoại cần : Chọn điểm đồng danh sách đồng bộ, xóa điểm Xoá tất cả: Hủy bỏ tất điểm đồng danh sách đồng Tiết kiệm đồng danh sách: Lưu tất điểm đồng danh sách đồng đến tập tin *.này cho video Tải đồng danh sách: Load danh sách đồng tập tin *.này vào chương trình Tính toán bắt đầu: Tính toán thời gian bắt đầu video âm theo điểm đồng Tính toán kết thúc: Tính toán video thời gian kết thúc âm theo điểm cuối đồng Preview: Xem trước đoạn video đầu Chuyển đổi: Bắt đầu chuyển đổi Nếu tất thông số đúng, bạn nhận video đồng hóa Tùy chọn hộp thoại sử dụng để chọn tùy chọn clip đầu kiểm soát chơi Lưu ý: WMV định dạng đề nghị định dạng đầu mặc định Bạn không cần phải cài đặt mã hóa thêm WMV mã hóa thực Microsoft ổn định Khi thử nghiệm nhiều codec, thông báo ffdshow codec giải mã nhiều định dạng âm video divx, xvid, mp3, wmv, wma Nhưng Audio bỏ qua phía trướcvà Audio bỏ lạc hậu, làm việc tốt codec chạy (biểu tượng phía bên phải máy tính để bàn) Nó cần thiết để vô hiệu hóa tạm thời codec FFDShow Video Decoder Configuration FFDShow Audio Decoder Configuration bạn có codec mà giải mã dòng âm video - Trình bày đồng audio-video MPEG2 thời gian thực Đầu vào : file mux1-cp.ts với dung lượng file 19.9 MB Đầu : output.wma Kỹ thuật sử dụng phần mềm: Kỹ thuật tách dòng Kỹ thuật trộn gói tin Kỹ thuật đồng nơi nhận dựa nhãn thời gian gán vào gói liệu trước truyền (Timestamping) Kỹ thuật đồng hướng thời gian Kỹ thuật đồng hướng đệm 6.1 Kỹ thuật tách dòng Từ liệu nguồn, giả sử video mux1-cp.ts phần mềm phân tích header gói tin liệu ban đầu tích hợp thành file Tách ngữ cảnh không liên quan đến dựa vào header file 6.2 Kỹ thuật trộn gói tin Từ ngữ cảnh khác nhau, ta trộn gói tin kèm theo TimeStamp, header gói tin đánh dấu ngữ cảnh xuất video ngữ cảnh không xuất video 6.3 Kỹ thuật đồng audio-video thời gian thực nơi nhận Dựa nhãn thời gian gán vào gói liệu trước truyền (Timestamping) Thiết lập lại quan hệ thời gian gói tin liệu audio-video để trình diễn liên tục, cảm thụ trung thực nơi nhận so với nguồn 6.4 Kỹ thuật đồng hướng thời gian Xác lập mối quan hệ thời gian cho cảm thụ độ trung thực phối hợp lời nói với hình ảnh IV Ứng dụng thử nghiệm Ứng dụng thử nghiệm sử dụng đệm thời gian công đoạn hiển thị để đánh giá hiệu đệm thời gian trình diễn Bộ đệm thời gian tổng số nội dụng video tính theo theo giây lưu trữ tạm phía thiết bị người dùng trước video chiếu để đảm bảo nội dung trình diễn đầy đủ Đây cách mà Youtube sử dụng để đảm bảo người dùng xem video mượt không bị vỡ hình Công cụ thử nghiệm : VLC (VideoLAN Client) VLC phần mềm mã nguồn mở, miễn phí chuyên dùng cho liệu đa phương tiện đa tảng cung cấp nhiều tuyến giao thức Trang chủ: http://www.videolan.org/ Dữ liệu đầu vào: file video đuôi mp4 Sử dụng VLC mở file, chọn phần show more options để điều chỉnh giá trị Caching Với giá trị khuyên dùng mặc định 300ms Hình Mở Video với tùy chỉnh cache Với caching = 300ms Ta xem video với nội dung đầy đủ Nhưng ta giảm caching xuống với giá trị thấp 0ms, video hiển thị đảm bảo phần tiếng, phần hình bị vỡ không hiển thị nội dung đầy đủ Do video mở lên giải mã hiển thị trực tiếp không đảm bảo nội dung hiển thị có đầy đủ không Tài liệu tham khảo - A Realtime Software Solution for Resynchronizing Filtered MPEG2 Transport Stream - Bin Yu, Klara Nahrstedt, Department of Computer Science, University of Illinois at Urbana-Champaign - A Guide to MPEG Fundamentals and Protocol Analysis – Tektronix Company - The MPEG Representation of Digital Media – Editor Leonardo Chiariglione, CEDEO, Via Borgionera103, 10040 Villar Dora, Italy - http://www.erg.abdn.ac.uk/future-net/digital-video/mpeg2-trans.html - http://www.timtailieu.vn/tai-lieu/chuong-1-tong-quan-ve-truyen-thong-da-phuong- tien-40691/ - http://cs.uccs.edu/~cs525/synmm/synmm.htm [...]... danh sách đồng bộ : Chọn một điểm đồng bộ trong danh sách đồng bộ, chỉnh sửa video hoặc âm thanh thời gian bằng tay trong một hộp thoại nếu cần : Chọn một điểm đồng bộ trong danh sách đồng bộ, xóa các điểm Xoá tất cả: Hủy bỏ tất cả các điểm đồng bộ trong danh sách đồng bộ Tiết kiệm đồng bộ danh sách: Lưu tất cả các điểm đồng bộ trong danh sách đồng bộ đến một tập tin *.này cho video Tải đồng bộ danh... phụ đề để đồng bộ âm thanh/video Nếu âm thanh được phát trước video thì ta chuyển âm thanh quay • lùi lại Nếu âm thanh được phát sau video thì âm thanh chuyển về phía trước Thử nhiều lần, ta có thể có được một điểm đồng bộ Thêm điểm vào danh sách • • • • đồng bộ Thêm ít nhất 2 điểm ở đầu và cuối trong vị trí đồng bộ của bộ phim sẽ tốt hơn Tính thời gian bắt đầu và kết thúc với các điểm đồng bộ của âm... (principle), dòng video (slave jet) được o đồng bộ theo dòng audio Tại các điểm đồng bộ: nhãn thời gian của gói tin của dòng video được so sánh với nhãn thời gian của dòng audio Nếu một frame video bị trễ quá giới hạn sẽ bị loại bỏ 4 Ngữ cảnh sử dụng Dùng cho các dữ liệu nguồn trong file hoặc video streaming chưa được đồng bộ hóa audio- video 5 Cách sử dụng phần mềm Audio- Video Synchronizer Control Panel:... nhau, sau đó bộ phân kênh sẽ phân chia các gói tin của các dòng cơ sở khác nhau, sau đó thực hiện giải mã riêng phần tái tạo lại dòng cơ sở Tại bên gửi và bên nhận đều có đồng hồ tham chiếu chương trình PCR cũng cấp nhãn thời gian cho việc đồng bộ để đảm bảo quá trình đồng bộ diễn ra chính xác III Giải pháp ứng dụng đồng bộ audio- video MPEG2 thời gian thực 1 Giới thiệu phần mềm • Phần mềm Audio- Video... Load một danh sách đồng bộ tập tin *.này vào chương trình Tính toán bắt đầu: Tính toán thời gian bắt đầu video và âm thanh theo 2 điểm đồng bộ đầu tiên Tính toán kết thúc: Tính toán các video và thời gian kết thúc âm thanh theo 2 điểm cuối đồng bộ Preview: Xem trước đoạn video đầu ra Chuyển đổi: Bắt đầu chuyển đổi Nếu tất cả các thông số là đúng, bạn sẽ nhận được một video đồng bộ hóa Tùy chọn hộp... bỏ và đồng bộ với bộ giải mã Bộ mã hóa được sử dụng riêng cho từng chương trình sẽ có đồng hồ chương trình là 27MHz Tại bên giải mã, một bộ tạo dao động điều khiển bằng điện áp (VCO) tạo ra dao động tương ứng với 27MHz đồng hồ và chia thành PCR local Sau đó, PCR local được so sánh với PCR được nhận từ phần tiêu đề gói tin để tính ra sự sai khác về pha PCR, sau đó được lọc để điều chỉnh bộ VCO MPEG yêu... việc đồng bộ audio và video - Bước 7 : Đầu ra được tổng hợp thành dòng dữ liệu để lưu trữ hoặc truyền đi 3 Các khái niệm cơ bản 3.1 Elementary Stream (ES) Mỗi dòng cơ sở là đầu ra của bộ mã hóa audio, video hay dữ liệu khác theo MPEG, bao gồm một loại đơn của tín hiệu (thường là tín hiệu đã được nén) Một vài dạng khác nhau của ES: - Dữ liệu điều khiển số (Digital Control Data) Audio số (Digital Audio) ... vào trong quá trình đồng bộ PCR tái tạo lại đồng hồ tham chiếu ổn định, có thể được phân chia để tạo ra trục thời gian tại bộ giải mã, để nhãn thời gian cho mỗi dòng cơ sở ở mỗi chương trình trở nên hữu dụng Do đó, một chương trình có thể được định nghĩa là một tập các dòng cơ sở chia sẻ cùng thời gian tham chiếu Để bộ giải mã trình chiếu nội dung đã được đồng bộ, ví dụ như dòng audio được kết hợp tương... Set : bỏ qua bộ phim về phía trước Giá trị mặc định là 20 giây : bỏ qua bộ phim lạc hậu Giá trị mặc định là 10 giây : Chỉ có âm thanh bỏ qua phía trước, giá trị mặc định là 0,3 giây.phím nóng là i : Chỉ có âm thanh bỏ lạc hậu, giá trị mặc định là 0,3 giây.phím nóng là p : Đặt lại âm thanh đến vị trí ban đầu trong phim : Nếu bạn đồng bộ âm thanh và video tại vị trí của bộ phim theo đồng bộ và môi thoại... đầu với 3 bytes Start code, theo sau đó là 1 byte Stream ID và 2 bytes trường độ dài gói tin Hai tham số start code prefix và stream ID bao gồm mã bắt đầu gói tin để xác định điểm bắt đầu của gói tin Một số stream ID được định nghĩa bởi chuẩn MPEG: - 110x xxxx – Dòng Audio MPEG- 2 có ID là x xxxx - 1110 yyyy – Dòng Video MPEG- 2 có ID là yyyy - 1111 0010 – Gói tin điều khiển MPEG- 2 DSM-CC (Digital Storage ... đề đồng Với đề tài Đồng audio- video theo chuẩn MPEG , báo cáo chúng em phân chia sau: - Tìm hiểu chung đồng Audio- Video bạn Nomin thực Tìm hiểu đồng tích hợp liệu audio- video theo chuẩn MPEG2 ... (Timestamping) • Đồng audio- video thời gian thực dòng audio chủ II Đồng tích hợp liệu audio – video theo chuẩn MPEG2 Giới thiệu MPEG TS MPEG2 Transport Stream (MPEG- TS, MTS hay TS) chuẩn định dạng... thông tin Vấn đề đồng audio- video theo chuẩn cần thiết cho đài truyền hình cáp,vệ tinh, Một chuẩn mà hãng đài truyền hình cáp hướng đến hay quan tâm đến Chuẩn MPEG2 Tuân theo MPEG2 , đài truyền