bài giảng truyền thông đa phương tiện

Truyền thông đa phương tiện Hoàng Tuấn Hảo BÀI GIẢNG TRUYỀN THÔNG ĐA PHƯƠNG TIỆN MỤC LỤC Chương 1 Tổng quan về truyền thông đa phương tiện 4 1.1 Truyền thông đa phương tiện 4 1.1.1 Các thành phần của hệ thống truyền thông đa phương tiện 4 1.2 Dữ liệu đa phương tiện 5 1.3 Truyền dữ liệu đa phương tiện 6 1.4 Các phương pháp truyền dữ liệu đa phương tiện 8 1.4.1 Mô hình download 8 1.4.2 Mô hình Streaming 9 1.4.3 So sánh các phương pháp truyền dữ liệu đa phương tiện 11 1.5 Các thách thức khi xây dựng một hệ thống truyền thông đa phương tiện 12 Chương 2 Các phương pháp nén dữ liệu đa phương tiện 13 2.1 Phương pháp nén ảnh 13 2.1.1 Phương pháp nén ảnh JPEG 13 2.1.1.1 Quá trình nén JPEG 14 2.1.1.2 Giải nén JPEG 20 2.2 Phương pháp nén Audio 22 2.3 Phương pháp nén Video 22 2.3.1 Khái quát về H264 23 2.3.1.1 H264 hoạt động như thế nào? 23 2.3.1.2 H264 trong thực tế 26 Chương 3 Công nghệ lưu trữ và thu hồi dữ liệu đa phương tiện 26 3.1 Cấu trúc và mô hình đĩa cứng 27 3.2 Sự lập lịch trình trên đĩa 27 3.3 Cải thiện thông lượng đĩa 28 3.4 Lưu trữ và thu nhận dữ liệu trên nhiều đĩa 28 3.4.1 Phân vùng và replication 28 3.4.2 Disk striping 28 3.4.3 Lập lịch trình cho nhiều đĩa 28 1 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo 3.5 Phân miền đĩa 28 Chương 4 Truyền số liệu đa phương tiện trên mạng máy tính 29 4.1 Streaming media 29 4.1.1 Truyền dòng dữ liệu dùng giao thức TCP/UDP 29 4.1.2 Các giao thức streaming chuyên biệt 32 4.1.2.1 Giao thức RSTP (Realtime streaming protocol) 32 4.1.2.2 Giao thức Realtime Transport Protocol (RTP) 33 4.2 Kiến trúc server song song trong mạng đa phương tiện 34 4.2.1 Phân loại và các lựa chọn trong kiến trúc 34 4.2.1.1 Giới thiệu 34 4.2.1.2 Kiến trúc phân phối video song song 34 4.2.1.3 Server striping policies 37 4.2.2 Các giao thức phân phối video song song 37 4.2.2.1 Client pull và server push 37 4.2.2.2 Đồng bộ các server (inter-server synchronization) 37 4.2.2.3 Xác định và vô hiệu server hỏng 37 4.2.3 Kiến trúc Server song song cùng đẩy (concurrent-push) 37 4.2.3.1 Kiến trúc hệ thống 37 4.2.3.2 Phân tích giải thuật 38 4.2.3.3 Asynchronous Grouped Sweeping Scheme 39 4.2.3.4 Sub-Schedule Striping Scheme 39 4.2.3.5 Đánh giá hiệu năng 39 4.3 Kiến trúc multicast Streaming 42 4.3.1 Sơ lược về multicast streaming 42 4.3.1.1 Giới thiệu 42 4.3.1.2 Multicast media streaming 43 4.3.1.3 Kỹ thuật cho multicast media streaming theo yêu cầu 43 4.4 Các giao thức truyền thông đa phương tiện sử dụng trong thiết lập cuộc gọi 43 4.4.1 Giới thiệu về SIP 43 4.4.2 Các thực thể trong SIP 48 4.4.2.1 SIP User agents 49 4.4.2.2 Proxy Server 49 4.4.2.3 Redirect Server 49 2 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo 4.4.2.4 Registrar Server 49 4.4.3 Các tin nhắn tạo phiên 50 4.4.3.1 Các kiểu tin nhắn (Message Type) 50 4.4.3.2 Cấu trúc của tin nhắn 51 4.4.3.3 Ví dụ một số message 52 4.4.4 Tương tác giữa các thực thể SIP 55 4.4.4.1 Tạo và ngắt phiên 55 4.4.4.2 Chuyển hướng gọi. Call Redirection 56 4.4.4.3 Call Proxying 57 4.4.5 Giao thức mô tả phiên SDP 58 4.4.6 Hệ thống máy phục vụ của SIP (SIP Servers) 59 4.4.6.1 SIP server là gì? 59 4.4.6.2 Registrar Server 59 4.4.6.3 Redirect Server 59 4.4.6.4 Proxy Server 59 Chương 5 Một số ứng dụng truyền thông đa phương tiện 64 5.1 Voice over IP 64 5.2 Video over IP 64 5.3 Video conferrencing 64 5.4 Television over IP 64 5.5 Video on demand 64 5.6 Interactive TV 64 Chương 6 Đề xuất đề tài NCKH, bài tập lớn 65 3 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Chương 1 Tổng quan về truyền thông đa phương tiện Giới thiệu sơ lược về truyền thông đa phương tiện, các đặc điểm của dữ liệu đa phương tiện, và nêu ra những thách thức khi xây dựng hệ thống truyền thông đa phương tiện hiệu năng cao – tiết kiệm tài nguyên. 1.1 Truyền thông đa phương tiện Sự phát triển nhanh chóng của máy tính và Internet đã sinh ra nhiều dịch vụ và ứng dụng mới. Trong đó các dịch vụ như World Wide Web đã đóng góp nhiều sự thành công và biến đổi nhiều mặt của xã hội. Với sự cải thiện liên tục về băng thông, năng lực tính toán, và khả năng lưu trữ các dịch vụ phát triển từ việc truyền các dữ liệu văn bản và đồ họa đơn giản sang các dữ liệu đa phương tiện phức tạp như audio và video chất lượng cao. Môn học truyền thông đa phương tiện bàn về hệ thống dùng để truyền các dữ liệu đa phương tiện trên mạng mạng truyền thông như Internet hoặc trên mạng diện rộng. - Là công nghệ truyền thông giúp người dùng trao đổi, chia sẻ thông tin đa phương tiện trên mạng truyền thông, thông tin gồm: Dữ liệu Audio, Video thời gian thực, hình ảnh văn bản và các dạng dữ liệu khác. - Các ứng dụng sử dụng truyền thông đa phương tiện trên gồm: Hội thảo từ xa (video conferencing), nói chuyện qua internet (voice over IP), truyền hình internet, truyền hình theo yêu cầu (video on demand) … 1.1.1 Các thành phần của hệ thống truyền thông đa phương tiện Như đã nói ở trên, môn học này bàn về việc truyền dữ liệu đa phương tiện trên hệ thống mạng truyền thông (Internet, mạng diện rộng). Hình 1.1 thể hiện mô hình client/server để truyền dữ liệu đa phương tiện hai đầu. Ở phía nguồn, dữ liệu đa phương tiện được nén và lưu trữ. Qua hệ thống điều khiển từ phía server, các dữ liệu này sẽ được gửi đi qua mạng tùy theo yêu cầu của người dùng. Giao thức ở tầng application/transport sẽ được dùng để truyền dữ liệu tới máy khách, dữ liệu này sẽ được lưu trong bộ đệm hoặc thiết bị lưu trữ, từ đó được giải mã và được hiển thị cho người dùng. 4 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 1.1 Sơ đồ khối cơ bản của 1 hệ thống đa phương tiện Đặc trưng duy nhất của mô hình hệ thống này là: Các thành phần của hệ thống sẽ thực hiện công việc một cách tuần tự theo các bước trong quá trình truyền dữ liệu. Do đó, nếu 1 thành phần hoạt động không tốt sẽ ảnh hưởng tới toàn bộ hệ thống. Tóm lại, các thành phần của hệ thống truyền thông đa phương tiện bao gồm: • Dữ liệu đa phương tiện • Hệ thống lưu trữ • Bộ đệm • Mạng truyền thông • Thiết bị xử lý, hiển thị 1.2 Dữ liệu đa phương tiện Dữ liệu đa phương tiện cần được hiểu là nhiều loại dữ liệu sẽ được thu thập, gửi đi và hiển thị một cách đồng thời. Có rất nhiều loại dữ liệu: đơn giản nhất là dữ liệu văn bản thô, văn bản đã định dạng, và các dạng dữ liệu khác như ảnh đồ họa, âm thanh, video… Ta có thể phân loại các loại dữ liệu trên ra thành 2 loại, theo ngữ cảnh của việc truyền dữ liệu đa phương tiện. - Loại thứ nhất: dữ liệu rời rạc (discrete media) gồm các loại dữ liệu mà khi hiển thị không bị bó buộc chặt chẽ về thời gian. Ví dụ ta có thể nhận 1 bức ảnh từ web server để hiển thị 5 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo trong web browser. Tùy theo thông lượng mạng mà thời gian nhận bức ảnh có thể nhanh hay chậm trước khi nó được giải mã và hiển thị. - Loại thứ 2: dữ liệu liên tục. Dữ liệu này có một yêu cầu chặt chẽ về thời gian hiển thị và các thông tin này được nhúng bên trong dữ liệu. Ta có thể thấy ngay ví dụ đó là dữ liệu video, audio. Dữ liệu video thường được mã hóa theo các frame được hiển thị tuần tự với một tần số nào đó, ví dụ 25 hình/giây (frame per second fps). Do đó để hiển thị các đối tượng video một cách đúng đắn, thì không chỉ cần nhận dữ liệu video một cách chính xác mà còn cần phải giải mã và hiển thị chúng theo đúng trình tự và thời điểm. Nếu không làm được điều đó thì video hiển thị sẽ bị hỏng, chất lượng thấp. Do đó lưu lượng mạng dành cho dữ liệu đa phương tiện có thể coi là lưu lượng cố định do sự cần thiết duy trì bộ định thời chặt chẽ. Từ đó ta thấy, thách thức trong truyền thông đa phương tiện nói chung và đặc biệt là truyền thông dữ liệu đa phương tiện liên tục, đó là phải đảm bảo tính vẹn toàn của cả dữ liệu và thời gian hiển thị (presentation timing). Hơn nữa, dữ liệu đa phương tiện thông thường là sự kết hợp của nhiều dòng dữ liệu khác nhau và được đồng bộ với nhau. Do đó, độ phức tạp sẽ được nhân lên nhiều lần và phải đồng bộ giữa các dòng dữ liệu với nhau. 1.3 Truyền dữ liệu đa phương tiện Với 2 loại dữ liệu đa phương tiện đã bàn ở trên, ta chỉ tập trung vào truyền dữ liệu liên tục trong phần còn lại của môn học. Chúng ta có thể phân lớp việc truyền dữ liệu đa phương tiện liên tục thành 2 loại: truyền thời gian thực và truyền bán thời gian thực (soft-real-time delivery) Truyền thời gian thực: dữ liệu phải truyền từ nguồn và hiển thị tại đích với một độ trễ cho trước. Truyền thời gian thực thường được sử dụng để người dùng tương tác với nhau như: Internet Phone, đàm thoại video từ xa.(Hình 1.2) 6 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 1.2 Truyền dữ liệu liên tục thời gian thực trong hội đàm video. Truyền dữ liệu bán thời gian thực: Không cho trước thời gian trễ, thay vào đó, hệ thống phải truyền sao cho đảm bảo tính toàn vẹn của dữ liệu và toàn vẹn thời gian hiển thị, đồng thời giảm thời gian trễ ở mức tối đa. Ví dụ của việc truyền dữ liệu bán thời gian thực là dịch vụ video theo yêu cầu (Video on demand) . Hệ thống này có thể có độ trễ ban đầu lớn để đổi lấy chất lượng video mịn trong quá trình play . Hình 1.3 Hình 1.3 Truyền dữ liệu bán thời gian thực trong hệ thống VOD 7 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo 1.4 Các phương pháp truyền dữ liệu đa phương tiện Việc truyền dữ liệu trên mạng máy tính không đã được thực hiện từ lâu, và có rất nhiều phương pháp khác nhau để áp dụng. Trong đó phương pháp download là phương pháp phổ biến nhất để truyền dữ liệu đa phươn tiện từ server tới client. 1.4.1 Mô hình download Mô hình download được mô tả trong hình 1.4: Client gửi 1 yêu cầu tới server để chỉ ra đối tượng dữ liệu cần download; server sẽ lấy đối tượng dữ liệu đó (có thể từ hệ thống file nội bộ) và truyền nó tới client qua mạng dùng một số giao thức application/transport. Có thể lấy ví dụ trong WWW. Hình 1.4Tương tác giữa client và server trong mô hình download. Đặc điểm của phương pháp: Trước tiên đối tượng dữ liệu phải được nhận về toàn bộ và lưu trong bộ đệm hoặc file trước khi được giải mã và hiển thị. Khi đối tượng dữ liệu đã được client nhận đầy đủ thì việc giải mã và trình diễn dữ liệu đó sẽ được thực hiện như trên hệ thống file nội bộ của client. Mô hình này hoạt động tốt trong một số ứng dụng nhưng lại không phù hợp với dữ liệu liên tục. Giả sử quá trình download như trong hình 1.5 , bỏ qua thời gian xử lý, thời gian từ khi bắt đầu yêu cầu đến khi có thể hiển thị được dữ liệu được tính theo kích thước của đối tượng dữ liệu và tốc độ truyền. Với những ứng dụng như WWW thì dữ liệu thường là văn bản HTML, hoặc ảnh nhỏ thì độ trễ này tương đối nhỏ. Tuy nhiên, với đối tượng dữ liệu liên tục thì độ trễ có thể sẽ rất lớn, đến mức không chấp nhận được. Ví dụ, một dữ liệu video thời lượng 2 giờ được nén MPEG2 với tần só bit trung bình 6Mbps sẽ có kích thước khoảng 5.4GB. Và truyền đi trong mạng với tốc độ 8Mbps thì người dùng sẽ phải chờ khoảng 1.5 giờ trước khi có thể xem video. 8 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 1.5Thời gian bắt đầu trễ trong mô hình download Nhược điểm cơ bản của mô hình download (được thể hiện trên hình 1.6) là nó yêu cầu phải download toàn bộ đối tượng video về thì mới bắt đầu xem được. Trong khi đối với nhiều loại dữ liệu rời rạc thì yêu cầu này là cần thiết, thì dữ liệu liên tục như video có đặc trưng là một phần dữ liệu của nó có thể được giải mã(decoded) và hiển thị (play back). Dữ liệu video được cấu thành từ các frame, và ta có thể xem khi toàn bộ dữ liệu của 1 frame được client nhận về. Hình 1.6 Thời gian trễ để download 5.4 GB video Từ đặc điểm này mà người ta có thể cải tiến mô hình download thành mô hình Streaming như sau: 1.4.2 Mô hình Streaming Trong mô hình streaming, dữ liệu liên tục sẽ được phát lại trong khi quá trình nhận dữ liệu về vẫn tiếp diễn (minh họa trong hình 1.7). Sau khi gửi yêu cầu tới server để bắt đầu quá trình 9 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo streaming client sẽ đợi gói dữ liệu đầu tiên tới và bắt đầu phát lại (play), trong khi nhận gói dữ liệu thứ 2, và cứ như thế. Do đó, quá trình phát lại và quá trình nhận dữ liệu được thực hiện theo dòng gần song song (pipeline). 10 Bộ môn An Ninh Mạng - HVKTQS [...]... dựng một hệ thống truyền thông đa phương tiện • • Các tham số biết và chưa biết • Tương tác thời gian thực • Hiệu quả • 12 Tính liên tục Có thể mở rộng Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện • Hoàng Tuấn Hảo Tính tin cậy Chương 2 Các phương pháp nén dữ liệu đa phương tiện Tổng quan về nén dữ liệu đa phương tiện 2.1 Phương pháp nén ảnh Giới thiệu phương pháp nén ảnh JPEG Phương pháp nén... HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 3.3 Việc lập lịch đọc và truyền dữ liệu tại media server 3.3 Cải thiện thông lượng đĩa 3.4 Lưu trữ và thu nhận dữ liệu trên nhiều đĩa 3.4.1 Phân vùng và replication 3.4.2 Disk striping 3.4.3 Lập lịch trình cho nhiều đĩa 3.5 Phân miền đĩa 28 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Chương 4 Hoàng Tuấn Hảo Truyền số liệu đa phương tiện. .. dung đa phương tiện dùng giao thức siêu văn bản HTTP, web server sẽ gửi dữ liệu đa phương tiện đó qua giao thức HTTP 1 cách đơn giản – và các thao tác này sử dụng giao thức TCP để chuyển dữ liệu Khi web server không thực hiện streaming dữ liệu đa phương tiện một cách rõ ràng, nó sẽ truyền dữ liệu này với tốc độ như tốc độ mà mạng cho phép bất chấp tần số dữ liệu thực (data rate) của dữ liệu đa phương tiện. .. trong thiết kế và đánh giá hệ thống đa phương tiện liên tục 1.4.3 So sánh các phương pháp truyền dữ liệu đa phương tiện • Phương pháp tải xuống (download) • Phương pháp tải theo dòng (streaming) Với sự phát triển nhanh của công nghệ mạng thì người ta có thể đặt ra câu hỏi rằng liệu trong tươnng lai mạng máy trính sẽ có thể có thông lượng rất lớn khiến cho thời gian truyền sẽ không đáng kể ngay cả khi... đặt ra là TCP có giúp cho việc streaming dữ liệu đa phương tiện 1 cách thuận tiện không (như mô tả trong hình sau) ? 29 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 4.12 Streaming media dùng giao thức TCP Câu trả lời phụ thuộc vào thông lượng (bandwidth) yêu cầu, đặc tính mạng và chất lượng mong muốn của dịch vụ… Ví dụ nếu thông lượng mạng lớn hơn tốc độ dữ liệu (data rate)... broadcasting - Internet video - Video conferencing Chương 3 Công nghệ lưu trữ và thu hồi dữ liệu đa phương tiện Các dòng (streame) dữ liệu đa phương tiện sinh ra một lượng lớn dữ liệu ngay cả khi chúng được nén , đặc biệt là với dữ liệu audio, video 26 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo 3.1 Cấu trúc và mô hình đĩa cứng Hình 3.1 Cấu trúc vật lý của đĩa cứng 3.2 Sự... stateful, do đó yêu cầu client duy trì thông tin về phiên streaming qua các request RSTP Thứ 2 cả RSTP client và server đều có thể đưa ra RSTP 32 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo request Cuối cùng, dữ liệu đa phương tiện được truyền ngoài dải dùng protocol riêng biệt ( có thể là giao thức RTP) Trong một ứng dụng streaming thông thường, trước hết client nhận file... An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo • Giải mã huffman , thu được ma trận hệ số của từng khối: • Nhân từng phần tử với phần tử tương ứng trong ma trận lượng hóa ta thu được: • Biến đổi ngược cosin rời rạc IDCT thu được ảnh Cộng thêm 128 vào giá trị của từng điểm trong khối thu được khối giải nén: 21 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo So... Giới thiệu 4.2.1.2 Kiến trúc phân phối video song song 4.2.1.2.1 Proxy at server 34 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Kiến trúc Proxy at server 4.2.1.2.2 Proxy độc lập 4.2.1.2.3 Proxy-at-client 35 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện 36 Hoàng Tuấn Hảo Bộ môn An Ninh Mạng - HVKTQS ... ngược 24 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Hình 2.10Các hệ số được lượng hóa (giống phương pháp lượng hóa của JPEG) Mã hóa dòng bit Quá trình nén video đưa ra một số giá trị phải đưa vào mã hóa để xây dựng dòng bit đã nén Các giá trị đó gồm: + Các hệ số đã lượng hóa + Thông tin cho phép bộ giải mã có thể tái tạo quá trình dự đoán + Thông tin về cấu trúc của dữ liệu . Truyền thông đa phương tiện Hoàng Tuấn Hảo BÀI GIẢNG TRUYỀN THÔNG ĐA PHƯƠNG TIỆN MỤC LỤC Chương 1 Tổng quan về truyền thông đa phương tiện 4 1.1 Truyền thông đa phương tiện 4 1.1.1. Các thành phần của hệ thống truyền thông đa phương tiện 4 1.2 Dữ liệu đa phương tiện 5 1.3 Truyền dữ liệu đa phương tiện 6 1.4 Các phương pháp truyền dữ liệu đa phương tiện 8 1.4.1 Mô hình download. NCKH, bài tập lớn 65 3 Bộ môn An Ninh Mạng - HVKTQS Truyền thông đa phương tiện Hoàng Tuấn Hảo Chương 1 Tổng quan về truyền thông đa phương tiện Giới thiệu sơ lược về truyền thông đa phương tiện,