Đang tải... (xem toàn văn)
Đề cương môn Hệ thống truyền thông đa phương tiện MỤC LỤC 1 Hãy trình bày về các giai đoạn chính trong sử lý ảnh 2 2 Hãy trình bày về dịch vụ thoại internet VOIP 3 3 Hãy trình bày mô hình truyền thông[.]
Đề cương môn: Hệ thống truyền thông đa phương tiện MỤC LỤC Hãy trình bày giai đoạn sử lý ảnh 2 Hãy trình bày dịch vụ thoại internet VOIP 3 Hãy trình bày mơ hình truyền thơng tổng qt hệ thống truyền thông đa phương tiện 4 Hãy trình bày mã hóa cảm quang xử lý âm 5 Hãy trình bày chuẩn mã hóa âm Mp3 6 Hãy trình bày chế độ nén bản, nén tổn hao, nén ảnh JPEG 7 Hãy trình bày nguyên lý nén video 11 Hãy trình bày dịch vụ IPTV .12 Hãy trình bày cấu trúc phẳng tầng mạng cảm biến đa phương tiện 13 10 Hãy trình bày cấu trúc gói tin IPV6 16 11 Hãy trình bày nén phần tiêu đề IPV6 .16 12 Hãy trình bày kiến trúc hệ thống đa phương tiện IOT 21 13 Trình bày quản lý hàng đợi kiểm soát tắc nghẽn 21 14 Trình bày trình xử lý video .21 15 Trình bày sơ đồ tổng quát mã hóa video 23 16 Trình bày q trình truyền dịng liệu đa phương tiện 25 17 Trình bày ứng dụng RTP 26 BÀI TẬP .27 Đề cương môn: Hệ thống truyền thông đa phương tiện Hãy trình bày giai đoạn sử lý ảnh Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh chất lượng tốt hơn, đặc tính ảnh liệu mã hóa ảnh Q trình xử lý ảnh bao gồm cơng đoạn mơ tả hình sau: - Thu nhận ảnh: Đây giai đoạn quan trọng tồn q trình xử lý ảnh Ảnh nhận ảnh gốc để đưa vào xử lý giai đoạn Trường hợp ảnh gốc có chất lượng dẫn đến hiệu bước Thiết bị thu nhận ống ghi hình chân khơng (vidicon, plumbicon, v.v.) thiết bị cảm biến quan điện bán dẫn CCD (ChargeCoupled Device) - Tiền xử lý ảnh: Giai đoạn ảnh xử lý đơn giản nhằm nâng cao chất lượng để trợ giúp cho trình xử lý nâng cao tiếp theo, ví dụ: tăng độ tương phản, làm biên, khử nhiễu v.v - Phân đoạn ảnh: trình tách hình ảnh thành phần vật thể riêng biệt Đây vấn đề khó giải lĩnh vực xử lý ảnh Nếu thực tách chi tiết tốn nhận dạng thành phần tách trở nên phức tạp Ngược lại, trình phân đoạn thực sơ sài kết nhận cuối khơng xác - Biểu diễn mơ tả: Là q trình xử lý tiếp sau khâu phân đoạn ảnh Các đối tượng sau phân đoạn mơ tả dạng chuỗi điểm ảnh tạo nên ranh rới vùng tập hợp tất điểm ảnh nằm vùng Biểu diễn vùng thường sử dụng quan tâm tới đặc tính bên vùng bề mặt (texture) hay hình dạng (skeletal) - Nén ảnh: Bao gồm biện pháp giảm thiểu dung lượng nhớ cần thiết để lưu trữ hình ảnh, hay giảm băng thông truyền thông đa phương tiện Do Đề cương môn: Hệ thống truyền thông đa phương tiện kỹ thuật xử lý ảnh thường xuyên sử dụng truyền thông đa phương tiện nên thuật toán nén ảnh giới thiệu kỹ giảng - Nhận dạng ảnh: trình phân loại vật thể dựa sở chi tiết mơ tả vật thể (ví dụ phân loại họ thực vật dựa hình dạng, kích thước ảnh) Hãy trình bày dịch vụ thoại internet VOIP VoIP dịch vụ cho người sử dụng thực gọi thoại hạ tầng mạng IP thay mạng điện thoại chuyển mạch kênh TDM truyền thống Một số ứng dụng thực tế triển khai mạng VT: dịch vụ thoại giá rẻ 171, 178, 179 Một số ứng dụng Voip điển hình Internet Skype, Yahoo,Kakao talk, Zalo, Cấu trúc mạng Voip điển hình: Mạng Voip gồm thực thể: - Thiết bị đầu cuối IP phone: Có thể phần mềm chạy máy tính (softphone) điện thoại IP (hardphone) - Hạ tầng truyền tải IP: Cung cấp kết nối IP để truyền tải liệu báo hiệu điều khiển thoại - Máy chủ dịch vụ VoiP (VoiP Server): Là thiết bị quản lý thuê bao dịch vụ điều khiển gọi VoiP - VoIP gateway: Cổng giao tiếp sang mạng truyền thống cung cấp giao diện xuống POTS phone Trong hệ thống cung cấp dịch vụ VoIP, có loại thơng tin trao đổi thành phần: Đề cương môn: Hệ thống truyền thông đa phương tiện - Thông tin báo hiệu điều khiển: Mang thông tin giao thức điều khiển thoại (SIP, MGCP, H.323, H.248,…) VoIP server IP phone/VoIP GW - Thông tin thoại: Mang nội dung thoại trao đổi mã hóa đóng gói tin (RTP,…) IP phone với Ip phone với VoIP gateway Hoạt động dịch vụ Voip: Việc trao đổi thoại IP chất trao đổi gói tin IP chứa liệu thoại người sử dụng Mỗi đầu cuối có địa IP Hai đầu cuối trao đổi thoại biết địa IP Tuy nhiên thực tế người sử dụng nhớ IP mà nhớ số điện thoại nên vai trị VoiP Server phân tích địa dạng số sang địa IP (thơng thường có thêm địa Port) tương ứng đầu cuối cập nhật lại cho đầu cuối giao thức báo hiệu (SIP, H.248/MEGACO, ) Sau đó, đầu cuối gửi/nhận tín hiệu thoại đến/từ đối tác gói tin IP giao thức truyền tải thoại (RTP,…) Hiện nay, giao thức điều khiển khác giao thức SIP khơng cịn đươc dủng rộng rãi thiết bị chủ yếu dùng giao thức SIP Do vậy, thực hành lấy giao thức SIP để mô tả hoạt động gọi Hãy trình bày mơ hình truyền thơng tổng qt hệ thống truyền thơng đa phương tiện Hình vẽ cho ta sơ đồ khối mơ hình truyền thơng, thơng tin truyền chiều – truyền đơn hướng (Hình 1.5 ) trao đổi hai chiều – truyền hai hướng (Hình 1.6) Thơng tin từ nguồn tin tới thiết bị đầu cuối (TBĐC) phát để chuyển thành tín hiệu Tín hiệu truyền qua môi trường truyền dẫn (kênh truyền thông) tới TBĐC thu Tại đây, tín hiệu biến đổi ngược lại thành thông tin đưa tới nơi nhận tin Tùy thuộc vào tin tức, thiết bị đầu cuối mô hình truyền thơng có cấu tạo khác nhau, sử dụng phương pháp biến đổi tin tức –tín hiệu khác (ví dụ: TBĐC micro để chuyển tiếng nói thành tín hiệu thoại, loa để chuyển tín hiệu thoại thành tiếng nói) Mơi trường truyền dẫn có hai loại hữu tuyến (có dây) vô tuyến (không dây) Môi trường truyền dẫn hữu tuyến bao gồm loại đường dây thông tin cáp đồng nhiều đôi, cáp đồng trục, sợi quang … Môi trường truyền dẫn vô tuyến khoảng không bao quanh trái đất, Đề cương môn: Hệ thống truyền thông đa phương tiện tầng khí quyển, tầng điện ly khoảng không vũ trụ khác (không phải chân khơng) Hãy trình bày mã hóa cảm quang xử lý âm Mã hóa cảm quan (perceptual encoding) kỹ thuật lợi dụng đặc điểm cảm quan tai người để đạt tỷ lệ nén cao với chất lượng nén tốt Do lượng tử hóa tín hiệu âm với số bit khác cho băng con, dẫn đến số bit trung bình giảm xuống Đề cương mơn: Hệ thống truyền thơng đa phương tiện Hãy trình bày chuẩn mã hóa âm Mp3 Chuẩn mã hóa audio Mp3 MPEG nhóm chuẩn mã hóa audio cảm quan chất lượng cao MPEG-1 hoạt động ba chế độ khác gọi lớp (layer), với mức độ phức tạp hiệu tăng dần từ lớp đến lớp MPEG-1 lớp (hay gọi MP3) nhóm MPEG-1 phức tạp Hình 2.19 sơ đồ khối mã hóa MP3 điển hình Hình 23: Sơ đồ khối nén tín hiệu âm theo chuẩn MPEG-1 Layer - Dải lọc (filterbank): Phân tích tín hiệu vào thành 32 băng con, đầu cá lọc băng nối với biến đổi Cosin rời rạc MDCT (Modified Discrete Cosine Transform) MDCT chia tiếp đầu dải lọc thành 576 băng nhằm đạt độ phân giải tốt miền tần số Việc phân chia băng nhằm lợi dụng đặc điểm độ nhạy tai thay đổi thành phần tần số khác Đề cương môn: Hệ thống truyền thông đa phương tiện - Lập mơ hình cảm quan (Psychoacoustic model): khâu định chất lượng tín hiệu MP3 Bộ mã hóa MP3 tiến hành ánh xạ từ miền thời gian sang miền tần số phép biến đổi Fourier nhanh FFT (Fast Fourier Trasform) 1024 điểm, để giúp phân giải tần số tốt nhằm ước lượng ngưỡng mặt nạ xác - Lượng tử hóa mã hóa (Quantization and Coding): thực lượng tử hóa mã hóa thành phần phổ với yêu cầu nhiễu lượng tử hóa thấp ngưỡng mặt nạ Các giá trị lượng tử hóa mã hóa Huffman với bảng mã thay đổi dải tần số khác nhau, để thích nghi tốt với tín hiệu Vì mã Huffman mã có độ dài từ mã thay đổi cần giữ cho nhiễu thấp ngưỡng mặt nạ nên phải tính độ lợi hệ số tỷ lệ trước lượng tử hóa Để tìm độ lợi hệ số tỷ lệ tối ưu khối cho trước,MP3 dùng hai vòng lặp lồng vào - Vòng lặp hay vòng lặp điều khiển tốc độ (rate control loop): hiệu chỉnh độ lợi để tăng dần kích thước bước lượng tử hóa, giảm dần số mức lượng tử hóa số bit yêu cầu cho mã hóa Huffman đủ nhỏ, dẫn đến bit tốc độ bit tín hiệu MP3 đủ nhỏ - Vịng lặp ngồi hay vịng lặp điều khiển nhiễu (distortion control loop): hiệu chỉnh hệ số tỷ lệ để giảm dần nhiễu lượng tử hóa, lúc số mức lượng tử hóa tăng dần lên, làm tốc độ bit tăng dần lên, dẫn đến vòng lặp phải hiệu chỉnh độ lợi Nếu không đồng thời thỏa mãn yêu cầu tốc độ bit chất lượng audio hai vịng lặp khơng có điểm hội tụ Để tránh trường hợp này, phải hiệu chỉnh thông số mã hóa mã hóa hoạt động tốc độ bit khác - Định dạng dòng bit (bitstream formatting): dòng bit MP3 định dạng theo khung, gồm hệ số phổ mã hóa, đầu khung header gồm: từ mã đồng bộ, tốc độ bit, tần số lấy mẫu, lớp, mode mã hóa Do thông tin lặp lại tất khung nên ta giải mã vào lúc Hãy trình bày chế độ nén bản, nén tổn hao, nén ảnh JPEG Nén không tổn hao Chuẩn JPEG hỗ trợ hai kỹ thuật nén: không tổn hao (lossless) tổn hao (lossy) Nén không tổn hao dựa kỹ thuật DPCM dự đoán giá trị pixel Đề cương môn: Hệ thống truyền thông đa phương tiện thời việc sử dụng giá trị pixel liền kề Hình 2.25 mơ tả sơ đồ ngun lý nén không tổn hao Bức ảnh nguồn dạng RGB YCbCr đưa vào dự đoán Bộ dự đốn DPCM tính tốn khác biệt cho tất pixel thành phần màu Giá trị dự đoán pixel x tạo từ pixel vị trí a, b, c ảnh thành phần màu mô tả hình 2.26 Giá trị dự đốn trừ giá trị thật pixel x Giá trị khác biệt mã hóa entropy khơng tổn hao mã Huffman mã số học 2.3.6 Nén tổn hao Ngồi chế độ nén khơng tổn hao, tiêu chuẩn JPEG đưa ba chế độ nén có tổn hao: chế độ nén (baseline sequential mode), chế độ nén lũy tiến (progressive mode) chế độ nén phân cấp (hierarchical mode) Ba chế độ khác chủ yếu cách mã hóa hệ số DCT Trong chế độ nén bản, hệ số DCT mã hóa đơn giản Chế độ sử dụng hầu hết ứng dụng yêu cầu tỷ lệ nén không cao Khi ứng dụng yêu cầu tỷ lệ nén cao hơn, chế độ nén lũy tiến nén phân cấp sử dụng 2.3.6.1 Chế độ nén Trong chế độ này, ảnh chia thành khối pixel 8x8 từ trái sang phải, từ xuống 64 hệ số DCT sau biến đổi lượng tử hóa với mức chất lượng mong muốn Cuối giá trị sau lượng tử mã hóa entropy để thu liệu nén Hình 2.27 mơ tả thuật toán nén chế độ Đề cương môn: Hệ thống truyền thông đa phương tiện a Biến đổi Cosin rời rạc (Discrete Cosin Tranform) Mục đích việc sử dụng phép biến đổi DCT nhằm loại bỏ dư thừa thông tin theo không gian Quá trình thực cách biến đổi giá trị pixel sang miền không gian khác trước loại bỏ liệu không cần thiết Ý tưởng việc áp dụng DCT vào việc nén ảnh lượng hầu hết ảnh tập trung chủ yếu miền tần số thấp biểu diễn hệ số sau biến đổi Q trình lượng tử hóa sử dụng với mục đích giữ lại hệ số miền tần số thấp loại bỏ hệ số miền tần số cao Q trình khơng làm ảnh hưởng nhiều tới chất lượng ảnh hệ số miền tần số cao lưu giữ thơng tin ảnh Tuy nhiên q trình nhiều làm thông tin ảnh gốc Với khối ảnh có kích thước N x N pixel, phép biến đổi DCT triển khai sau: Bước 1: Tính ma trận T: Bước 2: Tính ma trận DCT: b Lượng tử hóa Đề cương mơn: Hệ thống truyền thông đa phương tiện Các hệ số DCT lượng tử với giá trị bảng lượng tử thay đổi tùy theo ứng dụng cụ thể Hai ví dụ bảng lượng tử cho bảng ứng với kích thước khối ảnh biến đổi DCT 8x8 Giá trị bảng rút từ thực nghiệm sử dụng riêng cho kênh chói kênh màu Có thể giá trị không phù hợp với số ứng dụng thực tế nói chung, với ảnh bit chất lượng đạt sau giải nén mức độ chấp nhận Nếu giá trị bảng lượng tử cho kênh chói kênh màu Q(u,v), hệ số DCT theo chiều ngang chiều dọc bảng lượng tử, Fq(u,v), tính cơng thức: Trong F(u,v) hệ số DCT trước lượng tử, toán tử lấy giá trị nguyên gần sau phép chia Tại phía giải mã, hệ số giải lượng tử công thức: c Quét zigzag Sau lượng tử, hệ số chiều DC 63 hệ số xoay chiều AC mã hóa theo cách riêng hình 2.15 Trước mã hóa entropy, giá trị DC khối pixel trước sử dụng làm giá trị dự đoán hệ số DC khối pixel thời Giá trị chênh lệch hai hệ số DC tính mã hóa entropy: Đối với 63 hệ số AC, thứ tự mã hóa vị trí AC(1,0) theo đường zigzag, hệ số mã hóa mã VCL hình 2.15 Lý hệ số AC mã hóa theo đường zigzag theo đường này, hệ số khác vùng tần số thấp mã hóa trước Như đề cập phần trên, lượng ảnh tập trung chủ yếu vùng tần số thấp d Mã hóa có chiều dài thay đổi (Variable Length Coding – VCL) 10 Đề cương môn: Hệ thống truyền thơng đa phương tiện Hình Các trường hợp Dispath byte[5] bit Source Address bit Dest Address : bit để chi IPv6 prefix link-local, bit để IID lấy từ lớp khác Ta có trường hợp bit địa sau: bit src add dst add: 00: PI, II 01: PI, IC 10: PC, II 11:PC, IC Định nghĩa: PI: Prefix carried in-line (giữ nguyên tiền tố) PC:Prefix compressed (link-local) II: Interface identifier carried in-line (giữ nguyên hậu tố) IC: Interface identifier elided (bỏ phần hậu tố) TF bit cho biết “Traffic Class” “Flow lable” có nén (1) hay không (0) Next Header: 00: Không nén, bit giữ nguyên 01: UDP 10: ICMP 11: TCP HC2 bit để Next Header nén sử dụng HC2 17 Đề cương môn: Hệ thống truyền thông đa phương tiện UDP b Nén UDP header (Nén HC2) Khi chưa nén kích thước UDP header bytes Hình UDP header chưa nén Khi HC2 bit thiết lập HC1 encoding, bit bổ xung sau HC1 encoding để định UDP header nén Để nén có hiệu quả, 6LoWPAN đề xuất dải “well-known ports” (61616-61631) Khi giá trị port nằm dải 12 bit đầu port bỏ qua Như port nguồn đích nằm dải well-known port chúng nén lại cịn byte Cấu trúc bit thêm vào sau HC1: Hình 5.Cấu trúc bit thêm vào sau HC1[5] Nguyên tắc nén HC2: Source port & Destination port: Nếu có giá trị khơng nén, giữ ngun phía sau (carried in-line) Nếu có giá trị src port nén lại cịn bit (bỏ 12 bit đầu) giá trị 16 bit tính = 61616 + P(4 bit) Len: Nếu có giá trị khơng nén giữ ngun phía sau Nếu có giá trị thì 16 bit UDP length bỏ đi, giá trị lấy giá trị IPv6 Payload Length 18 Đề cương môn: Hệ thống truyền thông đa phương tiện bit bit dự trữ Và vậy, trường hợp lí tưởng nguồn đích địa link-local IPv6 port nguồn đích nằm dải well-known port IPv6 header UDP header nén từ 48 bytes cịn bytes Hình mô tả IPv6 header UDP header sau nén trường hợp lí tưởng nhất: Hình Kích thước IPv6 header UDP header sau nén HC1 HC2 [5] Ngồi cịn số trường hợp khác như: Trường hợp nguồn địa link-local đích lại địa multicast: Hình Trường hợp địa đích multicast [5] Trường hợp địa IP đích phải giữ nguyên 128 bit Trường hợp giao tiếp với nút ngồi 6LoWPAN: Hình Trường hợp giao tiếp với nút 6LoWPAN [5] Trường hợp 64 bit đầu địa nguồn toàn 128 bit địa đích phải giữ ngun 12 Hãy trình bày kiến trúc hệ thống đa phương tiện IOT THINGS LAYER: Lớp bao gồm thiết bị phần cứng cảm biến thông số, cảm biến đa phương tiện, thiết bị truyền động, tùy thuộc vào dịch vụ Mục tiêu lớp để kết nối thứ mạng IoT Những thiết bị cảm nhận, thu nhận xử lý trước liệu từ vật lý mạng cục gửi liệu đến trung tâm máy chủ thông qua cổng sử dụng LAN / WPAN qua công nghệ Zigbee, Bluetooth lượng thấp (BLE), Ethernet, IEEE 802.15.4,… 19 Đề cương môn: Hệ thống truyền thông đa phương tiện NETWORK LAYER: chia thành hai lớp con: mạng truy nhập mạng lõi Chức lớp mạng xử lý liệu nhận từ lớp thing Do đó, xác định lộ trình tối ưu tiết kiệm lượng để truyền liệu đến máy chủ, thiết bị ứng dụng IoT qua Internet cách sử dụng mạng truyền thông WiFi, Ethernet, 3G, Long-Term Evolution (LTE), 5G mạng lưới vệ tinh APPLICATION LAYER: Lớp chia thành hai lớp lớp dịch vụ lớp ứng dụng Lớp dịch vụ cung cấp quản lý thơng tin, khai thác liệu, phân tích liệu dịch vụ định Lớp ứng dụng cung cấp dịch vụ cần thiết cho người dùng cuối máy móc 13 Trình bày quản lý hàng đợi kiểm soát tắc nghẽn 20