Chuong 3 source encoder

CHƯƠNG 3: CHƯƠNG 3: MÃ HIỆU MÃ HIỆU Nội dung chính Nội dung chính 1. 1. Định nghĩa mã hiệu Định nghĩa mã hiệu 2. 2. Các thông số của mã hiệu Các thông số của mã hiệu 3. 3. Điều kiện thiết lập mã hiệu Điều kiện thiết lập mã hiệu 4. 4. Biểu diễn mã hiệu Biểu diễn mã hiệu 5. 5. Mã hệ thống có tính Prefix Mã hệ thống có tính Prefix 6. 6. Mã thống kê tối ưu: Mã thống kê tối ưu:  Mã fano Mã fano  Mã Hauffman Mã Hauffman 1. Mã hiệu 1. Mã hiệu  Tốc độ lập tin của nguồn tin bất kỳ thường là rất Tốc độ lập tin của nguồn tin bất kỳ thường là rất thấp so với thông lượng kênh. thấp so với thông lượng kênh.  Để sử dụng có hiệu quả kênh cũng như làm tăng Để sử dụng có hiệu quả kênh cũng như làm tăng khả năng chống nhiễu của kênh ta sử dụng phương khả năng chống nhiễu của kênh ta sử dụng phương pháp mã hoá. pháp mã hoá.  Bản chất của phương pháp này là biến đổi nguồn Bản chất của phương pháp này là biến đổi nguồn tin đã cho thành nguồn tin mới có những đặc tính tin đã cho thành nguồn tin mới có những đặc tính thống kê phù hợp với kênh truyền (thêm thông tin thống kê phù hợp với kênh truyền (thêm thông tin chống nhiễu, tăng tốc độ lập tin) -> chống nhiễu, tăng tốc độ lập tin) -> Mã hiệu Mã hiệu  Nguồn tin mới đó được gọi là Nguồn tin mới đó được gọi là Mã hiệu Mã hiệu . .  Như vậy, Như vậy, mã hiệu là một nguồn tin với những đặc mã hiệu là một nguồn tin với những đặc tính thống kê phù hợp với C và khả năng chống tính thống kê phù hợp với C và khả năng chống nhiễu của kênh truyền nhiễu của kênh truyền . . Mã hiệu Mã hiệu  Ví dụ: Ví dụ: Sử dụng bit kiểm tra chẵn lẻ như sau: Sử dụng bit kiểm tra chẵn lẻ như sau: o Tin cần phát đi: 1010111 Tin cần phát đi: 1010111 o Được mã hóa thành: 1010111 Được mã hóa thành: 1010111 1 1 o Bit Bit 1 1 được thêm vào để đảm bảo tổng số bit 1 trong 8 được thêm vào để đảm bảo tổng số bit 1 trong 8 bit là một số chẵn. bit là một số chẵn. o Nếu khi thu được 8 bit mà có tổng số bit 1 là số lẻ tức Nếu khi thu được 8 bit mà có tổng số bit 1 là số lẻ tức là có lỗi trong 8 bit đó. là có lỗi trong 8 bit đó.  Rõ ràng ở ví dụ trên ta đã thêm thông tin để có thể Rõ ràng ở ví dụ trên ta đã thêm thông tin để có thể phát hiện lỗi. Việc thêm thông tin này làm tăng tốc phát hiện lỗi. Việc thêm thông tin này làm tăng tốc độ lập tin (do tăng n độ lập tin (do tăng n 0 0 ) ) Các thông số của mã hiệu Các thông số của mã hiệu 1. 1. Cơ số của mã hiệu (m) Cơ số của mã hiệu (m) : là số ký hiệu khác nhau : là số ký hiệu khác nhau được sử dụng trong mã hiệu . được sử dụng trong mã hiệu . o Ở ví dụ trên: ta dùng 2 ký hiệu khác nhau là ‘0’ và ‘1’ Ở ví dụ trên: ta dùng 2 ký hiệu khác nhau là ‘0’ và ‘1’ -> -> m=2 m=2 . . o Ở bộ mã Morse dùng trong điện báo có 3 ký hiệu khác Ở bộ mã Morse dùng trong điện báo có 3 ký hiệu khác nhau là ‘.’, ‘_’, ‘ ‘ -> nhau là ‘.’, ‘_’, ‘ ‘ -> m=3 m=3 Các thông số của mã hiệu Các thông số của mã hiệu 2. 2. Độ dài của từ mã (n) Độ dài của từ mã (n) : là số ký hiệu trong mỗi từ : là số ký hiệu trong mỗi từ mã. mã.  Có 2 loại mã: Có 2 loại mã: o Mã đều: các từ mã có độ dài bằng nhau. Mã đều: các từ mã có độ dài bằng nhau. – Ở ví dụ Ở ví dụ dùng thêm một bit kiểm tra chẵn lẽ cho từng nhóm 7 dùng thêm một bit kiểm tra chẵn lẽ cho từng nhóm 7 bit đề thành nhóm 8 bit bit đề thành nhóm 8 bit . -> . -> mã đều, n=8 mã đều, n=8 o Mã không đều: các từ mã có độ dài không bằng nhau. Mã không đều: các từ mã có độ dài không bằng nhau. – Ở bộ Ở bộ mã Morse mã Morse dùng trong điện báo có các từ mã không đều dùng trong điện báo có các từ mã không đều nhau (A=‘. _’; B=‘_ . . .’) -> nhau (A=‘. _’; B=‘_ . . .’) -> mã không đều, có độ dài n = 1, mã không đều, có độ dài n = 1, 2, 3, 4, 5 2, 3, 4, 5 Các thông số của mã hiệu Các thông số của mã hiệu 2. 2. Độ dài của từ mã (n) Độ dài của từ mã (n) : - tiếp theo : - tiếp theo  Với bộ mã không đều, ta có khái niệm độ dài Với bộ mã không đều, ta có khái niệm độ dài trung bình của các từ mã: trung bình của các từ mã: o Cho nguồn tin {A, p(a Cho nguồn tin {A, p(a i i ), i=1 n)} ), i=1 n)} o Độ dài trung bình của các từ mã là: Độ dài trung bình của các từ mã là: o Với N là số từ mã, p(a Với N là số từ mã, p(a i i ) và n ) và n i i là xác suất xuất hiện và độ là xác suất xuất hiện và độ dài tương ứng của từng từ mã. dài tương ứng của từng từ mã. ∑ = = N i ii napn 1 _ ).( Các thông số của mã hiệu Các thông số của mã hiệu 3. 3. Số từ mã khác nhau trong bộ mã (N) Số từ mã khác nhau trong bộ mã (N) : :  Trong mã đều: Trong mã đều: o Nếu N = m Nếu N = m n n ta có mã đầy ta có mã đầy – Ví dụ, ta sử dụng bộ mã đều, cơ số 2 (‘0’, ‘1’) có độ dài các Ví dụ, ta sử dụng bộ mã đều, cơ số 2 (‘0’, ‘1’) có độ dài các từ mã là 8. Tức là m=2, n=8 từ mã là 8. Tức là m=2, n=8 – Nếu ta sử dụng 2 Nếu ta sử dụng 2 8 8 = 256 từ mã thì đây là bộ mã đầy = 256 từ mã thì đây là bộ mã đầy o Nếu N < m Nếu N < m n n ta có mã vơi ta có mã vơi – Ở ví dụ trên nếu ta sử dụng ít hơn 256 từ mã, tức là ta có bộ Ở ví dụ trên nếu ta sử dụng ít hơn 256 từ mã, tức là ta có bộ mã vơi. mã vơi. Điều kiện thiết lập mã hiệu Điều kiện thiết lập mã hiệu 1. 1. Điều kiện phân tách được Điều kiện phân tách được : việc mã hoá và giải mã phải là : việc mã hoá và giải mã phải là 1-1. 1-1.  Ví dụ: Ví dụ: một nguồn tin có 4 tin {a, b, c, d}. Ta mã hoá với một nguồn tin có 4 tin {a, b, c, d}. Ta mã hoá với mã hiệu như sau: mã hiệu như sau: o a -> 00; b -> 01; c -> 10; d -> 11 a -> 00; b -> 01; c -> 10; d -> 11 o Giả sử bản tin cần mã hoá là: (acdba) Giả sử bản tin cần mã hoá là: (acdba) o Mã hoá thành: (0010110100) Mã hoá thành: (0010110100) o Giải mã trở lại: (acdba) Giải mã trở lại: (acdba) o Ta chỉ có một kết quả mã hoá và giải mã Ta chỉ có một kết quả mã hoá và giải mã o Thoả mãn điều kiện phân tách được Thoả mãn điều kiện phân tách được [...]... a1(00) : ba1= 0.20 + 0.21 = 0 o Với a2(01) : ba2= 0.20 + 1.21 = 2 o Với a3(11) : ba3= 1.20 + 1.21 = 3 o Với a4(101) : ba4= 1.20 + 0.21 + 1.22 = 5 o Với a5(1001): ba5= 1.20 + 0.21 + 0.22 +1. 23 = 9 Biểu diễn mã hiệu-Bảng mã bai a5 9 a4 5 a3 a2 3 2 1 0 Chú ý: 2 tin khác nhau không thể đồng thời bằng nhau về độ dài và trọng số a1 1 2 3 4 n Biểu diễn mã bằng đồ hình mã Có 2 dạng biểu diễn đồ hình mã: o o... hoá nguồn tin: A={a1, a2, a3, a4, a5} o o Bước 1: Chọn bộ mã đơn giản có tính prefix: 1, 01, 000, 001 Bước 2: – – o Chọn 1, 01, 000 làm tổ hợp cơ sở Tổ hợp còn lại: 001 là tổ hợp cuối Bước 3: Ghép thành các tổ hợp mã: – 1001; 01001, 1000001, 101001, 000001 a1 a2 a3 a4 a5 Mã hệ thống có tính Prefix – Thành lập mã Ta được bảng mã hệ thống có tính Prefix như sau: Tin gốc a1 a2 a3 a4 a5 Từ mã 1001 01001... 3 Điều kiện hiệu quả kinh tế: việc mã hoá phải sử dụng các từ mã càng ngắn càng tốt Điều kiện thời gian xử lý: việc mã hoá phải và giải mã phải đơn giản, càng ít trễ càng tốt Biểu diễn mã hiệu Mã hiệu bao gồm các từ mã là sự biến đổi của các tin từ nguồn tin gốc trong quá trình mã hoá Như vậy, một tin gốc sẽ tương ứng với một từ mã trong bộ mã hiệu Có 3 phương pháp biểu diễn sự tương ứng đó: 1 2 3. .. nguồn tin trên phát bản tin: X=(a1, a3, a5, a4, a2, a1, a1) o Mã hoá ta được: (100110000010000011010010100110011001) 100110000010000011010010100110011001 Mã hệ thống có tính Prefix – Giải mã Giải mã bao gồm 3 bước, thực hiện tại đầu thu tin: o o o Bước 1: Phân tách chuỗi tin thu được thành các tổ hợp cơ sở và tổ hợp cuối Bước 2: Nhóm thành các tổ hợp mã hệ thống Bước 3: Biến đổi từ các tổ hợp mã hệ thống... càng tăng thì tính bảo mật càng tăng Mã hệ thống có tính Prefix – Thành lập mã Ví dụ 2: thành lập bộ mã hệ thống có tính prefix để mã hoá nguồn tin: U={u1, u2, u3, u4, u5, u6} o Giả sử nguồn tin trên phát bản tin: X=(u6, u5, u3, u2, u2, u3, u4, u1) Mã hoá và giải mã bản tin theo bộ mã vừa thành lập Mã thống kê tối ưu Các tin từ các nguồn tin thường có xác suất xuất hiện không đều Nếu mã hoá với bộ... Có 2 dạng bảng mã: o Bảng đối chiếu o Mặt phẳng toạ độ Ví dụ: cho nguồn tin có năm tin, được mã hoá theo mã hiệu như sau: o o o o o a1 -> 00 a2 -> 01 a3 -> 11 a4 -> 101 a5 -> 1001 Biểu diễn mã hiệu-Bảng mã Bảng đối chiếu có dạng như sau: Tin gốc a1 a2 a3 a4 a5 Từ mã 00 01 11 101 1001 Ưu điểm của phương pháp này là trực quan, dễ đối chiếu Nhược điểm là nếu nguồn có nhiều tin (ví dụ 256) thì rất khó biểu... Mức gốc 1 01 1 Mức 1 0 Mức 2 11 0 100 1 101 Mức 3 Chú ý: Từ mã phải nằm ở nút cuối, tức là từ đó không có rẽ nhánh tiếp Biểu diễn mã bằng hàm cấu trúc mã: Sử dụng hàm G(ni), trong đó: o o Biến ni là độ dài của từ mã Giá trị của hàm là số từ mã có độ dài ni tương ứng Ví dụ: Bộ mã hiệu (00, 01, 10, 110, 111) o Hàm cấu trúc mã là: G(ni) = 2 khi ni=2 1 khi ni =3 2 khi ni=4 Tính Prefix Mã có tính phân tách... mã Ví dụ trên: chuỗi tin thu được là: o 100110000010000011010010100110011001 Bước 1: 1-001-1-000-001-000-001-1-01-001-01-001-1-001-1-001 o Bước 2: 1001-1000001-000001-101001-01001-1001-1001 o Bước 3: X=(a1, a3, a5, a4, a2, a1, a1) Mã hệ thống có tính Prefix – Nhận xét Mã hệ thống có tính Prefix có ưu điểm: o o Có tính chống nhiễu Có tính bảo mật cao Nhược điểm: o Trong ví dụ trên, độ dài từ mã lớn->... Thành lập mã Mã hoá Giải mã Mã hệ thống có tính Prefix – Thành lập mã Thành lập mã hệ thống có tính prefix bao gồm 3 bước: o o o Bước 1: Chọn một bộ mã đơn giản có tính prefix Bước 2: Lấy một số tổ hợp mã ở bước 1 làm tổ hợp cơ sở, các tổ hợp còn lại của bước 1 được gọi là tổ hợp cuối Bước 3: Ghép một hoặc một số tổ hợp cơ sở với nhau rồi cộng thêm vào cuối một tổ hợp cuối, ta được 1 từ mã Thực hiện như