Lý thuyết thông tin (Mã hiệu)

Mã hiệu  Các khái niệm cơ bản. • Nguồn tin rời rạc: Là một tập hữu hạn các tin có một cấu trúc thống kê nhất định, được mô tả với bảng chữ với quy luật phân xác suất nhất định của các chữ. • Mã hiệu (code): Là một nguồn tin gồm các dấu hiệu riêng (symbol) hay các bảng chữ cái được xây dựng nhằm thoả mãn một số yêu cầu nhất định mà hệ thống đề ra như: tốc độ truyền tin, độ chính xác truyền tin. • Cơ số của mã (m): số các ký hiệu khác nhau trong một từ mã. Với mã nhị phân thì m = 2, dùng các ký hiệu như gạch, chấm, nghỉ để mã hoá như vậy có 3 dấu hiệu khác nhau trong từ mã nên m = 3…. • Quá trình mã hoá (encoding): Dùng các ký hiệu để biểu diễn các tin của nguồn tin. Hay mã hoá là quá trình biến đổi nguồn tin thành mã hiệu ( mã hóa là phép biến đổi từ tập tin này thành một tập tin khác có đặc tính thống kê yêu cầu). • Độ dài từ mã (n): số ký hiệu của một từ mã • Mã đều: là bộ mã gồm các từ mã có cùng độ dài. • Mã không đều: là bộ mã gồm các từ mã có độ dài không bằng nhau. • Độ dài trung bình của từ mã là thông số cơ bản của mã và được xác định bởi: ( ) i L i i nxpR ∑ = = 1 Trong đó: n i : độ dài từ mã thứ i P(x i ): xác suất xuất hiện của bản tin thứ i. L: Tổng số bản tin của nguồn ( số từ mã của bộ mã) • Tổng số từ mã L: số các bản tin được mã hóa hay số từ mã dùng để mã hoá các bản tin. (mỗi một từ mã được dùng để mã hoá cho một bản tin) + Với mã đều thì các từ mã trong bộ mã đều có chiều dài n và số ký hiệu khác nhau m thì số các từ mã được xác định L: L = m n - bộ mã này được gọi là mã đầy + Với mã có tổng số các từ mã L < m n thì gọi là mã vơi - Đối với mã vơi trong số các từ mã có độ dài n ký hiệu là các tổ hợp có thể dùng làm từ mã M Ví dụ: cho nguồn tin X = {3,6,9,15} dùng hệ nhị phân để mã hoá cho nguồn tin trên với một ký hiệu trong nguồn là một tổ hợp 4 bit: Giải: với mã nhị phân thì cơ số m = 2, mỗi tổ hợp dùng 4 bit để mã hoá cho một tin nên độ dài của một từ mã n = 4, số từ mã của bộ mã là L = m n = 2 4 = 16. - Dùng mã nhị phân 4 bit để mã hoá là các tổ hợp [ 0000, 0001….1111] như vậy có 16 tổ hợp mã để mã hoá cho nguồn nhưng các tổ hợp có thể dùng là: [0011, 0110, 1001, 1111]. • Các từ mã không được dùng trong bộ mã gọi là mã cấm: • Với ví dụ trên các mã cấm là các mã không được dùng là : 0000, 0001, 0010, 0100, 0111, 0101, 1000, 1100,1010, 1110 • Giá trị của mỗi ký hiệu (a): với một từ mã có m ký hiệu khác nhau, mỗi ký hiệu mã gọi là một dấu hiệu riêng và có một giá trị nhất định và được gán cho một giá trị nằm trong khoảng (0 đến m-1). - Với mã nhị phân (m = 2) thì mỗi ký hiệu trong từ mã được gán cho một giá trị 0 hoặc 1 (0 đến m-1). • Chỉ số vị trí: gọi là một vị trí mã hay một chỗ trong từ mã để đặt một ký hiệu mã vào đó. Với từ mã có n ký hiệu thì có n vị trí mã. đánh dấu vị trí bên phải nhất của từ mã là vị trí 0, bên trái nhất của từ mã là n-1. • Trọng số vị trí (w i ): Là trọng số của ký hiệu thứ i trong bộ mã: w i = m i (i vị trí của ký hiệu trong mã, m là cơ số của mã) • Trọng số của từ mã (b): là tổng các giá trị của các ký hiệu mã trong từ mã: ∑ − = = 1 0 n k k k mab a k : giá trị của ký hiệu mã ở vị trí thứ k (mã nhị phân thì a = 1 hay 0), m k là trọng số của vị trí thứ k. • Quãng cách D: khoảng cách giữa hai trọng số của hai từ mã: D = (b i – b j ) với b i ,b j là trọng số của từ mã i và j.  Điều kiện thiết lập mã. • Điều kiện thiết lập mã thứ 1: trong dãy ký hiệu liên tiếp phải đảm bảo sự phân tách được một cách duy nhất các từ mã. • Xét nguồn tin X= {a,b,c,d}, các tin được mã hoá nhị phân theo quy luật: a 00 b 01 c 10 d 11 - Bên thu nhận được dãy tin ở dạng các ký hiệu 00 00 00 01 11 10 khi giải mã ta thu được a a a b d c - Như vậy nếu có quy luật để phân biệt được ký hiệu đầu của mỗi từ mã ta có thể phân tách được thành các từ mã. • ví dụ 2: xét X = {a,b,c,d} và mã hoá nguồn tin với bộ mã: a 0 b 01 c 101 d 1 Giả sử dãy tin truyền đi là aaabcdb, khi nhận được dãy ký hiệu 000011010111 ta có thể giải mã thành các tin aaaadcbdd khác với tin ban đầu là aaabcdb Như vậy bộ mã trên không cho phép phân tách các từ mã một cách duy nhất và đúng đắn. • Điều kiện thiết lập mã 2: Với mỗi loại mã phải thoả mã về độ dài trung bình của mỗi từ mã là tối thiểu và với mã chống nhiễu phải cho phép phát hiện sai càng nhiều càng tốt.  Phương pháp biểu diễn mã: • Các bảng mã:  Bảng đối chiếu mã: liệt kê các bản tin của nguồn với các từ mã tương ứng - ưu điểm: trực quan về từ mã với các bản tin của nguồn. Tin a1 a2 a3 a4 Từ mã 00 01 100 101 [...]... ra một ký hiệu xi, xác suất xuất hiện các ký hiệu tương ứng P(xi), i =(1,2 L) L Entropi của X: H ( X ) = ∑ p ( xi ) log 2 p ( xi ) i =1 H(X)max = log2L nên H(X) =2 trùng với từ mã trong cột 1 xét ví dụ: Lập bảng thử phân tách cho bộ mã: 00, 01, 100, 1010, Cột 1 Cột... Mã huffman: là mã có tính prefix và có độ dài tối thiểu.(có độ dài trung bình tới hạn entropi của nguồn ) n H ( S ) + 1 > R = ∑ ni p ( xi ) ≥ H ( S ) i =1 Thuật toán xây dựng mã Huffman: 1.Sắp xếp các tin có xác suất xuất hiện giảm dần Hai ký hiệu có xác suất nhỏ nhất được ký hiệu là 0,1 2 Tổng hai xác suất nhỏ nhất được xếp vào bước 2 và theo thứ tự giảm dần 3 Qui trình lặp lại cho đến khi còn hai... trên - Xây dựng phép mã hoá để tạo ra các từ mã có độ dài thay đổi, giải mã duy nhất và có hiệu quả thì số lượng trung bình các ký hiệu nhị phân ứng với một ký hiệu nguồn L R = ∑ nk P( a k ) k =1 Định lý mã hoá nguồn: Gọi X là nguồn rời rạc không nhớ với H(X) hữu hạn với các ký hiệu xi, 1 . = 2 4 = 16 . - Dùng mã nhị phân 4 bit để mã hoá là các tổ hợp [ 0000, 00 01 .11 11] như vậy có 16 tổ hợp mã để mã hoá cho nguồn nhưng các tổ hợp có thể dùng là: [0 011 , 011 0, 10 01, 11 11] . • . cấm: • Với ví dụ trên các mã cấm là các mã không được dùng là : 0000, 00 01, 0 010 , 010 0, 011 1, 010 1, 10 00, 11 00 ,10 10, 11 10 • Giá trị của mỗi ký hiệu (a): với một từ mã có m ký hiệu khác nhau,. nào là phần đầu của các từ mã còn lại trong cùng bộ mã Mã I II III S 0 0 01 1 S 1 1 10 01 S 2 11 11 0 10 0 S 3 01 0 01 011 Các mã I, III không có tính prefix vì s 0 trùng với phần đầu của s 3 . Mã