Kênh rời rạc không phụ thuộc thời gian - Phần 2 ppt

7/2/2010 1 Chương 3: Kênh rời rạc không phụ thuộc thời gian 3.2 Phương án giải mã tối ưu. Định lý căn bản của LTTT Giải mã • Gọi x 1 , x 2 , …, x M và y 1 , y 2 , …, y L lần lượt là các ký tự input và output. • Một phương án giải mã là một phép tương ứng mỗi ký tự output y j với một ký tự input x j *. Khi nhận được y j ta sẽ giải mã thành x j * • Giải mã là phân hoạch tập ký tự output thành các tập B 1 , …, B M sao cho mỗi y trong B i sẽ giải mã thành x i • Một phương án giải mã có thể xem như một kênh deterministic với tập ký tự input là y 1 , y 2 , …, y L và tập ký tự output là x 1 , x 2 , …, x M 7/2/2010 2 Huỳnh Văn Kha 7/2/2010 2 Ví dụ Xác suất X 1/2 x 1 1/4 x 2 1/4 x 3 7/2/2010Huỳnh Văn Kha 3 Y y 1 y 2 y 3 Z x 1 x 2 x 3 1 1 1/2 1/2 Bài toán giải mã • Cho trước input, xây dựng phương án giải mã sao cho xác suất sai là nhỏ nhất • Giả sử y j tương ứng với x j * • Gọi xác suất đúng là p(e’), ta có: • Kênh và input cho trước nên các p(y j ) không đổi • Với mỗi y j cho trước chỉ cần chọn x j * sao cho p(x j *|y j ) là lớn nhất 7/2/2010Huỳnh Văn Kha 4 7/2/2010 3 Trường hợp input ñồng xác suất • Nếu input là đồng xác suất thì • Với y cố định thì việc cực đại p(x i |y) tương đương với việc cực đại p(y|x i ) • Như vậy với phân phối đều của input thì phương án giải mã tối ưu là với mỗi y cho trước chọn x i sao cho p(y|x i ) là cực đại • Ta sẽ xét kỹ hơn vấn đề này trong chương 4 7/2/2010Huỳnh Văn Kha 5 Ví dụ • Xét ma trận kênh • Gải sử p(x 1 ) = ½, p(x 2 ) = p(x 3 ) = ¼ • Tìm phương án giải mã tối ưu và tính xác suất sai 7/2/2010Huỳnh Văn Kha 6 1/2 1/3 1/6 1/6 1/2 1/3 1/3 1/6 1/2 y 1 y 2 y 3 x 1 x 2 x 3 7/2/2010 4 ðịnh lý căn bản của LTTT • Giả sử nguồn sinh ra dãy các ký tự nhị phân với định lượng không đổi R bit/giây, và định lượng truyền của nguồn không quá 1 bit/giây • Trong n giây, nguồn sinh nR ký tự • Tổng số mẫu tin có thể có trong n giây là 2 nR • Chú ý 2 nR có thể không nguyên, trong trường hợp đó, ta lấy [2 nR ] (phần nguyên của 2 nR ) • Ta cũng không quan tâm trường hợp số ký tự của nguồn không phải là 2. Vì nếu số ký tự mã là D và nguồn sinh S ký tự/giây, thì trong n giây, nguồn sinh D nS = 2 nSlog D . Và có thể xem nó như nguồn nhị phân với định lượng R = S log D 7/2/2010Huỳnh Văn Kha 7 ðịnh lý căn bản của LTTT • Thay vì truyền từng ký tự qua kênh, ta sẽ mã hóa mỗi block n ký tự • Do định lượng truyền không quá 1 bit/giây nên số ký tự mã mã hóa mỗi block không quá n ký tự • Để giữ định lượng sinh của nguồn là R, ta cần 2 nR từ mã chiều dài ≤ n • Ý tưởng cơ bản của định lý là cho trước ε > 0, nếu chọn n đủ lớn, ta có thể tìm được 2 nR từ mã và một cách giải mã sao cho sai số đều < ε, nghĩa là < ε bất chấp từ mã nào được truyền qua kênh 7/2/2010Huỳnh Văn Kha 8 7/2/2010 5 ðịnh lý căn bản của LTTT • Cái giá phải trả là ta cần phải chờ n giây trước khi mã hóa nguồn tin, cũng có thể phải tốn thêm thời gian chờ do việc mã hóa và giải mã • Thêm vào đó, phương án mã hóa và giải mã trong định lý này rất phức tạp và khó thực hiện trong thực tế 7/2/2010Huỳnh Văn Kha 9 ðịnh lý căn bản của LTTT • Ví dụ, xét R = 2/5 và n = 5. Trong 5 giây, số mẫu tin có thể có do nguồn sinh ra là 2 nR = 4. Gọi chúng là m 1 , m 2 , m 3 , m 4 • Ta gán cho mỗi m i một dãy nhị phân độ dài ≤ 5 7/2/2010Huỳnh Văn Kha 10 m 1 00000 m 2 01101 m 3 11010 m 4 10111 m 1 00 m 2 01 m 3 10 m 4 11 7/2/2010 6 ðịnh lý căn bản của LTTT • Với cách mã hóa thứ hai, chỉ cần một ký tự bị truyền sai cũng không thể nào phát hiện được • Với cách mã hóa thứ hai, mọi việc truyền sai một ký tự đều có thể phát hiện và tự động sửa lỗi được • Nếu nhận được chuỗi v, ta chỉ cần chọn từ mã w sao cho số vị trí khác nhau của w và v là ít nhất • Chú ý rằng hai từ mã khác nhau sẽ khác nhau ở ít nhất 3 vị trí. Do đó mọi việc truyền sai một ký tự sẽ phát hiện và sửa lỗi được 7/2/2010Huỳnh Văn Kha 11 ðịnh lý căn bản của LTTT • Một n-chuỗi là một dãy n ký tự input hoặc output • Một bộ mã (s,n) là một tập gồm s các n-chuỗi input x (1) , …, x (s) cùng với một phương án giải mã, nghĩa là một hàm cho tương ứng mỗi n-chuỗi output với một trong các x (i) . Các x (i) gọi là các từ mã • Một phương án giải mã là một phân hoạch tập các n-output thành các tập con rời nhau B 1 , …, B s , mà mỗi B i gọi là một tập giải mã. Khi nhận được output trong B i ta sẽ giải mã thành x (i) 7/2/2010Huỳnh Văn Kha 12 7/2/2010 7 ðịnh lý căn bản của LTTT • Mỗi n-chuỗi input là một trạng thái của vector ngẫu nhiên X = (X 1 , X 2 , …, X n ) • Mỗi n-chuỗi output là một trạng thái của vector ngẫu nhiên Y = (Y 1 , Y 2 , …, Y n ) • Giả sử x (i) được truyền qua kênh, xác suất sai là 7/2/2010Huỳnh Văn Kha 13 ðịnh lý căn bản của LTTT • Xác suất sai của bộ mã là • Xác suất sai cực đại được định nghĩa là • Do đó nếu p m (e) ≤ ε thì từ mã nào cũng được truyền với sai số ≤ ε 7/2/2010Huỳnh Văn Kha 14 7/2/2010 8 ðịnh lý căn bản của LTTT • Một bộ mã (s,n,λ) là một bộ mã (s,n) sao cho xác suất sai cực đại là ≤ λ Định lý căn bản của LTTT: Cho trước một kênh rời rạc không phụ thuộc thời gian với dung lượng kênh C > 0 và một số dương R < C. Khi đó tồn tại một dãy các bộ mã a 1 , a 2 , …, A n , … sao cho a n là một bộ mã ([2 nR ],n,λ n ) và λ n  0 khi n  ∞ 7/2/2010Huỳnh Văn Kha 15 . 7 /2/ 2010 1 Chương 3: Kênh rời rạc không phụ thuộc thời gian 3 .2 Phương án giải mã tối ưu. Định lý căn bản của LTTT Giải mã • Gọi x 1 , x 2 , …, x M và y 1 , y 2 , …, y L lần lượt. một kênh deterministic với tập ký tự input là y 1 , y 2 , …, y L và tập ký tự output là x 1 , x 2 , …, x M 7 /2/ 2010 2 Huỳnh Văn Kha 7 /2/ 2010 2 Ví dụ Xác suất X 1 /2 x 1 1/4 x 2 1/4 x 3 7 /2/ 2010Huỳnh. n giây là 2 nR • Chú ý 2 nR có thể không nguyên, trong trường hợp đó, ta lấy [2 nR ] (phần nguyên của 2 nR ) • Ta cũng không quan tâm trường hợp số ký tự của nguồn không phải là 2. Vì nếu số