Tiếp tục với kênh rời rạc không phụ thuộc thời gian, trong chương này chúng ta sẽ tập trung tìm hiểu các phương án giải mã tối ưu và định lý căn bản của lý thuyết thông tin. Mời các bạn cùng tham khảo để nắm bắt các nội dung chi tiết.
Chương 3: Kênh rời rạc không phụ thuộc thời gian 3.2 Phương án giải mã tối ưu Định lý LTTT Huỳnh Văn Kha 9/30/2010 Giải mã • Gọi x1, x2, …, xM y1, y2, …, yL ký tự input output • Một phương án giải mã phép tương ứng ký tự output yj với ký tự input xj* Khi nhận yj ta giải mã thành xj* • Giải mã phân hoạch tập ký tự output thành tập B1, …, BM cho y Bi giải mã thành xi • Một phương án giải mã xem kênh deterministic với tập ký tự input y1, y2, …, yL tập ký tự output x1, x2, …, xM Huỳnh Văn Kha 9/30/2010 Ví dụ Xác suất X 1/2 x1 Y Z y1 x1 y2 x2 y3 x3 1/4 1/4 x2 x3 1/2 1/2 Huỳnh Văn Kha 9/30/2010 Bài tốn giải mã • Cho trước input, xây dựng phương án giải mã cho xác suất sai nhỏ • Giả sử yj tương ứng với xj* • Gọi xác suất p(e’), ta có: • Kênh input cho trước nên p(yj) khơng đổi • Với yj cho trước cần chọn xj* cho p(xj*|yj) lớn Huỳnh Văn Kha 9/30/2010 Trường hợp input ñồng xác suất • Nếu input đồng xác suất • Với y cố định việc cực đại p(xi|y) tương đương với việc cực đại p(y|xi) • Như với phân phối input phương án giải mã tối ưu với y cho trước chọn xi cho p(y|xi) cực đại • Ta xét kỹ vấn đề chương Huỳnh Văn Kha 9/30/2010 Ví dụ • Xét ma trận kênh y1 x1 x2 x3 y2 y3 1/2 1/3 1/6 1/6 1/2 1/3 1/3 1/6 1/2 • Gải sử p(x1) = ẵ, p(x2) = p(x3) = ẳ Tỡm phng án giải mã tối ưu tính xác suất sai Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Giả sử nguồn sinh dãy ký tự nhị phân với định lượng không đổi R bit/giây, định lượng truyền nguồn không bit/giây • Trong n giây, nguồn sinh nR ký tự • Tổng số mẫu tin có n giây 2nR • Chú ý 2nR khơng ngun, trường hợp đó, ta lấy [2nR] (phần nguyên 2nR) • Ta khơng quan tâm trường hợp số ký tự nguồn khơng phải Vì số ký tự mã D nguồn sinh S ký tự/giây, n giây, nguồn sinh DnS = 2nSlog D Và xem nguồn nhị phân với định lượng R = S log D Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Thay truyền ký tự qua kênh, ta mã hóa block n ký tự • Do định lượng truyền không bit/giây nên số ký tự mã mã hóa block khơng q n ký tự • Để giữ định lượng sinh nguồn R, ta cần 2nR từ mã chiều dài ≤ n • Ý tưởng định lý cho trước ε > 0, chọn n đủ lớn, ta tìm 2nR từ mã cách giải mã cho sai số < ε, nghĩa < ε bất chấp từ mã truyền qua kênh Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Cái giá phải trả ta cần phải chờ n giây trước mã hóa nguồn tin, phải tốn thêm thời gian chờ việc mã hóa giải mã • Thêm vào đó, phương án mã hóa giải mã định lý phức tạp khó thực thực tế 10 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Ví dụ, xét R = 2/5 n = Trong giây, số mẫu tin có nguồn sinh 2nR = Gọi chúng m1, m2, m3, m4 • Ta gán cho mi dãy nhị phân độ dài ≤ m1 m2 m3 m4 00000 01101 11010 10111 m1 m2 m3 m4 00 01 10 11 11 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Với cách mã hóa thứ hai, cần ký tự bị truyền sai phát • Với cách mã hóa thứ hai, việc truyền sai ký tự phát tự động sửa lỗi • Nếu nhận chuỗi v, ta cần chọn từ mã w cho số vị trí khác w v • Chú ý hai từ mã khác khác vị trí Do việc truyền sai ký tự phát sửa lỗi 12 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Một n-chuỗi dãy n ký tự input output • Một mã (s,n) tập gồm s n-chuỗi input x(1), …, x(s) với phương án giải mã, nghĩa hàm cho tương ứng n-chuỗi output với x(i) Các x(i) gọi từ mã • Một phương án giải mã phân hoạch tập n-output thành tập rời B1, …, Bs, mà Bi gọi tập giải mã Khi nhận output Bi ta giải mã thành x(i) 13 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Mỗi n-chuỗi input trạng thái vector ngẫu nhiên X = (X1, X2, …, Xn) • Mỗi n-chuỗi output trạng thái vector ngẫu nhiên Y = (Y1, Y2, …, Yn) • Giả sử x(i) truyền qua kênh, xác suất sai 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Xác suất sai mã • Xác suất sai cực đại định nghĩa • Do pm(e) ≤ ε từ mã truyền với sai số ≤ ε 15 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Một mã (s,n,λ) mã (s,n) cho xác suất sai cực đại ≤ λ Định lý LTTT: Cho trước kênh rời rạc không phụ thuộc thời gian với dung lượng kênh C > số dương R < C Khi tồn dãy mã a1, a2, …, An, … cho an mã ([2nR],n,λn) λn n ∞ ... …, yL tập ký tự output x1, x2, …, xM Huỳnh Văn Kha 9/30/2010 Ví dụ Xác suất X 1/2 x1 Y Z y1 x1 y2 x2 y3 x3 1/4 1/4 x2 x3 1/2 1/2 Huỳnh Văn Kha 9/30/2010 Bài tốn giải mã • Cho trước input, xây... lỗi 12 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Một n-chuỗi dãy n ký tự input output • Một mã (s,n) tập gồm s n-chuỗi input x(1), …, x(s) với phương án giải mã, nghĩa hàm cho tương ứng n-chuỗi... giải mã phân hoạch tập n-output thành tập rời B1, …, Bs, mà Bi gọi tập giải mã Khi nhận output Bi ta giải mã thành x(i) 13 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Mỗi n-chuỗi input trạng thái