Kết quả có thể đạt được đối với các kênh truyền thông không nhớ rời rạc

Một phần của tài liệu Bài giảng toán THSC (Trang 63 - 64)

Phần chứng minh cụ thể này về kết quả có thể đạt được (achievability) phỏng theo phong cách của các chứng minh sử dụng tính chất phân hoạch đều tiệm cận (Asymptotic equipartition property - viết tắt là AEP). Một phong cách khác nữa cũng tồn tại, được thấy trong các văn bản về lý thuyết thông tin (information theory), sử dụng Tích sai số (Error

Exponents).

Cả hai phong cách chứng minh đều sử dụng một đối số mã hóa ngẫu nhiên (random coding argument), trong đó bảng mã (codebook) dùng trên toàn thể kênh truyền, được kiến tạo một cách tùy tiện (randomly constructed) - việc làm này hòng nhằm mục đích giảm ước tính phức tạp trong tính toán, trong khi vẫn chứng minh được sự tồn tại của một mã thỏa mãn yêu cầu về một sác xuất sai số nhỏ đối với bất cứ một tỷ lệ dữ liệu nào đó có giá trị thấp, dưới dung lượng của kênh truyền.

Với một đối số có liên quan EAP, đối với một kênh truyền cho trước, chiều dài n của chuỗi ký tự các ký hiệu nguồn (strings of source symbols) , và chiều dài n chuỗi ký tự của xuất liệu mà kênh truyền cho ra , chúng ta có thể định nghĩa một nhóm tiêu biểu chung (jointly typical set) bởi những bước sau đây:

Chúng ta có thể nói rằng hai chuỗi tuần tự (sequences) và là tiêu biểu chung (jointly typical) nếu chúng nằm trong nhóm tiêu biểu chung đã định nghĩa ở trên.

Những bước tiến hành

1. Theo phong cách của đối số mã hóa ngẫu nhiên, chúng ta tùy tiện tạo nên 2nR các mã tự (codewords) với chiều dài n sử dụng một phân bố sác xuất Q (probability distribution Q).

2. Máy thu và máy nhận đều được cho biết mã số này là gì. Chúng ta cũng có thể cho rằng cả hai bên đều biết ma trận chuyển tiếp (transition matrix) p(y | x) mà kênh truyền thông sử dụng.

3. Một thông điệp W được lựa chọn theo sự phân phối đồng dạng trên nhóm mã tự (uniform distribution on the set of codewords). Có nghĩa là: Pr(W = w) = 2 − nR,w = 1,2,...,2nR.

4. Thông điệp W được truyền gửi qua kênh truyền.

5. Máy nhận tiếp thu một chuỗi tín hiệu theo công thức

6. Bằng cách truyền gửi những mã tự (codewords) qua kênh truyền thông, chúng ta nhận được chuỗi xuất liệu, và giải mã thành một chuỗi dữ liệu nguồn (source sequence) nào đó nếu chỉ có tồn tại chính xác 1 mã tự là tiêu biểu chung với Y. Nếu không tồn tại các mã tự tiêu biểu chung (jointly typical codewords), hoặc nếu có hơn một cái thì một sai số (error) - hay lỗi - xảy ra và phải được thông báo (declared). Sai số còn có thể xảy ra nếu một mã tự đã giải không đồng bộ với mã tự gốc (a decoded codeword doesn't match the original codeword). Điều này được gọi là giải mã nhóm tiêu biểu (typical set decoding).

Sác xuất sai số (probability of error) của kế hoạch này được chia ra làm hai phần:

1. Thứ nhất, sai số có thể xảy ra nếu với một chuỗi Y nhận được, chúng ta không tìm thấy các chuỗi X tiêu biểu chung cho nó (jointly typical X sequences).

2. Thứ nhì, sai số có thể xảy ra nếu một chuỗi X không đúng (incorrect X sequence) là tiêu biểu chung với một chuỗi Y nhận được (is jointly typical with a received Y sequence).

• Do việc kiến tạo mã mang tính ngẫu nhiên (không định trước), chúng ta có thể cho rằng sác xuất sai số trung bình (average probability of error), tính trung bình trên toàn bộ các mã, là một giá trị không phụ thuộc vào chỉ số được gửi (index sent). Vì thế, chúng ta có thể cho rằng W = 1, mà không sợ mất chính xác vì tính tổng quát của kết luận (without loss of generality).

• Từ AEP chung (joint AEP), chúng ta biết rằng, sác xuất của việc giá trị X tiêu biểu chung không tồn tại sẽ giảm xuống về giá trị 0 trong khi n tăng lên. Chúng ta có thể giới hạn sác xuất sai số (error probability) này bằng ε.

• Đồng thời, từ AEP chung (joint AEP), chúng ta biết sác xuất của một nào đấy và , kết quả từ việc W = 1 là tiêu biểu chung, có giá trị .

Định nghĩa:

theo sự kiện một thông điệp i là tiêu biểu chung với chuỗi tín hiệu nhận được khi thông điệp 1 được truyền gửi.

Chúng ta có thể quan xát và thấy rằng khi n đạt đến vô cực (infinity), và nếu kênh truyền thông có R < I(X;Y) thì sác xuất sai số sẽ tiến về giá trị 0.

Cuối cùng, nếu giả thiết có một bảng mã trung bình (average codebook) nào đấy biểu hiện nó là một bảng mã "tốt", thì chúng ta biết rằng sẽ có tồn tại một bảng mã mà công suất (performance) của nó sẽ khá hơn bảng mã trung bình kia, do đó thỏa mãn yêu cầu của chúng ta về một sác xuất sai số nhỏ tùy tiện (arbitrarily low error probability), trong việc truyền thông qua kênh nhiễu (noisy channel).

Một phần của tài liệu Bài giảng toán THSC (Trang 63 - 64)