1. Trang chủ
  2. » Luận Văn - Báo Cáo

bài 10: định lý kênh, mã chống nhiễu

4 449 5
Tài liệu đã được kiểm tra trùng lặp

Đang tải... (xem toàn văn)

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Định dạng
Số trang 4
Dung lượng 205,41 KB

Nội dung

lý thuyết thông tin bài 10: định lý kênh, mã chống nhiễu

thuyết Thông tin Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 54 BÀI 10 ĐỊNH KÊNH, CHỐNG NHIỄU 10.1 Giới thiệu bài toán chống nhiễu 10.2 Định kênh có nhiễu cho kênh nhị phân đối xứng rời rạc (BSC) 10.3 Định ngược của kênh truyền có nhiễu 10.1 Giới thiệu bài toán chống nhiễu Mục tiêu quan trọng nhất của bài toán chống nhiễu là làm sao ở bên nhận sau khi nhận dãy kí hiệu có thể đoán (giải mã) được càng chính xác càng tốt dãy kí hiệu nào đã được phát ở đầu phát. Chẳng hạn chúng ta xét một nguồn nhị phân đối xứng với xác suất chéo là ε, đồng thời giả sử nguồn phát là đẳng xác suất, tức P(0) = P(1) = 1/2. Với ε < 1/2, chúng ta đưa ra cơ chế giải ở đầu nhận là: nếu nhận được y = 0 thì đoán bên phát đã phát đi x = 0 và nếu y = 1 thì đoán x = 1. Với cơ chế này chúng ta có xác suất giải bị lỗi là P(lỗi) = P(y = 0) P(x = 1 | y = 0) + P(y = 1) P(x = 0 | y = 1) = ε/2 + ε/2 = ε. Chú ý trong trường hợp ở đây chúng ta tính được P(y = 0) = P(y = 1) = 1/2 và P(x ≠ y | y) = ε. Một trong vấn đề quan trọng được đặt ra ở đây là có thể giảm được xác suất giải bị lỗi hay không. Để làm điều này có một hướng thực hiện như sau. Để gởi kí hiệu 0 thì chúng ta gởi đi chuỗi 3 kí hiệu 0 và tương tự để gởi đi kí hiệu 1 thì chúng ta gởi đi 3 kí hiệu 1. Ở bên nhận chúng ta đưa ra cơ chế giải như sau: nếu chuỗi nhận có nhiều kí hiệu 0 hơn 1 thì giải thành 0 và ngược lại. Chẳng hạn bên nhận nếu nhận được 010 thì giải thành 0 còn nếu nhận được 110 thì giải thành 1. Với cơ chế này chúng ta có xác suất giải bị lỗi là P(lỗi) = 3(1 – ε)ε 2 + ε 3 . Xác suất này nhỏ hơn ε. Tuy nhiên chúng ta thấy hiệu suất truyền thông tin lúc này đã giảm xuống 3 lần. Tương tự nếu chúng ta muốn xác suất giải tiến đến 0 (tức nhỏ tuỳ ý) thì chúng ta sẽ hoá 0 thành dãy 2n + 1 kí hiệu 0 và hoá 1 thành 2n + 1 kí hiệu 1, nhưng tương ứng lúc này hiệu suất truyền thông tin giảm xuống 2n + 1 lần so với ban đầu. Có một cách thứ hai chúng ta sẽ có thể giảm xác suất giải lỗi xuống gần bằng 0 nhưng không giảm hiệu suất truyền thông tin xuống gần bằng 0 chỉ cần nhỏ hơn một ngưỡng nào đó là đủ. Ngưỡng đó chính là dung lượng kênh. Ý tưởng của cách này cũng khai thác ý tưởng trên ở chỗ thay vì để gởi đi 0 và 1, cái có “khoảng cách Hamming” giữa chúng là 1 thì chúng ta sẽ hoá lần lượt thành 000 và 111, cái có “khoảng cách Hamming” giữa chúng là 3 và vì vậy giảm xác suất giải bị lỗi xuống. Cách giải quyết này được trình bày rõ ràng hơn trong phần sau đây. 10.2 Định kênh có nhiễu cho kênh nhị phân đối xứng rời rạc (BSC) Xét một kênh nhị phân đối xứng với xác suất chéo là p. Dung lượng kênh trong đơn vị bits/kí hiệu là C = 1 – H(p) với H(p) = –plogp – (1–p)log(1–p). Giả sử rằng mỗi kí hiệu có thời gian truyền là τ, hay số kí hiệu được truyền trong 1 giây là 1/τ, thì dung lượng trong đơn vị bits/giây là C = [1 – H(p)]/τ. Xét một nguồn X có entropy là H(X) bits/ký hiệu, tức là nguồn này tạo ra thông tin ở tốc độ R = H(X)/τ bits/giây. Chúng ta có định kênh sau. Định 10.1 Chừng nào R (bits/giây) còn nhỏ hơn C (bits/giây), thì sự truyền thông trên kênh với tỉ lệ lỗi nhỏ tuỳ ý là có thể thực hiện được. Để chứng minh định này chúng ta cần đến một số khái niệm và kết quả lần lượt được giới thiệu sau đây. thuyết Thông tin Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 55 Trọng số Hamming Trọng số Hamming của một dãy kí hiệu v = a 1 a 2 .a n , trong đó mỗi a i ∈ {0, 1, ., m–1}, là số kí hiệu khác 0 của dãy, và thường được kí hiệu là w(v). Khoảng cách Hamming Khoảng cách Hamming của hai dãy kí hiệu v 1 , v 2 với chiều dài bằng nhau là số vị trí khác nhau của hai dãy, và thường được kí hiệu là d(v 1 , v 2 ). Phép cộng cơ số m, ⊕ Xét a, b ∈ {0, 1, ., m–1} thì a ⊕ b = (a + b) mod m. Nếu v 1 = a 1 a 2 .a n , v 2 = b 1 b 2 .b n thì v 1 ⊕ v 2 = c 1 c 2 .c n trong đó c i = a i ⊕ b i với i = 1, 2, ., n. Ví dụ 10.1 w(10100) = 2, w(01120) = 3. d(10100, 10001) = 2, d(011010, 101101) = 5. Với m = 2 thì 1011 ⊕ 1101 = 0110. Với m = 3 thì 1021 ⊕ 2120 = 0111. Bổ đề d(v 1 , v 2 ) = w(v 1 ⊕ v 2 ) d(v 1 , v 2 ) + d(v 2 , v 3 ) ≥ d(v 1 , v 3 ) Bất đẳng thức thứ hai của bổ đề trên có dạng của bất đẳng thức tam giác: tổng hai cạnh của một tam giác lớn hơn hoặc bằng cạnh còn lại. Định 10.1 đúng cho kênh rời rạc không nhớ bất kỳ. Tuy nhiên ở đây chúng ta chỉ chứng minh cho trường hợp thông dụng nhất là kênh nhị phân đối xứng rời rạc. Ý tưởng chứng minh ở đây là chúng ta sẽ hoá các dãy dữ liệu thành các dãy từ mã, trong đó các kí hiệu lấy từ bảng kí hiệu đầu vào của kênh và xử các từ này như các đầu vào cơ bản của kênh. Một xác suất lỗi nhỏ tuỳ ý có thể đạt được dựa trên sự hoá như sau: (1) chọn chiều dài N của dãy dữ liệu đủ dài, (2) hoá các dãy này thành các từ có khoảng cách Hamming xa nhau. Nguyên tắc giải ở đầu ra được thiết kế như sau: nếu v j là dãy kí hiệu nhận được ở đầu ra thì sẽ giải thành từ w i có khoảng cách Hamming nhỏ nhất đối với v j . Với cách chọn này chúng ta sẽ thấy xác suất giải lỗi là nhỏ nhất. Thật vậy chúng ta có p(w i | v j ) = p(w i )p(v j | w i )/p(v j ). Do đó khi chúng ta không rõ về p(w i ) và dĩ nhiên sẽ kéo theo p(v j ) thì p(w i | v j ) lớn nhất khi p(v j | w i ) là lớn nhất. p(v j | w i ) = p D (1–p) N–D trong đó D là khoảng cách Hamming của v j và w i , N là chiều dài của chúng, p là xác suất chéo. Nếu xác suất chéo p < 0,5 thì p(v j | w i ) sẽ lớn nhất khi D là nhỏ nhất. Bây giờ chúng ta sẽ chứng minh với mọi θ > 0 nhỏ tuỳ ý, với N đủ lớn tồn tại cách hoá các dãy dữ liệu thành các từ sao cho với nguyên tắc giải trên có xác suất giải lỗi là nhỏ hơn θ. Thật vậy số dãy dữ liệu có chiều dài N là vào khoảng M = 2 NH(X) = 2 NRT Trong khi đó tổng số dãy có chiều dài N là 2 N . Gọi {w 1 , w 2 , …, w M } là một tập từ bất kỳ, P e là xác suất giải lỗi đối với tập này. Nếu chúng ta chứng minh được rằng với mọi θ > 0 nhỏ tuỳ ý, với N đủ lớn giá trị trung bình của P e , kí hiệu là e P , nhỏ hơn θ thì sẽ tồn tại một tập từ có xác suất giải lỗi P e nhỏ hơn θ. Chúng ta có với xác suất lỗi trên đường truyền là p thì một dãy có chiều dài N sẽ có trung bình Np vị trí lỗi. Với hai số dương ε, δ nhỏ tuỳ ý, theo luật yếu của số lớn với N đủ lớn thì xác suất để số vị trí của chuỗi nhận v j khác với chuỗi phát w i lớn hơn N(p + ε) là nhỏ hơn δ. Hay nói theo ngữ cảnh của khoảng cách Hamming là thuyết Thông tin Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 56 P(d(w i , v j ) > N(p + ε) ) < δ Vì vậy bộ chúng ta mong muốn sẽ như sau: Khoảng cách Hamming giữa hai từ bất kỳ là lớn hơn hoặc bằng 2N(p + ε) + 1. Như vậy theo bất đẳng thức tam giác với mỗi v j nhận được thì sẽ tồn tại một từ w i có d(w i , v j ) ≤ N(p + ε) còn các từ w k khác sẽ có d(w k , v j ) ≥ N(p + ε) + 1. Vì vậy chúng ta sẽ giải được duy nhất v j thành w i . Với ý tưởng này, chúng ta sẽ đưa ra cơ chế giải lỏng hơn như sau (so với cơ chế đã nói ở trên) cho một tập từ bất kỳ {w 1 , w 2 , …, w M }, nhưng cũng sẽ đảm bảo xác suất giải lỗi là nhỏ hơn θ: Với mỗi dãy v j nhận được, chúng ta sẽ định nghĩa một tập kiểm tra A j bao gồm tất cả những dãy có chiều dài N và có khoảng cách Hamming so với v j nhỏ hơn hay bằng N(p + ε). Nếu từ được truyền w i là từ duy nhất thuộc tập A j thì giải v j thành w i . Ngược lại thông báo một lỗi đã xảy ra. Một lỗi xảy ra sẽ thuộc vào một trong hai trường hợp sau đây: (1) từ được truyền w i không thuộc A j , tức là d(w i , v j ) > N(p + ε). Lỗi này xảy ra với xác suất nhỏ hơn δ. (2) tồn tại một từ w k khác cũng thuộc A j . Lúc này chúng ta sẽ không biết nên giải v j thành w i hay w k . Bây giờ chúng ta sẽ chứng minh xác suất giải lỗi trung bình theo cách này sẽ nhỏ hơn θ với θ nhỏ tuỳ ý cho trước. Chúng ta có P e ≤ δ + ∑ ≠ = ∈ M ij j ji AwP 1 )( Để tính e P chúng ta sẽ tính giá trị trung bình của P(w i ∈ A j ). Giá trị trung bình này sẽ bằng số dãy thuộc tập A j chia cho tổng số dãy: N pN k ji k N AWP 2 )( )( 0 ∑ ε+ =         =∈ Từ đây suy ra e P < δ + (M – 1) N pN k k N 2 )( 0 ∑ ε+ =         chúng ta có một bất đẳng thức nổi tiếng sau )( 0 2 α α = ≤         ∑ NH N k k N với H(α) = –α logα – (1–α)log(1–α). Áp dụng vào bất đẳng thức trên chúng ta có e P ≤ δ + M 2 –N [1 – H(p + ε)] = δ + 2 NRT 2 –N [1 – H(p + ε)] = δ + 2 –N [1 – H(p + ε) – RT] Vì ε và δ có thể nhỏ tuỳ ý, nên chừng nào R còn nhỏ hơn [1 – H(p)]/τ thì có thể làm cho e P nhỏ tuỳ ý bằng cách tăng N. Đến đây hoàn tất chứng minh của chúng ta. Ví dụ 10.2 Chẳng hạn xét lại một ví dụ trước đây, một kênh đối xứng nhị phân có xác suất chéo là ε = 0,01. Tốc độ truyền kí hiệu trên một giây là f = 1000 kí hiệu/giây (tức là τ = 0,001 giây). Chúng ta có C = 0,919 bits/kí hiệu và C = 919 bits/giây. Thì định kênh cho phép chúng ta kết luận, với xác suất đúng tiến tới 1, rằng với N khá lớn chẳng hạn N = 1000, thì trong 2 1000 thuyết Thông tin Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 57 dãy có chiều dài 1000 chúng ta có thể chọn được 2 K dãy với K < 919 sao cho khoảng cách Hamming giữa các dãy là ≥ 2Nε + 1 = 21. Để tiến tới việc xây dựng các bộ chống nhiễu chúng ta giới thiệu tiếp các khái niệm cơ bản sau đây. Khoảng cách Hamming của bộ Khoảng cách Hamming của một bộ A, với điều kiện A là đều, kí hiệu là d(A), là khoảng cách Hamming nhỏ nhất trong tất cả các khoảng cách giữa hai từ bất kỳ của A. Định 10.2 Một bộ nhị phân có khoảng cách Hamming d thì có thể (1) Phát hiện sai được t bit nếu d ≥ t + 1. (2) Sửa sai được t bit nếu d ≥ 2t + 1. Chứng minh Gọi w i là từ phát, v i là dãy nhận được tương ứng. Để chứng minh ý thứ nhất chúng ta thấy rằng nếu sai tối đa t > 0 bit thì khoảng cách Hamming giữa từ phát và tổ hợp nhận sẽ không vượt quá t. Do đó tổ hợp nhận sẽ không thể trùng với bất kỳ từ nào vì khoảng cách Hamming giữa hai từ bất kỳ là ≥ t + 1. Vì vậy bên nhận có thể phát hiện được sai. Tương tự trong trường hợp thứ hai chúng ta sẽ có d(w i , v i ) ≤ t do d(w i , w j ) ≥ 2t + 1, với w j là một từ bất kỳ khác w i . Nên theo bất đẳng thức tam giác về khoảng cách Hamming chúng ta có d(w j , v i ) ≥ t + 1 với mọi từ w j ≠ w i . Vì vậy bên nhận có thể giải đúng v i thành w i dựa trên sự khác biệt về khoảng cách Hamming này. 10.3 Định ngược của kênh truyền có nhiễu Ở đây chúng ta sẽ giới thiệu định ngược của Định 10.1. Định 10.3 Nếu tốc độ truyền tin R (bits/giây) lớn hơn dung lượng kênh C (bits/giây), thì sự truyền thông trên kênh với tỉ lệ lỗi nhỏ tuỳ ý là không thể thực hiện được. Hay nói cách khác xác suất giải lỗi tiến đến 1 khi chiều dài của dãy cần truyền gia tăng. Định này phát biểu rằng nếu tốc độ truyền tin lớn hơn dung lượng kênh thì việc truyền không được đảm bảo có nghĩa là chúng ta không thể giải đúng được. Định này chỉ mang tính chất giới thiệu chứ không được chứng minh ở đây.

Ngày đăng: 22/04/2013, 13:59

TỪ KHÓA LIÊN QUAN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w