Xử lý tín hiệu nâng cao mã hóa kênh Học viên: Nguyễn Văn Nguyên MSHV: 20202744M Bài 1: Ôn tập lý thuyết thông tin a) Khái niệm entropy/ lượng tin b) Kênh nhiễu Gauss, kênh có nhớ kênh khơng có nhớ c) Dung lượng kênh Shanon, tính tốn chứng minh cơng thức Shanon – SISO d) Mã hóa tích chập, sửa lỗi kênh vơ tuyến Nội dung chi tiết 1) Khái niệm Lượng tin Vì thông tin biểu diễn xác suất trừu tượng kiện, làm để ánh xạ xác suất thành số lượng bit? Shannon giới thiệu thuật ngữ bit làm đơn vị thông tin, mà ban đầu đề xuất John Tukey Vậy “bit” ta sử dụng để đo lường thông tin? Trong khứ, máy phát tín hiệu gửi nhận hai loại mã: Mà thật mã hóa nhị phân sử dụng phổ biến tất máy tính kỹ thuật số đại Bằng cách này, thơng tin mã hóa chuỗi Và đó, chuỗi chữ số nhị phân (binary) có độ dài n chứa n bit thông tin Bây giờ, giả sử chuỗi mã nào, giá trị xuất với xác suất 1/2 Do đó, kiện X với chuỗi mã có độ dài n, xảy với xác suất 1/2n Đồng thời, đề cập trước đây, chuỗi số chứa n bit thơng tin Vì vậy, liệu tổng qt hóa thành hàm tốn học chuyển xác suất pp thành số lượng bit không? Shannon đưa câu trả lời cách định nghĩa lượng tin Là số bit thông tin ta nhận cho kiện X Lưu ý ta sử dụng logarit số phần Để đơn giản, phần lại phần bỏ qua số ký hiệu logarit, tức ln có nghĩa Ví dụ: mã “0010” có lượng tin là: I(“0010”) = - = - = 4bits 1.1) Entropy Do lượng tin đo lường thông tin từ biến cố rời rạc đơn lẻ, cần thước đo khái quát cho biến ngẫu nhiên có phân bố rời rạc liên tục 1.1.1) Phát triển lý thuyết Entropy Hãy phân tích cụ thể Dưới phát biểu khơng thức tiên đề Shannon entropy Chúng buộc ta tới định nghĩa độc thơng tin Một phiên quy tiên đề với số tiên đề khác tìm thấy [Csiszar, 2008] 1 Thơng tin thu cách quan sát biến ngẫu nhiên không phụ thuộc vào yếu tố, hay xuất yếu tố bổ sung mà có xác suất Thông tin thu cách quan sát hai biến ngẫu nhiên không lớn tổng thông tin thu quan sát chúng cách riêng rẽ Nếu hai biến ngẫu nhiên độc lập thơng tin thu từ hai cách Thông tin thu quan sát biến cố (gần như) chắn (gần như) Việc chứng minh tiên đề nằm phạm vi sách, điều quan trọng cần nhớ chúng xác định cách độc hình thái mà entropy phải có Chỉ có điều chưa xác định từ phát biểu việc chọn đơn vị cho entropy, mà điều thường chuẩn hóa cách đặt thơng tin cung cấp lần lật đồng xu cân đối đồng chất bit, thấy trước 1.1.2) Định nghĩa Cho biến ngẫu nhiên X tuân theo phân phối xác suất P với hàm mật độ xác suất (p.d.f) hàm khối xác suất (p.m.f) p(x), ta đo lượng thông tin kỳ vọng thu thông qua entropy (hoặc entropy Shannon): H(X) = - Ex ~ p [ Cụ thể hơn, XX rời rạc: H(X) = Ngược lại, X liên tục, ta gọi entropy vi phân (differential entropy): H(X) = 1.1.3) Diễn giải Bạn thắc mắc: định nghĩa entropy, sử dụng kỳ vọng logarit âm? Dưới số cách giải thích trực quan Đầu tiên, sử dụng hàm logarit log ? giả sử p(x) = f (x) f2 (x)… Fn (x), hàm thành tố f i (x) độc lập lẫn Điều nghĩa f i (x) đóng góp cách độc lập vào tổng thông tin thu từ p(x) Như thảo luận trên, ta muốn công thức entropy phép cộng biến ngẫu nhiên độc lập May mắn thay, hàm loglog chuyển tích thành tổng Tiếp theo, sử dụng loglog âm? Một cách trực quan, biến cố xảy thường xuyên chứa thơng tin biến cố ta thường thu nhiều thơng tin từ trường hợp bất thường Do đó, ta cần thiết lập mối quan hệ đơn điệu giảm xác suất biến cố entropy chúng, muốn entropy ln dương (vì quan sát khơng nên buộc ta quên biết) Tuy nhiên, hàm loglog lại đơn điệu tăng, có giá trị âm với xác suất đoạn [0,1] Vậy nên ta thêm dấu âm vào trước hàm log Cuối cùng, hàm kỳ vọng đến từ đâu? Xét biến ngẫu nhiên X Ta diễn giải lượng tin (self-information) (−log(p)) mức độ bất ngờ quan sát kết cụ thể Thật vậy, xác suất xấp xỉ 0, mức độ bất ngờ tiến tới vơ Tương tự, diễn giải entropy mức độ bất ngờ trung bình từ việc quan sát X Ví dụ, tưởng tượng hệ thống máy đánh bạc đưa ký hiệu độc lập S1 ,…, Sk với xác suất p1 ,…, pk Khi đó, entropy hệ thống với lượng tin trung bình thu từ việc quan sát kết quả, tức: H(S) = = 2) Kênh nhiễu Gauss, kênh có nhớ kênh khơng có nhớ 2.1) Kênh nhiễu Gauss ... bạc đưa ký hiệu độc lập S1 ,…, Sk với xác suất p1 ,…, pk Khi đó, entropy hệ thống với lượng tin trung bình thu từ việc quan sát kết quả, tức: H(S) = = 2) Kênh nhiễu Gauss, kênh có nhớ kênh khơng... phải có Chỉ có điều chưa xác định từ phát biểu việc chọn đơn vị cho entropy, mà điều thường chuẩn hóa cách đặt thơng tin cung cấp lần lật đồng xu cân đối đồng chất bit, thấy trước 1.1.2) Định nghĩa... f (x) f2 (x)… Fn (x), hàm thành tố f i (x) độc lập lẫn Điều nghĩa f i (x) đóng góp cách độc lập vào tổng thông tin thu từ p(x) Như thảo luận trên, ta muốn công thức entropy phép cộng biến ngẫu