Chương 1.1 của bài giảng Lý thuyết thông tin giúp người học hiểu được một số khái niệm căn bản. Các nội dung được trình bày trong chương này gồm: Mô hình truyền thông, mục đích của lý thuyết thông tin, ý nghĩa của định lý căn bản, hàm đo độ không chắc chắn,...và các nội dung liên quan khác. Mời các bạn cùng tham khảo.
Chương 1: Các khái niệm 1.1 Độ không chắn Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Lý thuyết thơng tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Nguồn: phát thơng tin • Mã: thủ tục chuyển đổi mẫu tin thành “thực thể” thích hợp để truyền qua kênh • Kênh: truyền mẫu tin mã hóa, q trình chịu tác động Nhiễu • Giải mã: thủ tục biến đổi output kênh thành mẫu tin ban đầu • Đích: nhận thơng tin Huỳnh Văn Kha 9/30/2010 Mục đích LTTT • LTTT nhằm xây dựng mơ hình tốn học cho khối sơ đồ truyền thơng • Khơng sâu vào chi tiết kỹ thuật mà khảo sát chủ yếu lý thuyết mã hóa giải mã • Định lý LTTT phát biểu: Có thể truyền thơng tin qua kênh bị nhiễu theo định lượng truyền nhỏ dung lượng kênh theo xác suất sai nhỏ tùy ý 5 Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Giả sử nguồn sinh chuỗi bit 0,1 với xác suất với định lượng sinh bit/giây Giả sử bit sinh độc lập • Chúng truyền qua kênh có xác suất truyền sai bit ¼ Giả sử tốc độ truyền qua kờnh l bit/giõy ắ 0 ẳ Ngun ẳ 1 ¾ Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Do xác suất sai ¼ lớn, ta tìm cách làm giảm xác suất xuống • Một cách làm bit sinh truyền qua kênh lần giải mã theo nguyên tắc đa số • Xác xuất để giải mã sai là: Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • Như giảm xác suất sai • Nhưng phải trả giá: Giảm định lượng sinh nguồn xuống 1/3 bit/giây • Tổng quát, xác suất sai kênh β < ½ , bit nguồn truyền 2n+1 lần giải mã theo đa số.Thì: Huỳnh Văn Kha 9/30/2010 Ý nghĩa ðịnh lý • p(e) n ∞ • Như giảm xác suất sai xuống giảm định lượng sinh xuống nhỏ gần • Điều cốt lõi định lý khẳng định: Khơng cần phải giảm định lượng sinh mà cần giảm đại lượng gọi dung lượng kênh • Để đạt điều cần tới lý thuyết mã Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • Biến ngẫu nhiên X có giá trị xác suất tương ứng • Ký hiệu: • Hàm đo độ khơng chắn biến X định nghĩa (log lấy theo số 2): • Thỉnh thoảng ta viết cho thay 10 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • Ví dụ 1: biến ngẫu nhiên X có • Ví dụ 2: biến ngẫu nhiên X có 11 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn • H(X) dùng để đo lượng thông tin cần xác định biến ngẫu nhiên • Xét biến ngẫu nhiên W nhận giá trị: • Thì H(X) kỳ vọng (trung bình) W • H(X) số câu hỏi “yes no” trung bình cực tiểu để xác định kết X 12 Huỳnh Văn Kha 9/30/2010 Bổ ñề 1.1 Cho dương tùy ý thỏa Dấu xảy số Thì: 13 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 1.1 Áp dụng bất ñẳng thức (dấu xảy ), với , nhân vế cho lấy tổng theo : Từ ñây ta suy ñiều cần chứng minh 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý 1.2 , dấu xảy với ðây hệ Bổ đề phía trên, với tất 15 Huỳnh Văn Kha 9/30/2010 Hàm đo độ khơng chắn ñồng thời hai biến ngẫu nhiên Xét hai biến ngẫu nhiên: • Biến X lấy giá trị với xác suất là: • Biến Y lấy giá trị với xác suất là: ðộ không chắc ðặt ñồng thời X Y ñược ñịnh nghĩa là: 16 Huỳnh Văn Kha ðịnh lý 1.3 Dấu xảy Chứng minh: ñộc lập 9/30/2010 17 Huỳnh Văn Kha ðặt: , Thì: Áp dụng Bổ ñề 1.1, ta ñược: 9/30/2010 ...2 Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Lý thuyết thông tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình... trung bình cực tiểu để xác định kết X 12 Huỳnh Văn Kha 9/30/2010 Bổ ñề 1.1 Cho dương tùy ý thỏa Dấu xảy số Thì: 13 Huỳnh Văn Kha 9/30/2010 Chứng minh bổ ñề 1.1 Áp dụng bất ñẳng thức (dấu xảy ),... chắc ðặt ñồng thời X Y ñược ñịnh nghĩa là: 16 Huỳnh Văn Kha ðịnh lý 1.3 Dấu xảy Chứng minh: ñộc lập 9/30/2010 17 Huỳnh Văn Kha ðặt: , Thì: Áp dụng Bổ ñề 1.1, ta ñược: 9/30/2010