Lý thuyết Thông tin BÀI LƯỢNG TIN 4.1 Lượng tin 4.2 Lượng tin trung bình Vấn đề truyền thông việc tái sinh điểm xác gần thông báo chọn điểm khác. (Claude Shannon 1948) 4.1 Lượng tin Để so sánh định lượng tin tức với người ta đưa khái niệm lượng đo tin tức (measure of information) hay nói tắt lượng tin. Vậy lượng tin tin định nghĩa nào? Chúng ta thấy tin người nhận mang hai nội dung, độ bất ngờ tin, hai ý nghĩa tin. Để so sánh tin với nhau, lấy hai hai tính chất làm thước đo. Nhưng khía cạnh ngữ nghĩa tin có ý nghĩa chúng ta, người, ý nghĩa hệ thống truyền tin (HTTT), cụ thể không ảnh hưởng đến vấn đề HTTT tốc độ hay độ xác, hay nói cách khác không liên quan đến toán kỹ thuật. Trong đó, khía cạnh quan trọng nằm chỗ tin (hay thông báo) thật chọn từ tập tin (tập khả năng) có thể. Và hệ thống thiết kế để hoạt động cho khả lựa chọn, dành cho mà thực lựa chọn điều trước thời điểm thiết kế. Theo khía cạnh (khía cạnh kỹ thuật) thấy số tin tập tin nhiều mang lại “lượng tin” lớn nhận tin (giả sử tin bình đẳng khả xuất hiện). Vì gợi ý cho định nghĩa khái niệm lượng tin dựa số tin (hay số khả năng) có tập. Bây xét trường hợp tổng quát tin có xác suất xuất không nhau. Xét tin x giả sử có xác suất xuất p(x), xem tin tin tập có 1/p(x) tin với tin có xác suất xuất nhau. Nếu p(x) nhỏ 1/p(x) lớn “lượng tin” nhận tin lớn. Vậy thấy “lượng tin” tin tỉ lệ thuận với số khả tin tỉ lệ nghịch với xác suất xuất tin đó. Đồng thời thấy xác suất xuất tin tỉ lệ nghịch với độ bất ngờ nhận tin. Thật xác suất xuất tin nhỏ độ bất ngờ nhận tin lớn. Nếu kí hiệu dấu ↑ tỉ lệ thuận ↓ tỉ lệ nghịch có sơ đồ sau “lượng tin“ ↑ số khả ↑ độ bất ngờ ↓ xác suất Để khẳng định lại lý luận lấy ví dụ. Xét tin HTTT, có khả lựa chọn thấp thời gian mà chiếm HTTT lựa chọn mang lại cho bên nhận độ bất ngờ lớn. Vì để truyền tin đạt hiệu cao đối đãi tin chúng xuất nhiều khác nhau. Điều giúp thấy hợp lý chắn việc dùng độ bất ngờ hay xác suất làm thước đo thông tin kỹ thuật. Một tin có xác suất xuất nhỏ có độ bất ngờ lớn có lượng tin lớn. Đến vấn đề khác lại xuất hiện. Đó phải xác định hàm để biểu diện lượng tin theo độ bất ngờ hay xác suất. Cụ thể xét nguồn A = {a1, a2,…, am} với xác suất xuất p(ai) i = 1, ., m. Giả sử kí hiệu lượng tin tin I(ai). Vậy hàm f dùng để biểu thị lượng tin phải thoã mãn điều kiện gì? Chúng ta liệt kê lý giải điều kiện mà hàm f phải thõa: Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 18 Lý thuyết Thông tin 1. 2. 3. Phản ánh tính chất thống kê tin tức. Ví dụ có hai nguồn K, L với số tin tương ứng k, l (giả thuyết đẳng xác suất). Nếu k > l, độ bất ngờ nhận tin nguồn K phải lớn độ bất ngờ nhận tin nguồn L, f(k) > f(l) Hợp lý tính toán. Giả thiết hai nguồn độc lập K L với số tin tương ứng k l. Cho việc nhận cặp ki lj đồng thời tin nguồn hỗn hợp KL. Số cặp kilj mà nguồn có k*l. Độ bất ngờ nhận cặp phải lớn độ bất ngờ nhận ki hay lj riêng lẻ. Cụ thể lượng tin nhận cặp kilj phải tổng lượng tin nhận ki lj. Vì phải có: f(kl) = f(k) + f(l) Khi nguồn có tin, lượng tin chứa tin phải không. f(1) = Với điều kiện đưa đến việc chọn hàm logarit để làm thước đo tin tức. Định nghĩa Lượng đo thông tin tin đo logarit độ bất ngờ tin hay nghịch đảo xác suất xuất tin đó. I(x) = log = − log p( x) p ( x) (2.1) Ví dụ nguồn A = {a1, a2,…, am} có m kí hiệu với xác suất xuất tương ứng p(a1), p(a2), …, p(am), lượng tin chứa kí hiệu I(ai) = –log p(ai) Lượng tin chứa dãy x = a1a2 … an với ∈ A là: n I(x) = − log p ( x) = − ∑ log(ai ) (2.2) i =1 Trong trường hợp m kí hiệu nguồn đẳng xác suất với tức p(ai) = 1/m I(ai) = log = log m (2.3) p ( ) Nếu x = a1a2 … an với ∈ A I(x) = n logm (Lượng tin x n lần lượng tin kí hiệu.) Chú ý, tin nguồn có xác suất xuất không độc lập thống kê với lượng tin chứa dãy kí hiệu nguồn phụ thuộc vào xác suất xuất tin mà tùy thuộc vào xác suất có điều kiện. Đây trường hợp nguồn có nhớ (source with memory). Đơn vị lượng tin Đơn vị lượng tin tùy thuộc vào cách chọn số logarit. Nếu số đơn vị bits (cho kí số nhị phân); số e đơn vị nats (cho đơn vị tự nhiên), số 10 đơn vị Hartley. 4.2 Lượng tin trung bình Lượng tin riêng tin ∈ A có ý nghĩa tin mà thôi, không phản ánh giá trị tin tức nguồn A. Nói cách khác nó, I(ai), đánh Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 19 Lý thuyết Thông tin giá mặt tin tức tin đứng riêng rẽ không đánh giá mặt tin tức tập hợp (nguồn) có chứa tin đó. Mà điều thực tế lại người quan tâm hơn, tức quan tâm đến giá trị tin tức tập hợp giá trị tin tức tin riêng rẻ. Từ dẫn đến khái niệm lượng tin trung bình. Định nghĩa Lượng tin trung bình nguồn tin A lượng tin trung bình chứa kí hiệu nguồn tin. Nó thường kí hiệu I(A) tính công thức sau I ( A) = ∑ p(ai ) I (ai ) = − ∑ p(ai ) log p(ai ) ∈ A ∈ A Đây thông số thông kê quan trọng nguồn tin. Nó sử dụng nhiều ứng dụng sau này. Ví dụ 4.1 Cho nguồn tin U bao gồm tin U = {u0, u1, u2, u3, u4, u5, u6, u7}, với xác suất xuất sau: p(u0) p(u1) p(u2) p(u3) p(u4) p(u5) p(u6) p(u7) 1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16 Hãy cho biết lượng tin riêng tin lượng tin trung bình nguồn đơn vị bits. Giải Lượng tin riêng tin I(u1) I(u2) I(u3) I(u4) I(u5) I(u6) I(u7) I(u0) 2 3 4 4 Lượng tin trung bình nguồn I(U) = (1/4) × + (1/4) × + (1/8) × + (1/8) × + (1/16) × + (1/16) × + (1/16) × + (1/16) × = 2,75 bits. Điều nói lên ý nghĩa quan trọng rằng, biểu diễn tin nguồn U chuỗi có chiều dài trung bình 2,75 bits. Nó tốt so với trường hợp không ý đến cấu trúc thông kê nguồn. Lúc biểu diễn tin tin nguồn chuỗi có chiều dài bits. Tiếp tục tính lượng tin có chứa bảng tin u(1) = u0 u2 u1 u4 u0 u5. Áp dụng công thức có I(u(1)) = I(u0) + I(u2) + I(u1) + I(u4) + I(u0) + I(u5) = + + +4 + + = 17 bits. Trong trường hợp không đến xác suất xuất tin biểu diễn bảng tin u(k) chuỗi có chiều dài 18 bits tức dài bits. Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 20 . Lý thuyết Thông tin Người soạn Hồ Văn Quân - Khoa CNTT - ĐH Bách Khoa Tp.HCM 18 BÀI 4 LƯỢNG TIN 4.1 Lượng tin 4.2 Lượng tin trung bình Vấn đề cơ bản của truyền. 1948) 4.1 Lượng tin Để so sánh định lượng các tin tức với nhau người ta đưa ra khái niệm lượng đo tin tức (measure of information) hay nói tắt là lượng tin. Vậy lượng tin của một tin được định. có thể xem tin này như là một tin trong một tập có 1/p(x) tin với các tin có xác suất xuất hiện như nhau. Nếu p(x) càng nhỏ thì 1/p(x) càng lớn và vì vậy “lượng tin khi nhận được tin này cũng