- Chương II I 22 Kỹ thuật DPCM thực hiện mã hĩa trên cơ sở PCM nhưng sử dụng thuật tốn dự đốn để
Mã hĩa nguồn
Hệ thống thơng tin được sử dụng để truyền tin tức từ nguồn tin đến nhận tin. Nguồn tin sinh ra tin dưới nhiều dạng khác nhau, ví dụ âm thanh trong hệ thống radio, tín hiệu video trong hệ thống vơ tuyến truyền hình...
Tin này cĩ thể được đưa trực tiếp vào kênh để truyền đi, nhưng trong thực tế, tin này thường được biến đổi rồi đưa vào kênh truyền. Ví dụ như tin là văn bản tiếng Anh, nguồn tin cĩ khoảng 40 ký tự (symbol) khác nhau, gồm các mẫu tự alphabet, con số, dấu chấm câu...Về nguyên tắc ta cĩ thể dùng 40 dạng sĩng điện áp khác nhau để biểu thị 40 ký tự này. Tuy nhiên thực tế thì phương pháp này khơng phù hợp, quá khĩ thực hiện hay thậm chí khơng thể được, vì:
- Kênh truyền khơng phù hợp về mặt vật lý để cĩ thể mang nhiều ký tự khác nhau như vậy.
- Dải tần địi hỏi sẽ rất rộng.
- Việc lưu trữ hay xử lý tín hiệu trước khi truyền rất khĩ, trong khi nếu chuyển sang nhị phân thì mọi việc sẽ dễ dàng hơn nhiều.
Vậy ta thấy cần phải thay đổi dạng của tin khác đi so với dạng ban đầu do nguồn cung cấp. Cơng việc thay đổi dạng này được gọi là mã hĩa (encoding).
Cơ sở lý thuyết của mã hĩa là lý thuyết tin (information theory). Lý thuyết tin liên quan đến việc biểu diễn tin bằng các ký tự, đưa ra giới hạn lý thuyết cho việc thực hiện hệ thống thơng tin, cho phép đánh giá hiệu suất của hệ thống thực tế. Nền tảng của lý thuyết tin do Hartley và Nyquist đưa ra từ những năm 1920 và được Shannon hồn chỉnh và tổng kết vào năm 1948. Đây là một lý thuyết phức tạp, phần đầu của chương này dành để trình bày những vấn đề cơ bản nhất của lý thuyết tin.
Về các mục đích của mã hĩa, ta cĩ thể tĩm tắt như sau:
- Định dạng, để chuyển tin từ dạng gốc tự nhiên sang dạng chuẩn ví dụ sang dạng số
PCM.
- Mã hĩa đường, để đảm bảo dạng sĩng của ký tự truyền đi phù hợp với các đặc điểm của
kênh truyền.
- Mã hĩa nguồn (source encoding), nhằm giảm số ký tự trung bình yêu cầu để truyền bản
tin.
- Mật mã hĩa (encryption),để mã hĩa bản tin bằng một khĩa mật mã nhằm tránh sự thâm nhập trái phép, đảm bảo độ an tồn cho thơng tin.
- Chương IV -
được các lỗi trong bản tin thu để tăng độ tin cậy của thơng tin.
Phần định dạng và mã hĩa đường đã được xét đến trong chương III. Do những đặc điểm riêng, phần mật mã hĩa khơng được đề cập trong giáo trình này. Phần mã hố kênh truyền sẽ được trình bày trong chương sau. Chương này trình bày về mã hĩa nguồn, trong đĩ tập trung vào loại mã thống kê tối ưu. Loại mã này tạo ra từ mã cĩ độ dài thay đổi, trong đĩ phổ biến là mã Huffman, bao gồm mã Huffman cơ sở (basic Huffman) vaì mã Huffman động (dynamic Huffman). Phần cuối chương sẽ giới thiệu sơ lược về mã hĩa fax (facsimile)
4.1 Lý thuyết tin
4.1.1 Đo tin tức
Để đánh giá định lượng cho tin tức,người ta đưa ra khái niệm lượng tin (information content). Lượng tin liên quan đến giá trị của tin, hay nĩi cách khác là khả năng dự đốn được (predictability)của tin: một tin cĩ khả năng đốn trước càng nhiều thì càng chứa ít tin. Ví dụ, bản tin về tỷ số trận bĩng Manchester United - Bradford Academicals là 7 - 0 chứa rất ít tin nhưng kết quả ngược lại thì gây chấn động, và do đĩ chứa rất nhiều tin. Vậy xác suất càng cao thì bản tin càng chứa ít tin và ngược lại. Ta cĩ thể viết:
p (bản tin) = 1 khơng mang tin p (bản tin) = 0 mang một lượng tin vơ hạn.
Từ nhận xét trên, ta thấy tin càng cĩ ý nghĩa khi nĩ càng hiếm gặp, nên độ lớn của nĩ phải tỷ lệ nghịch với xác suất xuất hiện của tin.
Xét nguồn tin X rời rạc sinh ra các tin i với xác suất là p(i), lượng tin của tin i phải là một hàm cĩ các đặc điểm sau:
- Tỷ lệ nghịch với xác suất xuất hiện p(i), hay đĩ là hàm f(1/p(i)).
- Hàm này phải là 0 khi p(i) = 1.
- Nếu hai tin độc lập thống kê là i và j đồng thời xuất hiện, ta cĩ tin là (i,j), lượng tin chung của chúng phải bằng tổng lượng tin của từng tin, nghĩa là: