1. Trang chủ
  2. » Thể loại khác

BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN

316 15 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Cấu trúc

  • BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN

  • NỘI DUNG MÔN HỌC

  • NỘI DUNG MÔN HỌC (tt)

  • TÀI LIỆU THAM KHẢO

  • HÌNH THỨC ĐÁNH GIÁ

  • CÁC MÔN LIÊN QUAN

  • Bài 1 Giới thiệu

  • Thông tin là gì?

  • Thông tin là gì? (tt)

  • Vai trò của thông tin

  • LTTT nghiên cứu những vấn đề gì?

  • Những ứng dụng của LT thông tin

  • Những ứng dụng của LT thông tin (tt)

  • Lịch sử hình thành

  • Lịch sử hình thành (tt)

  • Bài 2 Một số khái niệm cơ bản

  • Thông tin

  • Thông tin (tt)

  • Mô hình của các quá trình truyền tin

  • Mô hình của các quá trình truyền tin (tt)

  • Một số khái niệm (tt)

  • Một số khái niệm (tt)

  • Các loại hệ thống truyền tin

  • Các loại hệ thống truyền tin (tt)

  • Rời rạc hóa

  • Rời rạc hóa (tt)

  • Rời rạc hóa (tt)

  • Nguồn rời rạc

  • Bài 3 Chuẩn bị toán học

  • Xác suất

  • Xác suất (tt)

  • Xác suất (tt)

  • Xác suất (tt)

  • Ví dụ

  • Xác suất (tt)

  • Xác suất (tt)

  • Bất đẳng thức Chebyshev và luật yếu của số lớn

  • Bất đẳng thức Chebyshev (tt)

  • Luật yếu của số lớn (tt)

  • Luật yếu của số lớn (tt)

  • Luật yếu của số lớn (tt)

  • Tập lồi

  • Hàm lồi

  • Định lý, bất đẳng thức Jensen

  • Bài 4 Lượng tin

  • Lượng tin

  • Ví dụ

  • Lượng tin

  • Lượng tin (tt)

  • Lượng tin (tt)

  • Lượng tin (tt)

  • Lượng tin trung bình

  • Ví dụ

  • Ví dụ

  • Ví dụ (tt)

  • Bài 5 Entropy

  • Entropy của một biến ngẫu nhiên rời rạc

  • Entropy của một biến ngẫu nhiên rời rạc (tt)

  • Các đặc tính của entropy

  • Các đặc tính của entropy (tt)

  • Các đặc tính của entropy (tt)

  • Các đặc tính của entropy (tt)

  • Entropy và các dãy của một biến ngẫu nhiên

  • Entropy và các dãy của một biến ngẫu nhiên (tt)

  • Nhận xét

  • Định lý

  • Chứng minh định lý

  • Chứng minh định lý

  • Chứng minh định lý (tt)

  • Bài 6 Mã hiệu

  • Giới thiệu

  • Mã hiệu và những thông số cơ bản

  • Mã hiệu và những thông số cơ bản (tt)

  • Mã hiệu và những thông số cơ bản (tt)

  • Mã hiệu và những thông số cơ bản (tt)

  • Một số phương pháp biểu diễn mã

  • Một số phương pháp biểu diễn mã (tt)

  • Một số phương pháp biểu diễn mã (tt)

  • Một số phương pháp biểu diễn mã (tt)

  • Một số phương pháp biểu diễn mã (tt)

  • Điều kiện phân tách mã

  • Điều kiện phân tách mã (tt)

  • Điều kiện phân tách mã (tt)

  • Điều kiện phân tách mã (tt)

  • Bảng thử mã

  • Bảng thử mã (tt)

  • Bảng thử mã (tt)

  • Cách xây dựng bảng thử mã

  • Bảng thử mã (tt)

  • Bảng thử mã (tt)

  • Bảng thử mã (tt)

  • Bảng thử mã (tt)

  • Bài tập

  • Bất đẳng thức Kraft

  • Bất đẳng thức Kraft

  • Bất đẳng thức Kraft (tt)

  • Định lý

  • Định lý 6.2 (tt)

  • Chứng minh định lý (tt)

  • Bài 7 Mã hóa tối ưu nguồn rời rạc không nhớ

  • Các định lý về giới hạn trên và dưới của chiều dài trung bình

  • Các định lý về giới hạn trên và dưới của chiều dài trung bình (tt)

  • Chứng minh định lý (tt)

  • Hệ quả

  • Hệ quả (tt)

  • Mã hóa tối ưu

  • Phương pháp mã hoá Shannon

  • Ví dụ

  • Nhận xét - Bài tập

  • Phương pháp mã hoá Fano

  • Ví dụ

  • Chú ý

  • Ví dụ

  • Nhận xét - Bài tập

  • Phương pháp mã hoá tối ưu Huffman

  • Hai định lý của Huffman

  • Hai định lý của Huffman (tt)

  • Hai định lý của Huffman (tt)

  • Hai định lý của Huffman (tt)

  • Giải thuật mã hóa Huffman

  • Ví dụ

  • Nhận xét

  • Mở rộng cho cơ số m > 2

  • Ví dụ

  • Bài tập

  • Nhận xét

  • Nhận xét (tt)

  • Bài 8 Mã hóa nguồn phổ quát

  • Giới thiệu

  • Nguồn rời rạc không nhớ với thống kê không biết trước

  • Nguồn rời rạc không nhớ với thống kê không biết trước (tt)

  • Nguồn rời rạc không nhớ với thống kê không biết trước (tt)

  • Nguồn rời rạc không nhớ với thống kê không biết trước (tt)

  • Các vectơ tần suất và tựa-entropy

  • Các vectơ tần suất và tựa-entropy (tt)

  • Các vectơ tần suất và tựa-entropy (tt)

  • Các vectơ tần suất và tựa-entropy (tt)

  • Các vectơ tần suất và tựa-entropy (tt)

  • Các vectơ tần suất và tựa-entropy (tt)

  • Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ

  • Một sơ đồ mã hoá phổ quát cho nguồn rời rạc không nhớ (tt)

  • Ví dụ

  • Ví dụ (tt)

  • Ví dụ (tt)

  • Bài 9 Kênh rời rạc không nhớ Lượng tin tương hỗ

  • Kênh rời rạc không nhớ và ma trận kênh

  • Nhận xét

  • Nhận xét (tt)

  • Entropy điều kiện và lượng tin tương hỗ

  • Ví dụ

  • Ví dụ (tt)

  • Lượng tin có điều kiện I(xk | yj)

  • Lượng tin có điều kiện I(xk | yj)

  • Lượng tin tương hỗ

  • Lượng tin có điều kiện trung bình

  • Entropy điều kiện

  • Chứng minh

  • Chứng minh (tt)

  • Chứng minh

  • Lượng tin tương hỗ trung bình

  • Một số loại kênh rời rạc không nhớ

  • Nhận xét

  • Kênh không mất (Lossless channel)

  • Kênh vô dụng (Useless channel)

  • Kênh vô dụng (tt)

  • Kênh vô dụng (tt)

  • Sự nhập nhằng (equivocation) và tốc độ truyền tin

  • Sự nhập nhằng (equivocation) và tốc độ truyền tin (tt)

  • Ví dụ

  • Nhận xét

  • Nhận xét (tt)

  • Dung lượng kênh

  • Kênh đối xứng

  • Kênh đơn định

  • Bài 10 Mã hóa chống nhiễu, định lý kênh

  • Giới thiệu bài toán chống nhiễu

  • Giới thiệu bài toán chống nhiễu (tt)

  • Giới thiệu bài toán chống nhiễu (tt)

  • Định lý kênh có nhiễu cho kênh nhị phân đối xứng rời rạc (BSC)

  • Các khái niệm

  • Các khái niệm (tt)

  • Chứng minh định lý

  • Chứng minh định lý (tt)

  • Chứng minh định lý (tt)

  • Chứng minh định lý (tt)

  • Chứng minh định lý (tt)

  • Chứng minh định lý (tt)

  • Chứng minh định lý (tt)

  • Ví dụ

  • Định lý

  • Định lý ngược của kênh truyền có nhiễu

  • Bài 11 Cơ sở toán học của mã chống nhiễu

  • Bài 11 Cơ sở toán học của mã chống nhiễu

  • Một số khái niệm cơ bản

  • Một số khái niệm cơ bản (tt)

  • Nhóm

  • Nhóm (tt)

  • Nhóm (tt)

  • Phép cộng và nhân modulo

  • Ví dụ

  • Ví dụ (tt)

  • Bổ đề

  • Trường

  • Trường (tt)

  • Trường (tt)

  • Trường Galois

  • Trường Galois

  • Trường Galois (tt)

  • Trị riêng của một trường

  • Trị riêng của một trường

  • Trị riêng của một trường (tt)

  • Chu kỳ của một phần tử

  • Nhóm tuần hoàn

  • Nhóm tuần hoàn (tt)

  • Phần tử cơ sở

  • Ví dụ

  • Trường GF(2)

  • Các đa thức trên trường GF(2)

  • Các đa thức trên trường GF(2) (tt)

  • Các đa thức trên trường GF(2) (tt)

  • Các đa thức trên trường GF(2) (tt)

  • Đa thức tối giản

  • Bổ đề

  • Trường GF(2m)

  • Đa thức tối thiểu

  • Đa thức tối thiểu (tt)

  • Định lý

  • Chứng minh

  • Chứng minh (tt)

  • Chứng minh (tt)

  • Hệ quả

  • Chứng minh

  • Định lý

  • Hệ quả

  • Hệ quả

  • Hệ quả (tt)

  • Bổ đề

  • Bổ đề (tt)

  • Bổ đề (tt)

  • Bổ đề (tt)

  • Bổ đề (tt)

  • Chứng minh (tt)

  • Chứng minh (tt)

  • Chứng minh (tt)

  • Hệ quả

  • Chứng minh

  • Định lý

  • Định lý (tt)

  • Định lý (tt)

  • Định lý (tt)

  • Tóm tắt

  • Tóm tắt (tt)

  • Ví dụ

  • Ví dụ (tt)

  • Ví dụ (tt)

  • Ví dụ (tt)

  • Bài 12 Mã khối tuyến tính

  • Giới thiệu

  • Cách biểu diễn mã – Ma trận sinh

  • Cách mã hóa

  • Ví dụ

  • Cách giải mã

  • Cách giải mã (tt)

  • Mã tuyến tính hệ thống

  • Ma trận sinh hệ thống

  • Ví dụ

  • Ví dụ (tt)

  • Phát hiện sai và sửa sai

  • Cách phát hiện sai

  • Ma trận kiểm tra

  • Ma trận kiểm tra (tt)

  • Ma trận kiểm tra (tt)

  • Ma trận kiểm tra (tt)

  • Chứng minh

  • Chứng minh (tt)

  • Ví dụ

  • Khả năng chống nhiễu tương đương

  • Bổ đề

  • Cách sửa sai

  • Tập giải mã - coset

  • Sơ đồ giải mã

  • Sơ đồ giải mã (tt)

  • Mã tuyến tính Hamming

  • Ma trận sinh của mã tuyến tính Hamming

  • Ma trận sinh của mã tuyến tính Hamming

  • Bài 13 Mã vòng

  • Giới thiệu

  • Ví dụ

  • Giới thiệu (tt)

  • Giới thiệu (tt)

  • Các tính chất của mã vòng

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Các tính chất của mã vòng (tt)

  • Ma trận sinh

  • Ví dụ

  • Mã vòng dạng hệ thống

  • Ví dụ

  • Ma trận kiểm tra của mã vòng

  • Ví dụ

  • Ứng dụng trường GF(2m) để xây dựng mã vòng

  • Ứng dụng trường GF(2m) để xây dựng mã vòng (tt)

  • Ứng dụng trường GF(2m) để xây dựng mã vòng (tt)

  • Mã BCH nhị phân

  • Định lý

  • Định lý (tt)

  • Ví dụ

  • Ví dụ (tt)

  • Ví dụ (tt)

Nội dung

Trường Đại học Cơng Nghệ Thơng Tin BÀI GIẢNG MƠN HỌC LÝ THUYẾT THÔNG TIN CuuDuongThanCong.com https://fb.com/tailieudientucntt NỘI DUNG MÔN HỌC „ „ „ „ „ „ „ „ „ Bài Bài Bài Bài Bài Bài Bài Bài Bài Giới thiệu Một số khái niệm Chuẩn bị toán học Lượng tin Entropy Mã hiệu Mã hóa tối ưu nguồn rời rạc khơng nhớ Mã hóa nguồn phổ qt Kênh rời rạc không nhớ, lượng tin tương hỗ Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt NỘI DUNG MÔN HỌC (tt) „ „ „ „ „ „ Bài 10 Bài 11 Bài 12 Bài 13 Bài 14 Bài 15 Mã hóa chống nhiễu, định lý kênh Mã khối tuyến tính Cơ sở tốn học mã hóa chống nhiễu Mã vịng Giới thiệu mật mã hóa Một số vấn đề nâng cao Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt TÀI LIỆU THAM KHẢO Information Theory - Robert B.Ash, Nhà xuất Dover, Inc, 1990 Introduction to Information Theory - Masud Mansuripur, Nhà xuất Prentice–Hall, Inc, 1987 A Mathematical Theory of Communication - C E Shannon, Tạp chí Bell System Technical, số 27, trang 379–423 623– 656, tháng tháng 10, 1948 Cơ sở Lý thuyết truyền tin (tập hai) - Đặng Văn Chuyết, Nguyễn Tuấn Anh, Nhà xuất Giáo dục, 1998 Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt HÌNH THỨC ĐÁNH GIÁ „ „ Sẽ có thơng báo cụ thể cho khóa học Tuy nhiên, thường có hình thức bên Thi (80%) „ „ „ Giữa kỳ: thi viết (30%) Cuối kỳ: thi trắc nghiệm 50 câu / 90 phút (50%) Làm tập lớn (20%) „ Nộp tập lớn báo cáo vào cuối học kỳ Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt CÁC MÔN LIÊN QUAN „ „ „ Lý thuyết xác suất Kỹ thuật truyền số liệu Xử lý tín hiệu số Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt Bài Giới thiệu 1.1 Thông tin gì? 1.2 Vai trị thơng tin 1.3 Lý thuyết thơng tin nghiên cứu gì? 1.4 Những ứng dụng lý thuyết thông tin 1.5 Lý thuyết thông tin – Lịch sử hình thành quan điểm khoa học đại Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt Thơng tin gì? „ Một vài ví dụ „ „ „ „ „ Hai người nói chuyện với Cái mà trao đổi họ gọi thông tin Một người xem tivi/nghe đài/đọc báo, người nhận thơng tin từ đài phát/báo Quá trình giảng dạy lớp Các máy tính nối mạng trao đổi liệu với Máy tính nạp chương trình, liệu từ đĩa cứng vào RAM để thực thi Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt Thông tin gì? (tt) „ Nhận xét „ „ „ „ „ Thông tin truyền từ đối tượng đến đối tượng khác để báo “điều” Thơng tin có ý nghĩa “điều” bên nhận chưa biết Thơng tin xuất nhiều dạng âm thanh, hình ảnh, Những dạng “vỏ bọc” vật chất chứa thông tin “Vỏ bọc” phần “xác”, thông tin phần “hồn” Ngữ nghĩa thơng tin hiểu bên nhận hiểu cách biểu diễn ngữ nghĩa bên phát Một phương tiện để diễn đạt thơng tin ngơn ngữ Có hai trạng thái thông tin: truyền lưu trữ Môi trường truyền/lưu trữ gọi chung môi trường chứa tin hay kênh tin Trang CuuDuongThanCong.com https://fb.com/tailieudientucntt Vai trị thơng tin „ „ „ „ Các đối tượng sống luôn có nhu cầu hiểu giới xung quanh, để thích nghi tồn Đây q trình quan sát, tiếp nhận, trao đổi xử lý thông tin từ môi trường xung quanh Thông tin trở thành nhu cầu bản, điều kiện cần cho tồn phát triển Khi KHKT, XH ngày phát triển, thông tin thể vai trị quan trọng Ví dụ, hành động xuất phát từ suy nghĩ, suy nghĩ đúng, hành động Suy nghĩ lại chịu ảnh hưởng từ nguồn thông tin tiếp nhận Vì thơng tin chi phối đến suy nghĩ kết hành động người Trang 10 CuuDuongThanCong.com https://fb.com/tailieudientucntt

Ngày đăng: 08/04/2022, 21:26

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w