Bài giảng 1 giới thiệu môn học Lý thuyết thông tin: - Nguyễn Phương Thái

Mời các bạn cùng tìm hiểu lịch sử môn học; vai trò của lý thuyết thông tin; nội dung môn học; yêu cầu với sinh viên được trình bày cụ thể trong Bài giảng 1 giới thiệu môn học Lý thuyết thông tin do Nguyễn Phương Thái biên soạn.

Bài giảng 1 Giới thiệu môn học

Giảng viên: Nguyễn Phương Thái

Bộ môn Khoa học Máy tính

Trang web cá nhân: http://coltech.vnu.edu.vn/~thainp/

Trợ giảng: Nguyễn Kim Anh

Nội dung bài giảng

- Lịch sử môn học

- Vai trò của lý thuyết thông tin

- Nội dung môn học

- Yêu cầu với sinh viên

Lịch sử môn học

C E Shannon, “A mathematical theory of communication,” Bell System Technical

Journal, vol 27, pp 379-423 and 623-656, July and October, 1948

Lịch sử môn học (tiếp)

- Lần đầu tiên xác suất được áp dụng vào phân tích truyền thông

- Ý tưởng đột phá là “thông tin” (bất kể nguồn loại gì) về căn bản là mang tính số (digital)

- Khái niệm “entropy” thông tin ra đời, dùng để đo “độ phức tạp” hay “độ ngẫu

nhiên” của nguồn thông tin

- Các kênh thông tin có một dung tích mà nếu ta truyền tín hiệu với tốc độ nhỏ hơn

nó thì tồn tại một cách mã hóa tín hiệu mà nhờ đó ta có thể đạt được xác suất lỗi nhỏ tùy ý

- Bài báo cũng đặt nền tảng cho ngành nén dữ liệu, mã hóa và giải mã tín hiệu với khả năng phát hiện lỗi và sửa lỗi

- Nhờ bài báo này, truyền thông có thể hiểu nôm na là bao gồm 3 bước chính: mã hóa tín hiệu, truyền tín hiệu qua kênh thông tin, và giải mã tín hiệu

Vai trò của Lý thuyết Thông tin

Vai trò của Lý thuyết Thông tin (tiếp)

- Trong kỹ thuật điện tử: các giới hạn của lý thuyết truyền thông

- Trong khoa học máy tính: độ phức tạp Kolmogorov

- Trong vật lý: lý thuyết thông tin lượng tử

- Trong toán học: các bất đẳng thức, các định lý giới hạn, kiểm định giả thuyết thống

kê, lượng thông tin Fisher

- Triết lý của khoa học

- Trong kinh tế học

Nội dung môn học

- Nhắc lại kiến thức cơ bản về XSTK

- Entropy, entropy tương đối, và thông

tin tương hỗ

- Nén dữ liệu

- Dung lượng kênh

Mục tiêu môn học

Môn học này giúp sinh viên:

- Biết được ảnh hưởng của lý thuyết thông tin trong các lĩnh vực như thống

kê, học máy, kinh tế, v.v

- Hiểu các khái niệm cơ bản của lý thuyết thông tin như entropy, thông tin tương hỗ

- Có thể vận dụng để giải các bài toán cần xác định lượng tin

- Hiểu mô hình truyền thông theo quan điểm của Shannon

Yêu cầu với sinh viên

- Tham gia học trên lớp và làm bài tập (1 điểm chuyên cần)

- Kiểm tra giữa kỳ (hệ số 0.4)

- Thi cuối kỳ (hệ số 0.5)