Mẫu Đề cương môn học HỌC VIỆN KỸ THUẬT QUÂN SỰ KHOA CNTT CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự do – Hạnh phúc ĐỀ CƯƠNG CHI TIẾT HỌC PHẦN LÝ THUYẾT THÔNG TIN 1 Thông tin về giáo viên TT Họ tê[.]
HỌC VIỆN KỸ THUẬT QUÂN SỰ CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA CNTT Độc lập – Tự – Hạnh phúc ĐỀ CƯƠNG CHI TIẾT HỌC PHẦN LÝ THUYẾT THÔNG TIN Thông tin giáo viên TT Họ tên giáo viên Nguyễn Quang Uy Học hàm Học vị GVC TS Đơn vị công tác (Bộ môn) Bộ môn An Ninh Mạng – Khoa CNTT Thời gian, địa điểm làm việc: 9h sang thứ 6, Bộ môn An Ninh Mạng Địa liên hệ: Bộ môn An Ninh Mạng – Khoa CNTT Điện thoại, email: 0966854324; quanguyhn@gmail.com Các hướng nghiên cứu chính: Lập trình Gen, trí tuệ nhân tạo, học máy, an ninh mạng Thông tin chung học phần - Tên học phần: Cơng nghệ lập trình tích hợp - Mã học phần: - Số tín chỉ: - Học phần (bắt buộc hay lựa chọn): bắt buộc - Các học phần tiên quyết: Mạng máy tính, Lập trình Java - Các yêu cầu học phần (nếu có): - Giờ tín hoạt động: Nghe giảng lý thuyết: 30 Làm tập lớp: 15 Thảo luận: Thực hành, thực tập (ở PTN, nhà máy, thực tập ): Hoạt động theo nhóm: Tự học: - Khoa/Bộ môn phụ trách học phần, địa chỉ: Bộ Môn An Ninh Mạng – Khoa CNTT Mục tiêu học phần - Kiến thức: Có kiến thức lý thuyết thông tin bao gồm vấn đề entropy, - nén liệu, độ phưc tạp thông tin Kỹ năng: Lập trình ứng dụng truyền thơng mạng Thái độ, chuyên cần: Rèn luyện thái độ nghiêm túc học tập, có khả độc lập nghiên cứu khoa học Tóm tắt nội dung học phần (khoảng 150 từ): Môn học giới thiệu vấn đề kiến thức nâng cao lý thuyết thông tin, nén liệu độ phức tạp thông tin Thông qua kiến thức môn học, học viên nắm bắt các kiên thức lý thuyết Entropy, nén liệu độ phức tạp Kolmogorov 5 Nội dung chi tiết học phần (tên chương, mục, tiểu mục) Chương, Mục, tiểu mục Nội dung Chương 1: Mục đích yêu cầu Tổng quan vể mơn học Các nội dung mơn học môn học Một số khái niệm Chương 2: Entropy Entropy kết hợp Entropy, Entroy quan Entropy điều kiện hệ thông tin Entropy quan hệ thông tin tương quan tương quan Mối quan hệ giứa Entropy điều kiện thông tin tương quan Các luật cho Entropy, Entropy điều kiện thông tin tương quan Bất đẳng thức Jensen hệ Bất đẳng thức Log Sum ứng dụng Bất đẳng thức Fano Chương 3: Định lý thuộc tính cân Thuộc tính cân tiệm cận tiệm cận Các hệ định lý cân tiệm cận Các tập xác suất cao tập tiêu biểu Chương 4: Tỷ Chuỗi Markov lệ Entropy Tỷ lệ Entropy trình ngẫu Tỷ lệ Entropy đường đồ thị nhiên Luật thứ hai nhiệt động học Các hàm chuỗi Markov Chương 5: Nén Ví dụ mã Bất đẳng thức Kraft liệu Mã tối ưu Giới hạn độ dài mã tối ưu Bất đẳng thức Kraft cho mã giải mã Mã Huffman Tính tối ưu mã Huffman Mã Shannon–Fano–Elias Tính tối ưu mã Giáo trình, Tài liệu tham khảo (Ghi TT TL mục 6) 16 1, 2, 12 Số tiết Ghi Shannon Chương 6: Độ Mơ hình máy tính Turring 12 phức tạp Độ phức tạp Kolmogorov Độ phức tạp Kolmogorov Kolmogorov Entropy Độ phức tạp Kolmogorov số tự nhiên Ngâu nhiên số học dãy nén Xác suất vú trụ Độ phức tạp Kolmogorov xác suất vú trụ Nguyên lý độ dài mô tả cực tiểu Giáo trình, tài liệu tham khảo TT Tên giáo trình, tài liệu Elements of information theory, Thomas M Cover, Joy A Thomas, Wiley Publishing, 2006 Fundamentals of information theory and coding design, Roberto Togneri, Christopher J.S deSilva, CRC Press 2002 Information Theory, Inference & Learning Algorithms, David J C MacKay, Cambridge University Press, 2003 Entropy and Information Theory, Robert M Gray Springer 2011 Tình trạng giáo trình, tài liệu Giáo viên có Giáo viên có Giáo viên có Giáo viên có Hình thức tổ chức dạy học 7.1 Lịch trình chung: (Ghi tổng số cho cột) Hình thức tổ chức dạy học học phần Lên lớp Thực hành, Nội dung Tự học, Lý Bài Thảo thí nghiệm, tự ng.cứu thực tập thuyết tập luận 0 Chương Chương Chương Chương 4 Chương Chương 30 15 Tổng Tổng 4 8 4 60 7.2 Lịch trình tổ chức dạy học cụ thể Bài giảng1: Tổng quan môn học Chương I Mục 1.1 + 1.3 Tiết thứ: - Tuần thứ: - Mục đích, yêu cầu: Nắm sơ lược Học phần, sách riêng giáo viên, địa Giáo viên, bầu lớp trưởng Học phần Nắm vấn đề lý thuyết thông tin - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 4t; Tự học, tự nghiên cứu: 4t - Địa điểm: Giảng đường P2 phân công - Nội dung chính: Mục đích yêu cầu mơn học Các nội dung mơn học Một số khái niệm - Yêu cầu SV chuẩn bị: Đọc trước TL [1] Chương Tự đọc: Đọc ví dụ cuối chương Bài giảng 2: Entropy, Entroy quan hệ thông tin tương quan Chương II Mục + Tiết thứ: 5-8 Tuần thứ: - Mục đích, yêu cầu: Khai niệm entropy Cách tính entropy - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 4t; Bài tập: 0t; Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Entropy Entropy kết hợp Entropy điều kiện Entropy quan hệ thông tin tương quan 5t 4 Mối quan hệ giứa Entropy điều kiện thông tin tương quan - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2], chương 2, Bài giảng 3: Entropy, Entroy quan hệ thông tin tương quan Chương II Mục + Tiết thứ: 9-12 Tuần thứ: - Mục đích, yêu cầu: Các luật bất đẳng thức entropy - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 4t; Bài tập: 0t; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Các luật cho Entropy, Entropy điều kiện thông tin tương quan Bất đẳng thức Jensen hệ Bất đẳng thức Log Sum ứng dụng Bất đẳng thức Fano - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2], chương 3, Bài giảng 4: Bài tập chương Chương II, III Mục + Tiết thứ: 13-16 Tuần thứ: - Mục đích, yêu cầu: Làm tập entropy - Hình thức tổ chức dạy học: Bài tập - Thời gian: Lý thuyết, thảo luận: 1t; Bài tập: 3t; Thực hành: Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Bài tập tính entropy Chứng minh bất đẳng thức entropy - Yêu cầu SV chuẩn bị: Làm tập TL[1,2], chương 4,5 Bài giảng 5: Thuộc tính cân tiệm cận Chương III Mục + Tiết thứ: 21- 24 Tuần thứ: - Mục đích, yêu cầu: Thuộc tính cân tiệp cận - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 4t; Bài tập: 0t; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Định lý thuộc tính cân tiệm cận Các hệ định lý cân tiệm cận Các tập xác suất cao tập tiêu biểu - Yêu cầu SV chuẩn bị: Đọc trước TL[2, 3], chương 5, Bài giảng 6: Bài tập chương Chương III Mục + Tiết thứ: 17- 20 Tuần thứ: - Mục đích, yêu cầu: Làm tập thuộc tính vân tiệp cận - Hình thức tổ chức dạy học: Bài tập - Thời gian: Lý thuyết, thảo luận: 1t; Bài tập: 3t; Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân công - Nội dung chính: Bài tập thuộc tính cân tiệp cận Bài tập xác suất cao tập tiêu biểu - Yêu cầu SV chuẩn bị: Đọc trước TL[2,3], chương 5, Bài giảng 7: : Tỷ lệ Entropy trình ngẫu nhiên 5t Chương IV Mục + Tiết thứ: 25-28 Tuần thứ: - Mục đích, u cầu: Các q trình ngẫu nhiên - Hình thức tổ chức dạy học: Lý thuyết - Thời gian: Lý thuyết, thảo luận: 4t; Bài tập: 0t; Thực hành: 0; Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân công - Nội dung chính: Chuỗi Markov Tỷ lệ Entropy Tỷ lệ Entropy đường đồ thị Luật thứ hai nhiệt động học Các hàm chuỗi Markov - Yêu cầu SV chuẩn bị: Làm tập TL[1, 2, 3], chương 3,4,5 Bài giảng 8: Bài tập chương Chương V Mục + Tiết thứ: 29- 32 Tuần thứ: - Mục đích, yêu cầu: Bài tập trình ngẫu nhiên - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 1t; Bài tập: 3t; Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Bài tập chuỗi markov Bài tập tỷ lệ entropy - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2, 3], chương 2,3,4 Bài giảng 9: Nén liệu 5t Chương V Mục + Tiết thứ: 33- 36 Tuần thứ: - Mục đích, yêu cầu: Vấn đề mã nén - Hình thức tổ chức dạy học: Lý thuyết, thảo luận, tự học, tự nghiên cứu - Thời gian: Lý thuyết, thảo luận: 4t; Bài tập: 0t; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Ví dụ mã Bất đẳng thức Kraft Mã tối ưu Giới hạn độ dài mã tối ưu Bất đẳng thức Kraft cho mã giải mã Mã Huffman Tính tối ưu mã Huffman Mã Shannon–Fano–Elias Tính tối ưu mã Shannon - Yêu cầu SV chuẩn bị: Đọc trước TL[4], chương Bài giảng 10: Bài tập mã nén Chương V Mục + Tiết thứ: 37- 40 Tuần thứ: 10 - Mục đích, yêu cầu: Bài tập mã nén - Hình thức tổ chức dạy học: tập - Thời gian: Lý thuyết, thảo luận: 1t; Bài tập: 3t; thực hành: 0; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân công - Nội dung chính: Bài tập bất đẳng thức Kraft Bài tập mã Huffman Bài tập mã Mã Shannon–Fano–Elias - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2, 3], chương 4, 5, Bài giảng 11: Độ phức tạp Kolmogorov Chương VI Mục + Tiết thứ: 41-44 Tuần thứ: 11 - Mục đích, u cầu: Độ phức tạp thơng tin - Hình thức tổ chức dạy học: Thực hành - Thời gian: Lý thuyết, thảo luận: 0t; Bài tập: 0t; Thực hành: Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Mơ hình máy tính Turring Độ phức tạp Kolmogorov Độ phức tạp Kolmogorov Entropy Độ phức tạp Kolmogorov số tự nhiên Ngâu nhiên số học dãy nén Xác suất vú trụ Độ phức tạp Kolmogorov xác suất vú trụ Nguyên lý độ dài mô tả cực tiểu - Yêu cầu SV chuẩn bị: Làm tập TL[1, 2, 3], chương Bài giảng 12: Bài tập độ phức tạp thông tin Chương VI Mục + Tiết thứ: 45- 48 Tuần thứ: 12 - Mục đích, yêu cầu: Bài tập độ phức tạp Kolmogorov - Hình thức tổ chức dạy học: Bài tập - Thời gian: Thực hành: 0t; Bài tập: 4t; Tự học, tự nghiên cứu: - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Bài tập độ phức tạp Kolmogorov 5t 2 Bài tập entropy kết hợp với độ phức tạp Kolmogorov Bài tập xác suất vũ trụ - Yêu cầu SV chuẩn bị: Đọc trước TL[4], chương Bài giảng 13: Thực hành entropy Chương II Mục + Tiết thứ: 49- 52 Tuần thứ: 13 - Mục đích, u cầu: Thực hành tính entropy - Hình thức tổ chức dạy học: Thực hành - Thời gian: Lý thuyết, thảo luận: 0t; Bài tập: 0t; Thực hành:4; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Xây dựng chương trình tính entropy - u cầu SV chuẩn bị: Đọc trước TL[1], chương Bài giảng 14: Thực hành nén liệu Chương V Mục + Tiết thứ: 53- 56 Tuần thứ: 14 - Mục đích, yêu cầu: Thực hành nén liệu - Hình thức tổ chức dạy học: Thực hành - Thời gian: Lý thuyết, thảo luận: 0t; Bài tập: 0; Thực hành: 4; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân cơng - Nội dung chính: Viết chương trình nén liệu theo mã Huffman - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2], chương Bài giảng 15: Thực hành độ phức tạp thông tin Chương VI Mục + Tiết thứ: 57- 60 Tuần thứ: 15 - Mục đích, yêu cầu: Thực hành độ phức tạp Kolmogorov - Hình thức tổ chức dạy học: Thực hành - Thời gian: Lý thuyết, thảo luận: 0t; Bài tập: 0t; Tự học, tự nghiên cứu: 5t - Địa điểm: Giảng đường P2 phân công - Nội dung chính: Xây dựng chương trình tính độ phức tạp Kolmogorov - Yêu cầu SV chuẩn bị: Đọc trước TL[1, 2], chương Chính sách học phần yêu cầu khác giáo viên Sinh viên cần có mặt lớp đủ số tiết theo yêu cầu, tích cực tham gia thảo luận, tham gia hoạt động giáo viên tổ chức Chuẩn bị tốt trước tới lớp học Thực tốt tập giáo viên giao nhà: nộp hạn, chất lượng từ trung bình trở lên Tham gia thi hết môn - Bài tập học phần (làm theo nhóm) o Trình bày tổng quan sở lý thuyết: 30% o Các phân tích,đánh giá chuyên sâu: 30% o Phần chương trình: 30% o Trình bày khoa học, nộp hạn: 10% Phương pháp, hình thức kiểm tra - đánh giá kết học tập học phần 9.1 Kiểm tra – đánh giá thường xuyên: Thường xuyên điểm danh vào thời điểm thích hợp 9.2 Kiểm tra - đánh giá định kì: - Tham gia học tập lớp (đi học đầy đủ, chuẩn bị tốt tích cực thảo luận,…): hệ số 0.10 - Hoàn thành tốt Bài tập nhà , Kiểm tra kì : - Thi kết thúc học phần tốt: hệ số 0.2 hệ số 0.7 Chủ nhiệm Khoa Chủ nhiệm Bộ môn Giảng viên biên soạn (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) (Ký ghi rõ họ tên) PGS.TS Đào Thanh Tĩnh PGS.TS Nguyễn Hiếu Minh TS.Nguyễn Quang Uy ... Thomas, Wiley Publishing, 2006 Fundamentals of information theory and coding design, Roberto Togneri, Christopher J.S deSilva, CRC Press 2002 Information Theory, Inference & Learning Algorithms,