slide hương 1 những khái niệm cơ bản bùi văn thành

Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng năm 2013 Thông tin chung về môn học Tên môn học: LÝ THUYẾT THÔNG TIN (Fundamental of information theory)  Số đvht: đvht  Loại môn học: bắt buộc  Các môn học tiên quyết: Lý thuyết xác suất, Kỹ thuật số, Kỹ thuật truyền số liệu, Hệ điều hành, Mạng máy tính  bổ giờ: Lý thuyết + tập: 45 tiết (Hệ Chính quy) 24 tiết (Hệ TXQM)  Phân   Mục tiêu của môn học  Hiểu khái niệm về thơng tin, Entropy, Entropy có điều kiện, Độ đo lượng tin Vận dụng giải toán xác định lượng tin  Biết khái niệm mã tách được, mã khơng tách được, mã hóa tối ưu Huffman Hiểu định lý mã hóa Shannon (1948) Vận dụng lý thuyết mã hóa để hiểu thiết bị mã hóa giải mã  Từ đây, sinh viên tự nghiên cứu mã khác để vận dụng cho việc mã hóa bảo mật thơng tin cách hiệu  Lý thuyết thông tin mơn học khó địi hỏi người học phải có kiến thức tốn xác suất thống kê Do đó, địi hỏi người học phải tham gia lớp học đầy đủ làm tập theo u cầu mơn học tiếp thu kiến thức môn học cách hiệu NỘI DUNG MÔN HỌC Chương 1: Những khái niệm Chương 2: Tín hiệu Chương 3: Lượng tin, Entropi nguồn rời rạc Chương 4: Lý thuyết mã – Mã hóa nguồn Chương 5: Mã hóa kênh truyền Chương 6: Mã vòng TÀI LIỆU THAM KHẢO  [1] Adamek, J.Foundations of Coding: Theory and Application of Error–Correcting Codes with an Introduction to Cryptography and Information Theory, John Wiley and Sons, New York 1991  [2] Nguyễn Bình, Lý thuyết thơng tin, NXB Bưu điện , năm 2007  [3] Nguyễn Thúy Vân, Lý thuyết mã, NXB KHKT, năm 2006 TÀI LIỆU THAM KHẢO  [4] Vũ Ngọc Phàn, Lý thuyết thơng tin mã hóa, NXB Bưu điện, năm 2006  [5] Đặng Văn Chuyết, Cơ sở lý thuyết tryền tin, NXB Giáo dục, năm 2001  [6] Trần Trung Dũng, Lý thyết truyền tin, NXB KH & KT, năm 2007 Chương NHỮNG KHÁI NIỆM CƠ BẢN  1.1 Giới thiệu Lý thuyết thông tin (Information theory)  Thông tin? ◦ Hai người nói chuyện với Cái mà trao đổi họ gọi thông tin ◦ Một người xem tivi/nghe đài/đọc báo, người nhận thơng tin từ đài phát/báo ◦ Các máy tính nối mạng trao đổi liệu với ◦ Máy tính nạp chương trình, liệu từ đĩa cứng vào RAM để thực thi Thông tin  Nhận xét ◦ Thông tin truyền từ đối tượng đến đối tượng khác để báo “điều” ◦ Thơng tin có ý nghĩa “điều” bên nhận chưa biết ◦ Thông tin xuất nhiều dạng âm thanh, hình ảnh, … ◦ Ngữ nghĩa thơng tin hiểu bên nhận hiểu cách biểu diễn ngữ nghĩa bên phát ◦ Có hai trạng thái thông tin: truyền lưu trữ Môi trường truyền/lưu trữ gọi chung môi trường chứa tin hay kênh tin CÁC Loại thông tin  Thơng tin có thể thuộc nhiều loại như: Một dãy kí tự điện tín (telegraph) hệ thống gởi điện tín (teletype system); Một hàm theo biến thời gian f(t) radio điện thoại; Một hàm thời gian biến khác tivi trắng đen – thơng tin nghĩ hàm f(x, y, t) toạ độ hai chiều thời gian biểu diễn cường độ ánh sáng điểm (x, y) hình thời gian t; Một vài hàm vài biến trường hợp tivi màu – thông tin bao gồm ba hàm f(x, y, t), g(x, y, t), h(x, y, t) biểu diễn cường độ ánh sáng ba thành phần màu (xanh cây, đỏ, xanh dương) Lịch sử hình thành  Cuộc cách mạng lớn cách nhìn giới khoa học chuyển hướng từ thuyết định Laplacian đến tranh xác suất tự nhiên  Thế giới sống chủ yếu xác suất Kiến thức dạng xác suất  LTTT lên sau học thống kê lượng tử phát triển, chia xẻ với vật lý thống kê khái niệm entropy  Theo lịch sử, khái niệm LTTT entropy, thông tin tương hỗ hình thành từ việc nghiên cứu hệ thống mật mã từ việc nghiên cứu kênh truyền thơng  Về mặt tốn học, LTTT nhánh lý thuyết xác suất trình ngẫu nhiên (stochastical process) kẾt luẬn  Việc biến nguồn liên tục thành nguồn rời rạc cần hai phép biến đổi: lấy mẫu lượng tử hoá Thứ tự thực hai phép biến đổi phụ thuộc vào điều kiện cụ thể hệ thống:    Lượng tử hố sau lấy mẫu Lấy mẫu sau lượng tử hố Thực đồng thời hai phép ví dụ  Rời rạc hóa tín hiệu tiếng nói với gt:    Tần số tối đa fmax = 4000Hz Khả năng phân biệt của tai người là: ~1%  Cần bao nhiêu bit để có thể truyền tín  hiệu tiếng nói bằng tín hiệu số?     Tần số lấy mẫu theo Shanon 8000Hz(lần /s) Khoảng cách giữa các mức: 1% biên độ tối đa Số mức: 100 để đảm bảo tái tạo lại cường độ  tiếng nói 100 mức mã hố cần 7 bit.  Vậy cần  8x7=56kbps truyền tín hiệu tiếng nói bằng tín  hiệu số 1.4 đỘ đo thông tin  Khái niệm độ đo: Độ đo đại lượng cách ta xác định độ lớn đại lượng Mỗi độ đo phải thỏa mãn tính chất sau:    Độ đo phải cho phép ta xác định độ lớn đại lượng Đại lượng lớn, giá trị đo phải cao Độ đo phải không âm Độ đo phải tuyến tính đỘ đo thơng tin  Nhận     xét: Độ đo thơng tin phải thoả mãn tính chất độ đo Thấy thơng tin có ý nghĩa gặp, nên độ lớn phải tỷ lệ nghịch với xác suất xuất tin Cho tin xi với xác suất xuất p(xi) hàm độ đo thơng tin là: f(1/p(xi)) Một tin xi không cho ta lượng tin ta biết trước hay xác suất p(xi) =1 đỘ đo thông tin  Xác định hàm f(1/p(xi))  Giả sử hai tin xi xj độc lập thống kê, xác suất xuất tương ứng p(xi) p(xj), lượng tin tin f(1/p(xi)) f(1/p(xj))  Giả sử hai tin đồng thời xuất hiện, ta có tin (xixj), lượng tin chung chúng phải tổng lượng tin tin Khi hai tin đồng thời xuất (tính chất 3) xác suất xuất đồng thời chúng p(xixj) ta có: f(1/p(xixj)) = f(1/p(xi)) + f(1/p(xj)) đỘ đo thơng tin  Vì hai tin độc lập thống kê nên p(xixj) = p(xi) p(xj)  Vậy f(1/p((xi)p(xj))) = f(1/p(xi)) + f(1/p(xj))  Hàm f phải hàm dạng loga.Vậy log(1/p(xi)) dạng hàm chọn làm độ đo thơng tin  Kiểm tra tính khơng âm: p(xi) ≤ => 1/p(xi) ≥ => log(1/p(xi)) ≥  Khi tin ln xuất lượng tin nhận không ĐỘ đo thông tin Vậy hàm log(1/p(xi)) chọn làm độ đo thông tin hay lượng đo thông tin tin nguồn  Lượng đo thông tin tin xi nguồn ký hiệu I(xi) = log(1/p(xi))  Cơ số đơn vị đo  Bit hay đơn vị nhị phân số  Nat hay đơn vị tự nhiên số e  Hartley hay đơn vị thập phân số 10  Ví dỤ  Nguồn A có m ký hiệu đẳng xác suất Xét tin có n ký hiệu Lượng tin tin bao nhiêu? Lượng tin tưng ký hiệu: I(xi)=logm  Lượng tin n ký hiệu xuất tin: I(x) = nlogm   Nếu ký hiệu không xác suất lượng tin ký hiệu là: I(xi)=log(1/p(xi)  Lượng tin tin phụ thuộc vào độc lập ký hiệu (xác suất có điều kiện) 1.5 Mã hố  Khái  niệm Mã hoá phép biến đổi tương đương mặt tin tức cấu trúc thống kê nguồn nhằm mục đích cải tiến tiêu kĩ thuật hệ thống thích hợp với kênh (về tốc độ, nhiễu)  Phương   pháp mã hoá (nguồn rời rạc) Nguồn A gồm m ký hiệu (cơ số m), tin có độ dài n Mã hố thành nguồn B có m’ ký hiệu độ dài tin n’ Mục đích: Tích m’ n’ đạt 1.5 Mã hoá  Chú   Sau mã hố lượng tin khơng đổi Số phân tử mạch mã hoá tối thiểu  Với   ý: yêu cầu lượng tin không đổi: I(A) = I(A’) Hay nlogm = n’logm’ Với yêu cầu số phần tử mạch tối thiểu, thực nghiệm ta thấy m = e (2,7) số phần tử mạch tối thiểu, thơng thường chọn m = ta mã nhị phân Ví dỤ  Cho nguồn tin A có ký tự a1 , a2 , a3 , a4 Lượng tin ký hiệu là: I (ai )=log2 ¼ =2 bit  Mã  hoá nguồn A thành nguồn B sau: a1= b1b1 , a2= b1b2 , a3= b2b1 , a4= b2b2  Nguồn B có m = n = lượng tin I(B) = 2log22 = (bit)  Nhận xét:   Nguồn A mạch cần phần tử nguồn B cần phần tử Lượng tin hai nguồn  Mã hóa có lợi khơng? 1.6 ĐiỀu chẾ  Khái   niệm điều chế : Trong hệ thống truyền tin liên tục, tin hình thành từ nguồn tin liên tục biến đổi thành đại lượng điện (áp, dòng) chuyển vào kênh Khi muốn chuyển tin qua cự ly lớn, phải cho qua phép biến đổi khác gọi điều chế Điều chế chuyển thông tin ban đầu thành dạng lượng thích hợp với mơi trường truyền lan, cho lượng bị tổn hao, bị nhiễu đường truyền tin 1.6 ĐiỀu chẾ  Các phương pháp điều chế  Các phương pháp điều chế cao tần thường  dùng với tín hiệu liên tục  Điều chế biên độ AM (Amplitude Modulation)  Điều chế Đơn biên SSB (Single Side Bande)  Điều tần FM (Frequency Modulation)  Điều pha PM (Phase Modulation) 1.6 ĐiỀu chẾ  Với tín hiệu rời rạc, phương pháp điều chế cao tần giống trường hợp thông tin liên tục, làm việc gián đoạn theo thời gian, gọi manip hay khóa dịch Gồm phương pháp sau:    Manip biên độ ASK (Amplitude Shift Key) Manip tần số FSK (Frequency Shift Key) Manip pha PSK (Phase Shift Key) GiẢi điỀu chẾ  Định nghĩa: Giải điều chế nhiệm vụ thu nhận lọc tách thông tin nhận dạng điện áp liên tục hay dãy xung điện rời rạc giống đầu vào, với sai số cho phép  Các phương pháp giải điều chế:  Tách sóng biên độ  Tách sóng tần số  Tách sóng pha ... 2006  [5] Đặng Văn Chuyết, Cơ sở lý thuyết tryền tin, NXB Giáo dục, năm 20 01  [6] Trần Trung Dũng, Lý thyết truyền tin, NXB KH & KT, năm 2007 Chương NHỮNG KHÁI NIỆM CƠ BẢN  1. 1 Giới thiệu Lý... NỘI DUNG MƠN HỌC Chương 1: Những khái niệm Chương 2: Tín hiệu Chương 3: Lượng tin, Entropi nguồn rời rạc Chương 4: Lý thuyết mã – Mã hóa nguồn Chương 5: Mã hóa kênh truyền Chương 6: Mã vòng... thống kê lượng tử phát triển, chia xẻ với vật lý thống kê khái niệm entropy  Theo lịch sử, khái niệm LTTT entropy, thông tin tương hỗ hình thành từ việc nghiên cứu hệ thống mật mã từ việc nghiên