giáo trình lý thuyết thông tin

BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN GIỚI THIỆU MÔN HỌC  Lý thuyết thông tin nhánh toán học ứng dụng kĩ thuật điện nghiên cứu đo đạc lượng thông tin  Lý thuyết thông tin xây dựng Claude E Shannon để xác định giới hạn hoạt động xử lý tín hiệu chẳng hạn nén liệu hay lưu trữ truyền dẫn liệu CLAUDE E.SHANON  Shannon nhà toán học, kĩ sư điện tử, mật mã học người Mỹ, biết đến "cha đẻ lý thuyết thông tin"  Bài báo Claude E Shannon " A Mathematical Theory of Communication" Bell System Technical Journal (7/10 -1948  Đưa lý thuyết thiết kế máy tính số mạch số (1937), chứng minh ứng dụng điện tử đại số Boole xây dựng giải quan hệ số hay logic " A MATHEMATICAL THEORY OF OMMUNICAT ION "  Lần xác suất áp dụng vào phân tích truyền thông  Ý tưởng đột phá “thông tin” (bất kể nguồn loại gì) mang tính số (digital)  Khái niệm “entropy” thông tin đời, dùng để đo “độ phức tạp” hay “độ ngẫu nhiên” nguồn thông tin  Các kênh thông tin có dung tích mà ta truyền tín hiệu với tốc độ nhỏ tồn cách mã hóa tín hiệu mà nhờ ta đạt xác suất lỗi nhỏ tùy ý BÀI BÁO (TIẾP)  Bài báo đặt tảng cho ngành nén liệu, mã hóa giải mã tín hiệu với khả phát lỗi sửa lỗi  Nhờ báo này, truyền thông hiểu nôm na bao gồm bước chính: mã hóa tín hiệu, truyền tín hiệu qua kênh thông tin, giải mã tín hiệu VAI TRÒ CỦA LTTT VAI TRÒ CỦA LTTT (TIẾP)  Kỹ thuật điện tử: giới hạn lý thuyết truyền thông  Khoa học máy tính: độ phức tạp Kolmogorov  Vật lý: lý thuyết thông tin lượng tử  Toán học: bất đẳng thức, định lý giới hạn, kiểm định giả thuyết thống kê, lượng thông tin Fisher  Triết lý khoa học  Trong kinh tế học NỘI DUNG MÔN HỌC Chương 1: Những khái niệm Chương 2: Lượng tin, Entropi nguồn rời rạc Chương 3: Lý thuyết mã MỤC TIÊU MÔN HỌC  Biết ảnh hưởng lý thuyết thông tin lĩnh vực thống kê, học máy, kinh tế, v.v  Hiểu khái niệm lý thuyết thông tin entropy, thông tin tương hỗ  Có thể vận dụng để giải toán cần xác định lượng tin  Hiểu mô hình truyền thông theo quan điểm Shannon YÊU CẦU MÔN HỌC Sinh viên dự lớp >80% tổng số thời lượng của học phần  Chuẩn bị đầy đủ tập nhà, thảo luận, kiến thức cho học trước đến lớp  Đánh giá      Kiểm tra giữa học phần: 15% Chuyên cần, thảo luận: 15% Điểm thi kết thúc học phần: 70% Hình thức thi: Trắc nghiệm 10 KẾT LUẬN  Việc biến nguồn liên tục thành nguồn rời rạc cần hai phép biến đổi: lấy mẫu lượng tử hoá Thứ tự thực hai phép biến đổi phụ thuộc vào điều kiện cụ thể hệ thống:    Lượng tử hoá sau lấy mẫu Lấy mẫu sau lượng tử hoá Thực đồng thời hai phép 55 VÍ DỤ  Rời rạc hóa tín hiệu tiếng nói với gt:  Tần số tối đa fmax = 4000Hz  Khả phân biệt tai người là: ~1%  Cần bit để truyền tín hiệu tiếng nói tín hiệu số?     Tần số lấy mẫu theo Shanon 8000Hz(lần /s) Khoảng cách mức: 1% biên độ tối đa Số mức: 100 để đảm bảo tái tạo lại cường độ tiếng nói 100 mức mã hoá cần bit Vậy cần 8x7=56kbps truyền tín hiệu tiếng nói tín hiệu số 56 1.4 ĐỘ ĐO THÔNG TIN  Khái niệm độ đo: Độ đo đại lượng cách ta xác định độ lớn đại lượng Mỗi độ đo phải thỏa mãn tính chất sau:    Độ đo phải cho phép ta xác định độ lớn đại lượng Đại lượng lớn, giá trị đo phải cao Độ đo phải không âm Độ đo phải tuyến tính: 57 ĐỘ ĐO THÔNG TIN  Nhận     xét: Độ đo thông tin phải thoả mãn tính chất độ đo Thấy thông tin có ý nghĩa gặp, nên độ lớn phải tỷ lệ nghịch với xác suất xuất tin Cho tin xi với xác suất xuất p(xi) hàm độ đo thông tin là: f(1/p(xi)) Một tin xi không cho ta lượng tin ta biết trước hay xác suất p(xi) =1 58 ĐỘ ĐO THÔNG TIN  Xác định hàm f(1/p(xi))  Giả sử hai tin xi xj độc lập thống kê, xác suất xuất tương ứng p(xi) p(xj), lượng tin tin f(1/p(xi)) f(1/p(xj))  Giả sử hai tin đồng thời xuất hiện, ta có tin (xixj), lượng tin chung chúng phải tổng lượng tin tin Khi hai tin đồng thời xuất (tính chất 3) xác suất xuất đồng thời chúng p(xixj) ta có: f(1/p(xixj)) = f(1/p(xi)) + f(1/p(xj)) 59 ĐỘ ĐO THÔNG TIN  Vì hai tin độc lập thống kê nên p(xixj) = p(xi) p(xj)  Vậy f(1/p((xi)p(xj))) = f(1/p(xi)) + f(1/p(xj))  Hàm f phải hàm dạng loga.Vậy log(1/p(xi)) dạng hàm chọn làm độ đo thông tin  Kiểm tra tính không âm: p(xi) ≤ => 1/p(xi) ≥ => log(1/p(xi)) ≥  Khi tin xuất lượng tin nhận không 60 ĐỘ ĐO THÔNG TIN  Vậy hàm log(1/p(xi)) chọn làm độ đo thông tin hay lượng đo thông tin tin nguồn Lượng đo thông tin tin xi nguồn ký hiệu I(xi) = log(1/p(xi))  Cơ    số đơn vị đo Bit hay đơn vị nhị phân số Nat hay đơn vị tự nhiên số e Hartley hay đơn vị thập phân số 10 61 VÍ DỤ:  Nguồn A có m ký hiệu đẳng xác suất Xét tin có n ký hiệu Lượng tin tin bao nhiêu?  Lượng tin tưng ký hiệu: I(xi)=Log m Lượng tin n ký hiệu xuất tin: I(x)=n log m  Nếu ký hiệu không xác suất lượng tin ký hiệu là: I(xi)=Log (1/p(xi)   Lượng tin tin phụ thuộc vào độc lập ký hiệu (xác suất có điều kiện) 62 1.5 MÃ HOÁ  Khái  niệm Mã hoá phép biến đổi tương đương mặt tin tức cấu trúc thống kê nguồn nhằm mục đích cải tiến tiêu kĩ thuật hệ thống thích hợp với kênh (về tốc độ, nhiễu)  Phương   pháp mã hoá (nguồn rời rạc) Nguồn A gồm m ký hiệu (cơ số m), tin có độ dài n Mã hoá thành nguồn B có m’ ký hiệu độ dài tin n’ Mục đích: Tích m’ n’ đạt 63 1.5 MÃ HOÁ  Chú   Sau mã hoá lượng tin không đổi Số phân tử mạch mã hoá tối thiểu  Với   ý: yêu cầu lượng tin không đổi: I(A) = I(A’) Hay nlogm = n’logm’ Với yêu cầu số phần tử mạch tối thiểu, thực nghiệm ta thấy m = e (2,7) số phần tử mạch tối thiểu, thông thường chọn m = ta mã nhị phân 64 VÍ DỤ  Cho nguồn tin A có ký tự a1 , a2 , a3 , a4 Lượng tin ký hiệu là: I (ai )=log2 1/¼ =2 bit  Mã  hoá nguồn A thành nguồn B sau: a1= b1b1 , a2= b1b2 , a3= b2b1 , a4= b2b2  Nguồn B có m = n = lượng tin I(B) = 2log22 = (bit)  Nhận xét: Nguồn A mạch cần phần tử nguồn B cần phần tử  Lượng tin hai nguồn   Mã hóa có lợi ko? 65 1.6 ĐIỀU CHẾ  Khái   niệm điều chế Trong hệ thống truyền tin liên tục, tin hình thành từ nguồn tin liên tục biến đổi thành đại lượng điện (áp, dòng) chuyển vào kênh Khi muốn chuyển tin qua cự ly lớn, phải cho qua phép biến đổi khác gọi điều chế Điều chế chuyển thông tin ban đầu thành dạng lượng thích hợp với môi trường truyền lan, cho lượng bị tổn hao, bị nhiễu đường truyền tin 66 1.6 ĐIỀU CHẾ  Các  phương pháp điều chế Các phương pháp điều chế cao tần thường dùng với tín hiệu liên tục  Điều chế biên độ AM (Amplitude Modulation)  Điều chế Đơn biên SSB (Single Side Bande)  Điều tần FM (Frequency Modulation)  Điều pha PM (Phase Modulation) 67 1.6 ĐIỀU CHẾ  Với tín hiệu rời rạc, phương pháp điều chế cao tần giống trường hợp thông tin liên tục, làm việc gián đoạn theo thời gian, gọi manip hay khóa dịch Gồm phương pháp sau    Manip biên độ ASK (Amplitude Shift Key) Manip tần số FSK (Frequency Shift Key) Manip pha PSK (Phase Shift Key) 68 GIẢI ĐIỀU CHẾ  Định nghĩa: Giải điều chế nhiệm vụ thu nhận lọc tách thông tin nhận dạng điện áp liên tục hay dãy xung điện rời rạc giống đầu vào, với sai số cho phép  Các phương pháp giải điều chế    Tách sóng biên độ, Tách sóng tần số Tách sóng pha 69 [...]... hay chứa các tin cần truyền đi  Là một tập hợp các tin mà hệ thống truyền tin dùng để lập các bảng tin hay thông báo (message) để truyền tin  Bảng tin chính là dãy tin được bên phát truyền đi  Nguồn tin là tập hợp các tin mà hệ thống truyền tin dùng để lập các bản tin khác nhau để truyền tin 26 KÊNH TIN  Kênh  tin: là môi trường lan truyền thông tin Để có thể lan truyền được thông tin trong một... chức, biểu diễn và truyền đạt thông 15 tin, và tổng quát là các vấn đề về xử lý thông tin CÁC VẤN ĐỀ NGHIÊN CỨU CỦA LTTT  Bản chất thông tin  Bản chất của quá trình truyền tin theo quan điểm toán học  Cấu trúc vật lý của môi trường truyền tin  Các vấn đề liên quan đến tính chất bảo mật, tối ưu hóa quá trình  (Các vấn đề đó thường được gọi là các lý thuyết thông tin, lý thuyết năng lượng) 16 CÁC VẤN... Application of Error–Correcting Codes with an Introduction to Cryptography and Information Theory, John Wiley and Sons, New York 1991  [2] Bộ môn Khoa học máy tính-Khoa CNTT, Giáo trình Lý thuyết thông tin, 2010  [3] Nguyễn Bình, Lý thuyết thông tin, NXB Bưu điện 11 , năm 2007 TÀI LIỆU THAM KHẢO  [4] Nguyễn Thúy Vân, Lý thuyết mã, NXB KHKT, năm 2006  [5] Vũ Ngọc Phàn, Lý thuyết thông tin và mã hóa, NXB... Đặng Văn Chuyết, Cơ sở lý thuyết tryền tin, NXB Giáo dục, năm 2001  [7] Trần Trung Dũng, Lý thyết truyền tin, NXB KH & KT, năm 2007 12 CHƯƠNG 1 NHỮNG KHÁI NIỆM CƠ BẢN  1.1 Giới thiệu về Lý thuyết thông tin (Information theory)  Thông tin? ◦ Hai người nói chuyện với nhau Cái mà trao đổi giữa họ gọi là thông tin ◦ Một người đang xem tivi/nghe đài/đọc báo, người đó đang nhận thông tin từ đài phát/báo... ◦ Có hai trạng thái của thông tin: truyền và lưu trữ Môi trường truyền/lưu trữ được gọi chung là môi trường chứa tin hay kênh tin 14 THÔNG TIN  Thông tin là một nhu cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển  Trong khoa học kỹ thuật, LTTT nghiên cứu nhằm tạo ra một “cơ sở hạ tầng” tốt cho việc truyền thông tin chính xác, nhanh chóng và an toàn; lưu trữ thông tin một cách hiệu quả ... Định nghĩa: Là quá trình dịch chuyển thông tin từ điểm này sang điểm khác trong một môi trường xác định  Hai điểm này sẽ được gọi là điểm nguồn tin (information source) và điểm nhận tin (information destination) Môi trường truyền tin còn được gọi là kênh tin (chanel) 21 SƠ ĐỒ KHỐI CHỨC NĂNG CỦA HỆ THỐNG TRUYỀN TIN Nhiễu Nguồn phát Kênh truyền Nguồn nhận 22 23 24 25 NGUỒN TIN  Nguồn tin: là nơi sản sinh... trao đổi dữ liệu với nhau 13 ◦ Máy tính nạp chương trình, dữ liệu từ đĩa cứng vào RAM để thực thi THÔNG TIN  Nhận xét ◦ Thông tin là cái được truyền từ đối tượng này đến đối tượng khác để báo một “điều” gì đó ◦ Thông tin chỉ có ý nghĩa khi “điều” đó bên nhận chưa biết ◦ Thông tin xuất hiện dưới nhiều dạng âm thanh, hình ảnh, ◦ Ngữ nghĩa của thông tin chỉ có thể hiểu được khi bên nhận hiểu được cách... 28 NHẬN TIN  Nhận tin: Là cơ cấu khôi phục thông tin ban đầu từ tín hiệu lấy được từ đầu ra của kênh  Tin đến được nơi nhận có sự tác động của nhiễu Vì vậy nơi nhận phải thực hiện việc phát hiện sai và sửa sai  Nơi nhận còn có thể phải thực hiện việc giải nén hay giải mã thông tin đã được mã hoá bảo mật nếu như bên phát đã thực hiện việc nén hay bảo mật thông tin trước khi truyền 29 NGUỒN TIN NGUYÊN... nguồn được gọi là nguồn rời rạc , các tin được gọi là tin rời rạc và kênh tin được gọi là kênh rời rạc Sự phân biệt về bản chất của tính rời rạc và tính liên tục là số lượng tin của nguồn trong trường hợp rời rạc là hữu hạn còn trong trường hợp liên tục là không đếm 32 được BẢN CHẤT CỦA THÔNG TIN THEO QUAN ĐIỂM TRUYỀN TIN  Chỉ có quá trình ngẫu nhiên mới tạo ra thông tin   Hàm ngẫu nhiên là hàm nếu... truyền thông tin Để có thể lan truyền được thông tin trong một môi trường vật lý xác định, thông tin phải được chuyển thành tín hiệu thích hợp với môi trường truyền lan  Kênh tin là nơi hình thành và truyền tín hiệu mang tin đồng thời ở đấy sinh ra các tạp nhiễu phá huỷ thông tin 27 PHÂN LOẠI MÔI TRƯỜNG TRUYỀN TIN  Truyền tin theo các dây song hành, cáp đồng trục, ống dẫn sóng  Tín hiệu truyền lan