bài giảng lý thuyết thông tin số

... TÓM TẮT BÀI GIẢNG LÝ THUYẾT THÔNG TIN CHƯƠNG 1: TIN TỨC 1-1 HỆ THỐNG TRUYỀN TIN (HT3) Nguồn tin Si(t) Kênh tin S0(t) Nhận tin Nhiễu  Nguồn tin: + Là tập hợp tin HT3 dùng để lập tin khác truyền ... nhiễu hệ thống 1-2 SỐ ĐO THÔNG TIN a Lượng đo tin tức: Nguồn A có m tín hiệu đẳng xác xuất, tin nguồn A hình thành dãy n ký hiệu (ai  A) Lý thuyết thông tin trang: – Lượng tin chứa bất kỳ: I(ai)=logm ... độ lập tin cực đại kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max Lý thuyết thông tin (bps) (5) trang: CHƯƠNG 2: MÃ HÓA NGUỒN TIN 2-1 MÃ HIỆU 2-1-1 Mã hiệu thông số mã hiệu:  Cơ số mã (m) số ký

Ngày tải lên: 03/01/2016, 20:55

... TỬ BÀI GIẢNG LÝ THUYẾT THÔNG TIN Hưng Yên 2015 (Tài liệu lưu hành nội bộ) TỔNG QUAN VỀ MÔN HỌC Chƣơng 1: Khái niệm chung Chƣơng giới thiệu khái niệm vấn đề lý thuyết truyền tin nhƣ thông tin, ... khảo sát hệ thống truyền tin Chƣơng 2: Thông tin Chƣơng trình bày vấn đề định lƣợng thông tin nguồn tin nhƣ lƣợng tin riêng, lƣợng tin trung bình, lƣợng tin tƣơng hỗ, lƣợng tin có điều kiện (vì tín ... c-¬ng bµi gi¶ng M«n: Lý thuyÕt th«ng tin lý thuyết thông tin 1.3.3 An toàn - Bí mật: + Không thể khai thác thông tin trái phép + Ch có ngƣời nhận hợp lệ hiểu đƣợc thông tin - Xác thực: Gắn trách

Ngày tải lên: 24/10/2017, 13:21

... Chú ý • Cố định e, n gọi s số nguyên lớn thỏa điều kiện định lý 4.3 chưa tồn mã sửa sai e ký tự chứa s từ mã chiều dài n • Ví dụ, e = 1, n = ta có 2n/(1+n) = 16/5 số nguyên lớn thỏa s = • Tuy ... minh định lý 4.3 • Gọi từ mã w1, w2, …, ws Vẽ “mặt cầu” “tâm” wi “bán kính” e Mỗi “mặt cầu” chứa tất dãy nhị phân v thỏa d(wi,v) ≤ e • Do mã sửa truyền sai e ký tự nên “mặt cầu” rời • Số dãy nhị ... 9/30/2010 Chận Hamming Khi e lớn khoảng cách từ mã lớn dẫn tới số từ mã Câu hỏi đặt có nhiều từ mã mã sửa truyền sai không e ký tự Định lý 4.3: Nếu mã chứa s dãy nhị phân chiều dài n sửa sai truyền

Ngày tải lên: 11/02/2020, 16:40

... 9/30/2010 ðịnh lý 4.7 Tất dãy lớp thương mã nhóm S có vector hiệu chỉnh Hai dãy hai lớp thương khác có vector hiệu chỉnh khác Dựa vào hai định lý 4.6 4.7 ta chứng minh định lý 4.8 sau Định lý 4.8 cho ... có n – t = k rj (j ≠ j1, …, jt) chọn tùy ý, ta gọi bit thơng tin • Các bit thứ j1, …, jt gọi bit kiểm tra • Mỗi cho giá trị bit thông tin ta từ mã • Bộ mã kiểm tra chẵn lẻ có 2k từ mã Huỳnh Văn ... dụng lý thuyết nhóm cho mã kiểm tra chẵn lẻ Huỳnh Văn Kha 9/30/2010 Mã chẵn lẻ • Mã chẵn lẻ ban đầu xây dựng đơn giản • Cho trước mã gồm từ mã n bit nhị phân Một bit chẵn lẻ thêm vào từ mã tổng số

Ngày tải lên: 11/02/2020, 18:18

... Chứng minh ñịnh lý 2.5 • Chọn ni số nguyên thỏa mãn • Khi log pi ≥ -ni log D, suy • Vậy theo định lý 2.2 tồn mã tiền tố ứng với ni chọn 11 Huỳnh Văn Kha 9/30/2010 Chứng minh định lý 2.5 • Tiếp ... tuyệt đối, ni chưa số ngun • Tuy nhiên, ta hồn tồn xây dựng mã tiền tố có chiều dài từ mã trung bình gần chận H(X)/log D khẳng định định lý sau Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.5 Cho trước biến ... ðịnh lý 2.4 (ðịnh lý cho tốn mã trường hợp kênh khơng bị nhiễu) Gọi chiều dài từ mã trung bình mã giải cho biến ngẫu nhiên X Khi đó: Dấu xảy khi: Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.4

Ngày tải lên: 11/02/2020, 18:19

... hình truyền thơng • Lý thuyết thơng tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Nguồn: phát thơng tin • Mã: thủ tục ... tin thành “thực thể” thích hợp để truyền qua kênh • Kênh: truyền mẫu tin mã hóa, q trình chịu tác động Nhiễu • Giải mã: thủ tục biến đổi output kênh thành mẫu tin ban đầu • Đích: nhận thơng tin ... thơng • Khơng sâu vào chi tiết kỹ thuật mà khảo sát chủ yếu lý thuyết mã hóa giải mã • Định lý LTTT phát biểu: Có thể truyền thơng tin qua kênh bị nhiễu theo định lượng truyền nhỏ dung lượng

Ngày tải lên: 11/02/2020, 18:27

... tốt Do số bit kiểm tra số bit thơng tin lớn ta có nhiều từ mã • Tổng qt khơng thể xác định xác số bit kiểm tra cực tiểu Nhưng ta ước lượng chận chận định lý sau Huỳnh Văn Kha 9/30/2010 ðịnh lý 4.10 ... định lý 4.11 điều kiện đủ khơng cần • Nói cách khác, cố định n e, gọi m1 số nguyên dương nhỏ thỏa định lý 4.11 Thì theo định lý 4.11 xây dựng mã sửa sai e bit sử dụng m1 bit kiểm tra Tuy nhiên, số ... chận Hamming cho số từ mã (định lý 4.3) • Chận Hamming điều kiện cần không đủ cho việc xây dựng mã kiểm tra chẵn lẻ sửa sai e bit • Nói cách khác, gọi m0 số nguyên nhỏ thỏa định lý 4.10 (với n

Ngày tải lên: 11/02/2020, 18:33

... Trường Đại Học Cơng Nghệ Thơng? ?Tin KHOA MẠNG & TRUYỀN THƠNG LÝ THUYẾT THƠNG  Bùi Văn Thành TIN thanhbv@uit.edu.vn Tháng 7 năm 2013 Chương 0 XÁC SuẤT MA TRẬN ... P (A ∪ B) = P (A) + P(B) ­ P( A ∩ B) Chứng minh:  Gọi N : là? ?số? ?phần tử của khơng gian mẫu E  n1: là? ?số? ?phần tử của (A ­ B)  n2: là? ?số? ?phần tử của (A∩B)  n3: là? ?số? ?phần tử của (B ­ A)    n(A ∪ B)=n1 + n2 + n3= n1+n2+n2+n3 –n2 = n(A) +n(B) ­n(A ∩ B)  ... cố sơ đẳng thì xác suất của biến cố A là : P(A) = n(A)/N Một cách khác ta có thể viết : P(A) =? ?Số trường hợp A xảy ra /Số trường hợp cóthể xảy Ví dụ:  Trong thí nghiệm thảy một con xúc sắc, xác suất biến cố các mặt 

Ngày tải lên: 11/02/2020, 18:43

... ứng với ba mẩu tin: x2, x3x1, x1x4 Nên giải mã • Cần có số giới hạn từ mã mã Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Bộ mã gọi giải dãy hữu hạn từ mã tương ứng với nhiều mẫu tin • Dãy A gọi ... Văn Kha 9/30/2010 Tìm dãy mã khơng giải • Dãy ký tự mã đại diện cho mẫu tin gọi dãy mã không giải • Ta khơng chứng minh định lý 2.1 cách tìm dãy mã khơng giải • Giả sử Sn chứa từ mã W Tiến hành ... word) • Tập từ mã gọi mã (code) Huỳnh Văn Kha 9/30/2010 Giới thiệu tốn mã • Giả sử từ mã khác • Mẫu tin biến X sinh mã hóa thành dãy từ mã • Mục tiêu tốn cực tiểu hóa chiều dài trung bình mã • Chiều

Ngày tải lên: 11/02/2020, 19:05

... Trong đó: • Nk tổng số mẫu tin tạo thành từ n trạng thái xi cho đoạn mã mẫu tin có chiều dài k • Bộ mã giải nên dãy ký tự mã tương ứng với nhiều mẫu tin • Nk khơng vượt q tổng số dãy ký tự mã có ... minh định lý 2.3 • Gọi ωj số từ mã chiều dài j r chiều dài lớn từ mã, ta có: • Với số tự nhiên n cho trước, nhân phân phối rút gọn, ta được: 12 Huỳnh Văn Kha 9/30/2010 Chứng minh ñịnh lý 2.3 • ... 9/30/2010 Mở rộng cho mã giải • Điều kiện định lý 2.2 điều kiện cần đủ cho tồn mã giải • Do mã tiền tố giải nên cần chứng minh định lý sau đủ Định lý 2.3: Nếu mã giải có chiều dài từ mã n1, n2,

Ngày tải lên: 12/02/2020, 12:46

... Thêm vào đó, phương án mã hóa giải mã định lý phức tạp khó thực thực tế 10 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Ví dụ, xét R = 2/5 n = Trong giây, số mẫu tin có nguồn sinh 2nR = Gọi chúng m1, m2, ... trường hợp số ký tự nguồn khơng phải Vì số ký tự mã D nguồn sinh S ký tự/giây, n giây, nguồn sinh DnS = 2nSlog D Và xem nguồn nhị phân với định lượng R = S log D Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT ... mã cách giải mã cho sai số < ε, nghĩa < ε bất chấp từ mã truyền qua kênh Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Cái giá phải trả ta cần phải chờ n giây trước mã hóa nguồn tin, phải tốn thêm thời

Ngày tải lên: 12/02/2020, 12:57

... sở lý thuyết thông tin thống kê CHƯƠNG - CƠ SỞ LÝ THUYẾT THÔNG TIN THỐNG KÊ 3.1 THÔNG TIN - LƯỢNG THÔNG TIN – XÁC SUẤT VÀ THÔNG TIN – ĐƠN VỊ ĐO THÔNG TIN 3.1.1 Định nghĩa định tính thông tin ... sở lý thuyết truyền tin ) phận lý thuyết thông tin chung – Nó phần áp dụng Lý thuyết thông tin vào kỹ thuật thông tin liên lạc Trong quan hệ Lý thuyết thông tin chung với ngành khoa học khác ... trở thành thông tin bị thủ tiêu nên ta coi độ bất định thông tin Do đó: Lượng thông tin = thông tin tiên nghiệm – thông tin hậu nghiệm (*) Thông tin tiên nghiệm (hay gọi lượng thông tin riêng)...

Ngày tải lên: 25/11/2013, 13:31

... H(K)max = log26! = 88,4 bit Khi thám mã thu lượng thông tin đủ để phát khóa?   Để giải mã  thám mã vào thông tin nhận từ mã C Khi lượng thông tin ≥ H(K)  thám mã thành công Trong hệ mật thay ... phần ta tìm hiểu số hệ mật thay “hoàn hảo” Hoàng Thu Phương - Khoa ATTT 46 2.4.1 Hệ mật khoá chạy   Lý tưởng ta có khoá dài tin Vigenere đề xuất khoá tự động sinh cho độ dài tin sau:    Từ ... đoán ánh xạ số chữ từ dò tìm chữ mã cho chữ khác  o Hoàng Thu Phương - Khoa ATTT 13 2.2 Các hệ mật thay đơn giản    Tính dư thừa ngôn ngữ thám mã Ngôn ngữ loài người dư thừa.Có số chữ cặp...

Ngày tải lên: 16/06/2014, 14:43

... thơng tin truyền bị sai 1→0 0→1 • Việc khắc phục kiểm sốt lỗi vấn đề quan trọng Ngun lý mã hóa kiểm sốt lỗi • Ngun lý chung thêm vào tập mã cần truyền tập bit kiểm tra để bên nhận kiểm sốt lỗi ... p(n,t) = Cntpst(1-ps)n-t Cơ chế phát sai mã hiệu     Số từ mã có: N0 = 2n Số từ mã mang tin: N = 2k Số từ mã khơng dùng đến: 2n –2k (số tổ hợp cấm) Để mạch phát hết i lỗi phải thỏa mãn điều ... 10110110010000 = 1001011 Vậy tin gửi là: 1001 39 Mã Hamming •Với số ngun dương m  3, tồn mã Hamming với thơng số sau: Chiều dài từ mã: n = 2m – Chiều dài phần tin: k = 2m – m – Chiều dài phần...

Ngày tải lên: 07/07/2014, 13:22

... điều chế (m) b Hệ số méo tần số: Để đánh giá ta dựa vào đặc tuyến biên độ - tần số: Hệ số méo tần số xác định theo biểu thức: m0 : hệ số điều chế lớn m : hệ số điều chế tần số xét ĐÆc tuyÕn biªn ... ĐIềU CHế  Tín hiệu thông tin muốn truyền xa phải nhờ tín hiệu cao tần Để tín hiệu cao tần mang thông tin ta phải làm cho tín hiệu cao tần biến thiên theo qui luật tín hiệu thông tin Tín hiệu cao ... hiệu biến đổi theo tin tức Giả thiết, dao động điều hoà tần số tin tức biến thiên từ ωSmin÷ ωSmax: us(t) = Us.cos(ωs.t) – tín hiệu tin tức ut (t)= Ut.cos(ωt t) – tín hiệu tải tin với ωt >> ωS Tín...

Ngày tải lên: 07/07/2014, 13:23

... CHƯƠNG Lượng tin, Entropi nguồn rời rạc 3.1 MốI LIÊN Hệ CủA LƯợNG TIN VÀ LÝ THUYếT XÁC SUấT  Sự tiếp xúc người với ngoại vật, nhận thức ngoại vật thông qua thông tin tiếp thu • Một tin người nhận ... (hàm ý) tin: không ảnh hưởng đến vấn đề hệ thống truyền tin tốc độ hay độ xác Nó ý nghĩa tin mà người muốn trao đổi với thông qua việc truyền tin 3.1 MốI LIÊN Hệ CủA LƯợNG TIN VÀ LÝ THUYếT XÁC ... chuyển đổi tin, nhận tin yj Y, xác định tin tương ứng nguồn X  Lời giải tìm có dạng: Với tin yj Y nhận được, tin nguồn X có nhiều khả phát Để giải vấn đề, phải qua hai bước: Tính lượng tin tin xi...

Ngày tải lên: 07/07/2014, 13:24

... P10(1) + P10(2) + P10(3) ≈ 0.38 Ghi chú: b) Số lần xuất chắn nhất: Trị số Pn(k) nói chung phụ thuộc vào k Ta tìm số k0 cho Pn(k0) đạt giá trị lớn Số k0 gọi số lần xuất chắn biến cố A n phép thử Ta ... Phép  nhân ma trận với số Cho ma trận số, tích tính cách nhân tất phần tử với số (nghĩa ) Chẳng hạn:  Phép  nhân ma trận Phép nhân hai ma trận thực số cột ma trận bên trái số dòng ma trận bên ... đường chéo mang giá trị đơn vị nhân vành (nếu vành số thơng thường số 1), tất phần tử lại mang giá trị trung hòa (nếu vành số thơng thường số 0) Ma trận đối xứng  A=[aij]mxn  A được gọi là đối xứng khi và chỉ khi ...

Ngày tải lên: 23/10/2014, 08:21

... truyn tin 3.1 Mi liờn h ca lng tin v lý thuyt xỏc sut V mt truyn tin ta ch quan tõm n bt ng ca tin hay xỏc sut xut hin cỏc ký hiu Xột mi liờn h gia khỏi nim tin tc vi lý thuyt xỏc sut: oMt ngun tin ... v mt tin bt k cha tin y j Y xi X nhn c, lng tin ú gi l lng tin tng h gia xi v yi .Mun xỏc nh lng tin tng h ta phi tỡm lng tin ban u cú xi , sau thc hin quỏ trỡnh truyn tin ta tỡm lng tin cũn ... ca tin, nhn c mt tin , hóy xỏc nh tin tng ng ca ngun X Li gii tỡm c s cú dng: Vi tin nhn c, tin no ca ngun X cú nhiu kh nng ó c phỏt i nht y j Y y j Y gii quyt , phi qua hai bc: Tớnh cỏc lng tin...

Ngày tải lên: 23/10/2014, 08:21

... phát tin cbab, ta phải phát tập tin 10010001 Khi nguồn nhận nhận chuỗi này, xác định tin Trương Hải Bằng -Lý Thuyết Mã hiệu thông số  Mã hiệu (code): Mã hiệu tập hợp hữu hạn ký hiệu phép ánh xạ tin/ bản ... không mã hóa tin nguồn mà mã hóa tin hay khối tin Lúc có khái niệm mã khối • Các từ mã thường ký hiệu: u,v,w  Chiều dài từ mã số ký hiệu từ mã (l) Trương Hải Bằng -Lý Thuyết Mã hiệu thông số n l = ... hiệu thông số  Từ mã (code wod), mã: Từ mã chuỗi kí hiệu mã biểu diễn cho tin nguồn Tập tất từ mã tương ứng với tin nguồn gọi mã • Vì nói mã hóa phép biến đổi – một tin nguồn từ mã mã • Trong số...

Ngày tải lên: 23/10/2014, 08:21

... nhiều lỗi Đối với số nguyên dương m t xây dựng mã BCH nhị phân có thông số sau: Độ dài từ mã: n = 2m –1 Số bit kiểm tra: n – k ≤ mt Khoảng cách Hamming: dmin ≥ 2t + Định lý  Định lý 13.8  Cho a ... k  Từ định lý đa thức sinh g(x) biểu diễn sau g(x) = g0 + g1x + … + gn – kxn – k  g0 = gn – k = Các tính chất mã vòng (tt)  Định lý 13.5   Đa thức sinh mã vòng C(n, k) ước số xn + Chứng ... định lý gọi g(x) đa thức sinh, từ g(x) sinh tất đa thức mã khác Các tính chất mã vòng (tt)  Định lý 13.4   Đa thức sinh mã vòng C(n, k) có bậc r = n – k Chứng minh  Mỗi đa thức mã w(x) bội số...

Ngày tải lên: 23/10/2014, 08:21