bài giảng lý thuyết thông tin và mã hóa

... của những tin mà con người muốn trao đổi với nhau thông qua việc truyền tin. 3 3.1 Mối liên hệ của lượng tin và lý thuyết xác suất Về mặt truyền tin ta chỉ quan tâm đến độ bất ngờ của tin hay ... 3.1 Mối liên hệ của lượng tin và lý thuyết xác suất  Sự tiếp xúc của con người với ngoại vật, nhận thức được ngoại vật là thông qua thông tin tiếp thu được. • Một tin đối với người nhận có ... LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA MẠNG & TRUYỀN THÔNG Chương 3 L ng tin, ượ Entropi ngu n

Ngày tải lên: 23/10/2014, 08:21

... truyền, làm thông tin truyền đi bị sai. 1 → 0 0 → 1 • Việc khắc phục và kiểm soát lỗi là một vấn đề hết sức quan trọng. Nguyên lý mã hóa kiểm soát lỗi 4 • Nguyên lý chung là thêm vào tập mã cần truyền ... sung thêm thông tin (thêm bit) vào bit cần gửi. • Bên thu: Nhận thông tin bổ sung ở phía phát, kiểm tra, phát hiện và sửa lỗi. Với n-k: bit kiểm tra Bộ mã KSL + (n-k) bit k bit Thông tin k+n-k ... mục đích mã hóa những khối tin (hay thơng báo) k bit thành những từ mã n bit Hay nói cách khác trong n bit của từ mã có chứa k bit thơng tin • Ví dụ: C (7,4): Từ mã dài 7 bit Thơng tin cần

Ngày tải lên: 07/07/2014, 13:22

... LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA M KHOA M Ạ Ạ NG & TRUY NG & TRUY Ề Ề N THÔNG N THÔNG CHƯƠNG ... Điều tần và điều pha Điều tần và điều pha là ghi tin tức vào tải tin làm cho tần số hoặc pha tức thời của tải tin biến... kiện: uD= uDmin=| -Ut - Us - E0 | ≤ ungcphep Nguyên lý hoạt ... HIệU ĐIềU CHế  Tín hiệu thông tin muốn truyền đi xa phải nhờ tín hiệu cao tần Để tín hiệu cao tần mang thông tin ta phải làm cho tín hiệu... tín hiệu thông tin Tín hiệu cao tần có

Ngày tải lên: 07/07/2014, 13:23

... LÝ THUYẾT THÔNG TIN Bùi Văn Thành thanhbv@uit.edu.vn Tháng 7 năm 2013 1 Trường Đại Học Công Nghệ Thông Tin KHOA M KHOA M Ạ Ạ NG & TRUY NG & TRUY Ề Ề N THÔNG N THÔNG CHƯƠNG 3 Lượng tin, ... những tin mà con người muốn trao đổi với nhau thông qua việc truyền tin. 3 3.1 M ố I LIÊN H ệ C ủ A LƯ ợ NG TIN VÀ LÝ THUYếT XÁC SUấT Về mặt truyền tin ta chỉ quan tâm đến độ bất ngờ của tin ... 3.1 MốI LIÊN Hệ CủA LƯợNG TIN VÀ LÝ THUYếT XÁC SUấT  Sự tiếp xúc của con người với ngoại vật, nhận thức được ngoại vật là thông qua thông tin tiếp thu được. • Một tin đối với người nhận có

Ngày tải lên: 07/07/2014, 13:24

... TÓM TẮT BÀI GIẢNG LÝ THUYẾT THÔNG TIN CHƯƠNG 1: TIN TỨC 1-1 HỆ THỐNG TRUYỀN TIN (HT3) Nguồn tin Si(t) Kênh tin S0(t) Nhận tin Nhiễu  Nguồn tin: + Là tập hợp tin HT3 dùng để lập tin khác truyền ... Tốc độ lập tin cực đại kênh có nhiễu: C = Rmax = n0[H(X)-H(X/Y)]max Lý thuyết thông tin (bps) (5) trang: CHƯƠNG 2: MÃ HÓA NGUỒN TIN 2-1 MÃ HIỆU 2-1-1 Mã hiệu thông số mã hiệu:  Cơ số mã (m) số ... t2 Bộ giải mã tổng quát cho mã khối tuyến tính Lý thuyết thông tin trang: 35 3-3 – MÃ HAMMING: Mã hamming là lớp mã khối đầu tiên nhắm vào việc sửa sai mã khối và các biến

Ngày tải lên: 03/01/2016, 20:55

... chuyển tin thành từ mã dựa vào xác suất xuất (tức tin có xác suất xuất bé mã hóa từ mã có chiều dài lớn tin có xác suất xuất lớn mã hóa từ mã có chiều dài nhỏ) sau tính hiệu suất lập mã §Ò c-¬ng ... lập mã chập nhị phân thông dụng với k = tức mã hóa bít tin đƣợc dịch vào mã hóa bít Tốc độ lập mã: Rc = k n 5.4.2 Biểu diễn lập mã chập Để mô tả lập mã chập ta cần xác định đặc tính hàm lập mã ... đƣợc mã hóa cách độc lập Do đó, 52 §Ò c-¬ng bµi gi¶ng M«n: Lý thuyÕt th«ng tin sử dụng khóa việc mã hóa các khối văn gốc giống cho ta khối văn mã hóa giống  Mã hóa chuỗi liệu: Tƣơng tự nhƣ mã

Ngày tải lên: 24/10/2017, 13:21

... ðịnh lý 4.1 Giả sử mã cho kênh nhị phân đối xứng gồm s từ mã độ dài n có xác suất Phương án giải mã tối ưu phương án làm cực tiểu khoảng cách Nghĩa với dãy v nhận được, giải mã chọn từ mã w cho ... đẳng thức tam giác • Do ta giải mã dãy v thành từ mã gần với v nên xuất khái niệm mã “tốt” mã có từ mã “ở xa” Huỳnh Văn Kha 9/30/2010 Bổ ñề 4.2 Gọi w1, w2, …, ws từ mã nhị phân chiều dài n, e số ... giải mã • Chiều ngược lại tương tự 13 Huỳnh Văn Kha 9/30/2010 Chận Hamming Khi e lớn khoảng cách từ mã lớn dẫn tới số từ mã Câu hỏi đặt có nhiều từ mã mã sửa truyền sai không e ký tự Định lý 4.3:

Ngày tải lên: 11/02/2020, 16:40

... Chương 4: Mã sửa sai 4.2 Ứng dụng lý thuyết nhóm cho mã kiểm tra chẵn lẻ Huỳnh Văn Kha 9/30/2010 Mã chẵn lẻ • Mã chẵn lẻ ban đầu xây dựng đơn giản • Cho trước mã gồm từ mã n bit nhị phân ... làm bit thông tin • Cho r4 = 0, r5 = 1, r6 = Ta r1 = 1, r3 = 1, r2 = Và từ mã thu 111010 • Cho giá trị khác cho r4, r5, r6 ta 23 = từ mã Toàn từ mã cho bảng sau Huỳnh Văn Kha 9/30/2010 Bộ mã kiểm ... …, jt) chọn tùy ý, ta gọi bit thơng tin • Các bit thứ j1, …, jt gọi bit kiểm tra • Mỗi cho giá trị bit thông tin ta từ mã • Bộ mã kiểm tra chẵn lẻ có 2k từ mã Huỳnh Văn Kha 9/30/2010 Ví dụ • Cho

Ngày tải lên: 11/02/2020, 18:18

... xây dựng mã tiền tố có chiều dài trung bình nhỏ chận H(X)/log D cộng thêm ký tự mã • Tuy nhiên ta làm tốt dùng phương pháp mã hóa theo block • Nghĩa ta khơng mã hóa trạng thái xi X, mà mã hóa nhóm ... 1/16 Từ mã 10 110 111 14 Huỳnh Văn Kha 9/30/2010 Mã hóa theo block • Ta kiểm chứng việc mã hóa theo block làm giảm chiều dài từ mã trung bình cho trạng thái X • Theo định lý 2.5, ta xây dựng mã tiền ... tiến gần tới chặn Và cuối xây dựng thuật tốn để tìm mã tối ưu Huỳnh Văn Kha 9/30/2010 ðịnh lý 2.4 (ðịnh lý cho tốn mã trường hợp kênh khơng bị nhiễu) Gọi chiều dài từ mã trung bình mã giải cho biến

Ngày tải lên: 11/02/2020, 18:19

... truyền thơng • Lý thuyết thơng tin khảo sát hệ thống truyền thông Sơ đồ sau Nhiễu Nguồn Mã Kênh Giải mã Đích Huỳnh Văn Kha 9/30/2010 Mơ hình truyền thơng • Nguồn: phát thơng tin • Mã: thủ tục chuyển ... cho khối sơ đồ truyền thơng • Khơng sâu vào chi tiết kỹ thuật mà khảo sát chủ yếu lý thuyết mã hóa giải mã • Định lý LTTT phát biểu: Có thể truyền thơng tin qua kênh bị nhiễu theo định lượng truyền ... tin thành “thực thể” thích hợp để truyền qua kênh • Kênh: truyền mẫu tin mã hóa, q trình chịu tác động Nhiễu • Giải mã: thủ tục biến đổi output kênh thành mẫu tin ban đầu • Đích: nhận thơng tin

Ngày tải lên: 11/02/2020, 18:27

... Chương 4: Mã sửa sai 4.3 Chận cho khả sửa sai mã kiểm tra chẵn lẻ Huỳnh Văn Kha 9/30/2010 Khả sửa sai • Như biết, số từ mã tăng làm giảm khả sửa sai mã Ta cố gắng định lượng mối ... Chận cho khả sửa sai mã kiểm tra chẵn lẻ • Giả sử ta cần xây dựng mã kiểm tra chẵn lẻ sửa sai e bit (chiều dài từ mã n cố định) • Vấn đề đặt cần bit kiểm tra để xây dựng mã • Ta muốn bit kiểm ... kiểm tra số bit thơng tin lớn ta có nhiều từ mã • Tổng qt khơng thể xác định xác số bit kiểm tra cực tiểu Nhưng ta ước lượng chận chận định lý sau Huỳnh Văn Kha 9/30/2010 ðịnh lý 4.10 (Chận Hamming

Ngày tải lên: 11/02/2020, 18:33

... Trường Đại Học Cơng Nghệ Thơng? ?Tin KHOA MẠNG & TRUYỀN THƠNG LÝ THUYẾT THƠNG  Bùi Văn Thành TIN thanhbv@uit.edu.vn Tháng 7 năm 2013 Chương 0 XÁC SuẤT MA TRẬN ... Các dòng ngang của ma trận gọi là hàng? ?và? ?các cột  thẳng đứng là cột. Hình dạng ma trận được đặc trưng  bởi số hàng? ?và? ?số cột (kích thước ma trận). k phần tử.  Ma trận thường được viết thành bảng kẹp giữa 2 dấu  ngoặc vng "["? ?và? ?"]" (hoặc, hiếm hơn, dấu ngoặc  ... Vì k là số ngun, nên chọn k = 18 24  c) Các cơng thức gần đúng để tính Pn (k)? ?và? ?Pn  (k1,k2)  Các cơng thức được rút ra từ các định? ?lý? ?giới hạn Cơng thức Moixre ­ Laplace :  Pn(k) ≈ϕ(xk)/ npq  • Cơng thức Moixre ­ Laplace được sử dụng khi n khá 

Ngày tải lên: 11/02/2020, 18:43

... tốn mã • Giả sử từ mã khác • Mẫu tin biến X sinh mã hóa thành dãy từ mã • Mục tiêu tốn cực tiểu hóa chiều dài trung bình mã • Chiều dài từ mã ứng với xi ni, i = 1, 2, …, M Mục tiêu cực tiểu hóa: ... 9/30/2010 Mã tiền tố mã giải • Xét mã nhị phân x1 x2 010 x3 01 x4 10 • Dãy 010 tương ứng với ba mẩu tin: x2, x3x1, x1x4 Nên giải mã • Cần có số giới hạn từ mã mã Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã ... mã tiền tố giải được, mã giải chưa mã tiền tố • Bộ mã tiền tố giải mã bước Huỳnh Văn Kha 9/30/2010 Mã tiền tố mã giải • Bộ mã sau mã tiền tố x1 x2 x3 x4 100 101 11 • Bộ mã sau giải không tiền

Ngày tải lên: 11/02/2020, 19:05

... …, nM • Bài tốn đặt là: xây dựng mã giải cho từ mã ứng với xk có chiều dài nk? • Mã tiền tố giải mã bước • Trong tốn kênh khơng bị nhiễu, mã giải quy mã tiền tố • Đầu tiên ta xét tồn mã tiền ... với n3 Và hết 10 Huỳnh Văn Kha 9/30/2010 Mở rộng cho mã giải • Điều kiện định lý 2.2 điều kiện cần đủ cho tồn mã giải • Do mã tiền tố giải nên cần chứng minh định lý sau đủ Định lý 2.3: Nếu mã giải ... Chứng minh ñịnh lý 2.3 • Trong đó: • Nk tổng số mẫu tin tạo thành từ n trạng thái xi cho đoạn mã mẫu tin có chiều dài k • Bộ mã giải nên dãy ký tự mã tương ứng với nhiều mẫu tin • Nk khơng vượt

Ngày tải lên: 12/02/2020, 12:46

... chấp từ mã truyền qua kênh Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Cái giá phải trả ta cần phải chờ n giây trước mã hóa nguồn tin, phải tốn thêm thời gian chờ việc mã hóa giải mã • Thêm vào đó, ... số ký tự mã mã hóa block khơng q n ký tự • Để giữ định lượng sinh nguồn R, ta cần 2nR từ mã chiều dài ≤ n • Ý tưởng định lý cho trước ε > 0, chọn n đủ lớn, ta tìm 2nR từ mã cách giải mã cho sai ... giải mã • Thêm vào đó, phương án mã hóa giải mã định lý phức tạp khó thực thực tế 10 Huỳnh Văn Kha 9/30/2010 ðịnh lý LTTT • Ví dụ, xét R = 2/5 n = Trong giây, số mẫu tin có nguồn sinh 2nR = Gọi chúng

Ngày tải lên: 12/02/2020, 12:57

... H(Y|X) • Ta định nghĩa thông tin xử lý kênh lượng I(X|Y) = H(X) – H(X|Y) • Chú ý: I(X|Y) = I(Y|X) = H(Y) – H(Y|X) = H(X) + H(Y) – H(X,Y) • Thông tin xử lý kênh phụ thuộc vào phân phối xác suất ... k = 1, 2, …, M, ta có: 14 Huỳnh Văn Kha 9/30/2010 ðịnh lý 3.1 Thì dung lượng kênh là: Và phân phối xác suất input để lượng thông tin xử lý kênh đạt max ... để cung cấp output • Thông tin chuyển qua kênh dãy ký tự Nếu ký tự thuộc tập hữu hạn ta gọi kênh rời rạc • Trong trường hợp tổng quát, phân phối xác suất output phụ thuộc vào việc input truyền

Ngày tải lên: 12/02/2020, 13:22

... (Plaintext): Dạng ban đầu của thông báo  Bản mã (Ciphertext): Dạng mã của bản rõ ban đầu  Khóa (Key): thông tin tham số dùng để mã hóa.  Mã hóa (Encryption): Quá trình mã 1 thông báo sao cho nghĩa ... thám mã thu được bản mã WNAJW được mã bằng phương pháp MDV. Chỉ có 2 xâu bản rõ có ý nghĩa là river và arena tương ứng với các khóa F (=5) và W (=22). Trong hai khóa này có 1 khóa đúng và khóa ... chọn bản rõ và nhận được bản mã, biết thuật toán, tấn công tìm khóa. • Tấn công với các bản mã được chọn: chọn bản mã và có được bản rõ tương ứng, biết thuật toán, tấn công tìm khóa. Chú ý: ...

Ngày tải lên: 16/06/2014, 14:44

... trên bản mã và làm cho mã thám đa bảng khó hơn. Hoàng Thu Phương - Khoa ATTT 6  Mật mã đối xứng sử dụng cùng một khóa cho việc mã hóa và giải mã. Có thể nói MĐX là mã một khóa hay mã khóa riêng ... Khi nào thì thám mã thu được lượng thông tin đủ để phát hiện ra khóa?  Để giải mã  thám mã căn cứ vào thông tin nhận được từ bản mã C. Khi lượng thông tin ≥ H(K)  thám mã thành công  Trong ... các chữ có phân bố thấp. Nếu chữ cái T đôi lúc được mã là a và lúc khác lại được mã thành b, và X đôi lúc được mã thành a và đôi lúc lại được mã thành b thì tần suất cao của T sẽ trộn với tần...

Ngày tải lên: 16/06/2014, 14:43

... Quốc dân - Khoa Toán Kinh tế LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN LÝ THUYẾT XÁC SUẤT THỐNG KÊ TOÁN 1 LÝ THUYẾT XÁC SUẤT BIẾN CỐ NGẪU NHIÊN VÀ XÁC SUẤT BIẾN NGẪU NHIÊN VÀ QUY LUẬT PHÂN PHỐI XÁC SUẤT MỘT ... Đại học Kinh tế Quốc dân - Khoa Toán Kinh tế LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN LÝ THUYẾT XÁC SUẤT THỐNG KÊ TOÁN Phân bổ thời gian: Lý thuyết: 43 Bài tập: 17 Tiêu chuẩn đánh giá sinh viên: Trên ... Toán Kinh tế LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN LÝ THUYẾT XÁC SUẤT THỐNG KÊ TOÁN BIẾN CỐ NGẪU NHIÊN VÀ XÁC SUẤT Phương pháp sơ đồ Venn: Sơ đồ hình cây Ví dụ Tung 2 đồng xu cân đối và đồng chất,...

Ngày tải lên: 29/05/2014, 18:45

... đối 32 32 mới phương pháp giảng dạy để đáp ứng nhu cầu đổi mới của đất nước. Với kinh nghiệm giảng dạy đã tích luỹ được, tôi đã biên soạn bài giảng Lý Thuyết Thống Kê. Bài giảng được biên soạn theo ... liền giữa lý luận với thực tế. Bài giảng được dùng làm tài liệu giảng dạy và học tập cho học sinh bật THCN, ngành kinh tế . Bài giảng cũng có thể làm tài liệu tham khảo cho cán bộ quản lý ở các ... đất…Nhưng nhìn chung. Các cuộc đăng ký và kê khai không thường xuyên, thiếu hệ thống, việc tổ chức và phương pháp điều tra còn tuỳ tiện và chưa tổng kết thành lý luận. 2 2 Chỉ số cấu thành khả...

Ngày tải lên: 12/06/2014, 21:37