lý thuyết thông tin của shannon

... Lượng thông tin = Thông tin tiên nghiệm – Thông tin hậu nghiệm [b] Thông tin hậu nghiệm thông tin riêng [c] Lượng thông tin = Thông tin hậu nghiệm – Thông tin tiên nghiệm [d] Lượng thông tin = Thông ... lớp tin xi nguông tin XN [b] Độ bất định tin lượng tin ý nghĩa trái ngược giá trị lại [c] Độ bất định tin lượng tin có ý nghĩa giá trị khác [d] Lượng tin trung bình hiểu lượng tin trung bình tin ... câu sai câu sau: [a] Thông tin tiên nghiệm (ký hiệu I(xk)) xác định theo công thức sau: I(xk) = log P (xk) [b] Thông tin tiên nghiệm gọi lượng thông tin riêng [c] Thông tin tiên nghiệm (ký hiệu...

Ngày tải lên: 07/02/2015, 17:24

... Hiếu Giáo trình: Lý thuyết thông tin Mô hình lý thuyết thông tin theo quan điểm Shannon Lý thuyết thông tin xét theo quan điểm Shannon Đối tượng nghiên cứu hệ thống liên lạc truyền tin (communication ... Hiếu Giáo trình: Lý thuyết thông tin GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH Giáo trình cung cấp cho người đọc khối kiến thức lý thuyết thông tin như: Độ lượng tin (Measure of ... trình: Lý thuyết thông tin CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau hoàn tất học bạn biết: - Đối tượng nghiên cứu, - Mô hình lý thuyết thông tin theo quan điểm Shannon, - Các khái niệm Lượng tin biết...

Ngày tải lên: 13/08/2014, 06:22

... Tấn Tài & Ks Dương Văn Hiếu 39 Giáo trình: Lý thuyết thông tin BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau hoàn tất học bạn có thể: - Hiểu định lý Shannon (1948), - Biết tiêu chuẩn đánh giá ... Eisenberg (1963) Định lý truyền tin “với dung lượng kênh cho trước tìm phương pháp truyền tin với lượng tin nhỏ dung lượng kênh đạt sai số nhỏ sai số cho phép bất kỳ” Định lý truyền tin Feinstein (1954, ... (bit) Lượng thông tin truyền kênh: I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit) Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 47 Giáo trình: Lý thuyết thông tin Định nghĩa...

Ngày tải lên: 13/08/2014, 06:22

... Giáo trình: Lý thuyết thông tin Dung lượng: C=log2L (Sinh viên tự chứng minh, xem tập) Kênh truyền không nhiễu Mô hình: kết hợp kênh truyền xác định kênh truyền không thông tin, truyền ký ... ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 53 Giáo trình: Lý thuyết thông tin Các khái niệm kỹ thuật truyền tin Xét sơ đồ truyền tin sau: R Nguồn Kênh Bộ tạo mã ký tự mã Bộ giải mã nhiễu P(e) ... truyền tin A = ⎜ ⎜ β 1− β ⎟ ⎠ ⎝ Dung lượng C=1+(1-β) log(1-β)+βlogβ = 1- H(β, 1-β) H(β , 1-β) Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 51 Giáo trình: Lý thuyết thông tin...

Ngày tải lên: 13/08/2014, 06:22

... cột ma trận A) Số bit thông tin k = n – m = => Số từ mã s=2k=8 từ mã Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 66 Giáo trình: Lý thuyết thông tin Bước i: Tìm từ mã ... Dương Văn Hiếu 67 Giáo trình: Lý thuyết thông tin Ví dụ tìm m nhỏ từ n e Giả sử biết trước n=7 e=1 Tìm số bit kiểm tra tối thiểu cần thiết mã chẵn lẻ Theo định lý điều kiện cần (Cận Hamming): ... vào đinh lý Điều kiện cần (Cận Hamming) Điều kiện đủ (ĐK Varshamov-Gilbert-Sacks) Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 68 Giáo trình: Lý thuyết thông tin BÀI 5.4:...

Ngày tải lên: 13/08/2014, 06:22

... Hiếu 92 Giáo trình: Lý thuyết thông tin Câu 2: Phân lớp giá trị Y lớp B0, B1, B2, B3 dùng để giải mã tối ưu Y tốt giá trị tương ứng X Câu : Bây người ta sử dụng bit để mã thông tin X bit để mã giá ... Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 93 Giáo trình: Lý thuyết thông tin Câu 4: Từ kết câu 3, người ta sử dụng bit để mã thông tin Triệu chứng (có triệu chứng dự trữ) bit để mã triệu chứng ... Cho ví dụ Bài Xét kênh truyền tin đặc biệt dạng : Truyền X Nhận Y Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 91 Giáo trình: Lý thuyết thông tin Truyền giá trị X nhận nhiều...

Ngày tải lên: 13/08/2014, 06:22

Ngày tải lên: 04/10/2014, 01:46

Ngày tải lên: 18/11/2014, 08:44

Ngày tải lên: 18/11/2014, 09:38

... cứu Tìm hiểu sở lý thuyết thông tin lượng tử Đối tƣợng nghiên cứu Cơ sở lý thuyết thông tin lượng tử Phƣơng pháp nghiên cứu Đọc nghiên cứu tài liệu Các phương pháp vật lý lý thuyết Cấu trúc luận ... làm hợp thời đại Đó lý để chọn đề tài “Nền tảng lý thuyết thông tin lƣợng tử” Nó giúp thân em có nhìn sâu sắc vật lý lượng tử Mục đích nghiên cứu Nền tảng lý thuyết thông tin lượng tử Nhiệm vụ ... Hiện nay, thật lý thuyết thiếu lĩnh vực công nghệ thông tin, đâu mà thông tin lưu trữ xử lý Mặc dù có thành công phủ nhận song thông tin cổ điển tồn nhiều hạn chế bám rễ phạm vi vật lý cổ điển Chính...

Ngày tải lên: 30/11/2015, 21:42

... Hiếu Giáo trình: Lý thuyết thông tin Mô hình lý thuyết thông tin theo quan điểm Shannon Lý thuyết thông tin xét theo quan điểm Shannon Đối tượng nghiên cứu hệ thống liên lạc truyền tin (communication ... Hiếu Giáo trình: Lý thuyết thông tin GIỚI THIỆU TỔNG QUAN GIÁO TRÌNH LÝ THUYẾT THÔNG TIN MỤC ĐÍCH Giáo trình cung cấp cho người đọc khối kiến thức lý thuyết thông tin như: Độ lượng tin (Measure of ... trình: Lý thuyết thông tin CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau hoàn tất học bạn biết: - Đối tượng nghiên cứu, - Mô hình lý thuyết thông tin theo quan điểm Shannon, - Các khái niệm Lượng tin biết...

Ngày tải lên: 23/08/2012, 16:23

... vụ 1.4.2 Một số nhược điểm thông tin số (1) Hệ thống thông tin số thường phức tạp hệ thống tương tự tương đương (2) Chi phí lắp đặt lớn so với thông tin tương tự thông tin số bao gồm nhiều thành ... hiệu tin Trong truyền dẫn băng thông dải: Băng tần kênh có tần số trung tâm lớn nhiều tần số cao tín hiệu tin Khi tín hiệu phát tin hiệu băng thông dải (phù hợp với kênh truyền) mang thông tin ... (teletype) Trong hệ thống truyền thông số, tin tạo từ nguồn phát tin chuyển thành chuỗi ký hiệu nhị phân (binary digits) Một cách lý tưởng mong muốn tin đầu nguồn phát tin có hay thành phần dư thừa...

Ngày tải lên: 13/09/2012, 10:21

... Lý thuyết xác suất Kỹ thuật truyền số liệu Xử lý tín hiệu số Trang Bài Giới thiệu 1.1 Thông tin gì? 1.2 Vai trò thông tin 1.3 Lý thuyết thông tin nghiên cứu gì? 1.4 Những ứng dụng lý thuyết thông ... Trang 16 Thông tin Thông tin khái niệm trừu tượng, phi vật chất khó định nghĩa xác Hai định nghĩa thông tin Thông tin cảm hiểu người giới xung quanh thông qua tiếp xúc với Thông tin hệ thống tin báo ... nhận tin Nói ngắn gọn, thông tin mà loại trừ không chắn Định nghĩa đầu chưa nói lên chất thông tin Định nghĩa thứ hai nói rõ chất thông tin dùng để định lượng thông tin kỹ thuật Trang 17 Thông tin...

Ngày tải lên: 13/09/2012, 10:52

... nguồn tin X Hiện thực giải thuật mã hoá nguồn phổ quát với m=2 Xây dựng chương trình cho phép nhập vào hai nguồn tin X, Y, xác suất p(xi) X ma trận xác suất điều kiện p(yi | xi) Tính lượng tin ... điều kiện p(yi | xi) Tính lượng tin tương hỗ I(xi,yj), lượng tin có điều kiện I(xi,yj), lượng tin tương hỗ trung bình I(X,Y), lượng tin có điều kiện trung bình I(X|Y) Viết chương trình bao gồm ... Hamming, vị trí bit thông báo người sử dụng định Có xuất phương trình biểu diễn công thức phụ thuộc bit kiểm tra dựa vào bit thông báo Thực trình phát sai sửa sai cho từ mã nhận rút thông báo tương...

Ngày tải lên: 17/09/2012, 11:50

... cạnh đưa Shannon báo “A Maththemathical Theroy of Communication” xuất năm 1948 Bell System Technical Journal nơi đưa lý thuyết thông tin Shannon giải thích hai khía cạnh thông qua định lý mã hóa ... có lẽ đạt giới hạn Shannon Dựa lý thuyết này, văn tiếng Anh nén xuống 1.5 bits/ký tự bạn có sử dụng mã giải mã tinh vi Lý thuyết đặt tảng cho việc mã hóa thông tin (văn bản, giọng nói, video) ... Định lý mã hóa nguồn Định lý mã hóa nguồn phát biểu: “số bit yêu cầu để biểu diễn cho nguồn tin xấp xỉ lượng tin Xét nguồn tạo ký tự tiếng anh Lượng tin (hoặc entropy) 4.07 bits/kí tự Theo định lý...

Ngày tải lên: 18/09/2012, 09:12

... đồng tốc độ nạp thông tin (phát tín hiệu) với tốc độ truyền tin Nếu tốc độ nạp thông tin lớn so với tốc độ truyền tin kênh, cần phải giảm tốc độ nạp thông tin cho nhỏ tốc độ truyền tin Biên soạn: ... lượng tin không chắn thông qua lượng tin biết Y (hay thông tin Y biết) Trong trường hợp này, phần lượng tin không chắn thông qua lượng tin biết Y gọi Entropy có điều kiện Nhận xét độ đo lượng tin ... Văn Hiếu 14 Giáo trình: Lý thuyết thông tin CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày khái niệm độ đo lượng tin chưa biết biết biến ngẫu nhiên X Tính toán lượng tin thông qua định nghĩa tính...

Ngày tải lên: 09/10/2012, 14:53

... Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 24 Giáo trình: Lý thuyết thông tin Chứng minh định lý 3: Từ định lý định lý quan hệ Entropy, ta có: H(X,Y)=H(X)+H(Y/X)≤ H(X)+ H(Y) => H(Y/X) ... xảy ta biết hoàn toàn Y phần thông tin X Phần thông tin lượng tin biết X chưa biết hết X Bài toán tính lượng tin biết X Y xảy Ký hiệu: I(X/Y) = H(X)-H(X/Y) lượng tin biết X Y xảy Chú ý: ta có ... bạn dựa vào định lý 1,2 với kết tính để so sánh minh họa Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 27 Giáo trình: Lý thuyết thông tin BAI 2.5: ĐO LƯỢNG TIN (MESURE OF...

Ngày tải lên: 09/10/2012, 14:53

... Tấn Tài & Ks Dương Văn Hiếu 39 Giáo trình: Lý thuyết thông tin BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau hoàn tất học bạn có thể: - Hiểu định lý Shannon (1948), - Biết tiêu chuẩn đánh giá ... Giáo trình: Lý thuyết thông tin Bộ mã gọi tách từ dãy ký tự mã nhận liên tục (được mã hóa từ mã này), ta luôn giải mã với kết dãy giá trị gốc X Shannon (1948) lần đưa định lý sở sinh mã tách ... Tấn Tài & Ks Dương Văn Hiếu 35 Giáo trình: Lý thuyết thông tin BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ Mục tiêu Sau hoàn tất học bạn hiểu: - Định lý Kraft (1949), - Định nghĩa bậc D cỡ K,...

Ngày tải lên: 09/10/2012, 14:53

... Eisenberg (1963) Định lý truyền tin “với dung lượng kênh cho trước tìm phương pháp truyền tin với lượng tin nhỏ dung lượng kênh đạt sai số nhỏ sai số cho phép bất kỳ” Định lý truyền tin Feinstein (1954, ... (bit) Lượng thông tin truyền kênh: I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit) Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 47 Giáo trình: Lý thuyết thông tin Định nghĩa ... kênh truyền Để đơn giản, xét mô hình vật lý sau: Biên soạn: TS L ê Quy ết Thắng, ThS Phan Tấn Tài & Ks Dương Văn Hiếu 45 Giáo trình: Lý thuyết thông tin Xét ký tự đầu nhận phụ thuộc vào ký tự...

Ngày tải lên: 09/10/2012, 14:53