... Phan Tấn Tài & Ks. Dương Văn Hiếu.
3
Giáo trình: Lýthuyếtthông tin.
Mô hình lýthuyếtthôngtin theo quan điểm Shannon
Lý thuyếtthôngtin được xét ở đây theo quan điểm của Shannon. Đối ... Hiếu.
29
Giáo trình: Lýthuyếtthông tin.
CHƯƠNG 1: GIỚI THIỆU
1: Mục tiêu
Sau khi hoàn tất bài học này bạn có thể biết:
- Đối tượng nghiên cứu,
- Mô hình lýthuyếtthôngtin theo quan điểm ... trình: Lýthuyếtthông tin.
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN
Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên
X. Tính toán các lượng tin này thông...
... đi m c a thôngtin sộ ố ượ ể ủ ố
(1). H th ng thôngtin s th ng ph c t p h n m t h th ng t ng t t ng " $
đ ng.
(2). Chi phí l p đ t l n h n so v i thôngtin t ng ... a h th ng thôngtin sƯ ượ ể ủ ệ ố ố
1.4.1. Nh ng u đi m c a thôngtin sữ ư ể ủ ố
(1). Tăng đ c kh năng truy n d n d li u '
(2). Tăng kh năng tích h p, đ ph c t p và s tin c y c ... b ng 0.
M ch l c Nyquist đ c ng d ng trong nhi u lĩnh v c thôngtin s , m t thí d $
đ c nêu ra là thôngtin vô tuy n s , kênh truy n d n t nó không ch u nh h ng ...
... (tt)
()
()
xx
1
x
1
y
11
∑∑
==
===
N
n
N
n
n
N
N
E
N
()
(
)
()
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
⎥
⎦
⎤
⎢
⎣
⎡
−=−=
∑
=
2
1
2
2
y
xx
1
yy
N
n
n
N
N
N
EE
δ
()
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
⎥
⎦
⎤
⎢
⎣
⎡
−=
∑
=
2
1
xx
1
N
N
E
N
n
n
()
()
⎟
⎟
⎠
⎞
⎜
⎜
⎝
⎛
⎥
⎦
⎤
⎢
⎣
⎡
−=
∑
=
2
1
2
xx
1
N
n
n
E
N
()
()
(
)
N
N
N
E
N
N
n
n
2
x
2
x
2
1
2
2
1
xx
1
δ
δ
==−=
∑
=
Trang 17
Thông tin
Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó
được định nghĩa chính xác. Hai định nghĩa về thông tin.
Thông tin là sự cảm hiểu của con ...
thông qua sự tiếp xúc với nó.
Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại
trừ sự không chắc chắn (uncertainty) trong trạng thái của nơi
nhận tin. Nói ngắn gọn, thôngtin ... 1948)
Trang 12
Những ứng dụng của LT thông tin
Cuộc cách mạng thôngtin đang xảy ra, sự phát triển mạnh mẽ
của các phương tiện mới về truyền thông, lưu trữ thôngtin làm
thay đổi ngày càng sâu...
... suất điều kiện p(yi | xi). Tính các lượng tin tương hỗ I(x
i
,y
j
), các lượng tin có điều
kiện I(x
i
,y
j
), lượng tin tương hỗ trung bình I(X,Y), lượng tin có điều kiện trung bình I(X|Y).
9. ... 7. Cho nguồn tin X. Hiện thực giải thuật mã hoá nguồn phổ quát với m=2.
8. Xây dựng chương trình cho phép nhập vào hai nguồn tin X, Y, các xác suất p(x
i
) của X và ... ma trận sinh. Viết chương trình mã hoá thông báo thành từ mã. Viết chương trình
phát hiện sai và sửa sai 1 bit cho một mã tuyến tính có d > 2 và rút ra thông báo tương ứng với từ
mã nhận được.
12....
... Technical Journal -
nơi đưa ra lýthuyếtthông tin. Shannon đã giải thích hai khía cạnh này thông qua
định lý mã hóa nguồn và định lý mã hóa kênh truyền của ông.(Định lý mã hóa
nguồn của Shannon ... sổ, mục đích của những người thiết kế là chuyển
đổi thôngtin thành tín hiệu sổ, chuyển đi thông qua một môi trường truyền tin, nhận
thông tin tại trạm cuối và tái hiện lại tín hiệu sổ một cách ... nhiễu.
Entropy của một nguồn tin và khả năng kênh truyền là hai khái niệm quan trọng,
dựa trên đó mà Shannon đã đưa ra định lý.
2.4 Định lý Shannon
Trong một hệ thống truyền thông sổ, mục đích của...
... Giáo trình: Lýthuyếtthông tin.
Mô hình lýthuyếtthôngtin theo quan điểm Shannon
Lý thuyếtthôngtin được xét ở đây theo quan điểm của Shannon. Đối ... với quy
trình cơ bản: mã hóa, giải mã và bảo mật thông tin.
Lýthuyếtthôngtin cũng là một trong các môn học khó của ngành Công nghệ thôngtin vì nó
đòi hỏi người học phải có kiến thức cơ ... cứu, mô hình lýthuyếtthôngtin theo quan điểm của nhà toán học
Shannon, khái niệm về lượng tin biết và chưa biết, định lý cơ bản của kỹ thuật truyền tin.
Ch
ương 2: Độ đo lượng tin. Chương...
... trình: Lýthuyếtthông tin.
CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN
Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên
X. Tính toán các lượng tin này thông ... thông tin.
Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thôngtin (phát tín hiệu) với tốc
độ truyền tin. Nếu tốc độ nạp thôngtin bằng hoặc lớn hơn so với tốc độ truyền tin ... phải giảm tốc độ nạp thôngtin sao cho nhỏ hơn tốc độ truyền tin.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
14
Giáo trình: Lýthuyếtthông tin.
Minh họa kỹ...
... biết hoàn toàn về Y và
một phần thôngtin về X. Phần thôngtin đó chính là lượng tin đã biết về X nhưng vẫn chưa biết
hết về X. Bài toán ở đây là tính lượng tin đã biết về X khi Y xảy ra.
... định lý 1,2 và 3 cùng với các kết quả
đã tính được để so sánh và minh họa.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
27
Giáo trình: Lýthuyếtthông tin. ... sinh
viên.
a. Tìm thôngtin về trạng thái học tập của sinh viên khi biết điều kiện về phương tiện đi lại của
họ.
b. Tìm thôngtin về tình trạng học tập của sinh viên khi biết tinh thần ái hữu...
... Ks. Dương Văn Hiếu.
33
Giáo trình: Lýthuyếtthông tin.
BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
- Hiểu định lý Shannon (1948),
- Biết được các ... Dương Văn Hiếu.
38
Giáo trình: Lýthuyếtthông tin.
BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI
MÃ
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể hiểu:
- Định lý Kraft (1949),
- Định nghĩa ... Giáo trình: Lýthuyếtthông tin.
Tập hợp S
4
={00, 110}
Tập hợp S
5
={01, 0, 011, 110}
Tập hợp S
6
={0, 10, 001,...
... vật lý như sau:
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
45
Giáo trình: Lýthuyếtthông tin.
Định nghĩa dung lượng kênh truyền
Dựa vào ma trận truyền tin ...
Lượng thôngtin truyền trên kênh:
I (X/Y)= I (Y/X)= H(Y) - H(Y/X) = 0,09 (bit)
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
47
Giáo trình: Lýthuyếtthông tin. ... Giáo trình: Lýthuyếtthông tin.
BAI 4.2: CÁC DẠNG KÊNH TRUYỀN
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể:
Biết kênh truyền không mất tin,
Biết kênh truyền xác...
... Phan Tấn Tài & Ks. Dương Văn Hiếu.
52
Giáo trình: Lýthuyếtthông tin.
Các khái niệm cơ bản của kỹ thuật truyền tin
Xét sơ đồ truyền tin như sau:
R
Kênh
Bộ tạo mã Bộ giải mã
ký tự ... Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
60
Giáo trình: Lýthuyếtthông tin.
1 – H(β,1-β)
Định lý về dung lượng kênh truyền
Giả sử ma trạn A có dạng vuông và có ma trận ... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
57
Giáo trình: Lýthuyếtthông tin.
Bài tập 1
1.
Cho ma trận truyền tin sau:
⎥
⎥
⎥
⎦
⎤
⎢
⎢
⎢
⎣
⎡
3/12/16/1
2/16/13/1
6/13/12/1
3
2
1
x
x
x
...
... số bit thôngtin ⇒ s=2
k
(vì với k bit thôngtin thì ta chỉ có thể biểu diên tối đa
2
k
trạng thái thôngtin k bit).
+ Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai.
+ Đoạn thông tin: gồm ... trận A)
Số bit thôngtin k = n – m = 3 => Số từ mã s=2
k
=8 từ mã.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
66
Giáo trình: Lýthuyếtthông tin.
BÀI 5.4: ... trình: Lýthuyếtthông tin.
-
Biết tính chất cơ bản của phương pháp kiểm tra chẵn lẻ,
-
Hiểu và vận dụng tốt phương pháp sinh mã kiểm tra chẵn lẻ,
-
Hiểu và vận dụng tốt Định lý quan...
... trình: Lýthuyếtthông tin.
BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC
Mục tiêu
Sau khi hoàn tất bài học này bạn có thể biết:
-
Đặt vấn đề về thanh ghi lùi từng bước,
-
Cách biểu diễn vật lý của ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
79
Giáo trình: Lýthuyếtthông tin.
Ví dụ minh họa lược đồ sửa lỗi 3 bit
Lược đồ sửa lỗi:
Bước 1: Lập bảng sửa lỗi: ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
76
Giáo trình: Lýthuyếtthông tin.
Lược đồ sửa lỗi theo các hiệp hợp
Bước 1:
Lập bảng các hiệp hợp ứng với các bộ lỗi...
... Giáo trình: Lýthuyếtthông tin.
Nhận xét:
kết quả theo 3 cách sinh bộ mã xoay vòng nói trên la như nhau (cho cùng ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
89
Giáo trình: Lýthuyếtthông tin.
Thủ tục sinh thanh ghi lùi từng bước
Để sinh thanh ghi lùi từng bước với số bit là ... soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
87
Giáo trình: Lýthuyếtthông tin.
BÀI 5.9: ĐA THỨC ĐẶC TRƯNG CỦA THANH GHI
Mục tiêu
Sau khi hoàn tất bài học này bạn...
... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
93
Giáo trình: Lýthuyếtthông tin.
TÀI LIỆU THAM KHẢO
12.
G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992. ... chẩn đoán đúng.(Lượng thôngtin biết về Bệnh thông qua Triệu chứng) và tỷ lệ
chẩn đoán đúng là bao nhiêu phần trăm.
Câu 3: Bây giờ người ta sử dụng 2 bit để mã thôngtin về Triệu chứng (có ...
Xét một kênh truyền tin đặc biệt dạng : Truyền X
Æ
Nhận Y.
Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu.
91
Giáo trình: Lýthuyếtthông tin.
Truyền một giá...