... Phan Tấn Tài & Ks. Dương Văn Hiếu. 3Giáo trình: Lýthuyếtthông tin. Mô hình lýthuyếtthôngtin theo quan điểm Shannon Lý thuyếtthôngtin được xét ở đây theo quan điểm của Shannon. Đối ... Hiếu. 29Giáo trình: Lýthuyếtthông tin. CHƯƠNG 1: GIỚI THIỆU 1: Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đối tượng nghiên cứu, - Mô hình lýthuyếtthôngtin theo quan điểm ... với quy trình cơ bản: mã hóa, giải mã và bảo mật thông tin. Lýthuyếtthôngtin cũng là một trong các môn học khó của ngành Công nghệ thôngtin vì nó đòi hỏi người học phải có kiến thức cơ...
... đi m c a thôngtinsộ ố ượ ể ủ ố(1). H th ng thôngtin s th ng ph c t p h n m t h th ng t ng t t ng " $ đ ng.(2). Chi phí l p đ t l n h n so v i thôngtin t ng ... a h th ng thôngtin sƯ ượ ể ủ ệ ố ố1.4.1. Nh ng u đi m c a thôngtin sữ ư ể ủ ố (1). Tăng đ c kh năng truy n d n d li u ' (2). Tăng kh năng tích h p, đ ph c t p và s tin c y c ... b ng 0. M ch l c Nyquist đ c ng d ng trong nhi u lĩnh v c thôngtin s , m t thí d $ đ c nêu ra là thôngtin vô tuy n s , kênh truy n d n t nó không ch u nh h ng ...
... (tt)()()xx1x1y11∑∑=====NnNnnNNEN()()()⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=−=∑=2122yxx1yyNnnNNNEEδ()⎟⎟⎠⎞⎜⎜⎝⎛⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=∑=21xx1NNENnn()()⎟⎟⎠⎞⎜⎜⎝⎛⎥⎦⎤⎢⎣⎡−=∑=212xx1NnnEN()()()NNNENNnn2x2x21221xx1δδ==−=∑=Trang 17 Thông tin Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó được định nghĩa chính xác. Hai định nghĩa về thông tin. Thông tin là sự cảm hiểu của con ... thông qua sự tiếp xúc với nó. Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại trừ sự không chắc chắn (uncertainty) trong trạng thái của nơi nhận tin. Nói ngắn gọn, thôngtin ... 1948)Trang 12Những ứng dụng của LT thông tin Cuộc cách mạng thôngtin đang xảy ra, sự phát triển mạnh mẽcủa các phương tiện mới về truyền thông, lưu trữ thôngtin làm thay đổi ngày càng sâu...
... suất điều kiện p(yi | xi). Tính các lượng tin tương hỗ I(xi,yj), các lượng tin có điều kiện I(xi,yj), lượng tin tương hỗ trung bình I(X,Y), lượng tin có điều kiện trung bình I(X|Y).9. ... 7. Cho nguồn tin X. Hiện thực giải thuật mã hoá nguồn phổ quát với m=2.8. Xây dựng chương trình cho phép nhập vào hai nguồn tin X, Y, các xác suất p(xi) của X và ... ma trận sinh. Viết chương trình mã hoá thông báo thành từ mã. Viết chương trình phát hiện sai và sửa sai 1 bit cho một mã tuyến tính có d > 2 và rút ra thông báo tương ứng với từ mã nhận được.12....
... Technical Journal - nơi đưa ra lýthuyếtthông tin. Shannon đã giải thích hai khía cạnh này thông qua định lý mã hóa nguồn và định lý mã hóa kênh truyền của ông.(Định lý mã hóa nguồn của Shannon ... sổ, mục đích của những người thiết kế là chuyển đổi thôngtin thành tín hiệu sổ, chuyển đi thông qua một môi trường truyền tin, nhận thông tin tại trạm cuối và tái hiện lại tín hiệu sổ một cách ... nhiễu.Entropy của một nguồn tin và khả năng kênh truyền là hai khái niệm quan trọng, dựa trên đó mà Shannon đã đưa ra định lý. 2.4 Định lý ShannonTrong một hệ thống truyền thông sổ, mục đích của...
... Giáo trình: Lýthuyếtthông tin. Mô hình lýthuyếtthôngtin theo quan điểm Shannon Lý thuyếtthôngtin được xét ở đây theo quan điểm của Shannon. Đối ... với quy trình cơ bản: mã hóa, giải mã và bảo mật thông tin. Lýthuyếtthôngtin cũng là một trong các môn học khó của ngành Công nghệ thôngtin vì nó đòi hỏi người học phải có kiến thức cơ ... cứu, mô hình lýthuyếtthôngtin theo quan điểm của nhà toán học Shannon, khái niệm về lượng tin biết và chưa biết, định lý cơ bản của kỹ thuật truyền tin. Chương 2: Độ đo lượng tin. Chương...
... trình: Lýthuyếtthông tin. CHƯƠNG 2: ĐỘ ĐO LƯỢNG TIN Mục tiêu: trình bày các khái niệm về độ đo lượng tin chưa biết và đã biết về một biến ngẫu nhiên X. Tính toán các lượng tin này thông ... thông tin. Một vấn đề quan trọng cần lưu ý là phải đồng bộ giữa tốc độ nạp thôngtin (phát tín hiệu) với tốc độ truyền tin. Nếu tốc độ nạp thôngtin bằng hoặc lớn hơn so với tốc độ truyền tin ... phải giảm tốc độ nạp thôngtin sao cho nhỏ hơn tốc độ truyền tin. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 14Giáo trình: Lýthuyếtthông tin. Minh họa kỹ...
... biết hoàn toàn về Y và một phần thôngtin về X. Phần thôngtin đó chính là lượng tin đã biết về X nhưng vẫn chưa biết hết về X. Bài toán ở đây là tính lượng tin đã biết về X khi Y xảy ra. ... tiên thử con xúc sắc, nếu số điểm ≤ 4 thì tung đồng tiền một lần, ngược lại thì tung đồng tiền hai lần. Tính lượng tin về số điểm con xúc sắc khi biết thôngtin về số đầu hình đếm được. 2. ... định lý 1,2 và 3 cùng với các kết quả đã tính được để so sánh và minh họa. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 27Giáo trình: Lýthuyếtthông tin. ...
... Ks. Dương Văn Hiếu. 33Giáo trình: Lýthuyếtthông tin. BÀI 3.3: TÍNH TỐI ƯU CỦA ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể: - Hiểu định lý Shannon (1948), - Biết được các ... Tài & Ks. Dương Văn Hiếu. 37Giáo trình: Lýthuyếtthông tin. Chọn một nút có mã với độ dài mã là n1 gán cho nó một từ mã w1. => Tổng số nút lá được xóa tương ứng là 1nMnD− ... Dương Văn Hiếu. 38Giáo trình: Lýthuyếtthông tin. BÀI 3.2: QUAN HỆ GIỮA MÃ TÁCH ĐƯỢC VÀ ĐỘ DÀI MÃ Mục tiêu Sau khi hoàn tất bài học này bạn có thể hiểu: - Định lý Kraft (1949), - Định nghĩa...
... Định lý cơ bản về truyền tin đã chỉ ra rằng “với dung lượng kênh cho trước luôn có thể tìm ra một phương pháp truyền tin với lượng tin nhỏ hơn dung lượng kênh và đạt sai số nhỏ hơn sai số cho ... vật lý như sau: Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 45Giáo trình: Lýthuyếtthông tin. Định nghĩa dung lượng kênh truyền Dựa vào ma trận truyền tin ... bits đổi thành số thập phân. Cho biết dãy số thập phân kết quả. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 44Giáo trình: Lýthuyếtthông tin. Xét từng ký...
... Phan Tấn Tài & Ks. Dương Văn Hiếu. 52Giáo trình: Lýthuyếtthông tin. Các khái niệm cơ bản của kỹ thuật truyền tin Xét sơ đồ truyền tin như sau: R Kênh Bộ tạo mã Bộ giải mã ký tự ... Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 60Giáo trình: Lýthuyếtthông tin. 1 – H(β,1-β) Định lý về dung lượng kênh truyền Giả sử ma trạn A có dạng vuông và có ma trận ... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 57Giáo trình: Lýthuyếtthông tin. Bài tập 1 1. Cho ma trận truyền tin sau: ⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡3/12/16/12/16/13/16/13/12/1321xxx...
... của từ mã hay số bit của từ mã chẵn lẻ. + m: số bit kiểm tra. + k = n-m: số bit thôngtin ⇒ s=2k (vì với k bit thôngtin thì ta chỉ có thể biểu diên tối đa 2k trạng thái thôngtin k bit). ... định các giá trị n, m, k, s Độ dài của từ mã n= số cột của ma trận A. Số bit kiểm tra m= số dòng của ma trận A. Số bit thông tin: k = n-m. Số từ mã s=2k của bộ mã. Bước i: Tìm các từ ... k bit). + Đoạn kiểm tra: gồm m bit dùng để kiểm tra mã sai. + Đoạn thông tin: gồm k bit thông tin. Mỗi đoạn mã thôngtin có duy nhất một đoạn mã kiểm tra và được xác định bởi hệ phương trình...
... trình: Lýthuyếtthông tin. BÀI 5.7: THANH GHI LÙI TỪNG BƯỚC Mục tiêu Sau khi hoàn tất bài học này bạn có thể biết: - Đặt vấn đề về thanh ghi lùi từng bước, - Cách biểu diễn vật lý của ... r3r5r6 là các bit thông tin (vì các bit ở vị trí 2i (với i = 0, 1, 2, …) được chọn làm bits kiểm tra). Tính chất Nếu cho trước số bit (m) và số bit lỗi tự sửa (e) thì số bit tối đa của bộ ... ý: Tổng số bộ điều chỉnh = 2m. Trong một số trường hợp, bộ mã chẵn lẻ chỉ cho phép phát hiện lỗi trên đường truyền và không thể giải mã chính xác do tổng số bộ điều chỉnh = 2m và số bộ lỗi...
... Tấn Tài & Ks. Dương Văn Hiếu. 89Giáo trình: Lýthuyếtthông tin. Thủ tục sinh thanh ghi lùi từng bước Để sinh thanh ghi lùi từng bước với số bit là m và có chu kỳ n, ta có thể thực hiện ... 15 bit với số bit kiểm tra là 4. Vẽ sơ đồ thanh ghi dạng tổng quát. Biên soạn: TS. L ê Quy ết Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 87Giáo trình: Lýthuyếtthông tin. BÀI 5.9: ... & Ks. Dương Văn Hiếu. 86Giáo trình: Lýthuyếtthông tin. Bài tập 1. Cho thanh ghi lùi từng bước sau: - Tìm ma trận kiểm tra chẵn lẻ có số cột n > 4 +F0 F1 F2 - Từ...
... Thắng, ThS. Phan Tấn Tài & Ks. Dương Văn Hiếu. 93Giáo trình: Lýthuyếtthông tin. TÀI LIỆU THAM KHẢO 12. G.J.ChaiTin, Algorithmic Information Theory, CamBridge University Express-1992. ... trình: Lýthuyếtthông tin. BÀI TẬP TỔNG HỢP Mục tiêu Sau khi hoàn tất bài học này bạn có thể: - Hiểu rõ hơn về nội dung môn học. - Vận dụng nội dung môn học để giải quyết một số bài tập ... chẩn đoán đúng.(Lượng thôngtin biết về Bệnh thông qua Triệu chứng) và tỷ lệ chẩn đoán đúng là bao nhiêu phần trăm. Câu 3: Bây giờ người ta sử dụng 2 bit để mã thôngtin về Triệu chứng (có...