đề cương môn lý thuyết truyền tin (lý thuyết thông tin)

- Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa rộng nếu nó thỏa mãn các điều kiện sau: [ ] = Câu 8: Không gian tín hiệu k gian vector có tương đương với nhau không?. Nếu ta muốn

Chương 2: Phân Tích Tín Hiệu Xác Định Và Tín Hiệu Ngẫu Nhiên

Câu 1: Tín hiệu lowpass và bandpass là gì?

 Tín hiệu lowpass là tín hiệu tần số thấp dạng phức có phổ tần năm xung quanh tần số 0

 Tín hiệu bandpass là các tín hiệu tần số thực hẹp và cao

Là 1 tín hiệu thực có phổ tần xquanh tần số xa dần từ

0

Câu 2: Mục tiêu biểu diễn tín hiệu bandpass về lowpass?

 Giúp đơn giản hóa việc xử lý tín hiệu bandpass do tín hiệu lowpass có tần số lấy mẫu thấp và các thuật toán

xử lý tín hiệu đơn giản hơn

Câu 3: Khai triển trực giao tín hiệu là gì? Nó dùng để làm gì?

 Hai tín hiệu f(t) và g(t) gọi là trực giao với nhau nếu

chúng thỏa mãn điều kiện :

( ) ( )∗ = ≠ 0 ℎ ( ) = ( )

0 ℎ ( ) ≠ ( )

đó ( )∗ là liên hợp phức của g(t)

 Trực giao tín hiệu dùng để phân tích các tín hiệu phức tạp thành tổng các thành phần của tín hiệu đơn giản thỏa mãn điều kiện trực giao

Câu 4: Chuỗi markov là gì ?

 Là quá trình ngẫu nhiên rời rạc theo thời gian trong đó các giá trị hiện tại phụ thuộc vào các giá trị trước đó thông qua các tác nhân tác động vào nó

Câu 5: Sử dụng chuỗi markov để làm gì?

 Mô hình hóa các trạng thái ngẫu nhiên của các biến rời rạc có điều kiện về dữ liệu quan sát

Câu 6: Tại sao đưa ra quá trình ngẫu nhiên dừng vòng?

- Để biểu thị tốc độ truyền các kí hiệu mang thông tin

trong 1 chu kỳ T và được xác định bởi trị trung bình và hàm tự tương quan X(t)

Câu 7: Quá trình ngẫu nhiên dừng là gì?

- Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa chặt nếu mật độ xác suất n- chiều của nó Wn (x1,x2,x Xn;

t1,t2, tn) với n tùy ý chỉ phụ thuộc vào độ lớn hiệu thời gian ti-tj (i khác j); i=1, ; j=1, ; mà không phụ thuộc vào

vị trí các thời điểm ti,tj trên trục thời gian Nói cách khác

là mật độ xác suất n chiều của nó phụ thuộc vào việc chon gốc thời gian

- Một quá trình ngẫu nhiên được gọi là dừng theo nghĩa rộng nếu nó thỏa mãn các điều kiện sau:

[ ( )] =

Câu 8: Không gian tín hiệu k gian vector có tương đương với nhau không?

 Có tương đương trong trường hợp truyền tín hiệu

1 Trong giới hạn(bất đẳng thức Markov và giới hạn

Chernov) cái nào hay hơn?

2 Muốn chuẩn hóa Gauss khi nó chưa chuẩn hóa thì phải làm như thế nào?

3 Khai triển cho các quá trình ngẫu nhiên để làm gì?

4 Vùng dưới ngưỡng là gì? Đưa ra vùng dưới ngưỡng để làm gì?

5 Không gian vectơ và không gian tín hiệu có quan hệ gì với nhau?

6 Tại sao đưa ra g/hạn trên xác xuất ngưỡng?

- Chương 3 : Phương pháp điều chế số

1.Tín hiệu điều chế nhiều chiều là gì? Và gồm những

chiều nào?

*)Ta thấy rằng tín hiệu điều chế số cả về biên độ và pha

tương ứng với vecto trong không gian tín hiệu 2 chiều Nếu

ta muốn xây dựng các tín hiệu tương ứng với các vecto trong không gian nhiều chiều hơn , ta có thể sử dụng hoặc miền thời gian hoặc miền tần số , hoặc cả hai để nâng số chiều của tín hiệu

*)gồm có:

- Orthogonal Signaling

- Biorthogonal Signaling

- Simplex Signaling

- Tín hiệu từ mã nhị phân

2.Độ phân cách tần số để làm gì ?

Để ko bị hiện tượng điều chế chéo giữa các tín hiệu trong N vật mang

3.Ưu điểm của điều chế nhiều chiều so với các loại điều chế khác ?

Có thể sủ dụng đồng thời cả miền thời gian và miền tần số để truyền vecto tín hiệu N chiều

5.Phổ tín hiệu điều chế không gian nhớ là ntn?

Tín hiệu điều chế có nhớ có phổ hẹp và hầu như không có thành phần 1 chiều

6.Phổ tín hiệu dùng làm gì ?

Do dãy thông tin số là ngẫu nhiên , tín hiệu điều chế số là 1 quá trình ngẫu nhiên Ta cần xđ phổ mật độ công suất của các quá trình ngẫu nhiên mô tả tín hiêu điều chế số Từ phổ mật độ công suất ta có thẻ xđ dải thông cần thiết của kênh

để truyền tín hiệu mang thông tin

7 Khoảng cách Ơ-clid là gi?

Khoảng cách Ơ-clid là khoảng cách giữa 2 điểm trong không gian, xác định bằng công thức pitago Khoảng cách Ơ-clid giữa 2 điểm tín hiệu là 1 cách để đo lường sự tương quan hay

ko tương quan giữa các tín hiệu hay các vecto tương ứng với các tín hiệu

8 Tín hiệu QAM có gì tốt hơn so với tín hiệu PSK và PAM ? -Tín hiệu QAM thay đổi được cả biên độ và pha của sóng mang còn PAM và PSK thì chỉ thay đổi được biên độ hoặc pha sóng mang thông tin. > Hiệu năng phổ của QAM cao hơn ( tức tạo thông lượng cao hơn cho dữ liệu )

9 Khoảng cách dmin giữa các điểm tín hiệu có giống nhau không?

Dmin là khoảng cách giữa 2 điểm tín hiệu liền nhau Khoảng cách dmin là như nhau, vì trong công thức xác định có:

dmin = = 2 ( ∗ ) ,chỉ phụ thuộc vào

M và

10.CPM khác gì so với CPFSK?

Khác nhau về phổ trong trường hợp M=4 và L=3, phổ của CPM trong trường hợp này hẹp hơn do xung g(t) đều đặn hơn so với xung chữ nhật trong tín hiệu CPFSK

11 Tín hiệu có băng tần hạn chế, kênh có băng tần hạn chế

là gì?

- Tín hiệu và kênh thỏa mãn điều kiện dải thông nhỏ hơn nhiều so với tần số của vật mang

12 Mô hình kênh tín hiệu và kênh vecto khác nhau ntn?

13 Có các pp thu nào? MAP và ML khác nhau ntn?

- Các thông tin số được chuyển thành dạng tín hiệu phù hợp với kênh truyền tin

14 Nhận xét về pp điều chế số ( xét các hậu quả )

- các thông tin số được chuyển đổi thành dạng tín hiệu phù hợp với kênh truyền tin

15 tại sao khi truyền CPM thì goi là kênh cs hạn chế?

………PSK………băng tần bạn chế?

16.mã GRAY là gì? Tại sao dùng mã Gray?

- Là quá trình biến đổi hay gán K bit thông tin thành M tín hiệu khác nhau về biên độ , mà các tín hiệu kề nhau khác

nhau một ký hiệu nhị phân Pp này được sử dụng do phần lớn sai nhầm gây ra bởi nhiễu sẽ biến 1 tín hiệu thành 1 tín hiệu liền kề( 2 tín hiệu có biên độ liên tiếp nhau) trong trường hợp này chỉ có 1 bit bị sai nhầm trong dãy k bit

17 Tín hiệu PAM gọi là băng tần sơ sở khi nó có thể truyền trực tiếp qua kênh mà không cần vật mang

18 nhiễu sóng: khi sóng đến radio yếu, mọi sự thay đổi biến động xung quanh nó đều có thể làm thay đổi cường độ sóng thu được đáng kể

Chương 6 : mã hóa nguồn

Câu 1: mã hóa nguồn là gì ?

Mã hóa nguồn là quá trình dùng các ký hiệu mã hóa để biểu diễn các tin của nguồn

Câu 2: mã hóa shanon khác mã hóa huffman ntn?

Shanon fanno: đã xây dựng phương pháp lập mã thống kê tối

ưu trên cùng một cơ sở độ dài của từ mã tỷ lệ nghịch với xác suất xuất hiện của từ mã

Huffman : mã hóa từng ký hiệu của nguồn

Câu 3:ý nghĩa cuả lượng tin ?

Là mức độ bị thủ tiêu của đọ bất định =>độ chênh lệch của

độ bất định trước và ngay sau khi nhận tin

Lượng tin của nguồn là cơ sở để tính ra số liệu của entropy

Câu 4 entropy là gì?

Entropy là lượng thông tin trumg bình trên một ký hiệu

nguồn

Câu 5: ý nghĩa của hàm tạo tốc độ tạo tin sai lệch:

Là giới hạn dưới của tốc độ tạo tin của nguồn với mức sai lệch đã cho

Câu 6: các thuật toán nén có tổn hao là:

Huffman và shannon fano

Câu 7: nguồn rời rạc là gì?

Nguồn rời rác là nguồn tạo ra các tin dưới dạng rời rạc

Nguồn thông tin rời rạc là nguồn tạo ra các chuỗi biến ngẫu nhiên rời rạc x1,x2,x3…

Ký hiệu là phần tử nhỏ nhất chứa thông tin

Câu 8: nguồn rời rạc không nhớ, nguồn rời rạc có nhớ là gì?

Nguồn rời rạc ko nhớ :Là nguồn mà xác suất xuất hiện một ký hiệu không phụ thuộc vào các ký hiệu xuất hiện trước

Nguồn rời rạc có nhớ : là nguồn mà xác suất xuất hiện 1 ký hiệu phụ thuộc vào 1 hay nhiều các ký hiệu đã xuất hiện

trước nếu khả năng nhớ của nguồn là đủ lớn

Câu 9: sự khác nhau giữa mã hóa nguồn rời rạc ko nhớ và nguồn rời rạc có nhớ

Mã hóa nguồn rời rạc ko nhớ

- Không cần mã hóa lần

lượt theo thứ tự các ký

hiệu ko cần thiết mà

lượng tin truyền đi vẫn

đạt yêu cầu

Mã hóa nguồn rời rạc có nhớ

- Phải mã hóa liên tục các

ký hiệu theo thứ tự, ko được bỏ sót ký tự nào

Câu 10: ý nghĩa của lượng thông tin kênh

Chính là giới hạn trên để truyền đảm bảo an toàn trên kênh

đó

Câu 11: lượng tin riêng, lượng tin tương hỗ , lượng tin có điều kiện:

Lượng tin ban đầu là lượng tin còn lại của xi sau khi nhận được yi bằng cách xác định hậu nghiệm I(xi |yi) = -log p(xi |yi) Lượng tin tương hỗ: I(xi ,yi) = I(xi) - I(xi |yi) =log (p(xi |yi) /

p(xi))

Lượng tin về xi chứa trong yi có nghĩa là tương hỗ giữa xi và yi

với nhưng dữ kiện đã cho của bài toán truyền tin là xác suất ban đầu p(xi) và xác suất chuyển đổi p(xi |yi),

I(xi ,yi) là lượng tin còn lại của xi sau khi đã nhận của yi gọi là lượng tin có điều kiện

Câu 12 ý nghĩa của lượng tin riêng

Là lượng tin tương hỗ cực đại giữa xi và yi

Câu 13: lượng tin trung bình

Là lượng tin trung bình chứa trong 1 ký hiệu bất kỳ của

nguồn đã cho :

Câu 14 một số nguồn

Nguồn dừng: là nguồn mà xác suất xuất hiện các ký hiệu ko phụ thuộc vào gốc thời gian mà chỉ phụ thuộc vào vị trí tương quan giữa các ký hiệu

Nguồn có tốc độ thông tin đk đc : là nguồn có thể tạo ra các tin với tốc độ phụ thuộc vào các yếu tố bên ngoài nguồn và

ko có ràng buộc nội tại về thời gian trang việc tạo ra tin,

Nguồn có tốc độ thông tin ko điều khiển đc: là nguồn tạo ra các bản tin có tốc độ có định ,ko đk đc từ bên ngoài nguồn ,tốc độ này là 1 tính chất nội tại của nguồn

Câu 15 kênh đầu vào liên tục đầu ra có nhớ : là kênh lượng

tử hóa, kênh rời rạc hóa

Ý nghĩa cuả việc sử dụng kênh đầu vào rời rạc đầu ra liên tục:

là dùng để mã hóa nguồn rời rạc cho đầu ra là liên tục

Kênh là sự liên hệ giữa nguồn tin và nơi nhận tin

Câu 16: mô hình kênh nhị phân đối xứng

0 0 [ 1 − 1 − ]

1 1 ma trận chuyển đổi của kênh nhị phân có nhiễu đx

Kênh nhị phân đối xứng là kênh có đầu vào là các giá trị 0,1, tập hợp đầu ra là các giá trị 0 và 1

Câu 17 : tại sao lại dùng hàm logarit trong công thức tính thông lượng kênh

Vì xuất phát ban đầu tính toán các kênh nối tiếp vs nhau nếu ko dùng hàm logarit sẽ phải gặp nhiều phép toán nhân chia Phù hợp vs tính các lượng thông tin dung log để thông nhất đơn vị vs các lượng tin khác nữa

Câu 18 : ý nghĩa của hàm sai lệch tốc độ tạo tin

Là tính toán sự tổn hao, mất mát khi nén dữ liệu và truyền tin đưa ra các giả thiết để tính toán entropy

Câu 19 hàm an toàn kênh

Đặc trưng cho xác suất sai khi truyền trên kênh AWGN có dải thông hữu hạn ( có xác suất chặn trên và chặn dưới)

Câu 20 nén ko mất dữ liệu : dữ liệu đc khôi phục chính xác

Nén mất dữ liệu : phân bố đủ số bit cần thiết để khôi phục dữ liệu , trong mật độ chính xác định trước

Câu 21 nén tổn hao dữ liệu và nén ko tổn hao dữ liệu khác nhau :

Nén tổn hao dữ liệu thì sau khi ta giải nén ra dữ liệu sẽ bị mất mát 1 lượng tin nào đó so vs dữ liệu ban đầu

Nén ko tồn hao dữ liệu là sau khi giải nén thì lượng tin đó ko sai khác j so vs lượng tin ban đầu

Câu 22 nén dữ liệu

Là việc thực hiện thu gọn kích thước của các tập tin hoặc làm cho thông tin lưu trữ chiếm trong ko gian ít đi

Câu 23 kênh ko nhớ

Là kênh có những tin nhận đc sau ko phụ thuộc vào những tin nhận đc trước

Câu 24 mã hiệu

Là 1 tập hợp hữu hạn các dấu riêng biệt hay bằng chữ riêng (còn gọi là dấu mã hay ký hiệu mã )có phân bố xác suất thỏa mãn 1 số quy định

Câu 25 : mã ngẫu nhiên dùng để làm gì

Dùng để đưa ra các giới hạn về xác suất sai khi truyền tin trên kênh

Chương 7: mã khối tuyến tính

Câu 1: đặc điểm chung của mã khối tuyến tính

Mã khối tuyến tính đc xây dựng trên kết quả của đại số tuyến tính, là 1 lớp mã dùng phổ biến trong việc chống nhiễu đc

đặc trưng bởi 2 số nguyên n và k và 1 ma trận sinh

 Định nghĩa: 1 mã khối có chiều dài n gồm 2k từ mã đc gọi

là mã khối tuyến tính C(n,k) nếu và chỉ nếu 2k từ mã hình thành 1 không gian vecto k chiều của không gian vecto n chiều

* mục đích: mã hóa những khối tin k bit thành những từ

mã n bit

 Việc mã hóa và giải mã hóa thực hiện phép cộng và

phép nhân số học

Câu 2: khoảng cách hamming là gì ?

Giả sử có 2 từ mã Ci và Cj trong mã khối (n,k), sự khác nhau giữa các ký hiệu tương ứng hay vị trí tương ứng gọi là khoảng cách hamming giữa 2 từ mã.ký hiệu là dij Giá trị nhỏ nhất trong tập hợp (dij) gọi là khoảng cách tối thiểu giữa 2 từ mã (hay là khoảng cách hamming của bộ mã )

 Khoảng cách hamming của mã khối tuyến tính bằng

trọng số khác 0 của bộ mã đó

Câu 3: người ta đưa ra khái niệm không gian vecto để làm gì?

Để biểu diễn các tín hiệu, các từ mã trong mã khối tuyến tính

Câu 4: Xác suất lỗi của mã khối tuyến tính là gì?

Là xác suất gặp phải khi tổ hợp tín hiệu nhận đc có phải là từ

mã hay ko,nếu ko là tổ hợp nhận sai Các xác suất lỗi của mã khối tuyến tính được định nghĩa là tỷ lệ số lượng dự kiến của các bit nhận được trong lỗi cho tổng số bit truyền

Có 2 loại xác suất lỗi

 Xác suất lỗi khối là xác suất truyền một từ mã và phát hiện một từ mã khác

 Xác suất lỗi bit là khả năng nhận một chút thông tin

được truyền trong lỗi

Câu 5: ma trận sinh và ma trận kiểm tra paraty

MKTT C(n,k) là 1 ko gian vecto k chiều của ko gain vecto n chiều nên tồn tại k từ mã độc lập tuyến tính sao cho mỗi từ

mã trong C là 1 tổ hợp tuyến tính của k từ mã này (ai ∈ {0,1} với mọi i= 0,1….k-1)

w = a0g0 + a1g1+…+ ak-1gk-1

k từ mã này lập thành 1 ma trận cấp kxn vì các từ mã tương ứng với các thông báo đc sinh ra bởi G theo cách trên nên G

là ma trận sinh của bộ mã

Ma trận sinh G có thể chuyển về dạng hệ thống như sau: G= [ ].[ ] là ma trận đvị kxk, p là ma trận kx(n-k)

Ma trận kiểm tra paraty của 1 bộ mã có ma trận sinh là Gkxn là

ma trận H có kích thước (n-k)xn sao cho Gx HT =0

giả thiết mã (n,k) là mã hệ thống và ma trận sinh G ở dạng hệ thống nên :

H = − | dấu – có thể bỏ qua nếu là mã nhị phân vì trong GF(2) phép trừ hoàn toàn giống phép cộng

câu 6: giải mã xác định mềm và giải mã xác định cứng

giải mã xác định mềm ko giải mã từng bit một mà giải mã cả

từ mã từ tín hiệu

giải mã xác định cứng là giải mã từng bit một, xác đinh từng bit là 1 hay 0

trong cùng 1 điều kiện thì giải mã xác định mềm tốt hơn cứng

vì với cùng 1 xác suất lỗi thì sự chênh lệch tỷ số tín hiệu trên nhiễu là khoảng 2dB, nhưng giải mã xác định mềm độ dài từ

mã lớn , độ giải mã phức tạp

câu 7 : ý nghĩa về việc chỉnh sửa của các loại mã khối

để phù hợp với nhu cầu truyền đi những thông tin khác nhau

câu 8: mã vòng

 Định nghĩa:

Một mã tuyến tính C(n,k) được gọi là mã cyclic (mã theo chu

kỳ hay nói cách khác là mã vòng) nếu và chỉ nếu dịch chuyển của một từ mã cũng là một từ mã,nghĩa là nếu

w = a0a1…an-2an-1 là một mã thì v = an-1a1a2…an-2 cũng là một

từ mã

 Đa thức mã:

nếu w = a0a1…an-2an-1 là một từ mã thì

w (x)= a0 + a1x + a2x2 +…+an-1xn-1 là một đa thức mã tương ứng với từ mã w

 T/c1:Với một mã cyclic chỉ tồn tại duy nhất một đa thức

mã khác 0 có bậc nhỏ nhất,hay nói cách khác không tồn tại hai đa thức mã khác 0,khác nhau và có cùng bậc nhỏ

nhất.chúng ta ký hiệu đa thức mã có bậc nhỏ nhất của một mã là g(X) như sau:

g(X)=g0 +g1x +…+gr-1.xr-1 +xr

 T/c2:hệ số tự do g0 của g(X) phải bằng 1

 T/c3:Một đa thức v(X) trên trường F2 có bậc ≤ n-1 là đa thức mã nếu và chỉ nếu nó là một bội số của g(X).tức là

có thể viết v(X)=q(X).g(X)

 T/c4: Đa thức sinh của một mã vòng c(n,k) có bậc r =

n-k

 T/c5:Đa thức sinh của mã vòng c(n,k) là một ước số của

xn +1

• T/c6:Nếu g(X) là một đa thức có bậc (n-k) và là ước số của Xn +1 thì g(X) sinh ra mã vòng c(n,k).hay nói cách khác g(X) là đa thức sinh của một mã vòng c(n,k) nào đó

tất cả đa thức mã tương ứng với các từ mã của mã vòng này

là các đa thức có dạng v(X) = a0g(X) + a1x*g(X) + …+ak-1x

k-1*g(X)

Như vậy mỗi từ mã là tổ họp tuyến tính của các từ mã có các đa thức mã tương ứng g(X),x*g(X),…,xk-1 *g(X)

Nhắc lại g(X)=g0 +g1x +…+gn-k.Xn-k

Trong đó g0 =gn-1 =1