Giáo trình Lý thuyết tín hiệu và truyền tin ppsx

Lý thuyết thông tin đã được áp dụng trong hầu hết các lĩnh vực công nghệ như truyền thông, nén, bảo mật, đặc biệt đã được áp dụng vào trong lĩnh vực giáo dục ở nhiều khía cạnh như đào tạ

Giáo trình

Lý thuyết tín hiệu và truyền tin

Lời nói đầu

Ngay nay, các lĩnh vực khoa học máy tính và truyền thông đã thâm nhập lẫn nhau và gắn kết dẫn đến làm thay đổi rất nhiều lĩnh vực công nghệ và sản xuất Chính điều này đã làm cho rất nhiều lĩnh vực khoa học công nghệ có những điều kiện cơ sở để phát triển mạnh mẽ Trong hoàn cảnh đó, việc nghiên cứu tìm hiểu về lý thuyết tín hiệu và truyền tin ngày càng trở nên quan trọng và cần được đặt trong một tình hình mới

Với yêu cầu cần có một giáo trình cho sinh viên ngành Điện tử - Viễn thông, giáo trình Lý thuyết tín hiệu và truyền tin đã được biên soạn Trong quá trình biên soạn không tránh khỏi thiếu sót mong đọc giả góp ý để giáo trình ngày càng hoàn thiện hơn

Chương 1

Các khái niệm cơ bản của lý thuyết tín hiệu và truyền tin

1.1 Vị trí, vai trò và lịch sử phát triển

1.1.1 Vị trí, vai trò của lý thuyết thông tin

Trong cuộc sống con người luôn có nhu cầu trao đổi, giao tiếp với nhau, cái mà mỗi người trao đổi với nhau gọi là thông tin Nhờ sự phát triển của khoa học công nghệ, con người cũng có thể nhận thông tin từ đài, báo, mạng internet, truyền hình v.v Hay đơn giản như các bạn sinh viên nhận thông tin từ giảng viên và phức tạp hơn nữa là

sự liên lạc, thông tin giữa các mạng máy tính với nhau Điều đó có nghĩa là thông tin là cái gì đó được truyền từ đối tượng này tới đối

tượng khác để chuyển, thông báo một điều gì đó Thông tin sẽ chỉ có ý nghĩa khi điều gì đó mà bên nhận chưa biết.

Như những ví dụ trên trình bày, thông tin có thể được chứa trong nhiều dạng như hình ảnh, âm thanh, văn bản Những dạng này là vỏ bọc vật chất của thông tin Vở bọc có thể hiểu là phần xác, thông tin là phần hồn

Một trong những phương tiện để diễn đạt thông tin là ngôn ngữ, thông tin chỉ có thể được truyền đạt, hiểu nếu cả hai bên truyền và nhận hiểu được ngữ nghĩa của nhau

Thông tin có thể được truyền hoặc lưu trữ Môi trường thực hiện việc đó được gọi là môi trường chứa tin hay kênh tin

Các đối tượng sống luôn có nhu cầu tìm hiểu về thế giới xung quang để thích nghi tồn tại và phát triển Thông tin trở thành một nhu cầu cơ bản, một điều kiện cần cho sự tồn tại và phát triển Ngày nay, khi khoa học phát triển mạnh mẽ thì thông tin ngày càng trở nên quan trọng đối với mỗi con người Mỗi hành động của con người đều xuất phát từ những suy nghĩ của người đó Mỗi suy nghĩ đó lại chịu sự ảnh hưởng của những thông tin mà người đó có được, do vậy hành động của con người chịu sự ảnh hưởng của thông tin

Đứng về khía cạnh khoa học lý thuyết tín hiệu và truyền tin nghiên cứu nhằm tạo ra một điều kiện tốt cho việc xử lý phân tích tín hiệu và truyền tin nhanh chóng, an toàn và lưu trữ hiệu quả Một cách tổng quát lý thuyết tín hiệu và truyền tin nghiên cứu các vấn đề về xử

Lý thuyết thông tin đã có nhiều ứng dụng trong cuộc sống và khoa học kỹ thuật Sự bùng nổ về thông tin đang làm thay đổi diện mạo cuộc sống của con người, tạo ra sự phát triển mạnh mẽ của các phương thức truyền thông, truyền tin và lưu trữ thông tin Cũng chính nhờ thông tin mà con người được cung cấp những cơ sở lý thuyết và cái nhìn triết học sâu sắc hơn về các vấn đề con người gặp phải hôm nay và trong tương lai Lý thuyết thông tin đã được áp dụng trong hầu hết các lĩnh vực công nghệ như truyền thông, nén, bảo mật, đặc biệt đã được áp dụng vào trong lĩnh vực giáo dục ở nhiều khía cạnh như đào tạo, nghiên cứu và phát triển công nghệ.

Vậy lý thuyết tín hiệu và thông tin đã có lịch sử hình thành phát triển như thế nào?

1.1.2 Lịch sử hình thành và phát triển

Người đặt viên gạch đầu tiên để xây dựng lý thuyết thông tin là Hartley R.V.L Năm 1928, ông đã đưa ra số đo lượng thông tin là một khái niệm trung tâm của lý thuyết thông tin Dựa vào khái niệm này,

ta có thể so sánh định lượng các hệ truyền tin với nhau Năm 1933, V.A Kachenhicov chứng minh một loạt những luận điểm quan trọng của lý thuyết thông tin trong bài báo “Về khả năng thông qua của không trung và dây dẫn trong hệ thống liên lạc điện”

Năm 1935, D.V Ageev đưa ra công trình “Lý thuyết tách tuyến tính”, trong đó ông phát biểu những nguyên tắc cơ bản về lý thuyết tách các tín hiệu

Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuyết thế chống nhiễu’ đánh dấu một bước phát triển rất quan trọng của lý thuyết thông tin

Trong hai năm 1948 – 1949, Shanon C.E công bố một loạt các công trình vĩ đại, đưa sự phát triển của lý thuyết thông tin lên một bước tiến mới chưa từng có Trong các công trình này, nhờ việc đưa vào khái niệm lượng thông tin và tính đến cấu trúc thống kê của tin,

ông đã chứng minh một loạt định lý về khả năng thông qua của kênh truyền tin khi có nhiễu và các định lý mã hoá Những công trình này là nền tảng vững chắc của lý thuyết thông tin Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau:

Lý thuyết thông tin toán học: Xây dựng những luận điểm thuần

tuý toán học và những cơ sở toán học chặt chẽ của lý thuyết thông tin Cống hiến chủ yếu trong lĩnh vực này thuộc về các nhà bác học lỗi lạc như: N.Wiener, A Feinstain, C.E Shanon, A.N Kanmôgorov, A.JA Khintrin

Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên

nghiên cứu các bài toán thực tế quan trọng do kỹ thuật liên lạc đặt ra

có liên quan đến vấn đề chống nhiễu và nâng cao độ tin cậy của việc truyền tin Các bác học C.E Shanon, S.O RiCe, D Midleton, W Peterson, A.A Khakevich, V Kachenhicov đã có những công trình quý báu trong lĩnh vực này

1.2 Tin tức và các khái niệm cơ bản

1.2.1 Các định nghĩa

1.2.1.1 Thông tin

Thông tin là một khái niệm trừu tượng, phi vật chất và rất khó định nghĩa Có nhiều cách định nghĩa về thông tin Dưới đây là một số định nghĩa:

Thông tin là sự cảm hiểu của con người về thế giới xung quanh thông qua việc tiếp xúc với nó

Thông tin là một hệ thống những tin báo và mệnh lệnh giúp loại trừ sự không chắc chắn của nơi nhận tin Nói một cách ngắn gọn, thông tin là cái mà loại trừ sự không chắc chắn

Định nghĩa đầu tiên chưa nêu rõ bản chất của thông tin, định nghĩa thứ hai nói rõ hơn về bản chất của thông tin và được dùng để định lượng thông tin trong kỹ thuật.

Ngoài ra có người còn định nghĩa thông tin là những tính chất xác định của vật chất mà con người (hoặc hệ thống kỹ thuật) nhận được từ thế giới vật chất bên ngoài hoặc từ những quá trình xảy ra trong bản thân nó

Với định nghĩa này, mọi ngành khoa học là khám phá ra các cấu trúc thông qua việc thu thập, chế biến, xử lý thông tin Ở đây “thông tin” là một danh từ chứ không phải là động từ để chỉ một hành vi tác động giữa hai đối tượng (người, máy) liên lạc với nhau Theo quan điểm triết học, thông tin là một quảng tính của thế giới vật chất (tương

tự như năng lượng, khối lượng) Thông tin không được tạo ra mà chỉ được sử dụng bởi hệ thụ cảm

Thông tin tồn tại một cách khách quan, không phụ thuộc vào hệ thụ cảm Trong nghĩa khái quát nhất, thông tin là sự đa dạng Sự đa dạng ở đây có thể hiểu theo nhiều nghĩa khác nhau: Tính ngẫu nhiên, trình độ tổ chức,…

1.2.1.2 Tin

Tin là dạng vật chất cụ thể để biểu diễn hoặc thể hiện thông tin

Có hai dạng là tin rời rạc và tin liên tục

Ví dụ các bức ảnh, bản nhạc, bài nói, bảng số liệu, v.v là các tin

1.2.1.3 Tín hiệu

Thông tin là một hiện tượng vật lý, nó thường tồn tại và được truyền đi dưới dạng vật chất nào đó

Những dạng vật chất để mang thông tin được gọi là tín hiệu

Trong kỹ thuật có thể hiểu, tín hiệu là các đại lượng vật lý biến thiên, phản ánh tin cần truyền.

Cần chú ý rằng không phải bản thân quá trình vật lý là tín hiệu

mà sự biến đổi các tham số riêng của quá trình vật lý mới là tín hiệu Các đặc trưng vật lý có thể là dòng điện, điện áp, ánh sáng, âm thanh, v.v

1.2.2 Sơ đồ khối hệ thống thông tin

Ngay nay, với sự phát triển mạnh mẽ của công nghệ điện tử viễn thông, có rất nhiều các hệ thống thông tin khác nhau đã được hình thành và phát triển Khi đó việc phân loại các hệ thống thông tin có thể được dựa trên nhiều cơ sở khác nhau Ví dụ như dựa trên cơ sở về năng lượng mang tin có thể chia các hệ thống truyền tin thành các loại như:

- Hệ thống thông tin vô tuyến dùng sóng điện từ

- Hệ thống thông tin quang hữu tuyến dùng ánh sáng

- Hệ thống thông tin dùng sóng âm, siêu âm (năng lượng cơ học)

Hay dựa vào các biểu hiện bên ngoài mà ta chia thành các hệ thống như:

- Hệ thống truyền tin rời rạc

- Hệ thống truyền tin liên tục

Tuy nhiên, một cách tổng quát hệ thống thông tin có thể được biểu diễn bởi sơ đồ khối sau:

Nhiễu

Hình 1.1 Sơ đồ khối hệ thống thông tin

1.2.2.1 Nguồn tin

Nguồn tin là nơi sản sinh ra hay chứa các tin cần truyền đi Khi một đường truyền tin được thiết lập để truyền tin từ nguồn tin đến nơi nhận tin, một dãy các phần tử cơ sở (các tin) của nguồn sẽ được truyền

đi với một phân bố xác suất nào đó Dãy này được gọi là một bản tin

Nguồn tin có hai tính chất: Tính thống kê và tính hàm ý

Với nguồn rời rạc, tính thống kê biểu hiện ở chỗ xác suất xuất hiện các tin là khác nhau

Tính hàm ý biểu hiện ở chỗ xác suất xuất hiện của một tin nào

đó sau một dãy tin khác nhau nào đó là khác nhau

Trong lý thuyết tín hiệu và truyền tin, kênh tin là một khái niệm trừu tượng đại biểu cho hỗn hợp tín hiệu và tạp nhiễu.

Để truyền tin, ta thường sử dụng một môi trường nào đó để truyền Môi trường truyền tin thường rất đa dạng Môi trường không khí, ta có thể truyền tin dưới dạng âm thanh, tiếng nói hay bằng lửa (ánh sáng) Môi trường tầng điện ly thường là nơi xảy ra sự truyền tin giữa các vệ tinh nhân tạo và các trạm rada ở mặt đất Hay có thể truyền tin bằng ánh sáng qua các môi trường truyền là sợi dẫn quang trong đó tín hiệu mang tin được truyền dưới dạng ánh sáng, v.v

Cho dù truyền tin dưới bất kỳ môi trường nào cũng đều bị ảnh hưởng bởi nhiễu Nhiễu rất phong phú và đa dạng, phụ thuộc vào bản chất của môi trường truyền tin Ví dụ khi truyền tin bằng âm thanh thì những tiếng ồn xung quanh chính là nhiễu hay khi truyền bằng sóng điện từ qua những nơi có điện từ trường mạnh thì cũng sẽ bị ảnh hưởng Nhiễu có nhiều loại như nhiễu cộng tính hay nhiễu nhân

1.2.2.3 Nhận tin

Nơi nhận tin là nơi tiếp nhận thông tin từ kênh truyền và khôi phục lại thông tin ban đầu như nguồn tin đã phát đi Tin đến được nơi nhận tin thường không thu được như tin ban đầu truyền đi vì đã chịu

sự tác động của nhiễu Vì thế, nơi nhận phải thực hiện việc phát hiện sai và sửa sai Hơn thế nữa, nếu nguồn tin được thực hiện mã hoá nén hay bảo mật thì nơi nhận tin cũng phải thực hiện việc giải nén hay giải

mã bảo mật để nhận lại tin

Nơi nhận tin thường có ba chức năng cơ bản:

- Lưu giữ tin, ví dụ như bộ nhớ máy tính, băng ghi âm, ghi hình,

- Biểu thị tin làm cho các giác quan của con người hay các bộ cảm biến cảm thụ được để xử lý tin, ví dụ như băng ghi âm, hình ảnh,

- Xử lý tin đưa tin về dạng dễ sử dụng Chức năng này có thể thực hiện bởi con người hay bằng các thiết bị máy móc.

1.2.3 Hệ thống thông tin số

Các hệ thống thông tin tương tự được tiếp tục phát triển từ thế

kỷ trước và đạt được nhiều thành tựu Tuy nhiên, hệ thống thông tin tương tự có những nhược điểm cố hữu không thể khắc phục Các hệ thống này thường rất cồng kềnh, không hiệu quả và chi phí rất cao Ví

dụ vấn đề về nhiễu trong hệ thống thông tin tương tự luôn làm đau đầu các nhà khoa học

Các hệ thống rời rạc (số) có nhiều ưu điểm và khắc phục được những nhược điểm của hệ thống liên tục Ngày nay, các hệ thống rời rạc ngày càng được phát triển mạnh mẽ và thu được những thành tựu vượt cả ngoài sự mong đợi

Để thực hiện được các hệ thống rời rạc trước hết phải rời rạc hoá tín hiệu mang tin Có hai loại rời rạc hoá: Rời rạc hoá theo trục thời gian hay còn gọi là lấy mẫu và rời rạc hoá theo biên độ hay còn gọi là lượng tử hoá

Lấy mẫu tín hiệu là từ một hàm ban đầu ta lấy ra những mẫu ở những thời điểm nhất định Điều quan trọng là làm thế nào để có thể thay thế tương đương các mẫu lấy được với tín hiệu gốc Điều này được giải quyết bởi định lý lấy mẫu của Shannon Shannon chính là cha đẻ của lý thuyết tín hiệu và truyền tin

Định lý lấy mẫu Shannon được phát biểu như sau:

Một hàm S(t) có phổ hữu hạn, không có thành phần tần số lớn hơn ωmax (= 2πf max ) có thể thay thế bằng các mẫu của nó được lấy tại các thời điểm cách nhau một khoảng ∆t≤ π/ωmax hay nói cách khác tần

số lấy mẫu F ≥ 2f max.

Hình 1.2 minh hoạ điều này

Biên độ của tín hiệu thường là một khoảng liên tục (Smin , Smax) Lượng tử hoá là phân chia khoảng này thành một số mức nhất định, chẳng hạn là: S0 = Smin, S1 = , , Sn = Smax và qui các giá trị biên độ không trùng với các giá trị này về các giá trị gần với nó nhất Có nghĩa

là sẽ có sai số khi thực hiện lượng tử hoá Như vậy việc lượng tử hoá

sẽ biến hàm S(t) thành một hàm S'(t) có dạng bậc thang Sự sai khác giữa S(t) và S'(t) được gọi là sai số lượng tử hoá Sai số lượng tử càng nhỏ thì S'(t) càng gần với S(t)

Hình 1.3 minh hoạ quá trình lượng tử hoá

Khi đã thực hiện việc rời rạc hoá tín hiệu ta sẽ có các nguồn tin rời rạc Trong nhiều trường hợp chúng ta thường chỉ nghiên cứu các nguồn rời rạc Một bảng chữ cái A gồm m kí hiệu là một nguồn tin rời rạc, A = {a1, a2, , am} với những xác suất hiện p(ai) với i = 1, , m

Nguồn tin này không diễn tả mối quan hệ giữa các tin trước và tin sau nên được gọi là nguồn tin không nhớ rời rạc.

Có nhiều phương pháp biến đổi trong hệ thống thông tin số như dưới đây minh hoạ

ThS Đoàn Hữu Chức 16 Bộ môn Kỹ thuật Điện tử

Hình 1.4 Các phương pháp biến đổi thông tin

số trong các khối chức năng của hệ thống.

1.3 Độ đo thông tin

Độ đo của một đại lượng là cách ta xác định độ lớn của đại lượng đó Mỗi độ đo phải thoả mãn 3 tính chất sau:

- Độ đo phải cho phép ta xác định được độ lớn của đại lượng Đại lượng càng lớn, giá trị đo được càng phải lớn

- Độ đo phải không âm

- Độ đo phải tuyến tính, tức là giá trị đo được của đại lượng tổng cộng phải bằng tổng giá trị của các đại lượng riêng phần khi sử dụng

độ đo này để đo chúng

Để xác định độ đo thông tin, chúng ta nhận thấy rằng thông tin càng có nhiều ý nghĩa khi nó càng hiếm gặp, do đó độ lớn của nó phải

tỷ lệ nghịch với xác suất xuất hiện của tin, hay nó là hàm f(1/p(xi)) cho tin xi có xác suất xuất hiện p(xi) Một tin không cho chúng ta lượng tin nào khi chúng ta đã biết trước về nó hay có xác suất bằng 1

Để xác định dạng hàm này, người ta sử dụng tính chất thứ ba Giả thiết rằng có hai tin xi và xj là độc lập thống kê để mỗi tin không chứa thông tin về tin còn lại Nếu hai tin có xác suất hiện là p(xi) và p(xj), lượng tin của mỗi tin là f(1/p(xi)) và f(1/p(xj)) Giả thiết hai tin này cùng đồng thời xuất hiện, ta có tin (xi, xj), lượng tin chung cho tin này phải bằng tổng lượng tin của từng tin riêng biệt Khi hai tin xuất hiện đồng thời, xác suất xuất hiện đồng thời của chúng là p(xi, xj), và

Như vậy, trong trường hợp này hàm f phải có dạng hàm loga Vậy hàm log(1/p(xi)) là dạng hàm có thể chọn làm độ đo thông tin Ta cần kiểm tra tính không âm của hàm này Vì ta có 0≤p(xi)≤1 nên 1/p(xi)≥1 hay log(1/p(xi)) là không âm.

Thêm vào đó khi một tin luôn luôn xuất hiện thì lượng tin nhận được bằng không, ta sẽ kiểm tra điều kiện này Khi đó p(xi) = 1, do vậy log(1/p(xi)) = 0

Vậy hàm log(1/p(xi)) được sử dụng làm độ đo thông tin hay lượng đo thông tin của một tin của nguồn tin Lượng đo thông tin của tin xi của nguồn tin nào đó thường được kí hiệu là I(xi) :

Trong biểu thức trên cơ số của hàm loga chưa được chỉ ra Tuỳ vào cơ số của hàm loga này ta sẽ có các đơn vị đo độ lớn thông tin xác định Hiện nay, thường dùng các đơn vị đo sau:

Bit hay đơn vị nhị phân khi cơ số loga là 2;

Nat hay đơn vị tự nhiên khi cơ số loga là e;

Hartley hay đơn vị thập phân khi cơ số loga là 10

Ví dụ 1 Nguồn A có m kí hiệu đẳng xác suất, một tin do nguồn

A hình thành là một dãy n kí hiệu ai bất kỳ (ai ∈A) Chúng ta sẽ xác định lượng tin chứa trong một tin như vậy Trước hết hãy tìm lượng tin chứa trong một tin ai Do đẳng xác suất nên mỗi tin ai đều có xác suất là 1/m, do đó:

I(ai) = logmLượng tin chứa trong một dãy x gồm n kí hiệu bằng n lần lượng tin của một kí hiệu (vì chúng đẳng xác suất):

I(x) = nlogmĐơn vị lượng tin tuỳ thuộc cách ta chọn cơ số của log, là bit, nat, hay Hartley nếu có số lần lượt là 2, e hay 10 Rõ ràng khi m kí hiệu của nguồn có những xác suất khác nhau và không độc lập thống kê với

nhau thì lượng tin riêng từng kí hiệu phụ thuộc vào xác suất xuất hiện p(ai) của nó:

I(ai) = log 1/p(ai)

Và lượng tin chứa trong một dãy kí hiệu của nguồn không những phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào xác suất có điều kiện Khái niệm này sẽ được đề cập đến một cách chi tiết ở các chương sau

Ví dụ 2:

Hãy xác định lượng tin riêng chứa trong một ô nhớ của bộ nhớ bán dẫn

Giải:

Một ô nhớ như đã biết có thể chứa các tin là 0 hay 1 Nguồn tin

là nguồn tin nhị phân N=2

Ta đặt như sau: tin a1 tương ứng với 0 và a2 tương ứng với 1

Vì đẳng xác suất nên P(a1)=P(a2) Và ta có cũng có:

P(a1) + P(a2) = 1

Hay P(a1) = P(a2) =1/2

Vậy: I(a1) = I(a2) = log22 = 1 (bit)

Vậy một ô nhớ có lượng tin là 1 bit nếu tính theo cơ số 2

Ta có P(a4) =1/8 và I(a4) = log 8 = 3bit

Lượng tin chứa trong một dãy kí hiệu của nguồn không những phụ thuộc vào xác suất xuất hiện từng kí hiệu mà còn phụ thuộc vào

xác suất có điều kiện Khái niệm này sẽ được đề cập đến một cách chi tiết ở các chương sau.

1.3.3 Lượng tin trung bình thống kê - Entropy của nguồn tin

1.3.3.1 Lượng tin trung bình thống kê của nguồn tin

Lượng tin trung bình của một nguồn tin A là lượng tin trung bình chứa trong một kí hiệu bất kỳ của nguồn tin Ta thường kí hiệu là I(A) và được tính bởi:

i i A

a

i i

A

i

i i

i

a I a p a

p a

p a

p a

p A

I ( ) log ( ) ( ) ( )

) (

1 log ) ( )

Y không phải là một - một Ta sẽ đi tìm khả năng xi nào có khả năng lớn nhất chuyển thành yj trong quá tình truyền tin.

Từ đây ta có khái niệm lượng thông tin tương hỗ, lượng tin còn lại của xi sau khi đã nhận yj (lượng tin điều kiện)

Lượng tin còn lại của xi sau khi nhận được là yj xác định nhờ xác suất hậu nghiệm:

) / ( log )

/ (

1 log ) /

j i j

y x p y

) / ( log ) / ( ) ( ) , (

i

j i j

i i

j i

x p

y x p y

x I x I y x

i p y p x y x

i i

j i

y x p y p

y x p y

x I x I y x I

) / ( ) (

) / ( log

) / ( ) ( ) ,

Tính chất của lượng tin:

1 Lượng tin riêng bao giờ cũng lớn hơn lượng tin về nó chứa trong bất kỳ một ký hiệu nào có liên hệ thống kê với nó Nghĩa là:

Một cách tổng quát ta có:

) , ( ) ( ) ( )

1.3.3.2 Entropy của nguồn

Như trên đã trình bày, lượng tin trung bình là lượng tin trung bình chứa trong một kí hiệu bất kỳ của một nguồn tin đã cho Khi ta nhận được tin đồng thời nhận được một lượng tin trung bình nghĩa là

độ bất ngờ về tin đó cũng được giải thoát Vì vậy độ bất ngờ và lượng tin có ý nghĩa vật lý trái ngược nhau nhưng về số đo lại giống nhau

Ở đây ta chỉ xét nguồn rời rạc

Độ bất ngờ của tin xi trong nguồn X được xác định bởi:

) ( log )

(

1 log )

i

x p x

i i X

x

i i

X

i

i i

i

x H x p x

p x

p x

p x

p X

H ( ) log ( ) ( ) ( )

) (

1 log ) ( )

Từ các biểu thức trên ta thấy về số đo H(X)=I(X)

H(X) được gọi là Entropy của nguồn, là một thông số thống kê

cơ bản của nguồn tin

Tính chất của H(X) ( cũng là của I(X))

1 H(X)>=0 Nếu p(xi)=1 thì ta có H(X)=0

2 H(X) lớn nhất nếu xác suất xuất hiện của các kí hiệu của nguồn bằng nhau Lúc đó độ bất định của một tin bất kỳ trong nguồn là lớn nhất Tức là:

H(X)max≤logN Với nguồn có N tin

Ta có thể chứng minh điều này như sau:

Nếu có N tin các xác suất xuất hiện bằng nhau thì H(X) = logN.Xét:

0 1

1 )

1

1 (

1 log log

log log

)

(

1 1

N

i i i N

i

N

i i

N i

i i

N N

p

p N

p p N

p p

p N

1.4 Tốc độ lập tin và độ dư của nguồn

Thông số thông kê quan trọng nhất của nguồn tin là Entropy Thông số thứ hai chính là tốc độ lập tin Tốc độ lập tin phụ thuộc vào tính chất vật lý của nguồn tin

Tốc độ lập tin R được tính bởi biểu thức sau:

max

) (

) ( 1 )

(

) ( )

(

X H

X H X

H

X H X

H

1.5 Tín hiệu, biểu diễn và phân loại

Tín hiệu là sự biến đổi của một hay nhiều thông số của một quá trình vật lý nào đó theo qui luật của tin tức Như vậy để truyền tin ta

sử dụng các dạng vật chất nào đó để truyền Cần chú ý rằng chính sự biến đổi của tham số của quá trình vật lý mới là tín hiệu

Trong phạm vi hẹp của mạch điện, tín hiệu là hiệu thế hoặc dòng điện Tín hiệu có thể có trị không đổi, ví dụ hiệu thế của một pin, accu; có thể có trị số thay đổi theo thời gian, ví dụ dòng điện đặc trưng cho âm thanh, hình ảnh

1.5.1 Cách biểu diễn hàm tín hiệu

Dưới đây ta trình bày một số tín hiệu thường gặp

- Kiểu liệt kê: hay còn gọi là dạng bảng, các giá trị của tín hiệu được liệt kê trong một bảng giá trị

Trong đó A là biên độ và ϕ là góc pha

1.5.2 Phân loại tín hiệu

Nếu phân loại tín hiệu theo dạng

toán học thì ta có hai loại tín hiệu:

a

- Tín hiệu liên tục

- Tín hiệu gián đoạn

Chúng ta cũng có thể phân tín hiệu thành hai loại là tín hiệu tuần hoàn và không tuần hoàn

Theo dạng vật lý thì ta có loại tín hiệu ngẫu nhiên và tiền định.Trong thực tế kỹ thuật điện tử viễn thông ta còn chia các tín hiệu thành các loại tín hiệu: tín hiệu lượng tử, rời rạc, số và tương tự

Trong đó K, σ là các

hệ số Dạng tín hiệu phụ

thuộc vào các giá trị trên

được minh hoạ ở hình 1.8

b Hàm nhảy bậc

đơn vị

Hàm được biểu diễn

bởi biểu thức sau:

a

t khi

0

1

) a t ( u

Hình 1.8 Dạng tín hiệu e mũ

Hình 1.9 Hàm nhảy bậc đơn vị

Đây là hàm thay đổi giá trị từ 0 lên 1 ( hoặc giá trị bất kỳ) tại thời điểm t=a Hình 1.19 là minh họa một số trường hợp của hàm nhảy bậc đơn vị.

c Hàm Dirac (hay hàm xung đơn vị)

Khi vi phân hàm nhảy bậc đơn vị ta có hàm xung đơn vị hay hàm Dirac Thường kí hiệu là hàm này là hàm δ(t)

dt

du ) t ( =

Ta thấy rằng hàm này là một hàm toán học không chặt chẽ vì tại thời điểm t>0 thì vi phân này bằng 0

nhưng lại không xác định tại t=0 Một

cách tổng quát hàm này được định nghĩa

bởi các điều kiện sau:

δ

Dạng hàm δ(t) được minh họa ở hình 1.10

d Các hàm liên quan đến hàm sin

Dưới đây là minh họa một số dạng hàm liên quan tới hàm sin như hàm tắt dần, tích của hai hàm sin

Hình 1.10 Hàm xung đơn vị

Hình 1.11 a Hàm tắt dần b Tích hai hàm sin.

1.7 Các đặc trưng cơ bản của tín hiệu

1.7.1 Các thông số và

đặc trưng của tín hiệu

a Độ dài của tín

hiệu

Độ dài của tín hiệu là

khoảng thời gian tồn tại của

tín hiệu từ khi xuất hiện

e Công suất của tín hiệu

Công suất tức thời của tín hiệu s(t) được tính bởi:

2

) t ( s ) t (

dt ) t ( p P

f Năng lượng của tín hiệu

1.7.2 Các thành phần đặc trưng của tín hiệu

Một tín hiệu bất kỹ bao gồm hai thành phần chính là thành phần tín hiệu một chiều và thành phần xoay chiều Chỉ thành phần biến đổi mới chứa tin tức Giá trị trung bình của tín hiệu chính là thành phần một chiều

Ngoài ra một tín hiệu s(t) có thể tách ra làm hai tín hiệu chẵn và lẻ

Chương 2 Cơ sở lý thuyết phân tích tín hiệu

Chương này sẽ cung cấp cho chúng ta những công cụ cơ bản để phân tích tín hiệu Đó là các chuỗi Fourier và phép biến đổi Fourier

Mở đầu

Để có thể phân tích tín hiệu thành dạng tổng của các tín hiệu thành phần, các tín hiệu đơn vị thành phần phải trực giao với nhau từng đôi một Vì vậy khi dùng một công cụ toán học để phân tích tín hiệu thì tín hiệu đơn vị phải có dạng hàm e mũ ( hoặc tổng của cos và sin.)

Hai tín hiệu f(t) và g(t) được gọi là trực giao với nhau trên đoạn [a,b] nếu chúng thỏa mãn điều kiện:

Ví dụ 2.1:

Cho hai tín hiệu

t jm

t jn

e )

t

(

g

e )

0

g(t) f(t) m n khi

0 0

0

0 0 0

2

2

2

2 0

0

0

T ) m n (

T ) m n ( sin T dt e

e dt ) t ( g )

t

(

f

/ T

/ T

t jm t jn b

Điều này đạt được khi ta chú ý đến tính chất sinx/x→1 khi x→0

Đó là điều phải chứng minh

Dựa vào tính chất trực giao ta có thể phân tích tín hiệu phức tạp thành tổng các thành phần của tín hiệu đơn giản thỏa mãn điều kiện trực giao

Chuỗi Fourier

Một tín hiệu có hàm s(t) bất kỳ có thể được viết dưới dạng tổng của các thành phần cos, sin như sau:

] t f n sin b t f n cos a [ a

) t ( s

∑∞

=

+ +

2 1

=

=

=

0 0

0

0 0

0

0 0

0

0 0

0 0

0 0

2 2

2 2

1

T t

t n

T t

t n

T t

t

tdt f n sin ) t ( s T

b

tdt f n cos ) t ( s T

a

dt ) t ( s T

0 x

- khi

0

x 0 khi

π π π +

n cos

a n

Hình 2.1 Tín hiệu xung vuông.

) n cos ( n xdx n sin

π

ω π

n

π

ch n khi

3 2

) ( ntdt

cos t cos a

n n

Hình 2.2 Tín hiệu cost chỉnh lưu

nt cos n

) ( n

) ( )

2 1

2

1 1

2

1 2 2

−

− +

=

π π

Dùng công thức EULER, có thể đưa dạng s(t) ở trên về dạng gọn hơn ( dạng hàm mũ phức )

Theo công thức EULER → ej2πnfot = cos 2πnfot + j sin 2πnfot

Một cách tổng quát ta có thể viết lại biểu diễn s(t) dạng chuỗi Fourier như sau:

n e C )

t (

s 2π 0

(2-4)Trong đó n là số nguyên Cn được tính bởi biểu thức sau:

t

t nf j

n s ( t ) e dt T

) b a ( C

) b a ( C

a C

n n n

n n n

1

0 0

(2-6)

Biến đổi Fourier Phổ của tín hiệu.

Biến đổi Fourier

Biến đổi Fourier của tín hiệu s(t) bất kỳ được định nghĩa bởi biểu thức sau:

t ( s

Trong đó f là tần số của tín hiệu

Một cách tổng quát hàm S(f) là một hàm phức của tần số và có thể được viết lại như sau:

Trong đó X(f) là phần thực và Y(f) là phần ảo Hoặc S(f) cũng

có thể biểu diễn theo dạng modul và pha như sau:

) ( j

e ) f ( S ) f (

) ) f ( X

) f ( Y ( arctg )

f (

) f ( Y ) f ( X ) f ( S

=

+

= θ

2 2

t (

(2-11)Vậy biểu thức (2-7) và (2-11) cho ta cặp biến đổi Fourier

Biến đổi Fourier dùng để chuyển tín hiệu từ miền thời gian sang miền tần số và ngược lại Ta thường sử dụng điều này để thực hiện việc phân tích phổ tín hiệu Sau đây ta xét một số phổ của các tín hiệu đặc biệt

Phổ của một số tín hiệu đặc biệt

t -

0

α α

A ) t ( s

Từ định nghĩa của phép

biến đổi Fourier ta có:

) x ( c sin A

f

f sin A f

j

e e

A

dt e A dt e ) t ( s )

f

(

S

f j f j

ft j ft

j

α

α π

α π α π

α π α

π

π α α π

2

2

2 2

2

2 2

2 2

Ảnh của hàm cổng được cho ở hình 2.4

Hình 2.3 Hàm cổng

0

0

t khi

t

e ) t ( s

Theo định nghĩa ta có phổ của tín hiệu này được xác định bởi:

f j dt

e e ) f (

S t j ft

π

π

2 1

t ( [

d Hàm s(t)=A

Theo biểu thức biến đổi F của hàm Dirac thì ta có A↔Aδ(f) Khi A=1 thì F[1]=2πδ(ω)=δ(f)

Một tính chất nữa của hàm Dirac được nhắc tới trong phần này

để giúp ta tìm biến đổi F của tín hiệu s ( t )=Ae−j2πf0t

Nếu dịch một khoảng thời gian nào đó thì ta có:

) t ( s dk ) k ( ) t k ( s dt ) t t ( )

Ta có cặp biến đổi F sau: Ae j f t A ( f f )

0

t khi

0

1

) t ( u

Minh họa của tín hiệu nhảy bậc cho trên hình 1.9

Bây giờ để tìm biến đổi F của hàm u(t) ta định nghĩa một hàm dấu sau đây:

0

t khi

1

1

) t

t (

u = +

(2-14)Theo đó ta đã có:

) f (

2

1 2

[e sgn( t )]

lim ) t sgn( a t

lim )]

t [sgn(

F

a

t a

1 2

1 2

1 +

Điều kiện tồn tại biến đổi Fourier.

Qua các ví dụ trên ta thấy rằng trong một số trường hợp đặc biệt mặc dù tích phân theo định nghĩa để tính biến đổi F là không hội tụ nhưng tín hiệu vẫn tồn tại biến đổi F bằng cách tính gián tiếp

Một cách tổng quát để tồn tại biến đổi Fourier thì năng lượng của tín hiệu phải bị giới hạn Nghĩa là:

Cả hai biểu thức này đều có thể dùng để xác định năng lượng

của tín hiệu Biểu thức (2-17) được gọi là định lý Parseval Như vậy

năng lượng tín hiệu trong miền thời gian bằng năng lượng tín hiệu tính trong miền tần số

Các tính chất của biến đổi Fourier

) f ( bS ) f ( aS ) f ( S

) t ( bs ) t ( as ) t ( s

2 1

2 1

4 3

1 6

1 6

1 2

2 t 0 khi

f

f sin e

dt e

dt e

) t ( s )

Ví dụ 2.5 Tìm biến đổi F của tín hiệu sau:

Hình 2.5 Hàm cổng cho ví dụ 2.4

t khi

) f ( sin )

−

−

= π π

d Tính co dãn theo thời gian

Nếu s ( t )↔S ( f )

a

f ( S a )]

at ( s [

f Phổ của tích và tích chập hai tín hiệu

Trước hết ta định nghĩa tích chập của hia tín hiệu:

Hình 2.6 Phổ của tín hiệu dịch tần

Kênh truyền dẫn tín hiệu

Khái niệm về độ rộng phổ tín hiệu

Độ rộng phổ của tín hiệu là khoảng tần số mà trên đó tồn tại phổ của tín hiệu kể từ tần số cao nhất tới tần số lớn nhất