Giáo trình Lỹ thuyết tín hiệu và truyền tin

Giáo trình Lỹ thuyết tín hiệu và truyền tin

được đ t trong m t tình hình m i.ặ ộ ớ

V i yêu c u c n có m t giáo trình cho sinh viên ngành Đi n tớ ầ ầ ộ ệ ử

- Vi n thông, giáo trình Lý thuy t tín hi u và truy n tin đã đễ ế ệ ề ượ cbiên so n Trong quá trình biên so n không tránh kh i thi u sótạ ạ ỏ ếmong đ c gi góp ý đ giáo trình ngày càng hoàn thi n h n.ọ ả ể ệ ơ

Ch ươ ng 1 Các khái ni m c b n c a lý thuy t tín hi u và truy n tin ệ ơ ả ủ ế ệ ề

1.1 V trí, vai trò và l ch s phát tri n ị ị ử ể

1.1.1 V trí, vai trò c a lý thuy t thông tin ị ủ ế

Trong cu c s ng con ngộ ố ười luôn có nhu c u trao đ i, giao ti pầ ổ ế

v i nhau, cái mà m i ngớ ỗ ười trao đ i v i nhau g i là thông tin Nhổ ớ ọ ờ

s phát tri n c a khoa h c công ngh , con ngự ể ủ ọ ệ ười cũng có th nh nể ậ thông tin t đài, báo, m ng internet, truy n hình v.v Hay đ n gi nừ ạ ề ơ ả

nh các b n sinh viên nh n thông tin t gi ng viên và ph c t p h nư ạ ậ ừ ả ứ ạ ơ

n a là s liên l c, thông tin gi a các m ng máy tính v i nhau Đi uữ ự ạ ữ ạ ớ ề

đó có nghĩa là thông tin là cái gì đó được truy n t đ i tề ừ ố ượng này t iớ

đ i tố ượng khác đ chuy n, thông báo m t đi u gì đó Thông tin sể ể ộ ề ẽ

ch có ý nghĩa khi đi u gì đó mà bên nh n ch a bi t.ỉ ề ậ ư ế

Nh nh ng ví d trên trình bày, thông tin có th đư ữ ụ ể ược ch aứ trong nhi u d ng nh hình nh, âm thanh, văn b n Nh ng d ng nàyề ạ ư ả ả ữ ạ

là v b c v t ch t c a thông tin V b c có th hi u là ph n xác,ỏ ọ ậ ấ ủ ở ọ ể ể ầthông tin là ph n h n.ầ ồ

M t trong nh ng phộ ữ ương ti n đ di n đ t thông tin là ngônệ ể ễ ạ

ng , thông tin ch có th đữ ỉ ể ược truy n đ t, hi u n u c hai bênề ạ ể ế ảtruy n và nh n hi u đề ậ ể ược ng nghĩa c a nhau.ữ ủ

Thông tin có th để ược truy n ho c l u tr Môi trề ặ ư ữ ường th cự

hi n vi c đó đệ ệ ược g i là môi trọ ường ch a tin hay kênh tin.ứ

Các đ i tố ượng s ng luôn có nhu c u tìm hi u v th gi i xungố ầ ể ề ế ớquang đ thích nghi t n t i và phát tri n Thông tin tr thành m tể ồ ạ ể ở ộ nhu c u c b n, m t đi u ki n c n cho s t n t i và phát tri n.ầ ơ ả ộ ề ệ ầ ự ồ ạ ể Ngày nay, khi khoa h c phát tri n m nh m thì thông tin ngày càngọ ể ạ ẽ

tr nên quan tr ng đ i v i m i con ngở ọ ố ớ ỗ ười M i hành đ ng c a conỗ ộ ủ

ngườ ềi đ u xu t phát t nh ng suy nghĩ c a ngấ ừ ữ ủ ười đó M i suy nghĩỗ

đó l i ch u s nh hạ ị ự ả ưởng c a nh ng thông tin mà ngủ ữ ười đó có

được, do v y hành đ ng c a con ngậ ộ ủ ười ch u s nh hị ự ả ưởng c aủ thông tin

Đ ng v khía c nh khoa h c lý thuy t tín hi u và truy n tinứ ề ạ ọ ế ệ ềnghiên c u nh m t o ra m t đi u ki n t t cho vi c x lý phân tíchứ ằ ạ ộ ề ệ ố ệ ửtín hi u và truy n tin nhanh chóng, an toàn và l u tr hi u qu M tệ ề ư ữ ệ ả ộ cách t ng quát lý thuy t tín hi u và truy n tin nghiên c u các v nổ ế ệ ề ứ ấ

g p ph i hôm nay và trong tặ ả ương lai Lý thuy t thông tin đã đế ược áp

d ng trong h u h t các lĩnh v c công ngh nh truy n thông, nén,ụ ầ ế ự ệ ư ề

b o m t, đ c bi t đã đả ậ ặ ệ ược áp d ng vào trong lĩnh v c giáo d c ụ ự ụ ở nhi u khía c nh nh đào t o, nghiên c u và phát tri n công ngh ề ạ ư ạ ứ ể ệ

V y lý thuy t tín hi u và thông tin đã có l ch s hình thànhậ ế ệ ị ửphát tri n nh th nào?ể ư ế

1.1.2 L ch s hình thành và phát tri n ị ử ể

Ngườ ặi đ t viên g ch đ u tiên đ xây d ng lý thuy t thông tinạ ầ ể ự ế

là Hartley R.V.L Năm 1928, ông đã đ a ra s đo lư ố ượng thông tin là

m t khái ni m trung tâm c a lý thuy t thông tin D a vào khái ni mộ ệ ủ ế ự ệ này, ta có th so sánh đ nh lể ị ượng các h truy n tin v i nhau Nămệ ề ớ

1933, V.A Kachenhicov ch ng minh m t lo t nh ng lu n đi m quanứ ộ ạ ữ ậ ể

tr ng c a lý thuy t thông tin trong bài báo “V kh năng thông quaọ ủ ế ề ả

c a không trung và dây d n trong h th ng liên l c đi n”.ủ ẫ ệ ố ạ ệ

Năm 1935, D.V Ageev đ a ra công trình “Lý thuy t tách tuy nư ế ế tính”, trong đó ông phát bi u nh ng nguyên t c c b n v lý thuy tể ữ ắ ơ ả ề ế tách các tín hi u ệ

Năm 1946, V.A Kachenhicov thông báo công trình “Lý thuy tế

th ch ng nhi u’ đánh d u m t bế ố ễ ấ ộ ước phát tri n r t quan tr ng c aể ấ ọ ủ

lý thuy t thông tin ế

Trong hai năm 1948 – 1949, Shanon C.E công b m t lo t cácố ộ ạcông trình vĩ đ i, đ a s phát tri n c a lý thuy t thông tin lên m tạ ư ự ể ủ ế ộ

bước ti n m i ch a t ng có Trong các công trình này, nh vi c đ aế ớ ư ừ ờ ệ ư vào khái ni m lệ ượng thông tin và tính đ n c u trúc th ng kê c a tin,ế ấ ố ủông đã ch ng minh m t lo t đ nh lý v kh năng thông qua c a kênhứ ộ ạ ị ề ả ủtruy n tin khi có nhi u và các đ nh lý mã hoá Nh ng công trình nàyề ễ ị ữ

là n n t ng v ng ch c c a lý thuy t thông tin Ngày nay, lý thuy tề ả ữ ắ ủ ế ế thông tin phát tri n theo hai hể ướng ch y u sau:ủ ế

Lý thuy t thông tin toán h c: ế ọ Xây d ng nh ng lu n đi mự ữ ậ ể thu n tuý toán h c và nh ng c s toán h c ch t ch c a lý thuy tầ ọ ữ ơ ở ọ ặ ẽ ủ ế thông tin C ng hi n ch y u trong lĩnh v c này thu c v các nhàố ế ủ ế ự ộ ềbác h c l i l c nh : N.Wiener, A Feinstain, C.E Shanon, A.N.ọ ỗ ạ ưKanmôgorov, A.JA Khintrin

Lý thuy t thông tin ng d ng: ế ứ ụ (lý thuy t truy n tin) Chuyênế ềnghiên c u các bài toán th c t quan tr ng do k thu t liên l c đ tứ ự ế ọ ỹ ậ ạ ặ

ra có liên quan đ n v n đ ch ng nhi u và nâng cao đ tin c y c aế ấ ề ố ễ ộ ậ ủ

vi c truy n tin Các bác h c C.E Shanon, S.O RiCe, D Midleton, W.ệ ề ọPeterson, A.A Khakevich, V Kachenhicov đã có nh ng công trìnhữquý báu trong lĩnh v c này.ự

1.2 Tin t c và các khái ni m c b n ứ ệ ơ ả

1.2.1 Các đ nh nghĩa ị

1.2.1.1 Thông tin

Thông tin là m t khái ni m tr u tộ ệ ừ ượng, phi v t ch t và r t khóậ ấ ấ

đ nh nghĩa Có nhi u cách đ nh nghĩa v thông tin Dị ề ị ề ưới đây là m tộ

s đ nh nghĩa:ố ị

Thông tin là s c m hi u c a con ngự ả ể ủ ười v th gi i xungề ế ớquanh thông qua vi c ti p xúc v i nó.ệ ế ớ

Thông tin là m t h th ng nh ng tin báo và m nh l nh giúpộ ệ ố ữ ệ ệ

lo i tr s không ch c ch n c a n i nh n tin Nói m t cách ng nạ ừ ự ắ ắ ủ ơ ậ ộ ắ

g n, thông tin là cái mà lo i tr s không ch c ch n.ọ ạ ừ ự ắ ắ

Đ nh nghĩa đ u tiên ch a nêu rõ b n ch t c a thông tin, đ nhị ầ ư ả ấ ủ ị nghĩa th hai nói rõ h n v b n ch t c a thông tin và đứ ơ ề ả ấ ủ ược dùng để

đ nh lị ượng thông tin trong k thu t.ỹ ậ

Ngoài ra có người còn đ nh nghĩa thông tin là nh ng tính ch t xácị ữ ấ

đ nh c a v t ch t mà con ngị ủ ậ ấ ười (ho c h th ng k thu t) nh nặ ệ ố ỹ ậ ậ

đượ ừ ế ớ ậc t th gi i v t ch t bên ngoài ho c t nh ng quá trình x y raấ ặ ừ ữ ảtrong b n thân nó.ả

V i đ nh nghĩa này, m i ngành khoa h c là khám phá ra cácớ ị ọ ọ

c u trúc thông qua vi c thu th p, ch bi n, x lý thông tin đâyấ ệ ậ ế ế ử Ở

“thông tin” là m t danh t ch không ph i là đ ng t đ ch m tộ ừ ứ ả ộ ừ ể ỉ ộ hành vi tác đ ng gi a hai đ i tộ ữ ố ượng (người, máy) liên l c v i nhau.ạ ớTheo quan đi m tri t h c, thông tin là m t qu ng tính c a th gi iể ế ọ ộ ả ủ ế ớ

v t ch t (tậ ấ ương t nh năng lự ư ượng, kh i lố ượng) Thông tin không

đượ ạc t o ra mà ch đỉ ượ ử ục s d ng b i h th c m.ở ệ ụ ả

Thông tin t n t i m t cách khách quan, không ph thu c vàoồ ạ ộ ụ ộ

h th c m Trong nghĩa khái quát nh t, thông tin là s đa d ng Sệ ụ ả ấ ự ạ ự

đa d ng đây có th hi u theo nhi u nghĩa khác nhau: Tính ng uạ ở ể ể ề ẫ nhiên, trình đ t ch c,…ộ ổ ứ

1.2.1.2 Tin

Tin là d ng v t ch t c th đ bi u di n ho c th hi n thôngạ ậ ấ ụ ể ể ể ễ ặ ể ệtin Có hai d ng là tin r i r c và tin liên t c.ạ ờ ạ ụ

Ví d các b c nh, b n nh c, bài nói, b ng s li u, v.v làụ ứ ả ả ạ ả ố ệcác tin

bi n thiên, ph n ánh tin c n truy n.ế ả ầ ề

C n chú ý r ng không ph i b n thân quá trình v t lý là tín hi uầ ằ ả ả ậ ệ

mà s bi n đ i các tham s riêng c a quá trình v t lý m i là tínự ế ổ ố ủ ậ ớ

hi u Các đ c tr ng v t lý có th là dòng đi n, đi n áp, ánh sáng,ệ ặ ư ậ ể ệ ệ

âm thanh, v.v

1.2.2 S đ kh i h th ng thông tin ơ ồ ố ệ ố

Ngay nay, v i s phát tri n m nh m c a công ngh đi n tớ ự ể ạ ẽ ủ ệ ệ ử

vi n thông, có r t nhi u các h th ng thông tin khác nhau đã đễ ấ ề ệ ố ượ chình thành và phát tri n Khi đó vi c phân lo i các h th ng thôngể ệ ạ ệ ốtin có th để ược d a trên nhi u c s khác nhau Ví d nh d a trênự ề ơ ở ụ ư ự

c s v năng lơ ở ề ượng mang tin có th chia các h th ng truy n tinể ệ ố ềthành các lo i nh :ạ ư

- H th ng thông tin vô tuy n dùng sóng đi n tệ ố ế ệ ừ

- H th ng thông tin quang h u tuy n dùng ánh sángệ ố ữ ế

- H th ng thông tin dùng sóng âm, siêu âm (năng lệ ố ượng cơ

- H th ng truy n tin liên t cệ ố ề ụ

Tuy nhiên, m t cách t ng quát h th ng thông tin có th độ ổ ệ ố ể ượ c

bi u di n b i s đ kh i sau:ể ễ ở ơ ồ ố

1.2.2.1 Ngu n tin ồ

Ngu n tin là n i s n sinh ra hay ch a các tin c n truy n đi.ồ ơ ả ứ ầ ềKhi m t độ ường truy n tin đề ược thi t l p đ truy n tin t ngu n tinế ậ ể ề ừ ồ

đ n n i nh n tin, m t dãy các ph n t c s (các tin) c a ngu n sế ơ ậ ộ ầ ử ơ ở ủ ồ ẽ

được truy n đi v i m t phân b xác su t nào đó Dãy này đề ớ ộ ố ấ ược g iọ

là m t b n tin Do đó có th đ nh nghĩa:ộ ả ể ị

Hình 1.1 S đ kh i h th ng thông tin ơ ồ ố ệ ố

Ngu n tin là t p h p các tin mà h th ng truy n tin dùng đ ồ ậ ợ ệ ố ề ể

l p các b n tin khác nhau đ truy n tin ậ ả ể ề

N u t p tin là h u h n thì ngu n sinh ra nó đế ậ ữ ạ ồ ược g i là ngu nọ ồ

r i r c N u t p tin là vô h n thì ngu n sinh ra nó đờ ạ ế ậ ạ ồ ược g i làọngu n liên t c.ồ ụ

Ngu n tin có hai tính ch t: Tính th ng kê và tính hàm ý.ồ ấ ố

V i ngu n r i r c, tính th ng kê bi u hi n ch xác su tớ ồ ờ ạ ố ể ệ ở ỗ ấ

xu t hi n các tin là khác nhau.ấ ệ

Tính hàm ý bi u hi n ch xác su t xu t hi n c a m t tinể ệ ở ỗ ấ ấ ệ ủ ộnào đó sau m t dãy tin khác nhau nào đó là khác nhau.ộ

Trong lý thuy t tín hi u và truy n tin, kênh tin là m t kháiế ệ ề ộ

ni m tr u tệ ừ ượng đ i bi u cho h n h p tín hi u và t p nhi u.ạ ể ỗ ợ ệ ạ ễ

Đ truy n tin, ta thể ề ường s d ng m t môi trử ụ ộ ường nào đó để truy n Môi trề ường truy n tin thề ường r t đa d ng Môi trấ ạ ườ ngkhông khí, ta có th truy n tin dể ề ướ ại d ng âm thanh, ti ng nói hayế

b ng l a (ánh sáng) Môi trằ ử ường t ng đi n ly thầ ệ ường là n i x y raơ ả

s truy n tin gi a các v tinh nhân t o và các tr m rada m t đ t.ự ề ữ ệ ạ ạ ở ặ ấ Hay có th truy n tin b ng ánh sáng qua các môi trể ề ằ ường truy n làề

s i d n quang trong đó tín hi u mang tin đợ ẫ ệ ược truy n dề ướ ạ i d ngánh sáng, v.v

Cho dù truy n tin dề ướ ấi b t kỳ môi trường nào cũng đ u b nhề ị ả

hưởng b i nhi u Nhi u r t phong phú và đa d ng, ph thu c vàoở ễ ễ ấ ạ ụ ộ

b n ch t c a môi trả ấ ủ ường truy n tin Ví d khi truy n tin b ng âmề ụ ề ằ

thanh thì nh ng ti ng n xung quanh chính là nhi u hay khi truy nữ ế ồ ễ ề

b ng sóng đi n t qua nh ng n i có đi n t trằ ệ ừ ữ ơ ệ ừ ường m nh thì cũngạ

s b nh hẽ ị ả ưởng Nhi u có nhi u lo i nh nhi u c ng tính hayễ ề ạ ư ễ ộnhi u nhân.ễ

1.2.2.3 Nh n tin ậ

N i nh n tin là n i ti p nh n thông tin t kênh truy n và khôiơ ậ ơ ế ậ ừ ề

ph c l i thông tin ban đ u nh ngu n tin đã phát đi Tin đ n đụ ạ ầ ư ồ ế ượ c

n i nh n tin thơ ậ ường không thu được nh tin ban đ u truy n đi vì đãư ầ ề

ch u s tác đ ng c a nhi u Vì th , n i nh n ph i th c hi n vi cị ự ộ ủ ễ ế ơ ậ ả ự ệ ệ phát hi n sai và s a sai H n th n a, n u ngu n tin đệ ử ơ ế ữ ế ồ ược th c hi nự ệ

mã hoá nén hay b o m t thì n i nh n tin cũng ph i th c hi n vi cả ậ ơ ậ ả ự ệ ệ

gi i nén hay gi i mã b o m t đ nh n l i tin.ả ả ả ậ ể ậ ạ

N i nh n tin thơ ậ ường có ba ch c năng c b n:ứ ơ ả

- L u gi tin, ví d nh b nh máy tính, băng ghi âm, ghiư ữ ụ ư ộ ớhình,

- Bi u th tin làm cho các giác quan c a con ngể ị ủ ười hay các bộ

c m bi n c m th đả ế ả ụ ược đ x lý tin, ví d nh băng ghi âm, hìnhể ử ụ ưnh,

ả

- X lý tin đ a tin v d ng d s d ng Ch c năng này có thử ư ề ạ ễ ử ụ ứ ể

th c hi n b i con ngự ệ ở ười hay b ng các thi t b máy móc.ằ ế ị

1.2.3 H th ng thông tin s ệ ố ố

Các h th ng thông tin tệ ố ương t đự ược ti p t c phát tri n tế ụ ể ừ

th k trế ỷ ước và đ t đạ ược nhi u thành t u Tuy nhiên, h th ngề ự ệ ố thông tin tương t có nh ng nhự ữ ược đi m c h u không th kh cể ố ữ ể ắ

ph c Các h th ng này thụ ệ ố ường r t c ng k nh, không hi u qu vàấ ồ ề ệ ảchi phí r t cao Ví d v n đ v nhi u trong h th ng thông tinấ ụ ấ ề ề ễ ệ ố

tương t luôn làm đau đ u các nhà khoa h c.ự ầ ọ

Các h th ng r i r c (s ) có nhi u u đi m và kh c ph cệ ố ờ ạ ố ề ư ể ắ ụ

được nh ng nhữ ược đi m c a h th ng liên t c Ngày nay, các hể ủ ệ ố ụ ệ

th ng r i r c ngày càng đố ờ ạ ược phát tri n m nh m và thu để ạ ẽ ượ c

nh ng thành t u vữ ự ượ ảt c ngoài s mong đ i.ự ợ

Đ th c hi n để ự ệ ược các h th ng r i r c trệ ố ờ ạ ước h t ph i r iế ả ờ

r c hoá tín hi u mang tin Có hai lo i r i r c hoá: R i r c hoá theoạ ệ ạ ờ ạ ờ ạ

tr c th i gian hay còn g i là l y m u và r i r c hoá theo biên đụ ờ ọ ấ ẫ ờ ạ ộ hay còn g i là lọ ượng t hoá.ử

Đ nh lý l y m u Shannon đị ấ ẫ ược phát bi u nh sau:ể ư

M t hàm S(t) có ph h u h n, không có thành ph n t n s l n ộ ổ ữ ạ ầ ầ ố ớ

h n ơ ωmax (= 2πf max ) có th thay th b ng các m u c a nó đ ể ế ằ ẫ ủ ượ ấ c l y

t i các th i đi m cách nhau m t kho ng ạ ờ ể ộ ả ∆t≤ π/ωmax hay nói cách khác t n s l y m u F ầ ố ấ ẫ ≥ 2f max.

Hình 1.2 minh ho đi u này.ạ ề

Biên đ c a tín hi u thộ ủ ệ ường là m t kho ng liên t c (Sộ ả ụ min ,

Smax) Lượng t hoá là phân chia kho ng này thành m t s m c nh tử ả ộ ố ứ ấ

đ nh, ch ng h n là: Sị ẳ ạ 0 = Smin, S1 = , , Sn = Smax và qui các giá trị biên đ không trùng v i các giá tr này v các giá tr g n v i nóộ ớ ị ề ị ầ ớ

nh t Có nghĩa là s có sai s khi th c hi n lấ ẽ ố ự ệ ượng t hoá Nh v yử ư ậ

vi c lệ ượng t hoá s bi n hàm S(t) thành m t hàm S'(t) có d ng b cử ẽ ế ộ ạ ậ thang S sai khác gi a S(t) và S'(t) đự ữ ược g i là sai s lọ ố ượng t hoá.ửSai s lố ượng t càng nh thì S'(t) càng g n v i S(t).ử ỏ ầ ớ

Hình 1.3 minh ho quá trình lạ ượng t hoá.ử

Khi đã th c hi n vi c r i r c hoá tín hi u ta s có các ngu nự ệ ệ ờ ạ ệ ẽ ồ tin r i r c Trong nhi u trờ ạ ề ường h p chúng ta thợ ường ch nghiên c uỉ ứ các ngu n r i r c M t b ng ch cái A g m m kí hi u là m t ngu nồ ờ ạ ộ ả ữ ồ ệ ộ ồ tin r i r c, A = {aờ ạ 1, a2, , am} v i nh ng xác su t hi n p(aớ ữ ấ ệ i) v i i =ớ1, , m Ngu n tin này không di n t m i quan h gi a các tin trồ ễ ả ố ệ ữ ướ c

và tin sau nên được g i là ngu n tin không nh r i r c.ọ ồ ớ ờ ạ

Có nhi u phề ương pháp bi n đ i trong h th ng thông tin sế ổ ệ ố ố

nh dư ưới đây minh ho ạ

Hình 1.4 Các ph ươ ng pháp bi n đ i thông tin ế ổ

s trong các kh i ch c năng c a h th ng ố ố ứ ủ ệ ố

1.3 Đ đo thông tin ộ

Đ đo c a m t đ i lộ ủ ộ ạ ượng là cách ta xác đ nh đ l n c a đ iị ộ ớ ủ ạ

lượng đó M i đ đo ph i tho mãn 3 tính ch t sau:ỗ ộ ả ả ấ

- Đ đo ph i cho phép ta xác đ nh độ ả ị ược đ l n c a đ i lộ ớ ủ ạ ượng

Đ i lạ ượng càng l n, giá tr đo đớ ị ược càng ph i l n.ả ớ

- Đ đo ph i không âm.ộ ả

- Đ đo ph i tuy n tính, t c là giá tr đo độ ả ế ứ ị ược c a đ i lủ ạ ượ ng

t ng c ng ph i b ng t ng giá tr c a các đ i lổ ộ ả ằ ổ ị ủ ạ ượng riêng ph n khiầ

s d ng đ đo này đ đo chúng.ử ụ ộ ể

Đ xác đ nh đ đo thông tin, chúng ta nh n th y r ng thông tinể ị ộ ậ ấ ằcàng có nhi u ý nghĩa khi nó càng hi m g p, do đó đ l n c a nóề ế ặ ộ ớ ủ

ph i t l ngh ch v i xác su t xu t hi n c a tin, hay nó là hàmả ỷ ệ ị ớ ấ ấ ệ ủf(1/p(xi)) cho tin xi có xác su t xu t hi n p(xấ ấ ệ i) M t tin không choộchúng ta lượng tin nào khi chúng ta đã bi t trế ước v nó hay có xácề

su t b ng 1.ấ ằ

Đ xác đ nh d ng hàm này, ngể ị ạ ười ta s d ng tính ch t th ba.ử ụ ấ ứ

Gi thi t r ng có hai tin xả ế ằ i và xj là đ c l p th ng kê đ m i tinộ ậ ố ể ỗkhông ch a thông tin v tin còn l i N u hai tin có xác su t hi n làứ ề ạ ế ấ ệp(xi) và p(xj), lượng tin c a m i tin là f(1/p(xủ ỗ i)) và f(1/p(xj)) Giả thi t hai tin này cùng đ ng th i xu t hi n, ta có tin (xế ồ ờ ấ ệ i, xj), lượng tinchung cho tin này ph i b ng t ng lả ằ ổ ượng tin c a t ng tin riêng bi t.ủ ừ ệ Khi hai tin xu t hi n đ ng th i, xác su t xu t hi n đ ng th i c aấ ệ ồ ờ ấ ấ ệ ồ ờ ủ chúng là p(xi, xj), và ta có:

f(1/ p(xi, xj)) = f(1/ p(xi)) + f(1/ p(xj)) (1.1)

Vì hai tin là đ c l p th ng kê nên:ộ ậ ố

p(xi, xj) = p(xi) + p(xj) (1.2)

V y nên:ậ

f(1/ (p(xi).p(xj))) = f(1/ p(xi)) + f(1/ p(xj))(1.3)

Nh v y, trong trư ậ ường h p này hàm f ph i có d ng hàm loga.ợ ả ạ

V y hàm log(1/p(xậ i)) là d ng hàm có th ch n làm đ đo thông tin.ạ ể ọ ộ

Ta c n ki m tra tính không âm c a hàm này Vì ta có 0ầ ể ủ ≤ p(xi)≤ 1 nên 1/p(xi)≥ 1 hay log(1/p(xi)) là không âm

Thêm vào đó khi m t tin luôn luôn xu t hi n thì lộ ấ ệ ượng tin

nh n đậ ược b ng không, ta s ki m tra đi u ki n này Khi đó p(xằ ẽ ể ề ệ i) =

1, do v y log(1/p(xậ i)) = 0

V y hàm log(1/p(xậ i)) được s d ng làm đ đo thông tin hayử ụ ộ

lượng đo thông tin c a m t tin c a ngu n tin Lủ ộ ủ ồ ượng đo thông tin

c a tin xủ i c a ngu n tin nào đó thủ ồ ường được kí hi u là I(xệ i) :

Trong bi u th c trên c s c a hàm loga ch a để ứ ơ ố ủ ư ược ch ra Tuỳỉvào c s c a hàm loga này ta s có các đ n v đo đ l n thông tinơ ố ủ ẽ ơ ị ộ ớxác đ nh Hi n nay, thị ệ ường dùng các đ n v đo sau:ơ ị

Bit hay đ n v nh phân khi c s loga là 2;ơ ị ị ơ ố

Nat hay đ n v t nhiên khi c s loga là e;ơ ị ự ơ ố

Hartley hay đ n v th p phân khi c s loga là 10.ơ ị ậ ơ ố

Ví d 1 Ngu n A có m kí hi u đ ng xác su t, m t tin doụ ồ ệ ẳ ấ ộngu n A hình thành là m t dãy n kí hi u aồ ộ ệ i b t kỳ (aấ i ∈A) Chúng ta

s xác đ nh lẽ ị ượng tin ch a trong m t tin nh v y Trứ ộ ư ậ ước h t hãyếtìm lượng tin ch a trong m t tin aứ ộ i Do đ ng xác su t nên m i tin aẳ ấ ỗ i

hi u c a ngu n có nh ng xác su t khác nhau và không đ c l pệ ủ ồ ữ ấ ộ ậ

th ng kê v i nhau thì lố ớ ượng tin riêng t ng kí hi u ph thu c vào xácừ ệ ụ ộ

su t xu t hi n p(aấ ấ ệ i) c a nó:ủ

I(ai) = log 1/p(ai)

Và lượng tin ch a trong m t dãy kí hi u c a ngu n khôngứ ộ ệ ủ ồ

nh ng ph thu c vào xác su t xu t hi n t ng kí hi u mà còn phữ ụ ộ ấ ấ ệ ừ ệ ụ thu c vào xác su t có đi u ki n Khái ni m này s độ ấ ề ệ ệ ẽ ược đ c pề ậ

đ n m t cách chi ti t các chế ộ ế ở ương sau

Hay P(a1) = P(a2) =1/2

V y: I(a1) = I(a2) = logậ 22 = 1 (bit)

V y m t ô nh có lậ ộ ớ ượng tin là 1 bit n u tính theo c s 2.ế ơ ố

Lượng tin ch a trong m t dãy kí hi u c a ngu n không nh ngứ ộ ệ ủ ồ ữ

ph thu c vào xác su t xu t hi n t ng kí hi u mà còn ph thu cụ ộ ấ ấ ệ ừ ệ ụ ộ vào xác su t có đi u ki n Khái ni m này s đấ ề ệ ệ ẽ ược đ c p đ n m tề ậ ế ộ cách chi ti t các chế ở ương sau

1.3.3 L ượ ng tin trung bình th ng kê - Entropy c a ngu n ố ủ ồ tin

1.3.3.1 L ượ ng tin trung bình th ng kê c a ngu n tin ố ủ ồ

Lượng tin trung bình c a m t ngu n tin A là lủ ộ ồ ượng tin trungbình ch a trong m t kí hi u b t kỳ c a ngu n tin Ta thứ ộ ệ ấ ủ ồ ường kí hi uệ

i i A

a

i i

A

i

i i

i

a I a p a

p a

p a

p a

p A

I ( ) log ( ) ( ) ( )

) (

1 log ) ( )

Bây gi ta xét m t s bi n đ i m t ngu n X thành ngu n Yờ ộ ự ế ổ ộ ồ ồthông qua s truy n lan trong m t kênh truy n Qua b t kỳ m t kênhự ề ộ ề ấ ộtruy n nào cũng đ u có nhi u do v y s truy n lan X qua kênhề ề ễ ậ ự ềthành Y không ph i là m t - m t Ta s đi tìm kh năng xả ộ ộ ẽ ả i nào có

kh năng l n nh t chuy n thành yả ớ ấ ể j trong quá tình truy n tin.ề

T đây ta có khái ni m lừ ệ ượng thông tin tương h , lỗ ượng tincòn l i c a xạ ủ i sau khi đã nh n yậ j (lượng tin đi u ki n) ề ệ

Lượng tin còn l i c a xạ ủ i sau khi nh n đậ ược là yj xác đ nh nhị ờ xác su t h u nghi m:ấ ậ ệ

) / ( log )

/ (

1 log ) /

j i j

y x p y

x

Lượng tin tương h là hi u lỗ ệ ượng tin riêng và lượng tin còn

l i c a xạ ủ i sau khi đã nhân được yj (lượng tin đi u ki n) Do v y taề ệ ậcó:

) (

) / ( log ) / ( ) ( ) , (

i

j i j

i i

j i

x p

y x p y

x I x I y x

j i j

i i

j i

y x p y p

y x p y

x I x I y x I

) / ( ) (

) / ( log

) / ( ) ( ) ,

M t cách t ng quát ta có:ộ ổ

) , ( ) ( ) ( ) (x i y j I x i I y j I x i y j

1.3.3.2 Entropy c a ngu n ủ ồ

Nh trên đã trình bày, lư ượng tin trung bình là lượng tin trungbình ch a trong m t kí hi u b t kỳ c a m t ngu n tin đã cho Khi taứ ộ ệ ấ ủ ộ ồ

nh n đậ ược tin đ ng th i nh n đồ ờ ậ ược m t lộ ượng tin trung bình nghĩa

là đ b t ng v tin đó cũng độ ấ ờ ề ược gi i thoát Vì v y đ b t ng vàả ậ ộ ấ ờ

lượng tin có ý nghĩa v t lý trái ngậ ược nhau nh ng v s đo l iư ề ố ạ

(

1 log )

i

x p x

i i X

x

i i

X

i

i i

i

x H x p x

p x

p x

p x

p X

H ( ) log ( ) ( ) ( )

) (

1 log ) ( )

T các bi u th c trên ta th y v s đo H(X)=I(X).ừ ể ứ ấ ề ố

H(X) được g i là Entropy c a ngu n, là m t thông s th ng kêọ ủ ồ ộ ố ố

c b n c a ngu n tin.ơ ả ủ ồ

Tính ch t c a H(X) ( cũng là c a I(X)) ấ ủ ủ

1. H(X)>=0 N u p(xế i)=1 thì ta có H(X)=0

2 H(X) l n nh t n u xác su t xu t hi n c a các kí hi u c aớ ấ ế ấ ấ ệ ủ ệ ủ ngu n b ng nhau Lúc đó đ b t đ nh c a m t tin b t kỳồ ằ ộ ấ ị ủ ộ ấtrong ngu n là l n nh t T c là:ồ ớ ấ ứ

H(X)max≤ logN V i ngu n có N tin.ớ ồ

Ta có th ch ng minh đi u này nh sau:ể ứ ề ư

N u có N tin các xác su t xu t hi n b ng nhau thì H(X) =ế ấ ấ ệ ằlogN

Xét:

0 1

1 )

1

1 (

1 log log

log log

)

(

1 1

N

i i i N

i

N

i i

N i

i i

N N

p

p N

p p N

p p

p N

3 N u hai ngu n X={xế ồ 1, , xn} và Y={y1, , ym} là đ c l p thìộ ậ

T c đ l p tin R đố ộ ậ ược tính b i bi u th c sau:ở ể ứ

Trong đó n0 là s kí hi u l p đố ệ ậ ược trong m t đ n v th i gian.ộ ơ ị ờ

Đ n v c a R là bit/s n u H(X) tính theo bit.ơ ị ủ ế

Đ d c a ngu n độ ư ủ ồ ược đ nh nghĩa là s chênh l ch gi a H(X)ị ự ệ ữ

và H(X)max

Đ d tộ ư ương đ i c a ngu n đố ủ ồ ược đ nh nghĩa nh sau:ị ư

max max

max

) (

) ( 1 )

(

) ( )

(

X H

X H X

H

X H X

Tín hi u là s bi n đ i c a m t hay nhi u thông s c a m tệ ự ế ổ ủ ộ ề ố ủ ộ quá trình v t lý nào đó theo qui lu t c a tin t c Nh v y đ truy nậ ậ ủ ứ ư ậ ể ề tin ta s d ng các d ng v t ch t nào đó đ truy n C n chú ý r ngử ụ ạ ậ ấ ể ề ầ ằ chính s bi n đ i c a tham s c a quá trình v t lý m i là tín hi u.ự ế ổ ủ ố ủ ậ ớ ệ

Trong ph m vi h p c a m ch đi n, tín hi u là hi u th ho cạ ẹ ủ ạ ệ ệ ệ ế ặ dòng đi n Tín hi u có th có tr không đ i, ví d hi u th c a m tệ ệ ể ị ổ ụ ệ ế ủ ộ pin, accu; có th có tr s thay đ i theo th i gian, ví d dòng đi nể ị ố ổ ờ ụ ệ

đ c tr ng cho âm thanh, hình nh ặ ư ả

1.5.1 Cách bi u di n hàm tín hi u ể ễ ệ

Dưới đây ta trình bày m t s tín hi u thộ ố ệ ường g p.ặ

- Ki u li t kê: hay còn g i là d ng b ng, các giá tr c a tínể ệ ọ ạ ả ị ủ

hi u đệ ược li t kê trong m t b ng giá tr ệ ộ ả ị

- D ng đ th : d ng đ th có lo i t a đ Đ các và t a đ c cạ ồ ị ạ ồ ị ạ ọ ộ ề ọ ộ ự (d ng véc t ):ạ ơ

t khi

0

1

) a t ( u

Đây là hàm thay đ i giá tr t 0 lên 1 ( ho c giá tr b t kỳ) t iổ ị ừ ặ ị ấ ạ

th i đi m t=a Hình 1.19 là minh h a m t s trờ ể ọ ộ ố ường h p c a hàmợ ủ

nh y b c đ n v ả ậ ơ ị

c Hàm Dirac (hay hàm xung đ n v ) ơ ị

Khi vi phân hàm nh y b c đ n v ta có hàm xung đ n v hayả ậ ơ ị ơ ịhàm Dirac Thường kí hi u là hàm này là hàm ệ δ(t)

dt

du ) t ( =

Ta th y r ng hàm này là m t hàm toán h c không ch t ch vìấ ằ ộ ọ ặ ẽ

t i th i đi m t>0 thì vi phân này b ng 0ạ ờ ể ằ

δ

D ng hàm ạ δ(t) được minh h a hình 1.10.ọ ở

d Các hàm liên quan đ n hàm sin ế

Dưới đây là minh h a m t s d ng hàm liên quan t i hàm ọ ộ ố ạ ớ sin

nh hàm t t d n, tích c a hai hàm sin.ư ắ ầ ủ

Hình 1.9 Hàm nh y b c đ n v ả ậ ơ ị

Hình 1.10 Hàm xung đ n v ơ ị

p =Công su t trung bình đấ ược tín b i:ở

ph n tín hi u m t chi u và thành ph n xoay chi u Ch thành ph nầ ệ ộ ề ầ ề ỉ ầ

bi n đ i m i ch a tin t c Giá tr trung bình c a tín hi u chính làế ổ ớ ứ ứ ị ủ ệthành ph n m t chi u.ầ ộ ề

Ngoài ra m t tín hi u s(t) có th tách ra làm hai tín hi u ch nộ ệ ể ệ ẵ

và l ẻ

Ch ươ ng 2 C s lý thuy t phân tích tín hi u ơ ở ế ệ

Chương này s cung c p cho chúng ta nh ng công c c b nẽ ấ ữ ụ ơ ả

đ phân tích tín hi u ể ệ Đó là các chu i Fourier và phép bi n đ iỗ ế ổ Fourier

2.1 M đ u ở ầ

Đ có th phân tích tín hi u thành d ng t ngể ể ệ ạ ổ c a các tín hi uủ ệ thành ph n, các tín hi u đ n v thành ph n ph i tr c giao v i nhauầ ệ ơ ị ầ ả ự ớ

t ng đôi m t Vì v y khi dùng m t công c toán h c đ phân tích tínừ ộ ậ ộ ụ ọ ể

hi u thì tín hi u đ n v ph i có d ng hàm e mũ ( ho c t ng c a cosệ ệ ơ ị ả ạ ặ ổ ủ

và sin.)

Hai tín hi u f(t) và g(t) đệ ược g i là tr c giao v i nhau trênọ ự ớ

đo n [a,b] n u chúng th a mãn đi u ki n:ạ ế ỏ ề ệ

Ví dụ 2.1:

Cho hai tín hi uệ

t jm

t jn

e )

t

(

g

e )

0

g(t) f(t) m n khi

0 0

0

0 0 0

2

2

2

2 0

0

0

T ) m n (

T ) m n ( sin T dt e

e dt ) t ( g )

t

(

f

/ T

/ T

t jm t jn b

Đi u này đ t đề ạ ược khi ta chú ý đ n tính ch t sinx/xế ấ →1 khi

x→0 Đó là đi u ph i ch ng minh.ề ả ứ

D a vào tính ch t tr c giao ta có th phân tích tín hi u ph cự ấ ự ể ệ ứ

) t ( s

n

n n

∑∞

=

+ +

=

1

0 0

V i tín hi u tu n hoàn s(t) thì ta có ớ ệ ầ

0 0 0

2 1

∫

∫

∫

+ + +

=

=

=

0 0

0

0 0

0

0 0

0

0 0

0 0

0 0

2 2

2 2

1

T t

t n

T t

t n

T t

t

tdt f n sin ) t ( s T

b

tdt f n cos ) t ( s T

a

dt ) t ( s T

0 x - khi

0

x 0 khi

π π π +

1 2

n cos

a n

) n cos ( n xdx n sin

π

ω π

n

π

ch n khi

3 2

Tương t ta có:ự

Hình 2.2 Tín hi u cost ch nh l u ệ ỉ ư

) ( ntdt

cos t cos a

n n

) ( n

) ( )

2 1

2

1 1

2

1 2 2

−

− +

=

π π

Dùng công th c EULER, có th đ a d ng s(t) trên v d ngứ ể ư ạ ở ề ạ

g n h n ( d ng hàm mũ ph c ) ọ ơ ạ ứ

Theo công th c EULER → eứ j2πnfot = cos 2πnfot + j sin 2πnfot

M t cách t ng quát ta có th vi t l i bi u di n s(t) d ng chu iộ ổ ể ế ạ ể ễ ạ ỗ Fourier nh sau:ư

n e C )

t (

s 2π 0

(2-4)Trong đó n là s nguyên Cố n được tính b i bi u th c sau:ở ể ứ

t

t nf j

n s ( t ) e dt T

) b a ( C

) b a ( C

a C

n n n

n n n

1

0 0

M t cách t ng quát hàm S(f) là m t hàm ph c c a t n s và cóộ ổ ộ ứ ủ ầ ố

th để ược vi t l i nh sau:ế ạ ư

S(f) = X(f) +jY(f) (2-8)Trong đó X(f) là ph n th c và Y(f) là ph n o Ho c S(f) cũngầ ự ầ ả ặ

có th bi u di n theo d ng modul và pha nh sau:ể ể ễ ạ ư

) ( j

e ) f ( S ) f (

V i:ớ

) ) f ( X

) f ( Y ( arctg )

f (

) f ( Y ) f ( X ) f ( S

=

+

= θ

2 2

t (

t -

0

α α

A ) t ( s

T đ nh nghĩa c a phépừ ị ủ

bi n đ i Fourier ta có:ế ổ

) x ( c sin A

f

f sin A f

j

e e

A

dt e A dt e ) t ( s )

f

(

S

f j f j

ft j ft

j

α

α π

α π α π

α π α

π

π α α π

2

2

2 2

2

2 2

2 2

0

0

t khi

t

e ) t ( s

Theo đ nh nghĩa ta có ph c a tín hi u này đị ổ ủ ệ ược xác đ nh b i:ị ở

f j dt

e e ) f (

S t j ft

π

π

2 1

) ( s dt ) t ( ) t (

t ( [

V y Hàm Dirac có bi n đ i F là 1 D a vào đi u này ta tìmậ ế ổ ự ề

bi n đ i F c a m t hàm s là h ng s A b t kỳ.ế ổ ủ ộ ố ằ ố ấ

Hình 2.4 D ng ph c a hàm c ng ạ ổ ủ ổ

d Hàm s(t)=A

Theo bi u th c bi n đ i F c a hàm Dirac thì ta có Aể ứ ế ổ ủ ↔Aδ(f) Khi A=1 thì F[1]=2πδ(ω)=δ(f)

M t tính ch t n a c a hàm Dirac độ ấ ữ ủ ược nh c t i trong ph nắ ớ ầ này đ giúp ta tìm bi n đ i F c a tín hi u ể ế ổ ủ ệ s ( t )=Ae−j2πf0t

N u d ch m t kho ng th i gian nào đó thì ta có:ế ị ộ ả ờ

) t ( s dk ) k ( ) t k ( s dt ) t t ( )

0

t khi

0

1

) t ( u

Minh h a c a tín hi u nh y b c cho trên hình 1.9.ọ ủ ệ ả ậ

Bây gi đ tìm bi n đ i F c a hàm u(t) ta đ nh nghĩa m t hàmờ ể ế ổ ủ ị ộ

0

t khi

1

1

) t

t (

u = +

(2-14)Theo đó ta đã có:

) f (

2

1 2

[e sgn( t )]

lim ) t sgn( a t

lim )]

t [sgn(

F

a

t a

1 2

1 2

1 +

2.3.3 Đi u ki n t n t i bi n đ i Fourier ề ệ ồ ạ ế ổ

Qua các ví d trên ta th y r ng trong m t s trụ ấ ằ ộ ố ường h p đ cợ ặ

bi t m c dù tích phân theo đ nh nghĩa đ tính bi n đ i F là khôngệ ặ ị ể ế ổ

C hai bi u th c này đ u có th dùng đ xác đ nh năng lả ể ứ ề ể ể ị ượ ng

c a tín hi u Bi u th c (2-17) đủ ệ ể ứ ược g i là ọ đ nh lý Parseval ị Như

v y năng lậ ượng tín hi u trong mi n th i gian b ng năng lệ ề ờ ằ ượng tín

hi u tính trong mi n t n s ệ ề ầ ố

2.3.4 Các tính ch t c a bi n đ i Fourier ấ ủ ế ổ

a Tính tuy n tính ế

N u s(t) là t ng c a hai thành ph n tín hi u sế ổ ủ ầ ệ 1(t) và s2(t) thì ta có:

) f ( bS ) f ( aS ) f ( S

) t ( bs ) t ( as ) t ( s

2 1

2 1

4 3

0

t f j t

f

e t f cos π = π − − π

1 6

1 6

1 2

1

+ +

− + + +

e ) f ( S )

t t (

2 t 0 khi

f

f sin e

dt e

dt e

) t ( s )

t khi

) f (

) f ( sin )

−

−

= π π

at ( s [

Gi s ta có m t tín hi u có s phân b ph nh hình 3.1 thì taả ử ộ ệ ự ố ổ ư

có đ r ng ph độ ộ ổ ược tính nh sau:ư

∆f=fmax - fmin

(3-1)

Trong d i t n s t fả ầ ố ừ min t i fớ max ta

đ nh nghĩa t n s trung tâm c a băngị ầ ố ủ

t n là fầ 0:

2

f f

- Input hay ngu n tin r(t).ồ

- Output hay đáp ng c a ngu nứ ủ ồ

tin s(t)

C u trúc v t lý th c t c a h xác đ nh h th c chính xác gi aấ ậ ự ế ủ ệ ị ệ ứ ữ r(t) và s(t) S liên h gi a Input và Ouput đự ệ ữ ược dùng ký hi u là mũiệtên m t chi u r(t)ộ ề →s(t)

N u h là m t m ch đi n, r(t) có th là đi n th ho c dòngế ệ ộ ạ ệ ể ệ ế ặ

đi n và s(t) có th là đi n th ho c dòng đi n đệ ể ệ ế ặ ệ ược đo b t kỳ n iấ ơ đâu trong m ch.ạ

M t h độ ệ ược nói là Ch ng ch t ồ ấ ( Superposition ) n u đáp ngế ứ

do t ng các tín hi u vào là t ng c a các đáp ng riêng tổ ệ ổ ủ ứ ương ng.ứ

Nghĩa là, n u s ế 1 (t) là đáp ng c a r ứ ủ 1 (t) và s 2 (t) là đáp ng c a r ứ ủ 2 (t) thì đáp ng c a r ứ ủ 1 (t) + r 2 (t) là s 1 (t) + s 2 (t)