Bài giảng: lý thuyết thông tin

Bài giảng: lý thuyết thơng tin HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - - BÀI GIẢNG LÝ THUYẾT THÔNG TIN Biên soạn : PGS.Ts NGUYỄN BÌNH Lưu hành nội HÀ NỘI - 2006 LỜI NĨI ĐẦU Giáo trình Lý thuyết thơng tin giáo trình sở dùng cho sinh viên chuyên ngành Điện tử – Viễn thông Công nghệ thơng tin Học viện Cơng nghệ Bưu Viễn thông Đây tài liệu tham khảo hữu ích cho sinh viên chuyên ngành Điện - Điện tử Giáo trình nhằm chuẩn bị tốt kiến thức sở cho sinh viên để học tập nắm vững môn kỹ thuật chuyên ngành, đảm bảo cho sinh viên đánh giá tiêu chất lượng hệ thống truyền tin cách có khoa học Giáo trình gồm chương, ngồi chương I có tính chất giới thiệu chung, chương cịn lại chia thành phần chính: Phần I: Lý thuyết tín hiệu ngẫu nhiên nhiễu (Chương 2) Phần II: Lý thuyết thông tin mã hóa (Chương Chương 4) Phần III: Lý thuyết thu tối ưu (Chương 5) Phần IV: Mật mã (Chương 6) Phần I: (Chương II) Nhằm cung cấp công cụ toán học cần thiết cho chương sau Phần II: Gồm hai chương với nội dungchủ yếu sau: - Chương III: Cung cấp khái niệm lý thuyết thông tin Shannon hệ truyền tin rời rạc mở rộng cho hệ truyền tin liên tục - Chương IV: Trình bày hai hướng kiến thiết cho hai định lý mã hóa Shannon Vì khn khổ có hạn giáo trình, hướng (mã nguồn mã kênh) trình bày mức độ hiểu biết Để tìm hiểu sâu kết ứng dụng cụ thể sinh viên cần phải xem thêm tài liệu tham khảo Phần III: (Chương V) Trình bày vấn đề xây dựng hệ thống thu tối ưu đảm bảo tốc độ truyền tin độ xác đạt giá trị giới hạn Theo truyền thống bao trùm lên tồn giáo trình việc trình bày hai tốn phân tích tổng hợp Các ví dụ giáo trình chọn lọc kỹ nhằm giúp cho sinh viên hiểu khái niệm cách sâu sắc Các hình vẽ, bảng biểu nhằm mô tả cách trực quan khái niệm hoạt động sơ đồ khối chức thiết bị cụ thể Phần VI: (Chương VI) Trình bày sở lý thuyết hệ mật bao gồm hệ mật khóa bí mật hệ mật khóa cơng khai Do khn khổ có hạn giáo trình, số vấn đề quan trọng cịn chưa đề cập tới (như trao đổi phân phối khóa, xác thực, đảm bảo tính tồn vẹn …) Sau chương có câu hỏi tập nhằm giúp cho sinh viên củng cố kỹ tính tốn cần thiết hiểu sâu sắc khái niệm thuật toán quan trọng Phần phụ lục cung cấp số kiến thức bổ xung cần thiết số khái niệm quan trọng số số liệu cần thiết giúp cho sinh viên làm tập chương Giáo trình viết dựa sở đề cương môn học Lỹ thuyết thông tin Bộ Giáo dục Đào tạo đúc kết sau nhiều năm giảng dạy nghiên cứu tác giả Rất mong đóng góp bạn đọc Các đóng góp ý kiến xin gửi KHOA KỸ THUẬT ĐIỆN TỬ - HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG KM 10 ĐƯỜNG NGUYỄN TRÃI - THỊ XÃ HÀ ĐƠNG Email: KhoaDT1@hn.vnn.vn Hoặc nguyenbinh1999@yahoo.com Cuối tơi xin chân thành cảm ơn GS Huỳnh Hữu Tuệ cho nhiều ý kiến quý báu trao đổi học thuật có liên quan tới số nội dung quan trọng giáo trình NGƯỜI BIÊN SOẠN Chương 1: Những vấn đề chung khái niệm CHƯƠNG I: NHỮNG VẤN ĐỀ CHUNG VÀ NHỮNG KHÁI NIỆM CƠ BẢN 1.1 VỊ TRÍ, VAI TRỊ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN” 1.1.1 Vị trí, vai trị Lý thuyết thơng tin Do phát triển mạnh mẽ kỹ thuật tính toán hệ tự động, ngành khoa học đời phát triển nhanh chóng, là: “Lý thuyết thông tin” Là ngành khoa học khơng ngừng phát triển thâm nhập vào nhiều ngành khoa học khác như: Toán; triết; hoá; Xibecnetic; lý thuyết hệ thống; lý thuyết kỹ thuật thông tin liên lạc… đạt nhiều kết Tuy cịn nhiều vấn đề cần giải giải hồn chỉnh Giáo trình “ Lý thuyết thơng tin” (cịn gọi “Cơ sở lý thuyết truyền tin”) phận lý thuyết thơng tin chung – Nó phần áp dụng “Lý thuyết thông tin” vào kỹ thuật thông tin liên lạc Trong quan hệ Lý thuyết thông tin chung với ngành khoa học khác nhau, ta phải đặc biệt kể đến mối quan hệ với ngành Xibecnetic Mối quan hệ hoạt động khoa học người quảng tính vật chất mơ tả hình (1.1) Quảng tính vật chất Thơng tin Năng lượng Năng lượng học Khối lượng Công nghệ học Điều khiển học (Xibecnetic) Các lĩnh vực hoạt động khoa học người Hình 1.1 Quan hệ hoạt động khoa học quảng tính vật chất - Năng lượng học: Là ngành khoa học chuyên nghiên cứu vấn đề liên quan tới khái niệm thuộc lượng Mục đích lượng học làm giảm nặng nhọc lao động chân tay nâng cao hiệu suất lao động chân tay Nhiệm vụ trung tâm tạo, truyền, thụ, biến đổi, tích luỹ xử lý lượng Chương 1: Những vấn đề chung khái niệm - Xibecnetic: Bao gồm ngành khoa học chuyên nghiên cứu vấn đề có liên quan đến khái niệm thơng tin tín hiệu Mục đích Xibecnetic làm giảm nặng nhọc trí óc nâng cao hiệu suất lao động trí óc Ngồi vấn đề xét Xibecnetic đối tượng, mục đích, tối ưu hoá việc điều khiển, liên hệ ngược Việc nghiên cứu q trình thơng tin (như chọn, truyền, xử lý, lưu trữ hiển thị thông tin) vấn đề trung tâm Xibecnetic Chính vậy, lý thuyết kỹ thuật thơng tin chiếm vai trị quan trọng Xibecnetic - Công nghệ học: gồm ngành khoa học tạo, biến đổi xử lý vật liệu Công nghệ học phục vụ đắc lực cho Xibecnetic lượng học Khơng có cơng nghệ học đại khơng thể có ngành khoa học kỹ thuật đại 1.1.2 Sơ lược lịch sử phát triển Người đặt viên gạch để xây dựng lý thuyết thông tin Hartley R.V.L Năm 1928, ông đưa số đo lượng thông tin khái niệm trung tâm lý thuyết thông tin Dựa vào khái niệm này, ta so sánh định lượng hệ truyền tin với Năm 1933, V.A Kachenhicov chứng minh loạt luận điểm quan trọng lý thuyết thông tin báo “Về khả thông qua không trung dây dẫn hệ thống liên lạc điện” Năm 1935, D.V Ageev đưa cơng trình “Lý thuyết tách tuyến tính”, ơng phát biểu ngun tắc lý thuyết tách tín hiệu Năm 1946, V.A Kachenhicov thơng báo cơng trình “Lý thuyết chống nhiễu’ đánh dấu bước phát triển quan trọng lý thuyết thông tin Trong hai năm 1948 – 1949, Shanon C.E cơng bố loạt cơng trình vĩ đại, đưa phát triển lý thuyết thông tin lên bước tiến chưa có Trong cơng trình này, nhờ việc đưa vào khái niệm lượng thơng tin tính đến cấu trúc thống kê tin, ông chứng minh loạt định lý khả thơng qua kênh truyền tin có nhiễu định lý mã hố Những cơng trình tảng vững lý thuyết thông tin Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau: Lý thuyết thơng tin tốn học: Xây dựng luận điểm tuý toán học sở toán học chặt chẽ lý thuyết thông tin Cống hiến chủ yếu lĩnh vực thuộc nhà bác học lỗi lạc như: N.Wiener, A Feinstain, C.E Shanon, A.N Kanmôgorov, A.JA Khintrin Lý thuyết thông tin ứng dụng: (lý thuyết truyền tin) Chuyên nghiên cứu toán thực tế quan trọng kỹ thuật liên lạc đặt có liên quan đến vấn đề chống nhiễu nâng cao độ tin cậy việc truyền tin Các bác học C.E Shanon, S.O RiCe, D Midleton, W Peterson, A.A Khakevich, V Kachenhicov có cơng trình q báu lĩnh vực Chương 1: Những vấn đề chung khái niệm 1.2 NHỮNG KHÁI NIỆM CƠ BẢN - SƠ ĐỒ HỆ TRUYỀN TIN VÀ NHIỆM VỤ CỦA NÓ 1.2.1 Các định nghĩa 1.2.1.1 Thông tin Định nghĩa: Thơng tin tính chất xác định vật chất mà người (hoặc hệ thống kỹ thuật) nhận từ giới vật chất bên từ q trình xảy thân Với định nghĩa này, ngành khoa học khám phá cấu trúc thông qua việc thu thập, chế biến, xử lý thông tin “thông tin” danh từ động từ để hành vi tác động hai đối tượng (người, máy) liên lạc với Theo quan điểm triết học, thơng tin quảng tính giới vật chất (tương tự lượng, khối lượng) Thông tin không tạo mà sử dụng hệ thụ cảm Thông tin tồn cách khách quan, không phụ thuộc vào hệ thụ cảm Trong nghĩa khái quát nhất, thông tin đa dạng Sự đa dạng hiểu theo nhiều nghĩa khác nhau: Tính ngẫu nhiên, trình độ tổ chức,… 1.2.1.2 Tin Tin dạng vật chất cụ thể để biểu diễn thể thơng tin Có hai dạng: tin rời rạc tin liên tục Ví dụ: Tấm ảnh, nhạc, bảng số liệu, nói,… tin 1.2.1.3 Tín hiệu Tín hiệu đại lượng vật lý biến thiên, phản ánh tin cần truyền Chú ý: Khơng phải thân q trình vật lý tín hiệu, mà biến đổi tham số riêng q trình vật lý tín hiệu Các đặc trưng vật lý dịng điện, điện áp, ánh sáng, âm thanh, trường điện từ 1.2.2 Sơ đồ khối hệ thống truyền tin số (Hình 1.2) Từ nguồn khác Nguồn tin Định khuôn dạng m1 Mã nguồn Mã bảo mật Mã kênh Dồn kênh Điều chế S1(t) Trải phổ Hệ thống đồng ( Synchronization ) Dịng bit Đa truy nhập Dạng sóng số Máy Phát (XMT) K Ê N H Đầu số Nhận tin Định khuôn dạng Giải mã nguồn m1 Giải mã mật Giải mã kênh Chia kênh Giải điều chế Ép phổ Tới nhận tin khác Khối Khối tuỳ chọn Hình 1.2 Sơ đồ khối hệ thống truyền tin số Đa truy nhập MáY THU (RCV) Nhiễu Đầu vào số Chương 1: Những vấn đề chung khái niệm 1.2.2.1 Nguồn tin Nơi sản tin: - Nếu tập tin hữu hạn nguồn sinh gọi nguồn rời rạc - Nếu tập tin vơ hạn nguồn sinh gọi nguồn liên tục Nguồn tin có hai tính chất: Tính thống kê tính hàm ý Với nguồn rời rạc, tính thống kê biểu chỗ xác suất xuất tin khác Tính hàm ý biểu chỗ xác suất xuất tin sau dãy tin khác khác Ví dụ: P(y/ta) ≠ P(y/ba) 1.2.2.2 Máy phát Là thiết bị biến đổi tập tin thành tập tín hiệu tương ứng Phép biến đổi phải đơn trị hai chiều (thì bên thu “sao lại” tin gửi đi) Trong trường hợp tổng quát, máy phát gồm hai khối - Thiết bị mã hố: Làm ứng tin với tổ hợp ký hiệu chọn nhằm tăng mật độ, tăng khả chống nhiễu, tăng tốc độ truyền tin - Khối điều chế: Là thiết bị biến tập tin (đã không mã hố) thành tín hiệu để xạ vào khơng gian dạng sóng điện từ cao tần Về nguyên tắc, máy phát có khối 1.2.2.3 Đường truyền tin Là môi trường vật lý, tín hiệu truyền từ máy phát sang máy thu Trên đường truyền có tác động làm lượng, làm thơng tin tín hiệu 1.2.2.4 Máy thu Là thiết bị lập lại (sao lại) thơng tin từ tín hiệu nhận Máy thu thực phép biến đổi ngược lại với phép biến đổi máy phát: Biến tập tín hiệu thu thành tập tin tương ứng Máy thu gồm hai khối: - Giải điều chế: Biến đổi tín hiệu nhận thành tin mã hoá - Giải mã: Biến đổi tin mã hoá thành tin tương ứng ban đầu (các tin nguồn gửi đi) 1.2.2.5 Nhận tin Có ba chức năng: - Ghi giữ tin (ví dụ nhớ máy tính, băng ghi âm, ghi hình,…) - Biểu thị tin: Làm cho giác quan người cảm biến máy thụ cảm để xử lý tin (ví dụ băng âm thanh, chữ số, hình ảnh,…) Chương 1: Những vấn đề chung khái niệm - Xử lý tin: Biến đổi tin để đưa dạng dễ sử dụng Chức thực người máy 1.2.2.6 Kênh truyền tin Là tập hợp thiết bị kỹ thuật phục vụ cho việc truyền tin từ nguồn đến nơi nhận tin 1.2.2.7 Nhiễu Là yếu tố ngẫu nhiên có ảnh hưởng xấu đến việc thu tin Những yếu tố tác động xấu đến tin truyền từ bên phát đến bên thu Để cho gọn, ta gộp yếu tố tác động vào hình 1.2 Hình 1.2 sơ đồ khối tổng quát hệ truyền tin số Nó là: hệ thống vô tuyến điện thoại, vô tuyến điện báo, rađa, vơ tuyến truyền hình, hệ thống thơng tin truyền số liệu, vô tuyến điều khiển từ xa 1.2.2.8 Các phương pháp biến đổi thông tin số khối chức hệ thống Chương 1: Những vấn đề chung khái niệm Điều chế Định dạng/ Mã nguồn Mã hoá ký tự Lấy mẫu Lượng tử hoá Điều chế mã xung (PCM) - PCM vi phân - Điều chế Delta (DM) - DM có tốc độ biến đổi liên tục (CVSD) - Mã hoá dự đốn tuyến tính (LPC) - Các phương pháp nén: Mã Huffman, mã số học, thuật toán Ziv_Lempel Mã kênh Dạng sóng Các dãy có cấu trúc Tín hiệu M_trị Tín hiệu trực giao Tín hiệu song trực giao - Mã khối - Mã liên tục Không kết hợp - PSK: Manip pha - FSK: Manip tần số - ASK: Manip biên độ - Hỗn hợp - OQPSK: Manip pha tương đối mức - MSK - PSK vi phân - FSK - ASK - Hỗn hợp Dồn kênh/ Đa truy cập Trải phổ - Phân chia tần số: FDM/ FDMA - Phân chia thời gian: TDM/ TDMA - Phân chia mã: CDM/ CDMA - Phân chia không gian: SDMA - Phân chia cực tính: PDMA - OFDM Dãy trực tiếp (DS) Nhảy tần (FH) Nhảy thời gian (TH) Các phương pháp hỗn hợp - Hoán vị - Thay - Xử lý bit - Các phương pháp hỗn hợp Mã bảo mật Mã hố theo khối Mã hố dịng số liệu Kết hợp Mật mã cổ điển Mật mã khố cơng khai - Thuật tốn RSA - Thuật tốn logarit rời rạc - Thuật toán McElice - Thuật toán Merkle-Hellman - Thuật toán sử dụng đường cong Elliptic Đồng - Đồng sóng mang - Đồng dấu - Đồng khung - Đồng mạng Chương 1: Những vấn đề chung khái niệm 1.2.3 Những tiêu chất lượng hệ truyền tin 1.2.3.1 Tính hữu hiệu Thể mặt sau: - Tốc độ truyền tin cao - Truyền đồng thời nhiều tin khác - Chi phí cho bit thơng tin thấp 1.2.3.2 Độ tin cậy Đảm bảo độ xác việc thu nhận tin cao, xác suất thu sai (BER) thấp Hai tiêu mâu thuẫn Giải mâu thuẫn nhiệm vụ lý thuyết thông tin 1.2.3.3 An tồn - Bí mật: + Khơng thể khai thác thơng tin trái phép + Chỉ có người nhận hợp lệ hiểu thông tin - Xác thực: Gắn trách nhiệm bên gửi – bên nhận với tin (chữ ký số) - Tồn vẹn: + Thơng tin khơng bị bóp méo (cắt xén, xun tạc, sửa đổi) + Thông tin nhận phải nguyên vẹn nội dung hình thức - Khả dụng: Mọi tài nguyên dịch vụ hệ thống phải cung cấp đầy đủ cho người dùng hợp pháp 1.2.3.4 Đảm bảo chất lượng dịch vụ (QoS) Đây tiêu quan trọng đặc biệt dịch vụ thời gian thực, nhậy cảm với độ trễ (truyền tiếng nói, hình ảnh, ….) 10 Chương 2: Tín hiệu nhiễu CHƯƠNG II: TÍN HIỆU VÀ NHIỄU 2.1 TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỦA CHÚNG Tín hiệu xác định thường xem hàm xác định biến thời gian t (s(t)) Hàm mơ tả biểu thức giải tích mơ tả đồ thị Một • đặc trưng vật lý quan trọng tín hiệu hàm mật độ phổ biên độ phức S(ω) Với tín hiệu s(t) khả tích tuyệt đối, ta có cặp biến đổi Fourier sau: ∞ • S(ω) = ∫ s(t)e − jω t dt (2.1) −∞ s(t) = 2π ∞ • ∫ S(ω)e j ωt dω (2.2) −∞ Sau số đặc trưng vật lý quen thuộc tín hiệu: - Thời hạn tín hiệu (T): Thời hạn tín hiệu khoảng thời gian tồn tín hiệu, khoảng giá trị tín hiệu khơng đồng - Bề rộng phổ tín hiệu (F): Đây miền xác định tần số khác không cao tín hiệu - Năng lượng tín hiệu (E): Năng lượng tín hiệu tính theo miền thời gian hay miền tần số ∞ ∞ • E = ∫ s (t)dt = S( ∫ ω) dω π −∞ −∞ [J] (2.3) (Định lý Parseval) - Cơng suất tín hiệu (P): P= E T [W] 2.2 TÍN HIỆU VÀ NHIỄU LÀ CÁC QUÁ TRÌNH NGẪU NHIÊN 2.2.1 Bản chất ngẫu nhiên tín hiệu nhiễu Như xét trên, coi tín hiệu biểu vật lý tin (trong thông tin vô tuyến: dạng vật lý cuối tin sóng điện từ) Q trình vật lý mang tin diễn theo thời gian, mặt tốn học được, cách biểu diễn trực tiếp cho tín hiệu viết biểu thức theo thời gian hay vẽ đồ thị thời gian 11 Chương 2: Tín hiệu nhiễu Trong lý thuyết cổ điển, dù tín hiệu tuần hồn khơng tuần hồn ta coi biết trước biểu diễn hàm tiền định thời gian Đó quan niệm xác định tín hiệu (tín hiệu tiền định) Tuy vậy, quan niệm không phù hợp với thực tế Thật vậy, tín hiệu tiền định khơng thể dùng vào việc truyền tin tức Với cách coi tín hiệu biểu vật lý tin, hồn tồn biết trước mặt thơng tin, việc nhận tín hiệu khơng có ý nghĩa Nhưng ta hồn tồn khơng biết tín hiệu truyền đi, ta khơng thể thực nhận tin Bởi khơng có làm để phân biệt tín hiệu với khơng phải nó, đặc biệt với nhiễu Như vậy, quan niệm hợp lý phải kể đến đặc tính thống kê tín hiệu, tức phải coi tín hiệu q trình ngẫu nhiên Chúng ta gọi tín hiệu xét theo quan điểm thống kê tín hiệu ngẫu nhiên 2.2.2 Định nghĩa phân loại nhiễu Trong trình truyền tin, tín hiệu ln ln bị nhiều yếu tố ngẫu nhiên tác động vào, làm mát phần chí tồn thơng tin chứa Những yếu tố ngẫu nhiên đa dạng, chúng thay đổi ngẫu nhiên số vật lý môi trường truyền qua loại trường điện từ cảm ứng công nghiệp, y học…vv… Trong vô tuyến điện, người ta gọi tất yếu tố ngẫu nhiên can nhiễu (hay nhiễu) Tóm lại, ta coi nhiễu tất tín hiệu vơ ích (tất nhiên hệ truyền tin ta xét) có ảnh hưởng xấu đến việc thu tin Nguồn nhiễu ngồi hệ Nếu nhiễu xác định việc chống khơng có khó khăn mặt ngun tắc Ví dụ người ta có biện pháp để chống ồn dòng xoay chiều gây máy khuếch đại âm tần, người ta biết rõ cách chống nhiễu lẫn điện đài vô tuyến điện làm việc mà chúng có phổ tín hiệu trùm nhau…vv… Các loại nhiễu không đáng ngại Chú ý: Cần phân biệt nhiễu với méo gây đặc tính tần số đặc tính thời gian thiết bị, kênh truyền… (méo tuyến tính méo phi tuyến) Về mặt nguyên tắc, ta khắc phục chúng cách hiệu chỉnh Nhiễu đáng lo ngại nhiễu ngẫu nhiên Cho đến nay, việc chống nhiễu ngẫu nhiên gặp khó khăn lớn mặt lý luận lẫn mặt thực kỹ thuật Do đó, giáo trình ta đề cập đến dạng (sau thấy thường xét nhiễu cộng, chuẩn) nhiễu ngẫu nhiên Việc chia thành loại (dạng) nhiễu khác làm theo dấu hiệu sau: Theo bề rộng phổ nhiễu: có nhiễu giải rộng (phổ rộng phổ ánh sáng trắng gọi tạp âm trắng), nhiễu giải hẹp (gọi tạp âm màu) Theo quy luật biến thiên thời gian nhiễu: có nhiễu rời rạc nhiễu liên tục Theo phương thức mà nhiễu tác động lên tín hiệu: có nhiễu cộng nhiễu nhân Theo cách xạ nhiễu: có nhiễu thụ động nhiễu tích cực Nhiễu thụ động tia phản xạ từ mục tiêu giả từ địa vật trở đài ta xét tia sóng đập vào chúng Nhiễu tích cực (chủ động) nguồn xạ lượng (các đài hệ thống lân cận) máy phát nhiễu đối phương chĩa vào đài hệ thống xét 12 Chương 2: Tín hiệu nhiễu Theo nguồn gốc phát sinh: có nhiễu cơng nghiệp, nhiễu khí quyển, nhiễu vũ trụ…vv… Trong giáo trình nói nhiễu, ta nói theo phương thức tác động nhiễu lên tín hiệu, tức nói đến nhiễu nhân nhiễu cộng Về mặt tốn học, tác động nhiễu cộng lên tín hiệu biểu diễn hệ thức sau: u(t) = s(t) + n(t) (2.4) s(t) tín hiệu gửi u(t) tín hiệu thu n(t) nhiễu cộng Cịn nhiễu nhân biểu diễn bởi: u(t) = μ(t).s(t) (2.5) μ (t): nhiễu nhân, trình ngẫu nhiên Hiện tượng gây nên nhiễu nhân gọi suy lạc (fading) Tổng quát, tín hiệu chịu tác động đồng thời nhiễu cộng nhiễu nhân thì: u(t) = μ(t).s(t) + n(t) (2.6) Ở đây, ta coi hệ số truyền kênh đơn vị bỏ qua thời gian giữ chậm tín hiệu kênh truyền Nếu kể đến thời gian giữ chậm τ kênh truyền (2.6) có dạng: u(t) = μ(t).s(t − τ) + n(t) (2.7) 2.3 CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU 2.3.1 Các đặc trưng thống kê Theo quan điểm thống kê, tín hiệu nhiễu coi trình ngẫu nhiên Đặc trưng cho q trình ngẫu nhiên quy luật thống kê (các hàm phân bố mật độ phân bố) đặc trưng thống kê (kỳ vọng, phương sai, hàm tự tương quan, hàm tương quan) Các quy luật thống kê đặc trưng thống kê nghiên cứu lý thuyết hàm ngẫu nhiên, ta khơng nhắc lại Trong lớp trình ngẫu nhiên, đặc biệt quan trọng trình ngẫu nhiên sau: - Quá trình ngẫu nhiên dừng (theo nghĩa hẹp theo nghĩa rộng) trình ngẫu nhiên chuẩn dừng - Quá trình ngẫu nhiên ergodic Ta minh hoạ chúng theo lược đồ sau: 13 Chương 2: Tín hiệu nhiễu QTNN dừng rộng QTNN dừng hẹp QTNN chuẩn QTNN chuẩn dừng QTNN QTNN ergodic Hình 2.1 Trong đặc trưng thống kê trình ngẫu nhiên, hàm tự tương quan hàm tương quan đặc trưng quan trọng Theo định nghĩa, hàm tự tương quan bằng: Δ { } R x (t1, t ) = M ⎡ X(t1 ) − m x (t1 ) ⎤ ⎡ X(t ) − m x (t ) ⎤ ⎣ ⎦⎣ ⎦ ∞ ∞ = ∫ ∫ [ x(t1) − m x (t1)].[ x(t ) − m x (t )].W2 (x1, x , t1, t )dx1dx (2.8) −∞ −∞ R x (t1, t ) đặc trưng cho phụ thuộc thống kê hai giá trị hai thời điểm thuộc thể trình ngẫu nhiên W2 ( x1, x , t1, t ) hàm mật độ phân bố xác suất hai chiều hai giá trị trình ngẫu nhiên hai thời điểm t1 t Khi t = t (2.8) trở thành: { R x (t1, t ) = M [ X(t) − m x (t) ] } = D (t) x (2.9) Như vậy, phương sai trường hợp riêng hàm tự tương quan hai thời điểm xét trùng Đơi để tiện tính tốn so sánh, người ta dùng hàm tự tương quan chuẩn hoá định nghĩa công thức: Δ τx (t , t ) = R x (t , t ) = R x (t , t1 ).R x (t , t ) R x (t , t ) = τx (t1 ).τ x (t ) Dễ dàng thấy rằng: τx (t , t ) ≤ 14 R x (t , t ) D x (t1 ).D x (t ) (2.10) Chương 2: Tín hiệu nhiễu 2.3.2 Khoảng tương quan Khoảng tương quan đặc trưng quan trọng Ta thấy hai giá trị trình ngẫu nhiên ξ (t) tương quan với khoảng cách τ hai thời điểm xét τ → ∞ , coi hai giá trị không tương quan với Tuy vậy, thực tế, hầu hết trình ngẫu nhiên cần τ đủ lớn tương quan hai giá hữu hạn Khi trị q trình Do đó, tính tốn thực tế người ta định nghĩa khoảng (thời gian) tương quan sau: Định nghĩa 1: Khoảng tương quan thời gian τK khoảng τξ (τ) τξ (τ) khơng nhỏ 0,05 (hình vẽ 2.2) Như vậy, ∀τ > τK xem hết tương quan Nếu cho biểu thức giải tích τξ ( τ) τK tính sau: 0,05 ∞ τK = ∫ τξ (τ) dτ −∞ (2.11) τk τ t Hình 2.2 Ý nghĩa hình học: τK nửa cạnh đáy hình chữ nhật có chiều cao đơn vị K, có diện tích diện tích miền giới hạn trục hồnh đường biểu diễn τξ ( τ) Trong thực tế, ta thường gặp q trình ngẫu nhiên ergodic Ví dụ: tạp âm máy thu vô tuyến điện,… Đối với q trình ngẫu nhiên ergodic, ta xác định đặc trưng thống kê chúng thực nghiệm cách dễ dàng Ta biết rằng, X(t) – ergodic với T đủ lớn ta viết: R x (τ) = M {[ X(t) − m x ].[ X(t − τ) − m x ]} T ≈ ∫ [ x(t) − m x ].[ x(t + τ) − m x ] dt T0 Trung bình thống kê = trung bình theo thời gian 15 (2.12) Chương 2: Tín hiệu nhiễu 2.4 CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU BIẾN ĐỔI WIENER – KHINCHIN 2.4.1 Những khái niệm xây dựng lý thuyết phổ trình ngẫu nhiên - mật độ phổ công suất Mục trước ta đưa số đặc trưng thống kê q trình ngẫu nhiên (tín hiệu, nhiễu) mà chưa đưa đặc trưng vật lý chúng Về mặt lý thuyết thực tế, đặc trưng vật lý tín hiệu ngẫu nhiên (quá trình ngẫu nhiên) đóng vai trị quan trọng chương sau nói đến sở lý thuyết chống nhiễu xét biện pháp thực tế thiết bị chống nhiễu ta khơng dùng đến đặc trưng vật lý tín hiệu ngẫu nhiên nhiễu Khi xét loại tín hiệu xác định giáo trình “Lý thuyết mạch”, làm quen với đặc trưng vật lý chúng như: lượng, công suất, thời hạn tín hiệu, phổ biên độ phức, mật độ phổ, bề rộng phổ, … Cơ sở để hình thành đặc trưng vật lý chuỗi tích phân Fourier Đối với tín hiệu ngẫu nhiên nhiễu, ta dùng trực tiếp biến đổi Fourier để xây dựng đặc trưng vật lý chúng lý sau: - Tập thể {x i (t)} , i =1, 2, , ∞ trình ngẫu nhiên X(t) cho khoảng T thường tập vơ hạn (thậm chí khơng phải tập đếm được) - Nếu tín hiệu ngẫu nhiên dừng chặt tập vơ hạn thể theo thời gian thường khơng khả tích tuyệt đối Tức là: T lim T →∞ ∫ x(t) dt = ∞ −T Để tránh khỏi khó khăn trên, ta làm sau: Lấy hàm x T (t) trùng với thể trình ngẫu nhiên trung tâm X(t) (QTNN trung tâm QTNN có kỳ vọng khơng) đoạn ⎪⎧ x(t) x T (t) = ⎨ ⎪⎩0 Từ (2.13), ta thấy ⎡ T T⎤ ⎢⎣ − , ⎥⎦ khơng ngồi đoạn đó: t ≤T (2.13) t >T x T (t) thoả mãn điều kiện khả tích tuyệt đối nên dùng biến đổi Fourier cho Ta biết phổ biên độ phức ST ( ω) x T (t) xác định tích phân thuận Fourier sau: ST ( ω) = T ∫ −T x T ( t ) e− jωt dt Theo định lý Parseval, ta có biểu thức tính lượng 16 (2.14) x T (t) sau: Chương 2: Tín hiệu nhiễu ∞ ET = ∫ xT −∞ Công suất thể ∞ • (t)dt = S ∫ T (ω) dω 2π −∞ (2.15) x T (t) bằng: • ∞ • E 1 PT = T = S ( ) d ω ω = T ∫ T 2πT −∞ 2π Ta thấy vế trái (2.16) công suất thể ∞ ST (ω) ∫ dω T −∞ (2.16) x T (t) khoảng thời gian tồn hữu ⎧⎪ • ⎫⎪ T ⎬ dω Rõ ràng để đảm hạn T, vế phải tổng liên tục đại lượng ⎨ ST (ω) ⎪⎩ ⎪⎭ • ST (ω) bảo bình đẳng thứ nguyên hai vế (2.16) lượng T dω phải biểu thị cơng • ST (ω) suất giải tần vô bé dω Như vậy, biểu thị công suất thể T đơn vị tần số [W/Hz] tức mật độ phổ công suất thể x T (t) x T (t) Đến ta đặt: • ST (ω) T gọi = G T (ω) (2.17) G T (ω) mật độ phổ công suất thể x T (t) khoảng T hữu hạn G T (ω) đặc trưng cho phân bố công suất thể x T (t) thang tần số Khi cho T → ∞ ta tìm mật độ phổ công suất thể x T (t) q trình ngẫu nhiên: • ST (ω) G x (ω) = lim G T (ω) = lim T →∞ T →∞ T (2.18) G x (ω) có ý nghĩa tương tự G T (ω) Từ (2.18) ta thấy để xác định mật độ phổ cơng suất q trình ngẫu nhiên (tức tập thể ngẫu nhiên) phải lấy trung bình thống kê đại lượng 17 G x (ω) , tức là: Chương 2: Tín hiệu nhiễu • G(ω) = M {G x (ω)} = M lim ST (ω) (2.19) T T →∞ (2.19) công thức xác định mật độ phổ công suất trình ngẫu nhiên 2.4.2 Cặp biến đổi Wiener – Khinchin Để thấy mối quan hệ đặc trưng thống kê (nói riêng hàm tự tương quan) đặc trưng vật lý (nói riêng mật độ phổ công suất) ta viết lại thực biến đổi (2.19) sau: • ST (ω) G(ω) = M lim M ST (ω) = lim T T →∞ • T T →∞ = ⎫⎪ •* ⎧⎪ • = lim M ⎨ST (ω)ST (ω) ⎬ (2.14) T →∞ T ⎪⎩ ⎪⎭ T2 T2 ⎫ ⎧⎪ ⎪ − jωt1 − jωt = lim M ⎨ ∫ x T (t1 )e dt1 ∫ x T (t )e dt ⎬ = T →∞ T ⎪⎩ − T ⎪⎭ −T T/2 T/2 M {x T (t1 ).x T (t )} e− jω(t1 − t )dt1dt = lim ∫ ∫ T →∞ T −T / −T / Nhưng theo định nghĩa (2.8), ta thấy trình ngẫu nhiên trung tâm (có M {x T (t1 ).x T (t )} hàm tự tương quan m x = ) nên ta viết: M {x T (t1 ).x T (t )} = R T (t1, t ) Nếu τ = − t + t1 trình dừng, ta có: M {x T (t1 ).x T (t )} = R T (τ) Ta viết lại biểu thức cho G ( ω) : ⎧ T + t2 ⎫ T/2 ⎪1 ⎪ − jωτ G(ω) = lim ⎨ R T (τ)e dτ ∫ dt ⎬ ∫ T →∞ T ⎪ −T − t ⎪ −T / 2 ⎩ ⎭ = lim T →∞ T +t 2 ∫ R T (τ)e −T − t 2 18 − jωτ T/2 dτ lim ∫ dt T →∞ T −T /