Thông tin tài liệu
Häc viƯn c«ng nghƯ bu chÝnh viƠn th«ng GIÁO TRÌNH PT IT Lý thuyÕt th«ng tin Chủ biên: GS.TS Nguyễn Bình Cộng tác viên: TS Ngơ Đức Thiện Khoa KTĐT1 - Học viện CNBCVT Hµ Néi , 2013 MỤC LỤC LỜI NÓI ĐẦU i MỤC LỤC iii CHƯƠNG NHỮNG VẤN ĐỀ CHUNG VÀ NHỮNG KHÁI NIỆM CƠ BẢN 1.1 VỊ TRÍ, VAI TRỊ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN” 1.1.1 Vị trí, vai trị Lý thuyết thông tin 1.1.2 Sơ lược lịch sử phát triển 1.2 NHỮNG KHÁI NIỆM CƠ BẢN - SƠ ĐỒ VÀ CHỨC NĂNG CỦA HỆ THỐNG TRUYỀN TIN 1.2.1 Các định nghĩa 1.2.2 Sơ đồ khối hệ thống truyền tin số IT 1.2.3 Những tiêu chất lượng hệ truyền tin CHƯƠNG TÍN HIỆU VÀ NHIỄU 2.1 TÍN HIỆU XÁC ĐỊNH VÀ CÁC ĐẶC TRƯNG VẬT LÝ CỦA CHÚNG 2.2 TÍN HIỆU VÀ NHIỄU LÀ CÁC Q TRÌNH NGẪU NHIÊN PT 2.2.1 Bản chất ngẫu nhiên tín hiệu nhiễu 2.2.2 Định nghĩa phân loại nhiễu 10 2.3 CÁC ĐẶC TRƯNG THỐNG KÊ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU 11 2.3.1 Các đặc trưng thống kê 11 2.3.2 Khoảng tương quan 12 2.4 CÁC ĐẶC TRƯNG VẬT LÝ CỦA TÍN HIỆU NGẪU NHIÊN VÀ NHIỄU, BIẾN ĐỔI WIENER – KHINCHIN 14 2.4.1 Những khái niệm xây dựng lý thuyết phổ trình ngẫu nhiên - mật độ phổ công suất 14 2.4.2 Cặp biến đổi Wiener – Khinchin 15 2.4.3 Bề rộng phổ công suất 17 2.4.4 Mở rộng cặp biến đổi Wiener – Khinchin cho trường hợp khơng khả tích tuyệt đối 18 2.5 TRUYỀN CÁC TÍN HIỆU NGẪU NHIÊN QUA CÁC MẠCH VƠ TUYẾN ĐIỆN TUYẾN TÍNH 19 2.5.2 Bài toán tối đa 23 2.6 BIỂU DIỄN PHỨC CHO THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN – TÍN HIỆU GIẢI HẸP 28 iii 2.6.1 Cặp biến đổi Hilbert tín hiệu giải tích 28 2.6.2 Tín hiệu dải rộng giải hẹp 31 2.7 BIỂU DIỄN HÌNH HỌC CHO THỂ HIỆN CỦA TÍN HIỆU NGẪU NHIÊN 33 2.7.1 Khai triển trực giao biểu diễn vector tín hiệu 33 2.7.2 Mật độ xác suất vector ngẫu nhiên - Khoảng cách hai vector tín hiệu 35 2.7.3 Khái niệm máy thu tối ưu 39 CHƯƠNG CƠ SỞ LÝ THUYẾT THÔNG TIN THỐNG KÊ 45 3.1 THÔNG TIN - LƯỢNG THÔNG TIN – XÁC SUẤT VÀ THÔNG TIN – ĐƠN VỊ ĐO THÔNG TIN 45 3.1.1 Định nghĩa định tính thơng tin lượng thơng tin 45 3.1.2 Quan hệ độ bất định xác suất 46 3.1.3 Xác định lượng thông tin 48 IT 3.2 ENTROPY VÀ CÁC TÍNH CHẤT CỦA ENTROPY 49 3.2.1 Tính chất thống kê nguồn rời rạc đời khái niệm entropy 49 3.2.2 Định nghĩa entropy nguồn rời rạc 50 3.2.3 Các tính chất entropy chiều nguồn rời rạc 51 PT 3.2.4 Entropy nguồn rời rạc, nhị phân 53 3.2.5 Entropy trường kiện đồng thời 54 3.3 ENTROPY CĨ ĐIỀU KIỆN LƯỢNG THƠNG TIN CHÉO TRUNG BÌNH 55 3.3.1 Entropy có điều kiện trường tin rõ tin định trường tin 55 3.3.2 Entropy có điều kiện trường tin rõ trường tin 56 3.3.3 Hai trạng thái cực đoan kênh truyền tin 57 3.3.4 Các tính chất entropy có điều kiện 58 3.3.5 Lượng thơng tin chéo trung bình 59 3.3.6 Tính chất I(A,B) 60 3.3.7 Mơ hình kênh truyền tin có nhiễu 60 3.4 TỐC ĐỘ PHÁT KHẢ NĂNG PHÁT ĐỘ THỪA KHẢ NĂNG THÔNG QUA CỦA KÊNH RỜI RẠC 61 3.4.1 Tốc độ phát nguồn rời rạc 61 3.4.2 Khả phát nguồn rời rạc 61 3.4.3 Các đặc trưng kênh rời rạc loại kênh rời rạc 62 iv 3.4.4 Lượng thông tin truyền qua kênh đơn vị thời gian 63 3.4.5 Khả thông qua kênh rời rạc 63 3.4.6 Tính khả thơng qua kênh nhị phân đối xứng không nhớ, đồng 64 3.4.7 Định lý mã hoá thứ hai Shannon 66 3.4.8 Khả thơng qua kênh nhị phân đối xứng có xố 66 3.5 ENTROPY CỦA NGUỒN LIÊN TỤC LƯỢNG THƠNG TIN CHÉO TRUNG BÌNH TRUYỀN QUA KÊNH LIÊN TỤC KHÔNG NHỚ 67 3.5.1 Các dạng tín hiệu liên tục 67 3.5.2 Các đặc trưng tham số kênh liên tục 68 3.5.3 Kênh liên tục chứa kênh rời rạc 69 3.5.4 Entropy nguồn tin liên tục (của trình ngẫu nhiên liên tục) 69 3.5.5 Mẫu vật lý minh hoạ lớn vô hạn entropy nguồn liên tục 71 IT 3.5.6 Lượng thơng tin chéo trung bình truyền theo kênh liên tục không nhớ 72 3.6 ENTROPY VI PHÂN CĨ ĐIỀU KIỆN TÍNH CHẤT CỦA CÁC TÍN HIỆU GAUSSE 73 3.6.1 Entropy vi phân có điều kiện 73 PT 3.6.2 Entropy vi phân nhiễu Gausse 74 3.6.3 Lượng thơng tin chéo trung bình truyền theo kênh Gausse 74 3.6.4 Tính chất tín hiệu có phân bố chuẩn 75 3.7 KHẢ NĂNG THÔNG QUA CỦA KÊNH GAUSSE 77 3.7.1 Khả thông qua kênh Gausse với thời gian rời rạc 77 3.7.2 Khả thông qua kênh Gausse với thời gian liên tục dải tần hạn chế 79 3.7.3 Khả thông qua kênh Gausse với thời gian liên tục dải tần vô hạn 79 3.7.4 Định lý mã hoá thứ hai Shannon kênh liên tục 81 3.7.5 Ví dụ: Khả thơng qua số kênh thực tế 81 BÀI TẬP CHƯƠNG 82 CHƯƠNG CƠ SỞ LÝ THUYẾT MÃ HÓA 85 4.1 CÁC ĐỊNH NGHĨA VÀ KHÁI NIỆM CƠ BẢN 85 4.1.1 Các định nghĩa 85 4.1.2 Các khái niệm 86 4.1.3 Khả khống chế sai mã nhị phân 88 v 4.1.4 Mã nhị phân khơng có độ thừa 88 4.2 MÃ THỐNG KÊ TỐI ƯU 89 4.2.1 Độ dài trung bình từ mã mã hóa tối ưu 89 4.2.2 Yêu cầu phép mã hóa tối ưu 90 4.2.3 Định lý mã hóa thứ Shannon (đối với mã nhị phân) 90 4.2.4 Thuật toán Huffman 91 4.3 CÁC CẤU TRÚC ĐẠI SỐ VÀ MÃ TUYẾN TÍNH 93 4.3.1 Một số cấu trúc đại số 93 4.3.2 Các dạng tuyến tính mã tuyến tính 95 4.3.3 Các tốn tối ưu mã tuyến tính nhị phân 98 4.4 VÀNH ĐA THỨC VÀ MÃ XYCLIC 99 4.4.1 Vành đa thức 99 IT 4.4.2 Ideal vành đa thức 101 4.4.3 Định nghĩa mã xyclic 102 4.4.4 Ma trận sinh mã xyclic 103 4.4.5 Ma trận kiểm tra mã xyclic 103 PT 4.5 MÃ HÓA CHO CÁC MÃ XYCLIC 104 4.5.1 Mô tả từ mã mã xyclic hệ thống 104 4.5.2 Thuật toán mã hóa hệ thống 104 4.5.3 Thiết bị mã hóa 105 4.5.4 Tạo dấu kiểm tra mã xyclic 106 4.5.5 Thuật toán thiết lập từ mã hệ thống theo phương pháp nhân 108 4.6 GIẢI MÃ NGƯỠNG 109 4.6.1 Hai thủ tục giải mã 109 4.6.2 Giải mã theo Syndrom 109 4.6.3 Hệ tổng kiểm tra trực giao có khả trực giao 110 4.6.4 Giải mã ngưỡng dựa hệ tổng kiểm tra trực giao 111 4.6.5 Giải mã ngưỡng dựa hệ tổng kiểm tra có khả trực giao 113 4.7 GIẢI MÃ THEO THUẬT TOÁN MEGGIT 115 4.8 GIẢI MÃ XYCLIC THEO THUẬT TỐN CHIA DỊCH VỊNG 117 4.8.1 Nhiệm vụ thuật toán giải mã 117 4.8.2 Giải mã theo thuật tốn chia dịch vịng 118 vi 4.8.3 Ví dụ 119 4.9 GIẢI MÃ LƯỚI 120 4.9.1 Trạng thái giản đồ lưới 120 4.9.2 Giải mã lưới 123 4.10 MÃ HAMMING VÀ MÃ CÓ ĐỘ DÀI CỰC ĐẠI 129 4.11 CÁC MÃ KHỐI DỰA TRÊN SỐ HỌC CỦA TRƯỜNG HỮU HẠN 130 4.11.1 Trường hữu hạn cỡ nguyên tố GF(p) 130 4.11.2 Các trường mở rộng trường nhị phân Trường hữu hạn GF(2m) 130 4.11.3 Biểu diễn đa thức cho trường hữu hạn GF(2m) 132 4.11.4 Các tính chất đa thức phần tử trường hữu hạn 132 4.11.5 Xác định mã nghiệm 135 4.11.6 Mã Hamming 136 IT 4.11.7 Mã BCH 136 4.11.8 Các mã Reed –Solomon (RS) 139 4.12 CÁC MÃ XYCLIC VÀ XYCLIC CỤC BỘ (XCB) TRÊN VÀNH ĐA THỨC 139 4.12.1 Nhóm nhân xyclic vành đa thức 139 PT 4.12.2 Các lớp kề xyclic luỹ đẳng nguyên thuỷ 140 4.12.3 Phân hoạch vành theo nhóm nhân xyclic 142 4.12.4 Định nghĩa mã XCB 143 4.12.5 Nhóm nhân xyclic theo modulo 144 4.12.6 Mã hoá cho mã XCB 144 4.12.7 Giải mã ngưỡng cho mã XCB 146 4.13 CÁC MÃ CHẬP 148 4.13.1 Mở đầu số khái niệm 148 4.13.2 Các mã Turbo 152 BÀI TẬP CHƯƠNG 155 CHƯƠNG LÝ THUYẾT THU TỐI ƯU 158 5.1 ĐẶT BÀI TOÁN VÀ CÁC VẤN ĐỀ CƠ BẢN 158 5.1.1 Thu tín hiệu có nhiễu toán thống kê 158 5.1.2 Máy thu tối ưu 159 5.1.3 Thế chống nhiễu 159 5.1.4 Hai loại sai lầm chọn giả thuyết 159 vii 5.1.5 Tiêu chuẩn Kachennhicov 159 5.1.6 Việc xử lý tối ưu tín hiệu 160 5.1.7 Xác suất giải sai quy tắc giải tối ưu 160 5.1.8 Hàm hợp lý 161 5.1.9 Quy tắc hợp lý tối đa 161 5.2 XỬ LÝ TỐI ƯU CÁC TÍN HIỆU CĨ THAM SỐ ĐÃ BIẾT KHÁI NIỆM VỀ THU KẾT HỢP VÀ THU KHÔNG KẾT HỢP 162 5.2.1 Đặt toán 162 5.2.2 Giải toán 162 5.2.3 Khái niệm thu kết hợp thu không kết hợp 165 5.3 PHÁT TÍN HIỆU TRONG NHIỄU NHỜ BỘ LỌC PHỐI HỢP TUYẾN TÍNH THỤ ĐỘNG 167 5.3.1 Định nghĩa lọc phối hợp tuyến tính thụ động 167 IT 5.3.2 Bài toán lọc phối hợp 167 5.3.3 Đặc tính biên tần đặc tính pha tần lọc phối hợp 170 5.3.4 Phản ứng xung mạch lọc phối hợp 171 5.3.5 Hưởng ứng mạch lọc phối hợp 172 PT 5.4 LÝ LUẬN CHUNG VỀ THU KẾT HỢP CÁC TÍN HIỆU NHỊ PHÂN 173 5.4.1 Lập sơ đồ giải tối ưu tuyến 173 5.4.2 Xác suất sai thu kết hợp tín hiệu nhị phân 174 5.5 XỬ LÝ TỐI ƯU CÁC TÍN HIỆU CĨ THAM SỐ NGẪU NHIÊN – THU KHÔNG KẾT HỢP 181 5.5.1 Các tham số tín hiệu tham số ngẫu nhiên 181 5.5.2 Xử lý tối ưu tín hiệu có tham số ngẫu nhiên biến thiên chậm 181 5.5.3 Xác suất hậu nghiệm tín hiệu có tham số thay đổi ngẫu nhiên 181 5.5.4 Xử lý tối ưu tín hiệu có pha ngẫu nhiên 183 5.5.5 So sánh thu kết hợp với thu không kết hợp 185 5.5.6 Chú thích 186 5.6 MÃ KHỐI KHÔNG GIAN , THỜI GIAN (STBC) 186 5.6.1 Kỹ thuật thu phân tập 186 5.6.2 Mã khối không gian – thời gian dựa hai máy phát 188 BÀI TẬP CHƯƠNG 191 PHỤ LỤC 194 viii Lời nói đầu LỜI NĨI ĐẦU IT Giáo trình Lý thuyết thơng tin giáo trình sở dùng cho sinh viên chuyên ngành Điện tử – Viễn thông Công nghệ thơng tin Học viện Cơng nghệ Bưu Viễn thông Đây tài liệu tham khảo hữu ích cho sinh viên chuyên ngành Điện - Điện tử Giáo trình nhằm chuẩn bị tốt kiến thức sở cho sinh viên để học tập nắm vững môn kỹ thuật chuyên ngành, đảm bảo cho sinh viên đánh giá tiêu chất lượng hệ thống truyền tin cách có khoa học Giáo trình gồm chương, ngồi chương I có tính chất giới thiệu chung, chương cịn lại chia thành phần chính: Phần I: Lý thuyết tín hiệu ngẫu nhiên nhiễu (Chương 2) Phần II: Lý thuyết thông tin mã hóa (Chương Chương 4) Phần III: Lý thuyết thu tối ưu (Chương 5) PT Phần I: (Chương II) Nhằm cung cấp cơng cụ tốn học cần thiết cho chương sau Phần II: Gồm hai chương với nội dung chủ yếu sau: Chương III: Cung cấp khái niệm lý thuyết thông tin Shannon hệ truyền tin rời rạc mở rộng cho hệ truyền tin liên tục Chương IV: Trình bày hai hướng kiến thiết cho hai định lý mã hóa Shannon Vì khn khổ có hạn giáo trình, hướng (mã nguồn mã kênh) trình bày mức độ hiểu biết Để tìm hiểu sâu kết ứng dụng cụ thể sinh viên cần phải xem thêm tài liệu tham khảo Phần III: (Chương V) Trình bày vấn đề xây dựng hệ thống thu tối ưu đảm bảo tốc độ truyền tin độ xác đạt giá trị giới hạn Theo truyền thống bao trùm lên toàn giáo trình việc trình bày hai tốn phân tích tổng hợp Các ví dụ giáo trình chọn lọc kỹ nhằm giúp cho sinh viên hiểu khái niệm cách sâu sắc Các hình vẽ, bảng biểu nhằm mơ tả cách trực quan khái niệm hoạt động sơ đồ khối chức thiết bị cụ thể Sau chương có câu hỏi tập nhằm giúp cho sinh viên củng cố kỹ tính tốn cần thiết hiểu sâu sắc khái niệm thuật toán quan trng i Lời nói đầu Phn ph lc cung cp số kiến thức bổ xung cần thiết số khái niệm quan trọng số số liệu cần thiết giúp cho sinh viên làm tập chương Giáo trình viết dựa sở đề cương môn học Lý thuyết thông tin Bộ Giáo dục Đào tạo đúc kết sau nhiều năm giảng dạy nghiên cứu tác giả Rất mong đóng góp bạn đọc Các đóng góp ý kiến xin gửi KHOA KỸ THUẬT ĐIỆN TỬ - HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG KM 10 ĐƯỜNG NGUYỄN TRÃI - THỊ XÃ HÀ ĐÔNG Email: KhoaDT1@hn.vnn.vn Hoặc nguyenbinh1999@yahoo.com IT Cuối xin chân thành cảm ơn GS Huỳnh Hữu Tuệ cho nhiều ý kiến quý báu trao đổi học thuật có liên quan tới số nội dung quan trọng giáo trình PT NGƯỜI BIÊN SOẠN ii Chương – Những vấn đề chung khái niệm CHƯƠNG NHỮNG VẤN ĐỀ CHUNG VÀ NHỮNG KHÁI NIỆM CƠ BẢN 1.1 VỊ TRÍ, VAI TRỊ VÀ SƠ LƯỢC LỊCH SỬ PHÁT TRIỂN CỦA “LÝ THUYẾT THÔNG TIN” 1.1.1 Vị trí, vai trị Lý thuyết thơng tin IT Do phát triển mạnh mẽ kỹ thuật tính toán hệ tự động, ngành khoa học đời phát triển nhanh chóng, là: “Lý thuyết thông tin” Là ngành khoa học khơng ngừng phát triển thâm nhập vào nhiều ngành khoa học khác như: Toán; triết; hoá; Xibecnetic; lý thuyết hệ thống; lý thuyết kỹ thuật thông tin liên lạc đạt nhiều kết Tuy cịn nhiều vấn đề cần giải giải hồn chỉnh Giáo trình “ Lý thuyết thơng tin” (cịn gọi “Cơ sở lý thuyết truyền tin”) phận lý thuyết thơng tin chung – Nó phần áp dụng “Lý thuyết thông tin” vào kỹ thuật thông tin liên lạc Trong quan hệ Lý thuyết thông tin chung với ngành khoa học khác nhau, ta phải đặc biệt kể đến mối quan hệ với ngành Xibecnetic Mối quan hệ hoạt động khoa học người quảng tính vật chất mơ tả Hình 1.1 PT Quảng tính vật chất Năng lượng Khối lượng Thông tin Năng lượng học Công nghệ học Điều khiển học (Xibecnetic) Các lĩnh vực hoạt động khoa học người Hình 1.1 Quan hệ hoạt động khoa học quảng tính vật chất - Năng lượng học: Là ngành khoa học chuyên nghiên cứu vấn đề liên quan tới khái niệm thuộc lượng Mục đích lượng học làm giảm nặng nhọc lao động chân tay nâng cao hiệu suất lao động chân tay Nhiệm vụ trung tâm - tạo, truyền, thụ, biến đổi, tích luỹ xử lý lượng Xibecnetic: Bao gồm ngành khoa học chuyên nghiên cứu vấn đề có liên quan đến khái niệm thơng tin tín hiệu Mục đích Xibecnetic làm giảm nặng nhọc n C ni 2n i 0 Giả sử từ mã phát đồng xác suất xác suất thu trung bình từ mã là: n i n i C ni 1 p0 1 p1 P®tb i 0 2n Xác suất thu sai trung bình từ mã là: Pstb P®tb 4.6 Cho mã hệ thống nhị phân (8,4) dấu 1 , , dấu mang tin, dấu , , , 8 dấu kiểm tra xác định sau: 1 2 1 3 3 4 4 (a) IT 1 3 4 Chứng minh khoảng cách cực tiểu mã mã d Bài giải - PT Ta biết so sánh dấu thơng tin từ mã khác dấu Nếu khác dấu 1 theo (a) dấu , & khác Như khoảng cách chúng d - Nếu khác theo (a) dấu , , , 8 khác Như d - Nếu khác theo (a) dấu , , 8 khác Như - d 4 Nếu khác 1 & theo (a) có khác Như d - Nếu khác & theo (a) & khác Như d - Nếu khác 1 & theo (a) & khác Như d - Nếu khác 1 & theo (a) & khác Như d - Nếu khác & theo (a) khác Như d - Nếu khác & theo (a) khác Như d - Nếu khác 1 , & theo (a) & 8 khác d Các trường hợp lại ta thấy d dmin = 25 4.7 Xét mã (7,4) có d mã sửa sai xác suất thu từ mã xác suất thu sai dấu pd 1 p0 C 71 p0 1 p0 Xác suất thu sai từ mã i ps pd ; pd 1 p0 1 p0 p0 pd 1 p0 1 6p0 p0 pd 1 6p0 1 6p0 36p02 ps 36p02 ps 0,5 pd 0,56.4 Khi không sửa sai pd0 1 p0 4 26 16 Hiệu IT p 1 p0 p0 p Q1 d 1 pd0 p0 1 p0 1 p0 ps pd0 Q2 ps pd 1 p0 7 C 71 1 p0 6 p0 36p02 PT Khi p0 Q 4.8 Mã hệ thống (3,1) có từ mã 000 111 Tính xác suất sai tương đương dùng mã kênh đối xứng có lỗi xảy với xác suất thu sai dấu p độc lập với Bài giải Khoảng cách mã: d Do mã sửa sai phát sai Như thu sai dấu ta thu sai từ mã Với điều kiện dấu độc lập ta tính xác suất thu sai từ mã là: ps p Trong mã dấu khơng có độ thừa có xác suất thu sai từ mã là: ps 1 p p3 4.9 Số tổ hợp mã mã N m n Trong số từ mã đem dùng N N (số từ mã lại gọi từ mã cấm) Khi từ mã dùng biến thành từ mã cấm ta bảo việc truyền tin gặp lỗi lỗi tự động phát 26 Hãy tính số lượng từ mã sai có mà chúng phát tự động số tối đa từ mã sửa mã Áp dụng số m 2, n 4, N Bài giải Vì số tổ hợp mã có mã N0 Do có nhiễu từ mã biến thành N0 – tổ hợp lại Như số trường hợp sai N N 1 Tuy từ mã dùng bị sai biến thành từ mã cấm sai phát Do số trường hợp sai phát ứng với N từ mã dùng N N N Trong N N số từ mã cấm Tỉ số số tổ hợp mã phát (số trường sai phát hiện) số trường hợp sai là: (1) IT N0 N N 1 Để sửa sai ta phải chia tập từ cấm thành N phần, phần ứng với mã N mã dùng Giả sử ta truyền tin từ mã PT N ai i I , N Do có nhiễu biến thành từ mã bj Nếu bj M i sai sửa Số trường hợp sai sửa từ mã số từ mã cấm Mi (kí hiệu) Do số trường hợp sai sửa từ mã dùng bằng: M M M n N N 27 b1 b2 a1 b3 a2 bj a3 bN0 N aN Tỉ số số trường hợp sửa sai số trường hợp sai có bằng: N0 N N N 1 IT (2) Tỉ số trường hợp sửa sai sai số trường hợp phát sai bằng: N0 N N N N N PT (3) Áp dụng: m 2, n 4, N N m n 24 16 Số trường hợp sai phát hiện: N N N 64 Số trường hợp sai sửa: N N Số trường hợp sai có: N N 1 120 Để khả sửa sai mã cao ta phải phân từ mã có mã thành N phần không giao Mỗi phần gồm từ mã dùng từ mã cấm sai với i dấu Số từ mã cấm sai với từ mã dùng nhiều i dấu bằng: i C n1 m 1 C n2 m 1 C ni m 1 j Trong C nj m 1 số từ mã sai j dấu có: C nj n! j !n j ! 28 N Giả sử ta chia N phần có khả sửa sai tổng số sai tổng số từ mã sai nhiều dấu N từ mã dùng là: IT i N C n1 (m 1) C n2 m 1 C ni m 1 Rõ ràng tổng số lớn số từ mã cấm Do ta có bậc phương trình sau: i 1 N (m 1) C n1 C n2 m 1 C ni m 1 N N (a) Do số trường hợp sai lớn sửa sai N N PT Cách chờ tìm max dmin mã dùng Giải phương trình (a) ta tìm i max d 2i Chú ý: Hợp hai phân bố: z x y với x y ĐLNN x y có hàm phân bố tương ứng 1 (x ) & (y ) phân bố z là: z 1 x .2 z x dx 1 z y .2 y dy 29 5.1 Tại lối khuyếch đại trung gian máy thu tín hiệu điều biên có tín hiệu: x t s1 t 1 1 s 1 2 t Trong (t ) tạp âm chuẩn dạng (t ) X (t ) cos 0t Y (t )sin 0t Có kỳ vọng không hàm tương quan bằng: B ( ) 2 ( )cos 0 Còn S i t ,i tín hiệu ma nip điều biên: S t ,1 U m cos w0t 1 t T S t , Pha đầu 1 đại lượng ngẫu nhiên phân bố khoảng , Tham số đại lượng ngẫu nhiên khoảng 0,T nhận giá trị 1 IT 0 với xác suất tiên nhiệm bằng: p 1 p s1 p 0 p s 1/ Biết 1 giá trị đường bao đầu tách sóng vượt qua ngưỡng H0 Trong trường hợp ngược lại 0 PT Tính: a) Ngưỡng tối ưu H0 (tối ưu) để đảm bảo cực tiểu hoá xác suất sai tổng cộng b) Xác suất sai tổng cộng ứng với ngưỡng H0 Bài giải Sơ đồ khối máy thu tín hiệu manip biên độ có pha đầu ngẫu nhiên biểu diễn sau: KĐCT BT KĐTG Bộ tách sóng t2 U H0 Thiết bị ngưỡng H0 U H0 Ta có: Ps p 1 p U H 1 p 0 p U H 0 H0 H0 p S W U 1dU p S W U / dU (1) Trong W U / 1 mật độ xác suất hình bao tổng tín hiệu s1 (t ) nhiễu (t ) Đây phân bố S.O.R 30 W u / 1 U U 2m U U m exp I 2 2 U ; U Còn W U / mật độ phân bố xác suất đường bao tạp âm: U W U / exp U 2 U Thay giá trị biết vào (1) ta có: H0 U U U m2 UU m ps exp I 2 Đặt U U U dU exp dU H 2 x H / x U m2 / U m ps x exp I x x dx x exp dx H (*) IT x U m2 / U m x x 1 ps 1 x exp I x dx H / exp d H / ps H0 PT x2 1 U m H ps 1 Q , e H 1 U H 1 Q m , exp 2 x U m2 / U m U H x exp Trong Q m , I x H / dx hàm phân bố xác suất Rice Giá trị H để đảm bảo cực tiểu ps nghiệm phương trình sau: Ps 0 H Ta lấy đạo hàm (*) 2 Ps H H U H U exp m I m H 2 H H0 exp 0 2 H U H U H exp 02 m2 I m exp 02 2 2 2 U H U I m exp m2 2 31 (**) H đảm bảo (**) H 0opt Nhận xét phương trình đồ thị cho W0 (U / 1) W1 (U / 0) H0 Reyleigh Rice S.O 5.2 Tại đầu vào lọc tuyến tính tác động tín hiệu: x (t ) s (t ) n (t ) Trong n (t ) tạp âm trắng, chuyển, dừng Còn s (t ) xung thị tần độc lập với IT n (t ) có dạng: A e A (t T ) s (t ) t T t T Tìm hàm truyền lọc cho tỉ số tín tạp đầu lọc đạt cực đại sra max (t ) PT Tính a Bài giải: Theo đầu ta phải tìm hàm truyền lọc phối hợp với s (t ) s (t ) s (t ) K ( j ) K j kS * ( j )e j T 32 T s j s t e j t A e A T T (A j )t e dt A e j T A j K j k e j T A kA e j T A j A j Như lọc phối hợp với s (t ) có hàm truyền tích phân Ta dùng mạch RC sau: R C RC (hằng số thời gian) A y (t ) IT x (t ) 5.3 Xác định hàm truyền lọc phối hợp với tín hiệu dạng: PT 2t 2 S (t ) A exp x Trong x thời hạn xung mức A e Bài giải: Tương tự cách làm ta tính S ( j ) s (t )e j t 2t 2 dt A exp j t dt x Sau lấy tích phân ta S ( j ) a exp 2 Trong 4,5 x bề rộng phổ S j mức 2 K j K exp j T S j A exp at bt dt 33 a e Đặt at bt x at bt x t dx b 4ax S j A e x b b 4ax dx ;dt 2a b 4ax Đặt b 4ax y y b 4ax x y b2 ydy ; dx 2a 4a y b2 dy S j A exp 4a 2a S j b2 A exp e y /4ady 2a 4a 2 x2 1 A x2 exp 16 2 x PT S j IT y 2 x2 A x2 S j exp exp dy 16 / x 16 S j y 2 x y x exp d 2 8 2 x2 A x exp 16 2t 2t j x j t Nên đặt x x 5.4 Tìm sơ đồ khối lọc phối hợp với xung thị tần chữ nhật dạng sau A S (t ) 0 t x t cịn lại Tính tỉ số tín/tạp đầu lọc Bài giải Phổ xung thị tần chữ nhật có dạng: 34 x S j S (t )e jt dt A e jt dt x d t A cos t A sin t A x x d t A j sin t x j cos t sin x j cos t j Nhân tử mẫu với j: S j A A 1 cos x j sin x e j x j j Hàm truyền lọc phối hợp với S (t ) có dạng: K j kS * j e jt K j x e e jT j Thông thường ta chọn T x (để cho mạch đơn giản) K0 e j x j IT K j Sơ đồ khối lọc có dạng sau: Bộ tích x (t ) phân j PT Kđ K0 Giữ chậm x Tỉ số tín tạp đầu lọc: E A 2 x ra max N0 N0 5.5 Chứng minh máy thu tối ưu đảm bảo khoảng cách từ vecto tín hiệu nhận đến vecto tín hiệu phát cực tiểu tính máy thu tối ưu đảm bảo xác suất sai bé Bài giải Nếu vecto tín hiệu nhận U gần với vecto tín hiệu x i so với vecto tín hiệu khác, tức là: u (t ) MT tối ưu u0 xi u0 x j , 35 x i (t ) j i , j 1, m (a) máy thu tối ưu đảm bảo khoảng cách tới vecto tín hiệu cực tiểu cho x i (t ) x i Bình phương vế ta có: u0 xi u0 x j , j i , j 1, m Trong không gian Hilbert ta có: T T T 0 u (t ) x i (t ) dt T 0 u (t ) x j (t ) dt u (t )dt x (t )dt 2 u (t )x (t )dt u (t )dt x (t )dt 2 u (t )x (t )dt T T T T T T T 0 ta có: u (t )x i (t )dt T 0 T j j u (t )x i (t )dt Ej T T u (t )x j (t )dt T 0 IT Nhân vế với Ei T T i T T i Pi T T 0 u (t )x j (t )dt Pj ; j i , j 1, m (b) PT (b) quy tắc phải máy thu tối ưu đảm bảo xác suất nhỏ thu sai nhỏ 5.6 Ở đầu vào mạch tích phân RC tác động tín hiệu dạng x (t ) s (t ) n (t ) Trong n (t ) tạp âm trắng, chuẩn, dừng có mật độ phổ S n ( f ) G / Còn s (t ) xung thị tần chữ nhật dạng: U s (t ) m 0 kí hiệu a S max(t ) t T x t khác tỉ số giá trị cực đại tín hiệu giá trị trung bình bình phương tạp âm đầu a) Tìm phụ thuộc a với độ rộng xung x tạp âm mạch fn b) Tìm phụ thuộc x dải lượng tạp âm mạch để trị số a đạt max Bài giải 36 Mạch tích phân có dạng: R C x (t ) Hàm truyền đạt mạch tích phân: K j Theo biến đổi Wiener-Khinchin phương sai 2 2 1 j R C ra2 y (t ) tạp tần mạch RC bằng: ra2 S d 2 S n K j ra2 d G0 d 2 2 1 R C d R C ra2 G0 4 R C ra2 G G N fn 4 R C 4R C G IT R C 2 4 R0C arctg R C Trong fn dải lượng tạp âm mạch RC t Tín hiệu mạch RC: S (t ) g t S d PT g (t ) phản ứng xung mạch RC 2 g (t ) 2 g (t ) k j e j t d j R C e j t d Đổi biến đặt j R C x thực biến đổi đưa dạng ta có: exp t , g t R C RC 0 , t 0 t 0 exp t .U m 1 1 x d RC Rc S (t ) t Trong đó: 1, 1 0, 37 S m t Um t exp RC RC t 0 exp R C S m t Um t exp RC RC t t R C exp 1t R C exp 11 x R C R C x t U m exp RC t 1 d 0 exp R C 1 x d t /R C 1t e t /R C e x /RC 11 x e U m e 1/R C 1t U m e (t x ) 1t x Khi t x S t đạt cực đại S max t S T x U m 1 exp x R C Um a 1 exp 2fn x N fn Để tìm phụ thuộc x & fn tối ưu ta tìm cực đại a theo fn : Cho đạo hàm ta có: 1/2 2 fn x fn3/2 e 2 fn x 2 x fn e IT da U m d fn N0 3/2 fn e 2 fn x PT 2 x fn1/2e 2 fn x 4 x fn e 2 fn x e 2 fn x 4 x fn e fn x e fn x 4 x fn 1 x fn opt ln 4 x fn opt 1 Giải phương trình ta nghiệm: f n opt fn opt fn opt 0 nghiệm loại 0,628 x Giá trị cực đại a ứng với fn opt là: 38 f n U m2 x E 0,9 N0 N0 PT IT a max 0,9 39 ... CHƯƠNG CƠ SỞ LÝ THUYẾT THÔNG TIN THỐNG KÊ 3.1 THÔNG TIN - LƯỢNG THÔNG TIN – XÁC SUẤT VÀ THÔNG TIN – ĐƠN VỊ ĐO THÔNG TIN 3.1.1 Định nghĩa định tính thơng tin lượng thơng tin 3.1.1.1 Thông tin Ở chương... Xibecnetic; lý thuyết hệ thống; lý thuyết kỹ thuật thông tin liên lạc đạt nhiều kết Tuy cịn nhiều vấn đề cần giải giải hoàn chỉnh Giáo trình “ Lý thuyết thơng tin? ?? (cịn gọi “Cơ sở lý thuyết truyền tin? ??)... vững lý thuyết thông tin Ngày nay, lý thuyết thông tin phát triển theo hai hướng chủ yếu sau: Lý thuyết thơng tin tốn học: Xây dựng luận điểm tuý toán học sở tốn học chặt chẽ lý thuyết thơng tin
Ngày đăng: 19/03/2021, 16:58
Xem thêm:
