BÀI GIẢNG THÔNG TIN SỐ.TH.S.HỒNG QUANG TRUNG

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG KHOA CƠNG NGHỆ ĐIỆN TỬ VÀ TRUYỀN THƠNG ThS HỒNG QUANG TRUNG BÀI GIẢNG THÔNG TIN SỐ (Lưu hành nội bộ) THÁI NGUYÊN - 2011 Khoa Công nghệ Điện tử - Truyền thông 2011 CHƯƠNG T NG UAN VỀ THÔNG TIN SỐ 1.1 SƠ LƯỢC VỀ LỊCH SỬ PHÁT TRIỂN THƠNG TIN SỐ - Telegraph: Là hệ thống thơng tin liên lạc điện tín, đánh dấu phát triển hệ thống truyền thông điện Đây hệ thống truyền thông số Truyền thông điện báo khởi xướng Samuel Morse công bố vào năm 1837 Morse phát minh mã nhị phân có chiều dài thay đổi cách sử dụng chuỗi dấu chấm (∙) dấu gạch (-) (gọi từ mã) để biểu diễn cho mẫu tự alphabet Tiếng Anh Với mã này, mẫu tự tin xuất với tần xuất nhiều biểu diễn từ mã ngắn cac mẫu tự xuất với tần xuất biểu diễn từ mã dài Cũng mà mã Morse tiền thân phương pháp mã hóa nguồn có chiều dài từ mã thay đổi ảng 1.1: Minh họa mã Morse ình 1.1 ệ thống thơng tin Telegraph sử dụng dây dẫn Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 - Năm 1875: Gần 40 năm, sau thời kỳ Morse, Emile audot đề xuất loại mã dành cho truyền thơng điện tín mẫu tự bảng Alphabet Tiếng Anh mã hóa từ mã nhị phân có chiều dài từ mã cố định Với mã audot, thành phần từ mã nhị phân bit dấu “1” bit trống “0” ảng 1.2: Minh họa mã audot: hư v y, Samuel Morse khởi xướng cho phát triển hệ thống truyền thông số điện hệ thống điện tín (Telegraphy), xem truyền thơng số đại l c - Năm 1924: yquist t p trung vào việc xác định tốc độ truyền tín hiệu tối đa đạt qua kênh truyền điện tín với độ rộng băng kênh cho trước mà khơng có nhiễu liên ký hiệu (ISI) Ơng đưa mơ hình tốn học hệ thống truyền thơng điện tín (Telegraph) tín hiệu phát có dạng tổng qt: s t  a g t  nT   n   n an chuỗi d Tb bit s tới liệu nhị phân 1 truyền với tốc độ yquist xác định dạng xung tối ưu có băng tần giới hạn đảm bảo tốc độ bit tối đa mà không gây nhiễu ký hiệu (ISI) thời điểm lấy mẫu k T (trong k  0,  1,  2, ) ghiên c u đưa tới kết lu n tốc độ truyền xung cực đại 2W xung/giây gọi tốc độ yquist ơn n a, tốc độ đạt sử dụng xung g  t    sin 2Wt  2Wt , dạng xung cho ph p khơi phục lại d liệu mà khơng có ISI thời điểm lấy mẫu Hồng Quang Trung – Bộ mơn Công nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 ết nghiên c u yquist ph hợp với lý thuyết lấy mẫu tín hiệu hạn băng Shannon đưa vào năm 1948 hư v y, nói cơng trình nghiên c u tác giả nói đặt móng cho phát triển hệ thống thông tin số đại ngày 1.2 HỆ THỐNG THÔNG TIN SỐ 1.2.1 Hi u thông tin số Trước hết ta cần hiểu khái niệm “số” (digital) có nghĩa giá trị rời rạc có hàm ý tín hiệu có biến giá trị ngun độc l p Thơng tin số bao gồm số ký hiệu (ví dụ ký tự bàn phím) Máy tính dựa dạng thể số (digital) thông tin để xử lý Các ký hiệu (symbols) giá trị số ký hiệu máy tính biểu diễn số Ví dụ mã ASCII biểu diễn ký tự “a” tương ng với giá trị số  97 10 ký tự “A” tương ng với giá trị số  6510 1.2.2 H thống thơng tin số Mơ hình hệ thống thơng tin số mơ tả hình sau: ình 1.2 Các thành phần hệ thống thơng tin số Trong hình 1.2, đầu nguồn phát tin tín hiệu tương tự tín hiệu audio hay video tín hiệu số chẳng hạn đầu máy điện báo đánh ch (teletype) Trong hệ thống thông tin số, tin tạo từ nguồn phát tin chuyển thành chuỗi ký hiệu nhị phân (binary digits) Một cách lý tưởng ch ng ta mong muốn tin đầu nguồn phát tin có hay khơng có thành phần dư thừa Q trình Hồng Quang Trung – Bộ môn Công nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 chuyển đổi hiệu tin đầu nguồn phát tin tương tự hay số thành chuỗi ký hiệu nhị phân gọi mã hóa nguồn hay n n d liệu Chuỗi ký hiệu nhị phân tạo mã hóa nguồn mà cịn gọi chuỗi thơng tin, đưa qua mã hóa kênh Chuỗi nhị phân đầu mã hóa kênh lại cho qua điều chế số để tạo dạng thích hợp với kênh truyền thông 1.2.3 C nh thông tin Kênh thông tin mơi trường để truyền tín hiệu từ máy phát đến máy thu Với truyền dẫn vơ tuyến, kênh áp suất khí (khoảng khơng tự do) Với môi trường khác kênh thoại h u tuyến, thường chất liệu v t lý dây dẫn kim loại, cáp sợi quang a) nh s ng dây n (wireline) Mạng điện thoại sử dụng đường dây dẫn để truyền tín hiệu thoại truyền dẫn d liệu video Đường dây điện thoại sử dụng để nối từ tổng đài đến khách hàng, có độ rộng băng vào c vài trăm k Trong cáp đồng trục có độ rộng băng khả dụng vào c vài M ình 1.3 ải tần phân bổ cho kênh sử dụng dây dẫn Tín hiệu truyền qua dây dẫn bị m o biên độ pha n a chịu ảnh hưởng ồn cộng tính Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 b) nh s ng s i uang (Fiber Optic Channels) Sợi quang sử dụng chất liệu thủy tinh làm lớp l i để truyền tia sáng, dựa nguyên lý phản xạ tia ánh sáng từ môi trường sang môi trường khác hi tia sáng từ mơi trường có hệ số phản xạ cao sang mơi trường có hệ số phản xạ thấp bị uốn phía mơi trường có hệ số phản xạ cao hơn, nên xung ánh sáng truyền sợi quang Sợi quang v t liệu cách điện, ch truyền ánh sáng Suy hao tín hiệu sợi quang nh , c d km không chịu ảnh hưởng giao thoa sóng điện từ c) nh tu ến (Wireless Channels) ênh vơ tuyến sử dụng sóng điện từ trường để mang thơng tin khơng gian tự Có ba loại kênh vơ tuyến điển hình là: kênh viba, kênh di động kênh vệ tinh: - ênh viba: thường hoạt động dải tần từ G đến 30 G tầm nhìn thẳng (LOS-Line Of Sight) Chất lượng đường truyền bị ảnh hưởng điều kiện khí h u - ênh di động: kênh kết nối với người d ng di động ênh dạng chịu ảnh hưởng nhiều hiệu ng đa đường Đây loại kênh ph c tạp thông tin vô tuyến - ênh vệ tinh: Độ cao vệ tinh địa tĩnh vào khoảng 30000 m Tần số thường d ng cho tuyến lên G tuyến xuống G Độ rộng băng tần kênh truyền lớn, vào c 500 MHz hi tia sóng lan truyền khơng gian, theo hướng khác phụ thuộc vào điều kiện môi trường tần số Hình 1.3 Đường sóng đất sóng trời Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng Page Khoa Công nghệ Điện tử - Truyền thông 2011 Ngồi kênh thơng tin trên, thực tế cịn có số kênh thơng tin k nh t u ền t n hi u m i n c (underwater acoustic channels), ví dụ tín hiệu âm tần phát từ cá voi lan truyền mơi trường nước; nh u t (storage channels), ví dụ thơng tin lưu vào nhớ (đia quang, đĩa từ, ) sau v n chuyển, mang vác phương tiện v n tải 1.3 TÍN HIỆU CƠ SỞ VÀ TÍN HIỆU BĂNG THƠNG DẢI 1.3.1 Tín hi u băng sở Thu t ng băng sở ch miền tần số tín hi u tin thường tin hiệu băng thơng thấp Tín hiệu băng sở dạng số hay tương tự Đối với tín hiệu tương tự: thời gian biên độ liên tục Đối với tín hiệu số: Thời gian biên độ (dạng sóng) rời rạc (ví dụ lối máy tính coi tín hiệu số băng sở) 1.3.2 Tín hi u băng thơng dải Để truyền dẫn, tín hiệu tin phải chuyển thành tín hi u phát có tính chất phù h p v i kênh truyền Trong truyền dẫn băng sở: ăng tần kênh hỗ trợ phù hợp với băng tần tín hiệu tin nên truyền trực tiếp tín hiệu tin Trong truyền dẫn băng thơng dải: ăng tần kênh có tần số trung tâm lớn nhiều tần số cao tín hiệu tin Khi tín hiệu phát tin hiệu băng thông dải (phù hợp với kênh truyền) mang thơng tin tín hiệu tin Việc tạo tín hiệu băng thơng dải goi điều chế Khi nghiên c u tín hiệu băng thơng dải, thường người ta dùng phương pháp đưa tín hiệu băng sở tương đương Liên h nghịch đảo gi a thời gian tần số: Theo nh ng tính chất biến đổi Fourier lý thuyết xử lý tín hiệu r t nh ng tính chất sau: - Mơ tả miền thời gian tín hiệu thay đổi có chiều ngược với mơ tả miền tần số tín hiệu: ví dụ chu kỳ tín hiệu tăng tần số giảm, xung hẹp phổ rộng Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng Page Khoa Công nghệ Điện tử - Truyền thông 2011 - ếu tín hiệu giới hạn miền tần số, mơ tả miền thời gian vơ hạn d biên độ ngày nh (xung sinc(t) ví dụ) gược lại tín hiệu bị giới hạn miền thời gian phổ rộng vơ c ng ( ch ý khơng có tín hiệu đồng thời giới hạn tần số lẫn thời gian song lại có tín hiệu vơ hạn tần số lẫn thời gian) 1.4 ƯU, NHƯỢC ĐIỂM CỦA HỆ THỐNG THÔNG TIN SỐ 1.4.1 Những ưu m thông tin số (1) Tăng khả truyền dẫn d liệu ( ) Tăng khả tích hợp, độ ph c tạp tin c y hệ thống điện tử số việc xử lý tín hiệu, đồng thời với giá thành giảm (3) ễ dàng việc mã hóa để n n d liệu (4) mã hóa kênh để tối thiểu hóa ảnh hưởng tạp nhiễu (5) ễ dàng cân đối công suất, thời gian độ rộng dải thông để tối ưu hóa việc sử dụng tài nguyên có hạn ( ) ễ dàng chuẩn hóa tín hiệu, kiểu, nguồn gốc dịch vụ mà ch ng cung cấp dẫn tới việc thiết l p mạng số liên kết đa dịch vụ 1.4.2 Một số nhượ m thông tin số (1) ệ thống thông tin số thường ph c tạp hệ thống tương tự tương đương ( ) Chi phí lắp đặt lớn so với thông tin tương tự thông tin số bao gồm nhiều thành phần (3) Yêu cầu độ xác cao đặc biệt hệ thống đồng số Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 CHƯƠNG TRUYỀN TIN BĂNG CƠ SỞ 2.1 NHIỄU GIAO THOA KÝ HIỆU (ISI) 2.1.1 Hi n tượng nhiễu giao thoa ý hi u Với kênh thực tế nào, tránh kh i tượng trải rộng ký hiệu d liệu riêng lẻ qua kênh Với ký hiệu liên tiếp nhau, phần lượng ký hiệu chồng lấn sang ký hiệu bên cạnh, tượng gọi nhiễu giao thoa gi a ký hiệu (ISIIntersymbol Interference) gồi ra, q trình lọc máy phát máy thu tự làm suy giảm ISI hi bước thiết kế thực th n trọng ISI suy giảm đáng kể, tách d liệu có khả phân biệt chuỗi ký hiệu riêng biệt từ lượng hỗn hợp ký hiệu bên cạnh Th m chí, tạp âm khơng tham gia vào kênh tách lỗi gọi tỷ lệ lỗi tối giản giảm bớt tỷ số lỗi bit hay lỗi ký hiệu trường hợp có tạp âm Hình 2.1 iện tượng ISI lọc kênh ằng cách điều ch nh đặc tính lọc kênh (với trình thu hay phát thơng tin), điều khiển ISI để giảm tỷ lệ lỗi bit đường truyền h ng kết thu cách đảm bảo hàm truyền đạt lọc kênh tổng thể có hệ số đáp ng tần số yquist Hồng Quang Trung – Bộ môn Công nghệ Truyền thông Page Khoa Công nghệ Điện tử - Truyền thông 2011 Hình 2.2 Đáp ng tần số Nyquist Đáp ng xung yquist đặc trưng hàm truyền đạt có băng tần chuyển tiếp gi a dải thông dải chặn đối x ng tần số khoảng 0.5  Ts Đối với loại đáp ng kênh ký hiệu d liệu bị nhiễu dạng sóng đầu tiến dần tới bội số chu kỳ ký hiệu Hình 2.3 Mạch lọc yquist 2.1.2 Lo i b ISI nh d ng ung nh N uist Ít kênh truyền khơng có đặc tính truyền đạt yquist, thiết kế hệ thống cần phải đưa thêm lọc b để thu đáp ng mong muốn ằng cách lấy mẫu luồng ký hiệu xác điểm mà ISI tiến dần tới 0, lượng phổ xung bên cạnh không bị ảnh hưởng tới giá trị xung lấy mẫu điểm lấy mẫu Điều ch ng t thời gian ấ m u phải đ c t nh toán ch nh xác để giảm tối đa nhiễu giao thoa gi a ký hi u ISI hi thiết kế hệ thống, cần quan tâm đặc biệt đến tạp âm suy giảm lớn đường truyền để khơi phục xác thơng tin định thời ký hiệu Định thời ký hiệu không xác ln dẫn đến trơi định thời Hồng Quang Trung – Bộ môn Công nghệ Truyền thông Page 10 Khoa Công nghệ Điện tử - Truyền thông 2011 nhị phân để mã hóa ởi v y, theo quan điểm kỹ thu t, lượng thông tin I mang tin với xác suất xuất P tỷ lệ với log P :  P I  k log (7.2) Trong k số xác định Trong số trương hợp, thu n tiện số tỷ lệ k chọn 1, lượng thông tin dạng nhị phân gọi tắt bit (binary unit) Có nghĩa là:  P I  log bits (7.3) Theo cách định nghĩa trên, thơng tin I tin biểu diễn số lượng ký hiệu nhị phân tối thiểu cần thiết để mã hóa cho tin Mặc d v y ta ch cho trường hợp tin đồng khả xuất hiện, điều đ ng cho trường hợp tin không đồng khả xuất Tiếp theo, ch ng ta t p trung vào trường hợp sử dụng ký hiệu r m c để thay cho ký hiệu nhị phân mã hóa Mỗi ký hiệu r m c gán cho giá trị (0, 1, , , r-1) Mỗi số n tin (được mã hóa ký hiệu r m c) truyền chuỗi tín hiệu r m c o ký hiệu r m c gán cho r giá trị nên k ký hiệu r m c tạo r k từ mã riêng biệt Vì , để mã hóa số n tin đồng khả xuất hiện, ch ng ta cần tối thiểu k  log r n ký hiệu r m c Vì n  P , P xác suất xuất tin o đó, ch ng ta cần tối thiểu log r 1 P  ký hiệu r m c hi thơng tin I mà tin mang là: I  log r P r  ary units (đơn vị r-m c) (7.4) Từ phương trình (5.3) (5.4), ta có mối quan hệ: I  log 1 bits  log r P P r  ary units Vì v y: r  ary unit  log r bits Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thơng (7.5) (7.6) Page 150 Khoa Công nghệ Điện tử - Truyền thông 2011 Đơn vị thông tin trường hợp sử dụng 10 trạng thái khác ký hiệu (r = 10) gọi hartley (lấy tên R V artley, số nh ng người tiên phong lĩnh vực truyền dẫn thông tin vào nh ng năm 0, c ng thời với yquist Carson) Cơ sở toán học chặt chẽ lý thuyết thông tin E Shannon xây dựng vào năm 48 hartley  log 10  3.32 bits Đôi đơn vị nat sử dụng: nat  log e  1.44 bits Chú ý: Mặc d hồn tồn sử dụng đơn vị r-m c làm đơn vị đo thông tin, v y thực tế thường sử dụng đơn vị bit (r = ) Từ đơn vị chuyển đổi sang đơn vị khác nhờ sử dụng biểu th c (5 ) 7.2 ENTROPY CỦA NGUỒN TIN X t nguồn tin không nhớ m tạo tin m1, m2 , , mn với xác suất tương ng P1, P2 , , Pn  P1  P2   Pn  1 Một nguồn tin khơng nhớ có nghĩa tin tạo không phụ thuộc vào tin trước Theo biểu th c (5.3) hay (5.4) lượng thơng tin tin th mi I i , xác định bởi: I i  log Pi (7.7) bits xuất mi Pi o đó, trung bình lượng thơng tin tin tạo từ nguồn tin nói xác định  đ n i n tin nguồn tin m PI i i bits Th ng tin t ung b nh t c gọi entropy, ký hiệu H  m  Vì v y: Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thông Page 151 Khoa Công nghệ Điện tử - Truyền thông 2011 n H  m    PI i i bits i 1 n   Pi log i 1 Pi n   Pi log Pi (7.8) bits bits i 1 Entropy nguồn tin hàm theo xác suất xuất tin Ta cần tìm hàm phân bố xác suất xuất tin để tìm entropy cực đại o entropy độ đo không chắn nên hàm phân bố xác suất cho ta biết độ không chắn cực đại tương ng với entropy cực đại X t mặt định tính, entropy đạt cực đại tất tin đồng khả (đồng xác suất) Th t v y: Do H  m  hàm P1, P2 , , Pn , nên giá trị cực đại H  m  xác định từ biểu th c dH  m  dPi  0,  i  1,2, , n  , với ràng buộc: (7.9) Do: (7.10) Tổng quát, ta có: iểu th c Pi  Pn Điều đ ng cho I, có nghĩa là: P1  P2   Pn  n Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông (7.11) Page 152 Khoa Công nghệ Điện tử - Truyền thông 2011 Chú ý: Phương trình (7.11) ch cho ph p ta tìm H  m max mà khơng tìm H  m min , trường hợp có tin với xác suất chắn, chẳng hạn P1  P2  P3   Pn  0, H  m   , nh ng ngược lại theo phương trình (7.11) cho ta kết là: Hi u Entro thuật: tr n hương di n trự gi theo hía nh ỹ hư ch ng ta biết, hai quan điểm (cách nhìn nh n) theo phương diện trực giác kỹ thu t đưa tới định nghĩa lượng thông tin mà có liên quan tới tin Trên sở khái niệm, d có khác r rệt gi a hai cách nhìn nh n o chung ta phải giải thích tường t n theo hai cách khác lượng thơng tin Theo góc độ kỹ thu t, nội dung thông tin tin với số ký số (digit) tối thiểu sử dụng để mã hóa tin, v y, entropy H  m  i số ký số ( igit) tối thiểu t nh t ung b nh t n tin đ c mã hóa Cịn nhìn nh n góc độ trực giác (cảm nh n thông thường), lượng thông tin coi đồng với m c độ ngạc nhiện (hay độ không chắn), liên quan với kiện hay tin xuất có nghĩa độ khơng chắn kiện nhiều iển nhiên có nghĩa độ khơng chắn liên quan với độ ngạc nhiên V ậ ề mặt t ực giác, ng th ng tin đ c mang tin độ không chắn (t nh bất ngờ) tin ởi v y, log 1 Pi  lượng đo độ không chắn tin mi ,  n P log 1 Pi  độ không chắn i 1 i tính trung bình (trên tin) nguồn tin phát tin m1 , m2 , , mn với xác suất tương ng P1 , P2 , , Pn Cả hai cách giải thích hợp lý kể phương diện toán học Entropy xem hàm theo biến ngẫu nhiên m nh n giá trị m1, m2 , , mn với xác suất tương ng P  m1  , P  m2  , , P  mn  : Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 153 Khoa Công nghệ Điện tử - Truyền thông 2011 (7.12) Vì ch ng ta liên hệ entropy với biến ngẫu nhiên rời rạc ếu nguồn tin có nhớ, entropy nguồn tin nh H  m  (của nguồn tin không nhớ), phụ thuộc tin vào tin trước làm giảm độ không chắn 7.3 MÃ H A NGUỒN 7.3.1 Độ dài từ mã entro nguồn tin Số ký số nhị phân tối thiểu cần thiết để mã hóa cho tin xác định theo với entropy nguồn tin log 1 P  tất tin nguồn đồng xác suất (mỗi tin có xác suất xuất P) ây ch ng ta suy kết cho trường hợp tin không đồng khả (xác suất) Ch ng ta ch số ký số nhị phân trung bình cần thiết cho tin để mã hóa cho H  m  (tính theo bits) cho dạng phân phối xác suất t y ý tin Cho nguồn tin m tạo tin m1, m2 , , mn với xác suất tương ng P1, P2 , , Pn X t chuỗi gồm tin với N   Gọi ki số lần tin mi xuất chuỗi hi biểu diễn theo tần xuất biến cố (hay lu t số lớn), ta có: ki Pi N  N lim hư v y, tin mi xuất NPi lần chuỗi gồm tin  N    o đó, chuỗi đặc trưng gồm NP1 lần, m2 xuất NP2 lần, bản tin, m1 xuất , mn xuất NPn lần Tất các trường hợp lại không xuất  P   Giả sử nguồn tin khơng nhớ, có nghĩa tin tạo từ nguồn độc l p với tin tạo trước Hồng Quang Trung – Bộ môn Công nghệ Truyền thông Page 154 Khoa Công nghệ Điện tử - Truyền thông 2011 ây ta xem x t chuỗi đặc trưng S N gồm từ nguồn tin tin tạo o n tin (có xác suất tương ng P1, P2 , , Pn ) xuất NP1, NP2 , , NPn lần, tin độc l p, nên xác suất xuất chuỗi S N đặc trưng xác định bởi: (7.13) o tất chuỗi khả dụng gồm tin tạo từ nguồn cấu thành giống nhau, nên chuỗi đồng khả năng, với xác suất P  S N  Chúng ta xem x t chuỗi tin (đồng khả năng) Để mã hóa cho chuỗi v y ch ng ta cần LN ký số nhị phân, đó: (7.14) Thay phương trình (7.13) vào (7.14), ta có: (7.15) Ch ý LN chiều dài (số ký số nhị phân) từ mã cần thiết để mã hóa tin chuỗi Vì v y, tin, xác định bởi: số ký số trung bình cần thiết (7.16) Đây kết mong muốn, điều cho thấy mã hóa tin tạo nguồn tin, tính trung bình sử dụng H  m  số ký số nhị phân tin, H  m  entropy nguồn tin nhị phân Đây số ký số tối thiểu cần d ng để mã hóa, hay H  m  giá trị nh Có nghĩa ta khơng thể mã tin với chiều dài từ mã trung bình nh H  m  5.3.2 Mã Huffman Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 155 Khoa Công nghệ Điện tử - Truyền thông 2011 ý thuyết mã hóa nguồn cho thấy để mã hóa nguồn tin có entropy nguồn H  m  , trung bình ch ng ta cần tối thiểu H  m  ký số nhị phân tin, hay H r  m  ký số r-m c tin (với H r  m  entropy nguồn tin r-m c) Số ký số từ mã gọi độ dài từ mã hư v y, độ dài trung bình từ mã tối ưu H  m  Đáng tiếc để đạt độ dài này, nói chung, ch ng ta phải mã chuỗi tin  N    cách riêng biệt ếu ch ng ta muốn mã hóa tin cách trực tiếp mà không sử dụng chuỗi dài hơn, chiều dài trung bình từ mã tin lớn H  m  Thực tế, không mong muốn sử dụng chuỗi dài gây trễ truyền dẫn thiết bị trở nên ph c tạp Vì v y tốt mã hóa trực tiếp tin, th m chí phải trả giá chiều dài từ mã tăng Trong hầu hết trường hợp việc mã hóa trực tiếp tin hồn tồn th a hiệp Sau ch ng ta đề c p đến quy trình để tìm mã nguồn tối ưu, gọi mã Huffman Để minh họa cho quy trình tìm mã uffman, ta x t ví dụ sử dụng từ mã nhị phân Trước hết ch ng ta xếp tin theo trình tự giảm dần xác suất xuất tin, bảng đây: ảng 7.1: Quy trình tìm mã Huffman đây, ch ng ta có sáu tin với xác suất tương ng là: 0.30, 0.25, 0.15, 0.12, 0.10, 0.08 Tiếp theo ta kết hợp hai tin cuối để tạo thành tin có xác suất P5  P6  0.18 Theo cách ta có tin với xác suất 0.30, 0.25, 0.15, 0.12, 0.18 Các tin lại xếp lại cột th hai theo chiều giảm xác suất ặp lại thao tác kết Hồng Quang Trung – Bộ mơn Công nghệ Truyền thông Page 156 Khoa Công nghệ Điện tử - Truyền thông 2011 hợp hai tin cuối cột th hai xếp lại theo chiều giảm xác suất tin Q a trình lặp lại số lượng tin cịn lại hi hai tin (được r t gọn) gán tương ng cho 1, ký số chuỗi mã Tiếp tục suy ngược trở lại gán số cho ký số th hai hai tin kết hợp bước trước Tiếp tục suy ngược lại cột Mã thu cuối c ng (trong cột đầu tiên) xem tối ưu Quy trình tìm mã đầy đủ ch bảng đây: ảng : Quy trình tìm mã uffman đầy đủ Mã tối ưu ( uffman) nh n theo cách gọi mã compact Độ dài trung bình từ mã compact trường hợp xác định bởi: Và entropy H  m  nguồn là: Vì v y, độ dài từ mã tối thiểu đạt ,418 ký số nhị phân Sử dụng cách mã hóa trực tiếp (mã uffman), đạt độ dài trung bình từ mã ví dụ ,45 bit Có nghĩa mã uffman gần sát với giá trị tối ưu độ dài từ mã Để đánh giá tính hiệu mã uffman, hiệu suất mã định nghĩa: Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 157 Khoa Cơng nghệ Điện tử - Truyền thơng 2011 độ dài trung bình từ mã Trong ví dụ trên, ta có: hi độ dư thừa từ mã xác định bởi: Mã uffman giải mã theo cách ếu ch ng ta nh n chuỗi gồm tin mã hóa uffman, ch giải mã theo cách nhất, có nghĩa khơng thể giải mã theo cách khác Ví dụ, nguồn tin ví dụ tạo chuỗi tin: m1m5m2m1m4m3m6 , mã hóa 001101000011010111 Chúng ta xác minh chuỗi tin ch giải mã theo cách, m1m5m2m1m4m3m6 , th m chí khơng có ranh giới gi a tin Sử dụng quy trình tương tự để tìm mã compact r-m c Trong trường hợp ch ng ta xếp tin theo chiều giảm dần xác suất, kết hợp r tin cuối c ng để tạo thành tin, xếp lại theo tr t tự theo chiều giảm xác suất ặp lại bước ch r tin Mỗi tin gán tướng ng cho r số 0, 1, , , r-1 hi suy ngược theo cách giống trường hợp mã nhị phân tin ban đầu gán mã tương ng Đối với mã r-m c, ch ng ta nh n đ ng r tin bước r t gọn cuối c ng ch tổng số tin gốc r  k  r  1 , k số ngun Đó lần r t gọn làm giảm số tin  r  1 Vì v y, có tổng số k lần r t gọn, tổng số tin gốc phải r  k  r  1 Trong trường hợp tin gốc không th a mã điều kiện trên, ch ng ta phải bổ sung tin giả với xác suất để th a mã điều Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 158 Khoa Công nghệ Điện tử - Truyền thông 2011 kiện Ví dụ, r  số tin n , ch ng ta phải thêm tin dư thừa với xác suất để có tổng tin ban đầu 7, th a mãn r  k  r  1  4  1  1 , tiếp tục quy trình tìm mã Ví ụ 7.1: Cho nguồn tin không nhớ tạo tin với xác suất 0,3;0,25;0,15;0,12;0,1; 0,8 Tìm mã Huffman 4-m c Xác định độ dài trung bình từ mã, hiệu suất mã độ dư thừa ? Trong trường hợp này, ch ng ta cần bổ sung thêm tin để th a mã điều kiện r  k  r  1 tin thực quy trình tìm mã uffman tin nhị phân Mã bảng đây: uffman tìm ảng 7.3: Quy trình tìm mã uffman trường hợp nguồn tin r-m c Độ dài từ mã là: Entropy nguồn tin trường hợp là: o hiệu suất mã là: Vì độ dư thừa mã hóa là: Hồng Quang Trung – Bộ môn Công nghệ Truyền thông Page 159 Khoa Công nghệ Điện tử - Truyền thông 2011 Để đạt hiệu suất mã   , ch ng ta cần N   Mã Huffman sử dụng N  , cho hiệu suất mã, thường nh o cần có th a hiệp gi a hai m c N  N   Ch ng ta sử dụng N  or Trong nhiều trường hợp, sử dụng N  or đạt hiệu suất mã gần 1, chẳng hạn ví trụ 5.2 mà ta x t Ví ụ 7.2: X t nguồn tin khơng nhớ tạo tin m1 m2 với xác suất tương ng 0,8 0, Tìm mã nhị phân tối ưu (mã uffman) cho nguồn tin mở rộng cho b c b c (có nghĩa cho trường hợp = =3) Xác định hiệu suất mã trường hợp tương ng Mã uffman cho nguồn tin đơn giản 1, với độ dài trung bình từ mã L  , entropy nguồn tin là: Vì v y, hiệu suất mã đạt là:   0,72 X t trường hợp mở rộng b c hai nguồn tin  N   , có tổ hợp tin m1m1, m1m2 , m2m1 , m2m2 , với xác suất tương ng 0,64;0,16;0,16;0,04 Mã Huffman tìm bảng đây: ảng 7.4: Tìm mã uffman cho trường hợp mở rộng b c Trong trường hợp này, độ dài trung bình từ mã là: L  0,64 1  0,16    0,16  3  0,04  3  1,56 Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 160 Khoa Công nghệ Điện tử - Truyền thông 2011 Đây độ dài hai tin gốc Vì v y, độ dài trung bình từ mã tin là: L  L  0,78 hiệu suất mã đạt là:   0,72 0,78  0,923 ếu thực quy trình với n  (mở rộng b c nguồn tin), ch ng ta có tin khả dụng, theo quy trình tìm mã Huffman ta tìm mã bảng sau: ảng 7.5: Tìm mã uffman cho trường hợp mở rộng b c Độ dài từ mã là: Vì v y ta có độ dài trung bình từ mã tin: L Và hiệu suất mã là:   L  0,728 0,72  0,989 0,728 Hoàng Quang Trung – Bộ môn Công nghệ Truyền thông Page 161 Khoa Công nghệ Điện tử - Truyền thông 2011 PH L C - PHÂN TÍCH TÍN HIỆU Định nghĩa hàm sinc(t): sin c  x   sin x x Ví dụ: àm xung cửa biến đổi Fourier nó: Tính chất song hành chuyển đổi Fourier: Hồng Quang Trung – Bộ mơn Cơng nghệ Truyền thông Page 162 Khoa Công nghệ Điện tử - Truyền thông 2011 Xung đơn vị phổ iểu diễn chuỗi Fourier theo hàm mũ đoàn xung dirac T  t  cho bởi: o To  t    De n  n jno t Trong đó: Dn  Vì v y: T  t   o To To , o  2 To   te To dt  To , o  2 To  jno t To  e n  jno t Chuyển đổi Fourier đoàn xung   t  nTb   e jnTb e jnb t  2    nb  Hồng Quang Trung – Bộ mơn Công nghệ Truyền thông Page 163 Khoa Công nghệ Điện tử - Truyền thông 2011 TÀI LIỆU THAM KHẢO [1] Modern Digital and Analog Communication Systems, B.P.Lathi [2] Digital Communication, John G Proakis [3] Space – Time Coding, Branka Vucetic [4] ỹ thu t truyền dẫn số, Thái ồng hị, Nxb: Giáo dục [5] ỹ thu t viễn thông, guyễn Tiến a [6] ỹ thu t thông tin số T1, , d: Trương h Tuyên, 2004 [7] ỹ thu t thơng tin số, guyễn Văn Đ c, xb: Hồng Quang Trung – Bộ môn Công nghệ Truyền thông xb: ưu điện T Page 164