Principles of Digital Communication Systems and Computer Networks

Principles of Digital Communication Systems and Computer Networks - Tiếng Việt

Trường Đại Học Công Nghệ Thông Tin – ĐHQG Tp.HCM Khoa Mạng Máy Tính Truyền thơng -o-o Lớp MMT03, Nhóm 2: - NGUYỄN THÀNH MSSV:08520347 -NGUYỄN THÀNH VINH MSSV:08520618 -NGUYỄN HỮU RU MSSV:08520582 -TRƯƠNG VĂN VĨ MSSV:08520470 Sau dịch chương II sách “Principles of Digital Communication Systems and Computer Networks” nhóm em Phần I – Các hệ thống truyền thông số (Digital Communation System) Chương 2: Lý Thuyết Thông Tin (Information Theory) Claude Shannon đặt móng lý thuyết thơng tin năm 1948 Cuốn sách ông “A Maththemathical Theroy of Communication ” (Một lý thuyết toán học truyền thơng tin) xuất Tạp chí Bell System Technical sở cho phát triển toàn viễn thông diễn suốt năm thập kỷ qua Một hiểu biết tốt khái niệm đề xuất Shannon phải bắt đầu hiểu biết chuyên viễn thông Chúng ta nghiên cứu đóng góp Shannon lĩnh vực thơng tin liên lạc đại chương 2.1 Yêu cầu hệ thống truyền tin (communication system): Trong hệ thống truyền tin, có nguồn phát hay nguồn tin(information source) mà nguồn phát phát thông tin vài hình thức, nguồn thu hay nguồn nhận (information sink) thu thông tin Sự truyền thông tin kết nối trung gian nguồn thu nguồn phát.Mục đích hệ thống truyền tin để truyền tin từ nguồn đến đích mà khơng có lỗi Tuy nhiên, truyền thơng tin ln ln có vài lỗi nhiễu Các u cầu hệ thống truyền tin để truyền thơng tin khơng có lỗi có nhiễu u cầu hệ thống truyền tin truyền thông tin từ nguồn đến đích mà khơng có lỗi, thực tế nhiễu ln ln có mơi trường truyền thông 2.1.1 Hệ thống truyền tin Một sơ đồ chung cho hệ thống truyền tin thể hình 2.1 Một nguồn tin phát dạng (chẳng hạn chữ tiếng Anh, ngôn ngữ, video, v.v…) gửi qua phương tiện truyền dẫn máy phát Các phương tiện truyền thông ln bị nhiễu, lỗi phát sinh trình truyền liệu Ở đầu tiếp nhận, máy nhận giải mã liệu đưa tới nguồn thu Nguồn phát Máy phát Máy thu Nguồn thu Nhiễu Hình 2.1: sơ đồ chung hệ thống truyền tin Ví dụ, xem xét nguồn phát mà phát hai ký tự A B Máy phát mã hóa liệu thành luồng bít Ví dụ, A mã hóa thành bít B mã hóa thành bít Luồng bit truyền qua mơi trường Bởi có nhiễu, nên bít trở thành bít trở thành bít ngẫu nhiên chỗ nào, minh họa đây: Ký tự phát ra: A B B A A A B A B A Luồng bít phát ra: 0 1 1 Luồng bít nhận: 0 1 1 1 Tại máy thu, bít nhận bị lỗi Làm để đảm bảo liệu nhận được tự sửa lỗi? Shannon có câu trả lời Hệ thống truyền tin đưa hình 2.1 mở rộng, thể hình 2.2 Nguồn phát Bộ mã hóa Kênh mã nguồn hóa Bộ biến điệu Điều chế khuyết đại tín hiệu tín hiệu kênh Giải điều chế tín hiệu Nguồn thu Bộ giải mã Kênh giải Bộ giải điều nguồn mã chế Hình 2.2: Sơ đồ chung hệ thống truyền tin xuất Shannon Trong hệ thống truyền thông kỹ thuật số, ảnh hưởng nhiễu, lỗi phát sinh Kết là,bít trở thành bít bít trở thành bít Trong sơ đồ khối trên, nguồn phát phát ký hiệu mã hóa loại mã - mã hóa nguồn kênh mã hóa – sau biến điệu lên gửi qua phương tiện truyền thông Tại nơi nhận, điều chế làm nhiệm vụ giải điều chế, hoạt động ngược mã hóa kênh mã hóa nguồn (kênh giải mã giải mã nguồn) thực Sau thơng tin đưa đến nguồn thu Mỗi khối giải thích Theo đề xuất Shannon, hệ thống truyền tin bao gồm mã hoá nguồn, kênh mã hóa điều biến vào cuối nơi truyền, giải điều chế, kênh giải mã giải mã nguồn vào cuối nơi nhận Nguồn phát hay nguồn tin(Information source): nguồn phát tạo ký hiệu Nếu nguồn phát là, ví dụ, micrơ, tín hiệu có dạng hình analog Nếu nguồn phát máy tính, tín hiệu có dạng hình số (một tập hợp biểu tượng) Bộ mã hóa nguồn: mã hóa nguồn chuyển đổi tín hiệu sản xuất nguồn phát vào luồng liệu Nếu tín hệu đầu vào analog, chuyển đổi thành dạng số cách sử dụng chuyển đổi analog qua số Nếu đầu vào mã hóa nguồn luồng ký tự, chuyển đổi thành luồng gồm bít số số sử dụng số loại chế mã hóa Ví dụ, nguồn tạo ký tự A B, A mã hóa thành bít B bít Định lý mã hóa nguồn Shannon cho biết làm để mã hóa cách hiệu Bộ mã hóa nguồn(Source encoder): thực để làm giảm dư thừa tín hiệu Kỹ thuật mã hóa nguồn chia thành kỹ thuật mã hóa khơng liệu(lossless) kỹ thuật mã hóa liệu(lossy) Trong kỹ thuật mã hóa liệu, số thông tin bị Trong mã hóa nguồn, có hai loại mã hóa –(lossless) mã hóa khơng liệu (lossy)mã hóa liệu Trong mã hóa khơng liệu(lossless), thơng tin khơng bị Khi nén tập tin máy tính sử dụng kỹ thuật nén (ví dụ, WinZip), khơng bị thơng tin Kỹ thuật mã hóa gọi kỹ thuật mã hóa khơng liệu(lossless) Trong mã hóa liệu(lossy), số thông tin bị làm mã hóa thơng tin Miễn thiệt hại khơng đáng kể, chấp nhận dược Khi hình ảnh chuyển thành định dạng JPEG, việc mã hóa mã hóa liệu số thơng tin bị Hầu hết kỹ thuật mã hóa sử dụng cho âm thanh,hình ảnh, video kỹ thuật mã hóa liệu(lossy) Chú ý: tiện ích nén sử dụng để nén file liệu sử dụng kỹ thuật nén khơng liệu(lossless) Việc nén hình ảnh JPEG kỹ thuật nén liệu(lossy) số thơng tin bị Kênh mã hóa(Channel coder): phải giải mã thông tin xác, lỗi phát sinh mơi trường, cần phải đặt số bit bổ sung nguồn liệu mã hóa để phát sửa lỗi Quá trình bổ sung thêm bít thực kênh mã hóa Định lý mã hóa kênh Shannon cho biết làm để đạt điều Trong mã hóa kênh, dư thừa phát sinh đầu tiếp nhận, bít dư thừa sử dụng để phát lỗi sửa lỗi Bộ điều chế(Modulation): điều chế q trình chuyển đổi tín hiệu để tín hiệu truyền qua mơi trường Bộ giải điều chế(Demodulator): giải điều chế thực hoạt động nghịch đảo điều chế Kênh giải mã(Channel decoder): kênh giải mã phân tích luồng bít nhận phát sửa lỗi, có, cách sử dụng liệu bổ sung phát sinh kênh mã hóa Bộ giải mã nguồn( Source decoder): Bộ giải mã nguồn chuyển đổi luồng bít thành thơng tin thực Nếu chuyển đổi analog số thực mã hóa nguồn, chuyển đổi tín hiệu số thành tín hiệu thực giải mã nguồn Nếu ký tự mã hóa thành số số mã hóa nguồn, luồng bít chuyển trở lại ký tự giải mã nguồn Nguồn thu(Information sink): nguồn thu thu thơng tin Sơ đồ khối đưa Hình 2.2 sơ đồ quan trọng cho tất kỹ sư truyền thơng Chúng tơi trình bày chương riêng biệt cho khối biểu đồ 2.2 Entropy nguồn tin(dữ liệu ngẫu nhiên nguồn tin): Thơng tin ? Làm để đo lường thơng tin? Đó vấn đề mà thuật toán Shannon cung cấp cho câu trả lời.Chúng ta nói nhận vài thơng tin có “ loại trừ , giảm xuống không chắn”.Xem xét nguồn tin tạo kí hiệu A B.Nguồn gửi A,B,B,A đợi kí hiệu tiếp theo.Những kí hiệu mà cung cấp? Nếu cung cấp A, không chắn thời gian chờ đợi trơi qua.Và nói “thơng tin” cung cấp Lưu ý sử dụng khái niệm "thông tin" từ quan điểm lý thuyết thơng tin liên lạc, khơng có để làm với "tính hữu dụng" thơng tin Shannon đề xuất công thức để đo lường thông tin Sự đo lường thông tin gọi entropy nguồn Nếu nguồn cung cấp N ký hiệu, tất ký hiệu xảy ra, Entropy nguồn do: H= log2 N (bits/ký hiệu) Ví dụ, giả sử nguồn tạo chữ tiếng Anh (trong chương này, tham khảo chữ tiếng Anh A đến Z space (khoảng trắng), tổng cộng 27, ký hiệu), tất ký hiệu cung cấp với xác suất Trong trường hợp vậy, entropy H=log2 27 = 4.75 (bits/ký hiệu) Nguồn tin cung cấp tất ký hiệu với xác suất Ví dụ, tiếng Anh chữ "E" có tần số cao (và xác suất xảy cao nhất), ký tự khác xảy với xác suất khác Nói chung, nguồn cung cấp ký hiệu thứ (i) với xác suất P (i), entropy nguồn là: H = -  P (i ) log2P(i) (bit/ký hiệu) i Nếu văn lớn tiếng Anh phân tích xác suất tất ký hiệu (hoặc chữ) thu thay vào cơng thức, entropy H = 4.07 bit/ký hiệu Lưu ý: Hãy xem xét câu sau: "I not knw wheter this is undrstandble." Mặc dù thực tế số chữ tích câu bạn làm câu văn Nói cách khác, có nhiều khả dự phịng văn tiếng Anh Đây gọi xấp xỉ (first-order approximation) để tính tốn entropy nguồn tin Trong tiếng Anh, có phụ thuộc ký tự với ký tự trước Ví dụ, chữ "U" ln ln xảy sau chữ 'Q' Nếu xem xét xác suất hai ký hiệu với (aa, ab, ac, ad, ba, bb, vv), gọi xấp xỉ thứ hai(second-order approximation) theo thứ tự Vì vậy, second-order approximation, phải xem xét xác suất có điều kiện digrams (hai ký hiệu với nhau) Entropy nguồn second-order tạo ký tự tiếng Anh đạt đến: H = 3,36 bit / ký hiệu Entropy nguồn third-order tạo ký tự tiếng Anh đạt đến : H = 2,77 bit / ký hiệu Khi bạn xem xét thứ tự cao hơn, entropy giảm xuống Nếu nguồn tạo (i) ký hiệu với xác suất P (i), entropy nguồn cho : H = - Σ P (i) log2P (i) bit / ký hiệu Một ví dụ khác, xem xét nguồn tạo bốn ký hiệu với xác suất 1/2, 1/ 4, 1/8, 1/8, tất ký hiệu độc lập với Các entropy nguồn 7/4 bit / ký hiệu Lưu ý: Khi bạn xem xét xác suất bậc cao (higher-order probabilities), entropy nguồn xuống Ví dụ, để entropy nguồn third-order tạo ký tự tiếng Anh 2,77 bit/ký hiệu, kết hợp ba chữ đại diện 2,77 bit 2.3 Năng suất kênh truyền (Channel capacity): Shannon đưa khái niệm suất kênh truyền , giới hạn liệu truyền qua mơi trường Nhiều lỗi việc vận chuyển thông tin qua môi trường phụ thuộc vào lượng tín hiệu, lượng nhiễu băng thông kênh truyền Nếu băng thơng lớn, vận chuyển nhiều liệu kênh truyền Nếu lượng tín hiệu mạnh, ảnh hưởng nhiễu giảm xuống Theo Shannon, băng thơng kênh truyền, lượng tín hiệu lượng nhiễu phụ thuộc qua công thức: Trong đó: C tốc độ kênh truyền cực đại tình bit per second (bps) W băng thơng kênh truyền tình Hz S/N tỉ sổ công suất nguồn công suất nhiễu (SNR) SNR thường đo dB sử dụng cơng thức: (S/N)dB =10 log (cơng suất tín hiệu/cơng suất nhiễu) Giá trị tốc độ kênh truyền tính theo công thức cho lớn lý thuyết Ví dụ, xét đường truyền âm với W = 3100 Hz, SNR = 30 dB Theo trên, ta có: 30 = 10log(S/N) log(S/N) = S/N=1000 Vậy C=3100 log2(1+1000)=30.894 bps Vì khơng thể vận chuyển liệu với tốc độ nhanh giá trị C được.Một điểm quan cần ý công thức Shannon thừa nhận tác động nhiễu nhiệt Để tăng C, tăng W khơng ? Khơng tăng W làm tăng nhiễu SNR giảm Để tăng C tăng SNR khơng ? Khơng kết có nhiều nhiễu gọi điều biến qua lại nhiễu Entropy nguồn tin khả kênh truyền hai khái niệm quan trọng, dựa mà Shannon đưa định lý Băng thông kênh truyền , lượng tín hiệu lượng nhiễu phụ thuộc qua công thức : C = W log2(1 + S/N) bps , C lượng kênh truyền, W băng thông kênh truyền, S/ N tỉ số công suất nguồn công suất nhiễu 2.4 Định lý Shannon Trong hệ thống truyền thơng sổ, mục đích người thiết kế chuyển đổi thơng tin thành tín hiệu số, chuyển thông qua môi trường truyền tin, nhận thông tin trạm cuối tái lại tín hiệu sổ cách xác Để đạt mục đích này, hai yêu cầu quan trọng đặt là: Mã hóa nhiều loại thơng tin thành định dạng số Chú ý vật xung quanh dạng tín hiệu tuần tự, hình ảnh tín hiệu Chúng ta cần phải tìm chế để chuyển đổi tín hiệu thành tín hiệu số Nếu nguồn tạo kí hiệu (ví dụ A, B), cần mã hóa kí tự thành dịng bit Việc mã hóa phải làm cách có hiệu cho số bit mã hóa phải nhỏ Phải chắn liệu gửi ngồi kênh truyền khơng bị sai Chúng ta khơng thể loại bỏ nhiễu kênh truyền cần phải có kỹ thuật mã hóa đặc biệt để khắc phục ảnh hưởng nhiễu Hai khía cạnh đưa Shannon báo “A Maththemathical Theroy of Communication” xuất năm 1948 Bell System Technical Journal - nơi đưa lý thuyết thơng tin Shannon giải thích hai khía cạnh thơng qua định lý mã hóa nguồn định lý mã hóa kênh truyền ơng (Định lý mã hóa nguồn Shannon giải thích cách sinh mã nguồn mã hóa cách có hiệu Định lý mã hóa kênh truyền Shannon giải thích cách mã hóa liệu để khắc phục ảnh hưởng nhiễu) 2.4.1 Định lý mã hóa nguồn Định lý mã hóa nguồn phát biểu: “số bit yêu cầu để biểu diễn cho nguồn tin xấp xỉ lượng tin ” Xét nguồn tạo ký tự tiếng anh Lượng tin (hoặc entropy) 4.07 bits/kí tự Theo định lý mã hóa nguồn Shannon, kí tự mã hóa theo cách ký tự chiếm 4.07 bits Nhưng kỹ thuật mã hóa nên dùng ? Shannon khơng nói rõ Định lý Shannon giới hạn số bit nhỏ yêu cầu để mã hóa Đây giới hạn quan trọng; tất kỹ sư truyền thông cố gắng đạt giới hạn khoảng 50 năm gần Xét nguồn tạo hai ký tự A B với xác suất nhau: Hai ký tự mã hóa trên, A biểu diễn số B Chúng ta yêu cẩu 1bit/ký tự.Bây xét nguồn tạo hai ký tự Nhưng thay mã hóa A B trực tiếp, mã hóa AA, AB, BA, BB Xác suất ký tự từ mã thể sau: Cách thức gán từ mã ký tự với xác suất cao gán cho từ mã ngắn ký tự có xác suất thấp gán cho từ mã dài Lưu ý: Việc gán từ mã ngắn với ký tự có xác suất cao từ mã dài với ký tự có xác suất thấp làm cho việc mã hóa có hiệu suất cao Trong trường hợp này, số bit trung bình u cầu cho ký tự tính công thức: L=  P(i ) L(i ) i Trong đó: P(i) xác suất L(i) chiều dài từ mã Đối với ví dụ thì: L = (1 * 0.45 + * 0.45 +3 * 0.05 + * 0.05) = 1.65 bits/ký tự Entropy nguồn 1.469 bits/ký tự Vậy, nguồn tạo dãy kí tự nối tiếp sau: A A B A B A A B B B việc mã hóa nguồn tương ứng với dịng bit: 110 110 10 111 Sơ đồ mã hóa yều cầu trung bình 1.65 bits/ký tự Nếu mã hóa ký tự trực tiếp mà khơng xét đến xác suất, sơ đồ mã hóa là: AA 00 AB 01 BA 10 BB 11 Như cần bits/ký tự Cơ chế mã hóa yêu cầu xem xét xác suất kỹ thuật mã hóa tốt Theo lý thuyết giới hạn số bits/ký tự entropy có giá trị 1.469 bits/ký tự Entropy nguồn định suất kênh truyền Nếu đưa mức entropy cao hơn, giảm số bits/ký tự xuống thấp có lẽ đạt giới hạn Shannon Dựa lý thuyết này, văn tiếng Anh khơng thể nén xuống 1.5 bits/ký tự bạn có sử dụng mã giải mã tinh vi Lý thuyết đặt tảng cho việc mã hóa thơng tin (văn bản, giọng nói, video) thành số bít vận chuyển kênh truyền Chúng ta học chi tiết mã hóa chương 4: “mã hóa văn bản, giọng nói, hình ảnh tín hiệu hình ảnh” 2.4.2 Định lý mã hóa kênh truyền: Định lý quốc gia mã hóa Shannon là: "tỉ lệ lỗi liệu truyền qua kênh băng thông hạn chế tiếng ồn giảm với tổng số nhỏ tùy ý tỷ lệ thông tin thấp so với công suất kênh." Định lý sở để sửa lỗi cách sử dụng mã số mà đạt truyền lỗi Một lần nữa, Shannon quy định việc sử dụng "tốt" chế mã hóa, đạt truyền lỗi, ông không định chế mã hóa nên được! Theo Shannon, mã hóa kênh giới thiệu thêm chậm trễ truyền dẫn nhưng, sử dụng kỹ thuật mã hóa thích hợp, khắc phục ảnh hưởng nhiễu kênh Xem xét ví dụ nguồn sản xuất A B A mã hóa B Ký tự phát ra: A B B A B Luồng bít phát ra: 0 Bây giờ, thay truyền dịng bit trực tiếp, truyền dịng bit 111000000111000 có nghĩa là, lặp lại bit ba lần Bây giờ, cho giả định dòng bit nhận 101000010111000 Hai lỗi giới thiệu kênh Nhưng còn, giải mã liệu xác người nhận biết bit thứ hai nên bit thứ tám nên người nhận biết bit truyền ba lần Đây sửa lỗi Mã hóa gọi Tỷ lệ / mã sửa sai mã số sửa lỗi gọi (Chuyển tiếp Lỗi Sửa chữa) Forward Error Correcting (FEC) mã Kể từ Shannon xuất báo lịch sử mình, có lượng lớn nghiên cứu mã sửa sai Chúng thảo luận phát lỗi sửa chữa chương "phát lỗi sửa" Tất 50 năm, kỹ sư truyền thông đấu tranh để đạt giới hạn lý thuyết thiết lập Shannon Họ có tiến đáng kể Lấy trường hợp modem dòng mà sử dụng để truyền liệu qua đường dây điện thoại Sự tiến hóa dịng modem từ V.26 (tốc độ liệu 2400bps, băng thông 1200Hz), V.27 modem (tốc độ liệu 4800bps, băng thông 1600Hz), modem V.32 (tốc độ liệu 9600bps, băng thông 2400Hz), V.34 modem (tốc độ liệu 28.800 bps, băng thông 3400Hz) cho thấy tiến việc viết mã nguồn kỹ thuật mã hóa kênh cách sử dụng lý thuyết Shannon móng Shannon kênh mã hóa quốc gia định lý "tỉ lệ lỗi liệu truyền qua kênh băng thông hạn chế tiếng ồn giảm với số tiền nhỏ tùy ý tỷ lệ thông tin thấp so với công suất kênh." Lưu ý:Nguồn mã hóa sử dụng chủ yếu để giảm thiểu dư thừa tín hiệu, mã hóa kênh sử dụng để giới thiệu dự phòng để khắc phục ảnh hưởng tiếng ồn Tóm tắt Trong chương này, nghiên cứu lý thuyết truyền thông Shannon Shannon giới thiệu khái niệm entropy nguồn tin để đo số bit cần thiết để đại diện cho ký hiệu cung cấp nguồn Ông định nghĩa lượng kênh truyền, liên quan tới băng thông kênh truyền tỉ sổ công suất nguồn công suất nhiễu Dựa hai biện pháp, ơng xây dựng định lý mã hóa nguồn định lý mã hóa kênh Định lý mã hóa nguồn đưa "số bit cần thiết để mô tả nguồn thơng tin xấp xỉ với nội dung thông tin chặt chẽ mong muốn" Định lý mã hóa kênh "tỉ lệ lỗi liệu truyền qua kênh băng thông hạn chế nhiễu giảm với tổng số nhỏ tùy ý tỷ lệ thông tin thấp so với công suất kênh." Một hiểu biết khái niệm hai định lý quan trọng cho kỹ sư truyền thông Tài liệu tham khảo C E Shannon "A Mathematical Theory of Communication." Bell System Technical Journal, Vol 27, 1948 Tất kỹ sư truyền thông phải đọc báo Shannon xem cha đẻ truyền thơng đại Bạn giỏi toán để hiểu báo W Gappmair, Claude E Shannon "Lễ kỷ niệm lần thứ 50 Lý thuyết thông tin." IEEE Truyền thông Magazine, Vol 37, số 4, tháng Tư năm 1999 Bài báo đưa tiểu sử ngắn gọn Shannon tổng quan ngắn gọn tầm quan trọng lý thuyết Shannon cm.bell-labs.com/cm/ms/what/shannonday/paper.html Bạn tải báo ban đầu Shannon từ link Câu hỏi 1.Vẽ sơ đồ khối hệ thống truyền thơng giải thích chức khối Entropy nguồn thông tin ? Minh họa với ví dụ 3.Mã nguồn gì? khác biệt mã hóa khơng liệu mã hóa liệu gì? 4.Giải thích khái niệm lượng kênh truyền với ví dụ 5.Mã hóa kênh gì? Giải thích khái niệm mã lỗi sửa chữa Các tập 1.Một nguồn phát 42 ký hiệu với xác suất Tính entropy nguồn 2.Một nguồn tạo hai ký hiệu A B với xác suất 0,6 0,4 tương ứng Tính entropy nguồn 3.Các mã ASCII dùng để đại diện cho ký tự máy tính Có mã hóa hiệu kỹ thuật từ điểm nhìn Shannon? Nếu không, không? 4.Một nguồn thông tin tạo ký hiệu tiếng Anh (chữ từ A đến Z khoảng trắng space) Sử dụng mơ hình đầu tiên, tính tốn entropy nguồn thơng tin Bạn cần phải nhập vào văn lớn tiếng Anh với 27 ký hiệu, tính tốn tần suất xuất ký hiệu, sau tính tốn entropy Câu trả lời nên gần 4,07 bit / ký hiệu 5.Trong ví dụ trên, sử dụng mơ hình thứ hai, tính tốn entropy Bạn cần tính tốn tần số dùng hai ký hiệu thời gian aa, ac, ab, vv Các liệu ngẫu nhiên gần 3,36 bit / ký hiệu Hỏi & Đáp Đối với nguồn phát 42 ký hiệu với xác suất nhau, entropy nguồn H = log2 42 bit / ký hiệu = 5,55 bit / ký hiệu 2.Đối với nguồn phát hai ký hiệu A B với xác suất 0,6 0,4, tương ứng, entropy H = - {0,6 log2 log2 0,6 0,4 0,4} = 0,970 bit / ký hiệu 3.Trong ASCII, ký tự đại diện bảy bit Các tần số xuất chữ tiếng Anh xem xét tất Nếu tần số xuất xem xét, sau chữ thường xuyên xảy đại diện từ mã nhỏ (như bit) thường xuyên xảy chữ phải đại diện từ mã dài Theo lý thuyết Shannon, ASCII kỹ thuật mã hóa hiệu Tuy nhiên, lưu ý kỹ thuật mã hóa hiệu theo trên, sau nhiều xử lý bổ sung làm phức tạp , gây chậm trễ việc giải mã văn 4.Bạn viết chương trình mà có tần số xuất chữ tiếng Anh Chương trình có file văn đầu vào xuất tần số xuất cho tất chữ khoảng trắng Bạn bỏ qua dấu câu Bạn cần phải chuyển đổi tất chữ thành chữ hoa chữ nhỏ Dựa tần số, bạn áp dụng công thức Shannon cho entropy, bạn nhận giá trị gần 4,07 bit / ký hiệu 5.Bạn sửa đổi chương trình để tính tốn tần số hai tổ hợp chữ (aa, ab, ac, ba, bb, ZY, zz) Một lần nữa, bạn áp dụng công thức, bạn nhận giá trị gần 3,36 bit / ký hiệu Các dự án 1.Mô hệ thống truyền thông kỹ thuật số ngôn ngữ C (A) Viết chương trình để tạo luồng bit liên tục số số (B) Mô môi trường cách thay đổi cho địa điểm ngẫu nhiên dòng bit cách sử dụng máy phát điện số ngẫu nhiên (C) Tính tốn tỉ lệ lỗi bit (= số lỗi / số bit truyền) 2.Phát triển tiện ích nén tập tin cách sử dụng xấp xỉ thứ hai (the second-order approximation) trình bày chương Các mã hóa nên thực cách lấy tần số xuất kết hợp hai ký tự, tập ... đặc biệt để khắc phục ảnh hưởng nhiễu Hai khía cạnh đưa Shannon báo “A Maththemathical Theroy of Communication? ?? xuất năm 1948 Bell System Technical Journal - nơi đưa lý thuyết thơng tin Shannon... định lý quan trọng cho kỹ sư truyền thông Tài liệu tham khảo C E Shannon "A Mathematical Theory of Communication. " Bell System Technical Journal, Vol 27, 1948 Tất kỹ sư truyền thông phải đọc báo... thức, entropy H = 4.07 bit/ký hiệu Lưu ý: Hãy xem xét câu sau: "I not knw wheter this is undrstandble." Mặc dù thực tế số chữ tích câu bạn làm câu văn Nói cách khác, có nhiều khả dự phòng văn