BÁO cáo bài tập lớn lý thuyết thông tin

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI VIỆN ĐIỆN TỬ - VIỄN THÔNG  BÁO CÁO BÀI TẬP LỚN Lý thuyết thông tin Giảng viên hướng dẫn : Thầy Nguyễn Hữu Phát Nhóm sinh viên thực : Phan Việt Nam – 20193036 Mã lớp Trần Đức Tin – 20193134 : 129189 Lớp : Điện tử 10 K64 Tháng 1/2022 I GIỚI THIỆU CHUNG VỀ ĐỀ TÀI Trong Lý thuyết thông tin, mã thống kê tối ưu thực nguồn nhằm giải vấn đề thứ hệ thống truyền tin tốc độ truyền tin Giả sử ta muốn truyền đoạn tin nhắn có nội dung “aaaabbbbcccc” mã Ascii cần bit cho ký tự, cần đến 96 bit để mã hóa đoạn tin nhắn Vì cần tìm phương pháp mã hóa nhằm tăng tốc độ truyền tin, để làm điều đó, người ta làm giảm chiều dài trung bình từ mã cách từ mã có xác suất nhỏ có chiều dài lớn từ mã có xác suất lớn chiều dài nhỏ Kết hợp q trình học tập mơn Lý thuyết thơng tin, nhóm chúng em nhận thấy hai phương pháp mã hóa theo Shannon Huffman có tính dụng cao, giúp mã hóa thơng tin, nén liệu dựa tần suất xuất ký tự cần mã hóa cho dung lượng sau mã hóa giảm bớt nhằm tối ưu mục đích lưu trữ Vì vậy, chúng em định lựa chọn phương pháp mã hóa làm chủ đề cho tập lớn II NỘI DUNG ĐỀ TÀI Các định lý thông số mã thống kê  Định lý 1: Trong hệ nhị phân, entropy nguồn nhỏ chiều dài trung bình từ mã:  Định lý 2: Trong hệ nhị phân, người ta tìm mã thỏa mãn tính chất tối ưu với chiều dài trung bình nằm khoảng [] Để đánh giá tính hiệu mã thống kê, người ta đưa thông số hệ số nén thông qua tỷ lệ: 2 Bài toán: Cho nguồn tin X = {x1, x2, x3, x4, x5,…} với xác suất tương ứng P(X)={p(x1), p(x2), p(x3), p(x4), p(x5), …} Thực mã hóa nguồn tin 2.1 Mã hóa theo Shannon a Thuật toán  Bước 1: Sắp xếp nguồn tin theo thứ tự xác suất giảm dần  Bước 2: Thay xác suất p(xi)=Pi Trong  Bước 3: Chuyển Pi từ dạng thập phân sang nhị phân tương ứng  Bước 4: Xác định chiều dài li: H(xi) li H(xi) +  Bước 5: Lấy phần sau dấu phảy có chiều dài li b Code Các khối code bao gồm:  Khối nhập thông tin đầu vào: phương thức nhập + Nhập theo xác suất + Nhập theo tần số void Source(float x[], int n) { cout