sử lý ảnh(giáo trình)

ĐỀ CƯƠNG BÀI GIẢNG Thông tin chung: Truyền thông đa phương tiện, Bộ môn An Ninh Mạng, Khoa Công nghệ thông tin Giáo viên (hoặc nhóm giáo viên): Nguyễn Trung Thành Bài Chuẩn nén JPEG, Chuẩn nén video, Thời lượng: (GV giảng, thảo luận, thực hành, tự học) : tiết giảng LT, tập, tiết thảo luận, thực hành , 18 tiết tự học Mục đích, yêu cầu: • Nắm bước nén liệu ảnh theo chuẩn JPEG • Lập trình thuật toán bước chuẩn nén • Nắm ý tưởng nén liệu video • Hiểu kiến trúc thư viện FFMPEG • Sử dụng thành thạo công cụ FFMPEG nén liệu đa phương tiện lập trình ứng dụng sử dụng FFMPEG Nội dung: a) Bài giảng: Nội dung chi tiết (công thức, định lý, hình vẽ) Tiết Phương pháp nén ảnh JPEG (1) Một số đặc điểm liệu ảnh Một tính chất chung tất ảnh số tương quan pixel cạnh lớn, điều dẫn đến dư thừa thông tin để biểu diễn ảnh Dư thừa thông tin làm cho việc mã hoá không tối ưu Do công việc cần làm để nén ảnh phải tìm biểu diễn ảnh với tương quan nhỏ để giảm thiểu độ dư thừa thông tin ảnh Thực tế, có hai kiểu dư thừa thông tin phân loại sau: - Dư thừa miền không gian: tương quan giá trị pixel ảnh, điều có nghĩa pixel lân cận ảnh có giá trị gần giống (trừ pixel giáp đường biên ảnh) - Dư thừa miền tần số: Tương quan mặt phẳng màu dải phổ khác Trọng tâm nghiên cứu nén ảnh tìm cách giảm số bit cần để biểu diễn ảnh việc loại bỏ dư thừa miền không gian miền tần số nhiều tốt Các kỹ thuật nén ảnh sử dụng: - Nén ảnh không thông tin : với phương pháp sau giải nén ta khôi phục xác ảnh gốc Các phương pháp nén bao gồm mã hoá Huffman, mã hoá thuật toán… - Nén ảnh có thông tin: ảnh giải nén có sai khác nhỏ so với ảnh gốc Các phương pháp bao gồm: o Lượng tử hoá vô hướng: PCM DPCM o Lượng tử hoá vector o Mã hoá biến đổi: biến đổi cosin rời rạc (DCT), biến đổi Fourier nhanh (FFT) o Mã hoá băng Hình Sơ đồ khối hệ thống nén ảnh điển hình Nguyên lý nén ảnh JPEG Nguyên lý phương pháp nén JPEG là: Cắt hình ảnh thành khối nhỏ, phân tích tất liệu màu sắc, độ sáng mà khối chứa phương trình ma trận Ảnh màu không gian RGB (Red, Green, Blue) chuyển đổi qua hệ YUV Trong thị giác người lại nhạy cảm với hệ Y, nhạy cảm nhiều với hệ U, V Hệ thống nén thành phần Y ảnh mức độ nhiều so với U V Kế tiếp dùng biến đổi Cosin rời rạc, sau lượng hóa mã hóa theo phương pháp Huffman Khi giải nén ảnh, bước thực thi làm ngược lại trình nói Các bước nén ảnh JPEG Mã hoá biến đổi DCT Nguyên tắc phương pháp mã hoá biến đổi tập giá trị pixel ảnh miền không gian sang tập giá trị khác miền tần số cho hệ số tập giá trị có tương quan điểm ảnh gần nhỏ Hình Sơ đồ mã hóa giải mã dùng biến đổi DCT BIẾN ĐỔI DCT THUẬN VÀ NGHỊCH Vì ảnh gốc có kích thước lớn trước đưa vào biến đổi DCT, ảnh phân chia thành khối vuông, khối thường có kích thước x pixel biểu diễn mức xám 64 điểm ảnh, mức xám số nguyên dương có giá trị từ đến 255 Việc phân khối làm giảm phần thời gian tính toán hệ số chung, mặt khác biến đổi cosin khối nhỏ làm tăng độ xác tính toán với dấu phẩy tĩnh, giảm thiểu sai số làm tròn sinh Biến đổi DCT công đoạn phương pháp nén sử dụng biến đổi công thức minh hoạ cho phép biến đổi DCT thuận nghịch khối ảnh có kích thước x Giá trị x(n 1, n2) biểu diễn mức xám ảnh miền không gian, X(k1, k2) hệ số sau biến đổi DCT miền tần số (1) (2) Với Mỗi khối 64 điểm ảnh sau biến đổi DCT thuận nhận 64 hệ số thực DCT (bảng 1) Mỗi hệ số có chứa 64 thành phần tần số không gian hai chiều Hệ số với tần số không theo hai hướng (tương ứng với k1 k2 0) gọi hệ số chiều DC, hệ số giá trị trung bình 64 điểm ảnh khối 63 hệ số lại gọi hệ số xoay chiều AC Hệ số chiều DC tập trung phần lớn lượng ảnh Bảng Các bước trình mã hóa biến đổi DCT khối Chú ý thân biến đổi DCT không làm thông tin DCT biến đổi tuyến tính chuyển giá trị điểm ảnh từ miền không gian thành hệ số miền tần số Nếu biến đổi DCT thuận nghịch tính toán với độ xác tuyệt đối hệ số DCT qua bước lượng tử mã hoá ảnh thu sau biến đổi DCT ngược giống hệt ảnh gốc Lượng tử giải lượng tử Sau thực biến đối DCT, 64 hệ số lượng tử hoá dựa bảng lượng tử gồm 64 phần tử Q(u,v) với 0≤u, v≤7 Bảng định nghĩa ứng dụng cụ thể Các phần tử bảng lượng tử có giá trị từ đến 255 gọi bước nhảy cho hệ số DCT Quá trình lượng tử coi việc chia hệ số DCT cho bước nhảy lượng tử tương ứng, kết sau làm tròn xuống số nguyên gần Công thức (3) thể việc lượng tử với F(u,v) hệ số DCT, FQ(u,v) hệ số sau lượng tử, hệ số đưa vào mã hoá Entropy (3) Mục đích việc lượng tử hoá giảm số lượng bit cần để lưu trữ hệ số biến đổi việc giảm độ xác hệ số lượng tử trình xử lý có thông tin Quá trình giải lượng tử phía giải mã thực hiên ngược lại Các hệ số sau giải mã entropy nhân với bước nhảy bảng lượng tử (bảng lượng tử đặt phần header ảnh JPEG) Kết sau đưa vào biến đổi DCT ngược Tiết JPEG 2000 Tiết 4,5,6 Các phương pháp nén video Tín hiệu video sau số hoá bit có tốc độ 216 Mb/s Để truyền kênh truyền hình thông thường, tín hiệu video số cần phải nén phải đảm bảo chất lượng hình ảnh Nén video năm 1950 thực công nghệ tương tự với tỷ số nén thấp Ngày công nghệ nén đạt thành tựu cao việc chuyển đổi tín hiệu video từ tương tự sang số Công nghệ nén số (Digital Compressed) đòi hỏi lực tính toán nhanh Song ngày với phát triển công nghệ thông tin, điều không trở ngại Như biết tín hiệu video có dải phổ từ – MHz, nhiên nhiều trường hợp lượng phổ chủ yếu tập trung miền tần số thấp có thông tin chứa đựng miền tần số cao Đối với tín hiệu video số, số lượng bit sử dụng để truyền tải thông tin miền tần số khác nhau, có nghĩa là: miền tần số thấp, nơi chứa đựng nhiều thông tin, sử dụng số lượng bít lớn miền tần số cao, nơi chứa đựng thông tin, sử dụng số lượng bít Tổng số bít cần thiết để truyền tải thông tin hình ảnh giảm cách đáng kể dòng liệu “nén ” mà chất lượng hình ảnh đảm bảo Thực chất kỹ thuật “nén video số” loại bỏ thông tin dư thừa Các thông tin dư thừa nén video số thường là: Độ dư thừa không gian pixel; Độ dư thừa thời gian cácảnh liên tiếp nhau; Độ dư thừa thành phần màu biểu diễn pixel có độ tương quan cao; Độ dư thừa thống kê kí hiệu xuất dòng bít với xác suất xuất không nhau; Độ dư thừa tâm lý thị giác (các thông tin nằm khả cảm nhận mắt).vv… Như vậy, mục đích nén tín hiệu video : Giảm tốc độ dòng bít tín hiệu gốc xuống giá trị định đủ để tái tạo ảnh giải nén; - Giảm dung lượng liệu lưu trữ giảm băng thông cần thiết - Tiết kiệm chi phí lưu trữ truyền dẫn liệu trì chất lượng ảnh mức chấp nhận đựơc Với nguyên nhân mục đích việc nén tín hiệu trình bày trên, ngày có nhiều chuẩn nén đời như: JPEG, M-JPEG, MPEG, DV… Trong chuẩn nén MPEG sử dụng nhiều nén video truyền hình với thành công chuẩn nén video MPEG-2 truyền hình số chuẩn nén MPEG-4 truyền hình mạng Internet Chuẩn nén MPEG Khái quát - MPEG (Moving Picture Expert Group) nhóm chuyên gia hìnhảnh,được thành lập từ tháng năm 1988 với nhiệm vụ xây dựng tiêu chuẩn cho tín hiệu Audio Video số Ngày nay, MPEGđã trở thành kỹ thuật nén Audio Video phổ biến không tiêu chuẩn riêng biệt mà tuỳ thuộc vào yêu cầu cụ thể thiết bị có tiêu chuẩn thích hợp nguyên lý thống - Tiêu chuẩn nhóm MPEG đưa MPEG-1, mục tiêu MPEG-1 mã hoá tín hiệu Audio-Video với tốc độ khoảng 1.5Mb/s lưu trữ đĩa CD với chất lượng tương đương VHS - Tiêu chuẩn thứ : MPEG-2 rađời vào năm 1990, không MPEG-1 nhằm lưu trữ hình ảnh động vào đĩa với dung lượng bit thấp MPEG-2 với “công cụ ” mã hoá khác phát triển Các công cụ gọi “Profiles” tiêu chuẩn hoá sử dụng để phục vụ nhiều mục đích khác - Tiêu chuẩn mà MPEG đưa MPEG-4,được đưa vào tháng 10 năm 1998,đã tạo phương thức thiết lập tương tác với truyền thông nghe nhìn mạng Internet, tạo phương thức sản xuất, cung cấp tiêu thụ nội dung video sơ nội dung hướng đối tượng (content/object-based) Cấu trúc dòng bit MPEG video H264 chuẩn công nghiệp nén video – trình biến đổi liệu video số định dạng chiếm dung lượng để lưu trữ truyền H264 công bố năm 2003, xây dựng dựa chuẩn trước MPEG2, MPEG4 với mục đích tăng hiệu nén, tăng tính mềm dẻo nén video, truyền video lưu trữ video H264 hoạt động nào? Việc nén H264 thực qua trình: Prediction, transform, Encode để có dòng bit H264 (bit stream) Bộ giải mã H264 thực trình ngược lại: decoding, inverse transform, reconstruction - Quá trình mã hóa: Prediction Bộ mã hóa xử lý khung video (frame) dạng khối (macroblock)16x16 pixel Nó xây dựng dự đoán khối dựa liệu mã hóa trước đó, liệu frame (intra prediction) frame mã hóa truyền trước (inter prediction) Bộ giải mã lấy khối trừ khối dự đoán để thu phần dư Phương pháp dự đoán H264 mềm dẻo phương pháp dự đoán chuẩn trước đó, cho phép dự đoán xác tăng cường hiệu nén video Dự đoán (intra prediction) dùng khối 16x16 4x4 để dự đoán khối từ khối xung quanh xử lý trước frame (Như minh họa hình đây) Dự đoán liên khung (inter prediction) sử dụng khối có kích thước từ 4x4 đến 16x16 để dự đoán điểm ảnh khung từ miền tương ứng khung xử lý trước (Minh họa hình dưới) Biến đổi lượng hóa Dùng phép biến đổi nguyên 4x4 8x8 để biến đổi phần chênh lệch khối (block) thực khối dự đoán Phép biến đổi phép biến đổi cosin rời rạc Sau biến đổi ta thu tập hệ số, hệ số trọng số ứng với mẫu ( ta kết hợp mẫu lại – dùng trọng số vừa tính , tái tạo lại phần dư vừa biến đổi ) Hình sau mô tả trình biến đổi cosin rời rạc ngược Hình 2.1Các hệ số lượng hóa (giống phương pháp lượng hóa JPEG) Mã hóa dòng bit Quá trình nén video đưa số giá trị phải đưa vào mã hóa để xây dựng dòng bit nén Các giá trị gồm: + Các hệ số lượng hóa + Thông tin cho phép giải mã tái tạo trình dự đoán + Thông tin cấu trúc liệu nén công cụ dùng trình mã hóa + Thông tin thứ tự đầy đủ frame Các giá trị tham số (gọi thành phần cú pháp H264) chuyển thành liệu nhị phân dùng phương pháp nén “variable length coding” /hoặc “arithmetic coding” Dòng bit nén lưu trữ lại truyền Quá trình giải mã - Giải mã dòng bit Giải lượng hóa biến đổi ngược Tái tạo frame H264 thực tế • Hiệu So với chuẩn nén MPEG2 , MPEG4-visual H264 mang lại chất lượng video cao với tỉ lệ nén (Hoặc nén tốt với chất lượng video) Hình 2.2 Khung (frame) nén bitrate dùng MPEG-2 (trái) , MPEG-4 Visual (giữa) H264 (phải) • Ứng dụng Do có ưu điểm vượt trội hiệu nén video nên H264 ứng dụng rộng rãi - - DVD độ nét cao (High definition DVD) - High definition TV broadcasting Châu Âu - Các sản phẩm Apple (iTune , iPod…) - Mobile TV broadcasting - Internet video Video conferencing FFMPEG b) Nội dung thảo luận c) Nội dung tự học Đọc kỹ phương pháp nén Thực hành lập trình phương pháp mã hóa huffman d) Bài tập (bắt buộc, mở rộng) Tài liệu tham khảo (sách, báo – chi tiết đến chương, mục, trang) Câu hỏi ôn tập Câu Nêu bước trình nén JPEG Câu Biến đổi DCT Câu Phương pháp mã hóa Huffman & mã hóa số học