Báo cáo luận án: Nén ảnh trong thông tin số

i LỜI CAM ĐOAN Tôi cam đoan các kết quả nghiên cứu đƣa ra trong luận án này dựa trên các kết quả thu đƣợc trong quá trình nghiên cứu của riêng tôi, không sao chép bất kỳ kết quả nghiên cứu nào của các tác giả khác. Nội dung của luận án có tham khảo và sử dụng một số thông tin, tài liệu từ các nguồn sách, tạp chí đƣợc liệt kê trong danh mục các tài liệu tham khảo. Trần Mạnh Tuấn ii LỜI CẢM ƠN Luận án Tiến sĩ kỹ thuật này đƣợc thực hiện tại Học viện Công nghệ Bƣu chính Viễn thông. Tôi xin chân thành cảm ơn TS. Phùng Kim Anh và TS. Nguyễn Hữu Hậu đã trực tiếp tận tình hƣớng dẫn, giúp đỡ, tạo mọi điều kiện thuận lợi cho tôi trong suốt quá trình nghiên cứu. Tôi xin cảm ơn Ban lãnh đạo Học viện Công nghệ Bƣu chính Viễn thông, khoa Quốc tế và Sau đại học đã giúp đỡ tôi rất nhiều trong quá trình nghiên cứu, tạo mọi điều kiện thuận lợi về mặt thủ tục cho hoạt động nghiên cứu của tôi. Tôi xin cảm ơn tập thể lãnh đạo Cục Viễn thông - Bộ Thông tin và Truyền thông cùng các đồng nghiệp đã luôn động viên, tạo điều kiện thuận lợi để tôi hoàn thành luận án. Cuối cùng, tôi xin đƣợc bày tỏ lòng biết ơn sâu sắc tới toàn thể gia đình, bạn bè đã luôn động viên, khích lệ tinh thần để tôi có đủ nghị lực hoàn thành luận án. Trần Mạnh Tuấn iii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT v DANH MỤC CÁC BẢNG vii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ viii MỞ ĐẦU 1 CHƢƠNG 1: TỔNG QUAN VỀ NÉN VIDEO 7 1.1. Giới thiệu 7 1.2. Độ dƣ trong tín hiệu video, nhu cầu cần thiết nén video 8 1.2.1. Độ dƣ trong tín hiệu video 8 1.2.2. Nhu cầu cần thiết nén video 13 1.3. Khái niệm về nén video 13 1.4. Yêu cầu về ứng dụng nén video, một số kỹ thuật nén video 18 1.4.1. Yêu cầu về ứng dụng nén video 18 1.4.2. Một số kỹ thuật nén video 21 1.5. Kết luận 33 CHƢƠNG 2: TỔNG QUAN VỀ ƢỚC LƢỢNG CHUYỂN ĐỘNG CỦA ẢNH 34 2.1. Giới thiệu 34 2.2. Ƣớc lƣợng chuyển động và các phƣơng pháp ƣớc lƣợng chuyển động 34 2.2.1. Ƣớc lƣợng chuyển động 34 2.2.2. Các phƣơng pháp ƣớc lƣợng chuyển động 39 2.3. Kết luận 62 CHƢƠNG 3: ƢỚC LƢỢNG CHUYỂN ĐỘNG BẰNG CÁC GIẢI PHÁP MỚI 64 3.1. Giới thiệu 64 3.2. Ƣớc lƣợng chuyển động bằng Kalman 65 3.2.1. Đặt bài toán 65 3.2.2. Ƣớc lƣợng chuyển động của ảnh bằng thuật toán Kalman 66 3.3. Ƣớc lƣợng chuyển động tối ƣu của ảnh trong video 72 3.3.1. Đặt bài toán 72 3.3.2. Ƣớc lƣợng chuyển động tối ƣu của ảnh trong video 73 iv 3.4. Ƣớc lƣợng chuyển động của ảnh bằng phƣơng pháp mù 76 3.4.1. Đặt bài toán 76 3.4.2. Ƣớc lƣợng chuyển động của ảnh bằng phƣơng pháp mù 77 3.5. Kết luận 92 CHƢƠNG 4: MỘT SỐ KẾT QUẢ TÍNH TOÁN SỐ 94 4.1. Giới thiệu 94 4.2. Thiết lập mô phỏng 94 4.2.1. Phƣơng pháp Bayes 94 4.2.2. Phƣơng pháp Kalman 97 4.3. Kết quả và bàn luận 100 4.4. Kết luận 109 KẾT LUẬN VÀ KIẾN NGHỊ 110 DANH MỤC CÔNG TRÌNH CÔNG BỐ CỦA TÁC GIẢ 113 DANH MỤC TÀI LIỆU THAM KHẢO 114 v DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT BDM Block Distortion Measure Độ đo biến dạng khối BMA Block-Matching Algorithm Thuật toán phối hợp khối BMME Block-Matching Motion Estimation Ƣớc lƣợng chuyển động phối hợp khối DC Direct Current Dòng một chiều DCT Discrete Cosine Transform Biến đổi Cosine rời rạc DFD Displaced Frame Difference Hiệu dịch chuyển khung DFT Discrete Fourier Transform Biến đổi Fourier rời rạc DMS Discrete Memoryless Source Nguồn không nhớ rời rạc DPCM Differential Pulse Code Modulation Điều chế xung mã vi sai DVB-H Digital Video Broadcasting - Handheld Phát quảng bá video kỹ thuật số - Thiết bị cầm tay ECC Error Correction Code Mã sửa sai FD Frame Difference Độ lệch khung FFT Fast Fourier Transform Biến đổi Fourier nhanh FT Fourier Transform Biến đổi Fourier HD Horizontal Difference Độ lệch trục ngang HDTV High Definition Television Truyền hình độ phân giải cao HVS Human Visual System Hệ thống nhìn của con ngƣời IBM Ideal Binary Mask Mặt nạ nhị phân lý tƣởng IDCT Inverse DCT Biến đổi ngƣợc DCT IDFT Inverse DFT Biến đổi ngƣợc DFT KLT Karhunen-Loève Transform Biến đổi Karhunen-Loève LMS Least Mean Square Bình phƣơng trung bình tối thiểu MAE Mean Absolute Error Sai số tuyệt đối trung bình MAP Maximum A posteriori Probability Cực đại xác suất hậu nghiệm MC Motion Compensation Bù chuyển động vi ML Maximum Likelihood Hợp lý cực đại MPEG Moving Picture Experts Group Nhóm chuyên gia về hình ảnh động MRF Markov Random Field Trƣờng ngẫu nhiên Markov MSE Mean Squared Error Sai số trung bình bình phƣơng NCCF Normalized Cross Correlation Function Hàm tƣơng quan chéo chuẩn hóa NGN Next Generation Network Mạng thế hệ kế tiếp NTSC National Television System Committee Ủy ban truyền hình quốc gia PSNR Peak Signal to Noise Ratio Tỷ số tín hiệu đỉnh trên nhiễu SAD Sum of Absolute Differences Tổng các sai phân tuyệt đối SSD Sum Squared Difference Tổng các sai phân bình phƣơng TSVQ Tree-Structured Vector Quantizers Lƣợng tử véctơ có cấu trúc cây TV Television Máy thu hình VD Vertical Difference Độ lệch trục đứng VLC Variable Length Coding Mã hóa với độ dài từ mã thay đổi VQ Vector Quantization Lƣợng tử véctơ 2D Two-Dimensional 2 chiều 3D Three-Dimensional 3 chiều 3G Third-Generation Thế hệ thứ ba vii DANH MỤC CÁC BẢNG Bảng 2.1 Độ phức tạp tính toán của SSD, SAD và NCCF với khối NN 51 Bảng 4.1 Bảng thống kê thời gian tính toán theo phƣơng pháp Bayes 107 Bảng 4.2 Bảng thống kê thời gian tính toán theo phƣơng pháp Kalman 108 viii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1 Nén video trong truyền video 8 Hình 1.2 Hàm tự tƣơng quan theo chiều ngang của một số bức ảnh 9 Hình 1.3 Phổ công suất đặc trƣng của tín hiệu TV quảng bá 10 Hình 1.4 (a) khung thứ 21 và (b) khung thứ 22 của dãy ảnh “Hoa hậu Mỹ” 11 Hình 1.5 Hệ thống nén video tổng quát 15 Hình 1.6 Tính chu kỳ tái cấu trúc của DFT và DCT 25 Hình 1.7 Biến đổi DCT ảnh của Lena: (a) ảnh gốc, (b) ảnh tái cấu trúc 26 Hình 1.8 (a) Khối con 8×8 ảnh gốc của Lena; (b) Các hệ số DCT 26 Hình 1.9 Ƣớc lƣợng chuyển động phối hợp tốt nhất 31 Hình 1.10 Biểu diễn thuật toán tìm kiếm ba bƣớc 32 Hình 2.1 Hình chiếu chuyển động 35 Hình 2.2 Ƣớc lƣợng chuyển động phối hợp khối 48 Hình 2.3 Tái xác lập chất lƣợng của SSD, SAD, NCCF 50 Hình 2.4 Ba loại hồi quy khác nhau 52 Hình 2.5 Phƣơng pháp dốc nhất 54 Hình 2.6 Mô tả phƣơng pháp Newton-Raphson 57 Hình 4.1 a) Khung 1512 và b) Khung 1513 của videoclip-1 100 Hình 4.2 a) Khung 434 và b) Khung 435 của videoclip-2 101 Hình 4.3 Trƣờng chuyển động của videoclip-1, phƣơng pháp Bayes (λ=100) 102 Hình 4.4 Trƣờng chuyển động của videoclip-1, phƣơng pháp Bayes (λ=1500) 102 Hình 4.5 Trƣờng chuyển động của videoclip-1, phƣơng pháp Kalman (L=10) 104 Hình 4.6 Trƣờng chuyển động của videoclip-1, phƣơng pháp Kalman (L=100) 104 Hình 4.7 Trƣờng chuyển động của videoclip-2, phƣơng pháp Bayes (λ=100) 106 Hình 4.8 Trƣờng chuyển động của videoclip-2, phƣơng pháp Kalman (L=100) 106 Hình 4.9 Đồ thị biểu diễn thời gian tính toán theo phƣơng pháp Bayes 107 Hình 4.10 Đồ thị biểu diễn thời gian tính toán theo phƣơng pháp Kalman 108 1 MỞ ĐẦU Giới thiệu Nén video là chủ đề đã và đang thu hút sự quan tâm của các nhà nghiên cứu trên thế giới. Việc tìm giải pháp nén video luôn hƣớng tới mục tiêu làm sao tăng hiệu quả nén trong khi giảm thiểu sự biến dạng hình ảnh mà quá trình nén gây ra. Hai yêu cầu này thƣờng mâu thuẫn với nhau. Vì vậy, tùy ứng dụng cụ thể mà ngƣời ta chọn giải pháp nén phù hợp để dung hòa giữa hai yếu tố. Hiện nay trên thế giới cũng nhƣ ở Việt Nam đã triển khai mạng thông tin thế hệ sau. Một trong các đặc điểm của mạng thông tin thế hệ sau là truyền tải tất cả các thông tin và các dịch vụ trên cơ sở sử dụng công nghệ chuyển mạch mềm, cho phép cung cấp các dịch vụ đa phƣơng tiện đến ngƣời sử dụng. Trong đó, các dịch vụ đa phƣơng tiện sử dụng video bao gồm: điện thoại video, hội nghị truyền hình, y tế từ xa, đào tạo từ xa, xem các chƣơng trình video phát quảng bá hoặc theo yêu cầu… Các dịch vụ của mạng thông tin thế hệ sau không chỉ trong suốt trên mạng cố định mà với xu thế hội tụ cố định - di động thì chúng cũng phải trong suốt đến tận máy đầu cuối di động. Để đáp ứng yêu cầu đó, cần tìm ra các phƣơng pháp nén video hiệu quả để giải quyết một số bài toán đặt ra ở đây là: - Nguồn tài nguyên tần số của môi trƣờng vô tuyến là hữu hạn, vì vậy có giải pháp gì để tăng hiệu suất sử dụng tài nguyên đó. - Kênh truyền dẫn vô tuyến có tác động tiềm tàng của nhiễu, vì vậy có thuật toán xử lý tín hiệu mà chống đƣợc ảnh hƣởng đó không. - Thiết bị đầu cuối di động có kích thƣớc bé, nguồn năng lƣợng pin cung cấp cho nó hạn chế, vì vậy có giải pháp nào để tăng tốc độ xử lý nhằm tiết kiệm nguồn điện. Nhiều công trình nghiên cứu đã đƣợc công bố tập trung vào giải pháp nén tín hiệu video với mục tiêu là giảm băng tần cần thiết giành cho phổ tần tín hiệu video. 2 Trong đó đặc trƣng là các công trình mã tốc độ thấp [4], [15], [24], [35], [64], [68] hoặc là giải pháp ƣớc lƣợng chuyển động của ảnh trong video. Trong hệ thống nén video thì bù chuyển động là một bộ phận rất quan trọng, đóng vai trò then chốt, đƣợc Netravali và Robbins đƣa ra năm 1997. Bù chuyển động là một kỹ thuật dự đoán hƣớng theo thời gian, nó ƣớc lƣợng độ dịch chuyển của mục tiêu chuyển động từ khung tham chiếu đến khung hiện tại. Ƣớc lƣợng chuyển động thu đƣợc dự đoán bù chuyển động bằng cách tìm véctơ chuyển động giữa khung tham chiếu và khung hiện tại. Giai đoạn đầu ngƣời ta sử dụng phƣơng pháp Bayes để ƣớc lƣợng chuyển động của ảnh. Phƣơng pháp Bayes xét đặc điểm tự nhiên của nội dung ảnh và hiệu giữa các khung liên tiếp, mô tả đƣợc bản chất xuất hiện của ảnh nhƣng việc tính toán phức tạp, đặc biệt khi phân bố nhiều chiều. Đồng thời, chúng ta cũng biết rằng để sử dụng đƣợc công thức Bayes thì điều kiện tiên quyết là dãy ảnh phải là dãy xác suất đầy đủ. Đó là điều kiện tính toán khó vì phải nhận biết đƣợc dãy ảnh có thỏa mãn điều kiện “đầy đủ” hay không, nếu không thì quá trình ƣớc lƣợng sẽ phạm phải sai số đáng kể. Trong những năm gần đây, một số tác giả đã mở rộng phƣơng pháp Bayes cho ƣớc lƣợng ảnh [57]. Rất nhiều nỗ lực đã đƣợc thực hiện trong ƣớc lƣợng IBM thông qua phƣơng pháp học thống kê bằng Bayes. Tuy nhiên, nhƣợc điểm của nó là mặt nạ đƣợc ƣớc lƣợng cho từng đơn vị thời gian - tần số một cách độc lập mà không tính đến mối tƣơng quan giữa chúng. Trong [57], Shan Liang, Wenju Liu và Wei Jiang đã đề cập đến mối tƣơng quan đó bằng thông tin tƣơng quan địa phƣơng. Họ đã sử dụng những biến phụ để chỉ ra mối tƣơng quan. Phƣơng pháp này đã chứng tỏ có độ chính xác cao hơn phƣơng pháp Bayes thông thƣờng. Tuy vậy, phƣơng pháp này đã bỏ qua một số tham số thống kê bậc hai vì vậy làm hạn chế độ chính xác trong ƣớc lƣợng chuyển động. Bên cạnh những ƣu điểm của phƣơng pháp Bayes thì bản thân nó bộc lộ những điều kiện ứng dụng mà không phải dãy ảnh chuyển động nào cũng thỏa mãn, [...]... HVS khác hẳn với độ nhạy của camera Trong HVS, thơng tin nhìn thấy khơng đƣợc cảm nhận nhƣ nhau, một số thơng tin có thể quan trọng hơn một số thơng tin khác Điều đó có nghĩa rằng nếu chúng ta sử dụng ít dữ liệu hơn để biểu diễn những 13 thơng tin ít quan trọng hơn về nhìn thấy thì khả năng cảm nhận sẽ khơng bị ảnh hƣởng Theo nghĩa đó, chúng ta thấy rằng một số thơng tin có liên quan đến thị giác là dƣ... với sự dƣ thừa thơng tin mà nó thực hiện với việc biểu diễn thơng tin, nghĩa là chính việc mã hố Từ việc nghiên cứu độ dƣ mã, rõ ràng là chúng ta nên tìm kiếm các kỹ thuật mã hiệu quả hơn để nén dữ liệu hình ảnh và video Mã Huffman và mã số học là hai kỹ thuật mã hóa VLC thƣờng đƣợc dùng trong xử lý ảnh và video 2- Độ dƣ khả năng nhìn thấy Trong khi độ dƣ giữa các pixel vốn đã có trong số liệu hình ảnh... liệu Đầu ra Hình 1.1 Nén video trong truyền video Tốc độ bit hay còn gọi là tốc độ mã hóa là một tham số quan trọng trong nén video và thƣờng đƣợc biểu thị bằng đơn vị bit/giây Trong mã hóa nguồn tin, đơi lúc tốc độ bit đƣợc biểu thị bit trên ký hiệu Chất lƣợng hình ảnh đƣợc cấu trúc lại ở phía thu phụ thuộc vào ứng dụng vì vậy sẽ có loại nén tổn thất và nén khơng tổn thất Trong ứng dụng truyền các ảnh... bit/pixel Các tín hiệu video chứa thơng tin ba chiều đƣợc mơ hình trong miền khơng gian và thời gian trong q trình mã hố Các phƣơng pháp nén video số đặt mục tiêu sao cho tối thiểu hố lƣợng tin dƣ thừa mà khơng phụ thuộc vào mỗi miền đã nói ở trên Hình 1.5 mơ tả sơ đồ khối của hệ thống nén video thực hiện mã một dãy ảnh số theo khơng gian và thời gian Mỗi hình ảnh trong dãy Ik đƣợc xác định theo cơng... và khung đã đƣợc cấu trúc lại trƣớc đó Ỵk làm đầu vào Giả thiết mỗi khối trong khung trƣớc đó có độ dịch chuyển có thể tìm kiếm đƣợc trong khung hiện tại Trong các cơng trình này, việc tìm kiếm bị hạn chế do độ phức tạp của tính tốn Để giải quyết hạn chế này, luận án sẽ đƣa ra các phƣơng pháp lặp sẽ đƣợc giới thiệu trong chƣơng 3 Trong [52], việc tìm kiếm dựa vào thuật tốn cực tiểu MSE hoặc MAE Khi tìm... xuất hiện của mỗi ký hiệu: E = {e1, e2,…, en} và tập {p(e1), p(e2),…, p(en)}, ở đây n là số các ký hiệu trong tập ký hiệu ảnh ban đầu Trên cơ sở đó, định nghĩa entropy ở đây là lƣợng tin trung bình của nguồn tin Lƣợng tin của một ký hiệu đƣợc định nghĩa là: I (ei )  log 1 p(ei ) (1.5) và lƣợng tin trung bình của nguồn: n H ( E )   p(ei ) log 2 p(ei ) bit /ký hiệu i 1 (1.6) Theo lý thuyết mã nguồn... liên quan đến những thơng tin dƣ thừa về mặt nhìn thấy đƣợc, tức là với nó hệ thống nhìn của con ngƣời (HVS) khơng nhạy Do vậy, rõ ràng cả hai độ dƣ là độ dƣ giữa các pixel và độ dƣ khả năng nhìn vì một lý do nào đó gắn với một số thơng tin chứa trong hình ảnh và video Loại bỏ các độ dƣ này hoặc sử dụng các mối tƣơng quan này bằng cách sử dụng số bit ít hơn để biểu diễn thơng tin sẽ cho ta kết quả nén... chuyển động trong khơng gian nhiều chiều với nghiệm ƣớc lƣợng chuyển động tối ƣu, độ bám tốt - Tăng hiệu quả sử dụng băng tần truyền dẫn bằng các thuật tốn khơng cần sử dụng tín hiệu đào tạo - Thuật tốn ƣớc lƣợng làm việc ổn định trong điều kiện kênh có nhiễu Đối tƣợng, phạm vi và phƣơng pháp nghiên cứu Luận án nghiên cứu các phƣơng pháp nén video số, ứng dụng truyền video trong mạng thơng tin di động... thống thơng tin di động, một bài tốn đặt ra là phải nén hình ảnh để tiết kiệm băng tần truyền dẫn mà vẫn đảm bảo chất lƣợng hình ảnh Đây là một u cầu đã và đang đƣợc nhiều nhà nghiên cứu quan tâm Truyền dẫn số tín hiệu ảnh động qua các hệ thống vệ tinh đã đƣợc nghiên cứu từ năm 1990, trong đó nén video bằng phƣơng pháp mã hố đóng vai trò rất quan trọng Cho đến nay, khi các hệ thống thơng tin di động... đƣợc trong cơng nghệ điện tử - viễn thơng - tin học đã tạo điều kiện phát triển các kỹ thuật truyền video đáp ứng nhu cầu ngày càng tăng trong các ứng dụng cuộc sống hàng ngày nhƣ điện thoại video, hội nghị video, truyền hình độ phân giải cao… Video là một dãy các khung ảnh bao gồm một lƣợng khổng lồ các số liệu, ví dụ mỗi khung video có độ phân giải 288 dòng và 352 pixel trên một giây Mỗi một màu trong . giới cũng nhƣ ở Việt Nam đã triển khai mạng thông tin thế hệ sau. Một trong các đặc điểm của mạng thông tin thế hệ sau là truyền tải tất cả các thông tin và các dịch vụ trên cơ sở sử dụng công. của HVS khác hẳn với độ nhạy của camera. Trong HVS, thông tin nhìn thấy không đƣợc cảm nhận nhƣ nhau, một số thông tin có thể quan trọng hơn một số thông tin khác. Điều đó có nghĩa rằng nếu chúng. nào đó gắn với một số thông tin chứa trong hình ảnh và video. Loại bỏ các độ dƣ này hoặc sử dụng các mối tƣơng quan này bằng cách sử dụng số bit ít hơn để biểu diễn thông tin sẽ cho ta kết quả