GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL
Thầy hướng dẫn: PGS.TS. Lê Tiến Thường GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN VIỄN THÔNG Nội dung o Tổng quan siêu phân giải o Mô hình suy giảm ảnh o Siêu phân giải ảnh theo phương pháp MMSE o Phương pháp thực hiện o Kết quả mô phỏng o Kết quả phần cứng o Siêu phân giải Video theo phương pháp MMSE o Phương pháp thực hiện o Kết quả mô phỏng o Kết luận Siêu phân giải Mục tiêu: tăng độ phân giải cho ảnh và video Siêu phân gi i nh HR t nhi u nh ả ả ừ ề ả LR Siêu phân gi i video HR t video LRả ừ Phạm vi ứng dụng o Cải thiện ảnh/video chất lượng kém gây ra bởi: o Chất lượng camera o Giới hạn đường truyền o … o Trong nhiều lĩnh vực: dân dụng,, quân sự, y tế, … Mô hình suy giảm ảnh Mỗi ảnh LR quan sát được tạo ra từ ảnh HR thông qua mô hình Suy giảm(linear distortion) : gây ra bởi camera, thông qua hàm PSF. Mô hình suy giảm tuyến tính : Mô hình suy gi m nhả ả Lấy mẫu: giới hạn Nyquist -> data tần số cao bị mất Nhiễu: nhiễu trắng có mật độ phổ trải đều. Mô hình suy giảm ảnh c l ng Ướ ượ d ch chuy nị ể N i suy nh ộ ả HR Siêu phân giải ảnh Vấn đề: Giải quyết: nh g cẢ ố nh LRẢ Ước lượng dịch xoay Mô hình đơn giản: xoay A, dịch b Ước lượng xoay được ước lượng thông qua biến đổi Fourier: Dịch xoay các ảnh LR Đưa lên mắc lưới HR Nội suy theo nearest, cubic Nội suy ảnh HR- Miền không gian Nội suy ảnh HR- Miền tần số H: bộ lọc PSF làm mờ ảnh HR F: bộ lọc tái tạo ảnh HR Yêu cầu: cho biết PSD, mô hình suy giảm, chỉ ước lượng dịch nh g cẢ ố nh LRẢ nh SRẢ [...]... giảm ảnh o Siêu phân giải ảnh: o Kết quả mô phỏng chỉ ra độ tin cậy của giải thuật o Thực hiện trên phần cứng máy tính, KIT ARM cho kết quả tương tự o Thời gian thực hiện trên KIT vẫn còn hạn chế lớn o Siêu phân giải video: o Phương pháp chia block: Chỉ ra được hiệu quả cho việc tìm motion vector, nhưng chỉ mới áp dụng cho tái tạo “bicubic” và “nearest” không cho kết quả cao o Giải thuật MMSE cho toàn... Frames Ảnh sân bay, 500x700 Bốn ảnh LR, D=4 PSNR = 26.4 4 Thực hiện phần cứng Thời gian & chất lượng thực hiện C trên máy tính = Maltab Thời gian thực hiện trên KIT lâu: Bộ nhớ, xử lí nhiều biến HRxHR, số phức Tính toán FFT và IFFT nhiều lần Number LR of Time (minute) 4 3 2 1 Ảnh 256x256 30 21 15 9 used Number LR of Time (minute) 4 3 2 1 Ảnh 512x512 70 50 36 22 used Tổng hợp kết quả Thực hiện. .. − β ) THỰC TẾ Fopt = D.S xx H *( DN + H T S xx H *) −1 Tiến hành thuật toán Mô phỏng trên Matlab Biết PSD, hàm suy giảm PSF Ước lượng PSD, một ảnh LR Ước lượng PSD , nhiều ảnh LR Sử dụng trên ngôn ngữ C, phần cứng máy tính Ước lượng PSD, một ảnh và nhiều ảnh LR Sử dụng ngôn ngữ C trên KIT ARM9 Ước lượng PSD, một ảnh và nhiều ảnh LR Tổng hợp, so sánh với phương pháp khác Tổng hợp , so sánh với nội... = ( HRxx H T + Rnn ) −1 HRxy Quá trình thực hiện Thực hiện phương pháp chia nhỏ block Thực hiện phương pháp MMSE với toàn bộ ảnh Tái tạo một số Video theo phương pháp MMSE Phương pháp chia nhỏ block Ảnh LR được phân biệt: base và extra Ảnh base LR được nội suy tạo mắc lưới HR “thô” Các extra LR được chia nhỏ thành block Ước lượng độ dich chuyển và sai số của từng extra block với HR block... 3 24.77 dB 25.6 dB 2 23.61 dB 25.3 dB 1 22.55 dB 24.68 dB Ảnh Hạ Long 512x512 KIT 25.8 dB 25.9 dB 25.5 dB 24.5 dB Siêu phân giải Video Các vấn đề mới : o Dữ liệu các frame thay đổi theo thời gian o Chuyển động của các frame là tùy ý o Quá trình ước lượng phức tạp hơn Siêu phân giải Video – Chia block Phù hợp mô hình chuyển động cục bộ của video Chia nhỏ các block Tính toán dich xoay cho từng block... bộ ảnh Nearest , 24.74 dB 1 extra frame , 26.3 dB 2 extra frame , 27.2 dB Tái tạo một số Video Video Kích thước LR Kích thước HR Soccer 192x192 576x576 Ha Long 336x448 672x896 Steve Jobs 240x320 720x960 SonyPlayer 180x320 540x960 Giải thuật tái tạo chất lượng ảnh tốt, chỉ cần 1 extra frame Tuy nhiên, video với 600 HR frames dung lượng >1GB Kết luận o Tìm hiểu được mô hình suy giảm ảnh o Siêu phân. ..Nội suy ảnh HR- Miền tần số o Các thông số cần cho việc tái tạo o Mô hình suy giảm o Mô hình nhiễu cộng o Mô hình dịch chuyển o Mật độ phổ công suất ảnh HR: ước lượng từ LR Mật độ phổ công suất ảnh HR o Lí tưởng: được tính trực tiếp từ ảnh HR: o Năng lượng tập trung ở miền tần số thấp, suy giảm nhanh khi tần số tăng Ảnh lena PSD Mật độ phổ công suất ảnh HR Thực tế : ước lượng từ ảnh LR Mô hình... Super-Resolution, Known PSF 30 Biết PSD: ảnh cho kết quả tốt, đặc biệt với D=2,3 29 28 dB 27 26 25 24 D=2, PSNR = 29.13 dB Ảnh LR 137x142 2 3 4 Kết quả mô phỏng o Ước lượng PSD, một ảnh LR: o o Với D=2: ảnh cho chất lượng tốt Với D=4: ảnh HR có chất lượng không tốt 21.1dB Ảnh B4 256x256 D=2, PSNR=23.21 D=4, PSNR=21.1 Kết quả mô phỏng Super Resolution Result 27 o Tăng thông tin từ các 26 ảnh LR -> chất lượng tái tạo... dB Mobile(288x288 ) 17.1 dB 17.3 dB 17.5 dB 17.5 dB Phương pháp MMSE với toàn bộ ảnh Tính toán độ dịch chuyển cho từng extra frame Tính toán mô hình PSD Thực hiện giải thuật MMSE để tái tạo frame HR Phương pháp MMSE với toàn bộ ảnh Thực hiện với hệ số suy giảm D=3: chất lượng frame HR tăng khi số extra block tăng PSNR tốt hơn nhiều so với nội suy Nearest Số LR frame Foreman(288x288) Soccer(576x576)... 10 và 11 trong video Foreman - Motion Vector ước lượng cho block 8x8 Phương pháp chia nhỏ block Kết quả: chia nhỏ block nhưng nội suy bicubic và Nearest không làm tăng chất lượng Số LR frame 1 frame 2 frame 3frame 4 frame Foreman(288x2 88) 27.1 dB 27.1 dB 27.4 dB 27.4 dB Soccer(576x576) 26.7 dB 26.7 dB 26.4 dB 26.5 dB Mobile(288x288 ) 17.1 dB 17.3 dB 17.5 dB 17.5 dB Phương pháp MMSE với toàn bộ ảnh . Thường GIẢI THUẬT LMMSE THỰC HIỆN SIÊU PHÂN GIẢI ẢNH VÀ VIDEO TRÊN KIT ARM AT91SAM9RL TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM KHOA ĐIỆN – ĐIỆN TỬ BỘ MÔN VIỄN THÔNG Nội dung o Tổng quan siêu phân giải o Mô. phỏng o Kết luận Siêu phân giải Mục tiêu: tăng độ phân giải cho ảnh và video Siêu phân gi i nh HR t nhi u nh ả ả ừ ề ả LR Siêu phân gi i video HR t video LRả ừ Phạm vi ứng dụng o Cải thiện ảnh/ video chất. suy giảm ảnh o Siêu phân giải ảnh theo phương pháp MMSE o Phương pháp thực hiện o Kết quả mô phỏng o Kết quả phần cứng o Siêu phân giải Video theo phương pháp MMSE o Phương pháp thực hiện o Kết