Nghiên cứu ứng dụng FPGA thực hiện thuật toán watermarking miền DCT cho ảnh số

giáo dục đào tạo trờng đại học bách khoa hà nội Đặng văn hiếu đặng văn hiếu ngành ®iƯn tư viƠn th«ng NGHI£N Cøu, øng dơng FPGA thùc thuật toán watermarking miền dct cho ảnh số luận văn thạc sĩ khoa học khoá 2007-2009 Hà Nội 2009 I LỜI GIỚI THIỆU Trong năm gần đây, nhu cầu an ninh giám sát hình ảnh phát triển mạnh mẽ Các hệ thống camera an ninh giám sát triển khai rộng khắp công cụ đắt lực khơng cho quan đồn thể mà cho cá nhân để quản lý, giám sát nhiều lĩnh vực khác quản lý giám sát giao thông, giám sát an ninh, tài sản, thiết bị vật tư,…Nhưng vấn đề đặt hình ảnh từ camera có coi chứng hợp pháp trung thực đưa trước pháp luật Như biết, với phát triển cơng nghệ máy tính số, cơng nghệ xử lý hình ảnh, việc chỉnh sửa hình ảnh dễ dàng trực tiếp Nó phá rối, gây nhiễu hình ảnh thay đổi nội dung mà không để lại dấu vết Vì mà quan pháp luật, tịa án gặp nhiều khó khăn để xác thực, coi chứng loại chứng không đáng tin cậy, xếp chúng với ưu tiên thấp Để khắc phục watermarking lựa chọn tốt cho vấn đề Mục đích luận văn nghiên cứu ứng dụng cơng nghệ mạch tích hợp logic khả trình FPGA để thực thuật tốn watermarking mạnh miền DCT cho ảnh số nén JPEG Trước tiên, thuật toán nén ảnh JPEG watermarking miền DCT miền nén miền chưa nén phân tích cụ thể Từ tiến hành xây dựng khối module thuật tốn sử dụng ngơn ngữ mô tả phần cứng VHDL thực FPGA Các kết đạt cho thấy khả ứng dụng lớn của mơ hình thuật tốn vào thực tế Tác giả xin chân thành cám ơn TS Phạm Ngọc Nam, Bộ môn Kỹ thuật Điện tử tin học, Khoa Điện tử viễn thơng, tận tình hướng dẫn, trao đổi kinh nghiệm ý kiến quý báu Xin gửi lời cám ơn tới Thầy, Cô Khoa II Điện tử viễn thông, tới gia đình, bạn bè giúp đỡ tạo điều kiện để tác giả hồn thành luận văn khóa học Trong q trình thực hiện, luận văn khơng tránh khỏi thiếu sót, tác giả mong nhận góp ý Thầy, Cơ đồng nghiệp Hà Nội, ngày 23 tháng 10 năm 2009 Tác giả III MỤC LỤC LỜI GIỚI THIỆU I TÓM TẮT III MỤC LỤC V DANH MỤC CÁC KÝ HIỆU, THUẬT NGỮ VIẾT TẮT IX DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ X DANH MỤC CÁC BẢNG XIII CHƯƠNG 1: MỞ ĐẦU 1.1 Cơ sở nghiên cứu mục đích luận văn 1.2 Tổ chức luận văn CHƯƠNG 2: TỔNG QUAN VỀ CÁC CHUẨN NÉN MULTIMEIDA, WATERMARKING VÀ CÁC PHƯƠNG PHÁP MÔ PHỎNG 2.1 Tổng quan nén liệu Multimedia 2.1.1 Tổng quan multimedia 2.1.2 Hiệu nén liệu multimedia 2.1.2.1 Tỷ lệ nén số bit mẫu 2.1.2.2 Các thước đo chất lượng 2.1.2.3 Trễ mã hóa 10 2.1.2.4 Độ phức tạp mã hóa 10 2.1.3 Tổng quan nén ảnh 10 2.1.4 Các tiêu chuẩn nén liệu multimedia 12 2.1.4.1 Chuẩn mã hóa ảnh tĩnh 12 2.1.4.2 Các chuẩn mã hóa video 12 2.1.4.3 Chuẩn mã hóa audio 14 2.2 Watermarking 14 IV 2.3 Thực phát triển Matlab/Simulink FPGA 15 2.3.1 Các công việc cần thực 15 2.3.2 Giới thiệu công cụ Xilinx 16 CHƯƠNG 3: CƠ SỞ LÝ THUYẾT CỦA CÁC KỸ THUẬT NÉN ẢNH JPEG VÀ WATERMARKING CHO ẢNH SỐ 18 3.1 Kỹ Thuật nén ảnh số JPEG 18 3.1.1 Chuyển đổi không gian màu tốc độ lấy mẫu màu 20 3.1.1.1 Không gian màu RGB 20 3.1.1.2 Không gian màu YCbCr 20 3.1.1.3 Tốc độ lấy mẫu màu 21 3.1.1.4 Macroblock 22 3.1.2 Biến đổi Cosin rời rạc (DCT) 22 3.1.2.1 Biến đổi Fourier 22 3.1.2.2 Biến đổi cosine rời rạc (DCT) 24 3.1.3 Lượng tử hóa hệ số DCT 29 3.1.4 Quét zigzag hệ số DCT 31 3.1.5 Mã hóa Entropy 32 3.1.5.1 Mã hóa có độ dài biến đổi 33 3.1.5.2 Mã hóa Huffman 33 3.2 Watermarking 36 3.2.1 Watermarking miền không gian 36 3.2.2 Watermarking miền DCT 36 3.2.3 Watermarking watermarking ẩn 38 3.2.4 Một số ứng dụng watermarking ảnh số 39 3.2.5 Các đặc tính mong muốn cho watermark 42 V 3.2.5.1 Các đặc tính mong muốn cho watermark 42 3.2.5.2 Các đặc tính mong muốn cho watermark ẩn yếu 43 3.2.5.3 Các đặc tính mong muốn cho watermark ẩn mạnh 44 CHƯƠNG 4: PHÂN TÍCH VÀ XÂY DỰNG CÁC KHỐI THUẬT TOÁN NÉN ẢNH VÀ WATERMARKING 45 4.1 Các thuật toán nén ảnh 45 4.1.1 Khối Thuật tốn biến đổi khơng gian màu 45 4.1.2 Tốc độ lấy mẫu màu 46 4.1.2.1 Các định dạng lấy mẫu màu 46 4.1.2.2 Khối chuyển đổi tốc độ lấy mẫu màu 49 4.1.3 Thuật toán biến đổi cosine rời rạc (DCT) 51 4.1.3.1 Tính tốn xây dựng khối DCT-2D 8x8 52 4.1.3.2 Tính tốn xây dựng khối biến đổi DCT 2-D 16x16 61 4.1.4 Xây dựng khối lượng tử hóa 75 4.1.5 Xây dựng khối quét zigzag 79 4.1.6 Xây dựng khối mã hóa Entropy 81 4.1.6.1 Khối mã hóa bước chạy RLE 81 4.1.6.2 Khối mã hóa Huffman 83 4.1.7 Tổng hợp khối nén ảnh JPEG 84 4.2 Các thuật toán Watermarking 86 4.2.1 Xây dựng khối thuật toán Watermarking-JPEG miền nén 86 4.2.2 Xây dựng khối thuật toán Watermarking-JPEG miền chưa nén 90 CHƯƠNG 5: KẾT QUẢ MÔ PHỎNG VÀ THỰC HIỆN PHÁT TRIỂN 96 5.1 Mơ hình mức hệ thống với MATLAB/SIMULINK 96 5.1.1 Phương pháp mơ hình hóa mức hệ thống 96 VI 5.1.2 Mơ hình hệ thống watermarking miền chưa nén 97 5.1.3 Mơ hình hệ thống watermarking miền nén 102 5.2 Mơ hình hệ thống với VHDL thực FPGA 106 5.2.1 Kết thực thuật toán nén ảnh JPEG 107 5.2.1.1 Khối thuật tốn biến đổi khơng gian màu RGB-YCrCb 107 5.2.1.2 Khối biến đổi tốc độ lấy mẫu màu 109 5.2.1.3 Khối thực biến đổi DCT_2D 8x8 111 5.2.1.4 Khối lượng tử hóa 113 5.2.1.5 Khối quét zigzag 115 5.2.1.6 Khối mã hóa bước chạy RLE 117 5.2.1.7 Khối mã hóa Huffman 119 5.2.1.8 Khối nén ảnh JPEG tổng 121 5.2.2 Kết thực thuật toán Watermarking-JPEG 123 5.2.2.1 Khối thực biến đổi DCT_2D 16x16 123 5.2.2.2 Khối thực thuật toán nhúng watermark miền nén 125 5.2.2.3 Khối Watermarking-JPEG miền nén tổng thể 128 5.3 Đánh giá thảo luận 130 5.3.1 Chất lượng ảnh chất lượng nén mơ hình nén ảnh watermarking 130 5.3.2 Đánh giá phân tích thời gian, tốc độ thực chiếm dụng tài nguyên thực hệ thống thuật toán FPGA 134 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 138 TÀI LIỆU THAM KHẢO 140 VII DANH MỤC CÁC KÝ HIỆU, THUẬT NGỮ VIẾT TẮT ACC DSP DCT FDCT FIFO FPGA JPEG IC IDCT Advanced Audio Coding Digital Signal Processor Discrete Cosine Transform Fast Discrete Cosine Transform First In First Out Field Programmable Gate Array Joint Picture Expert Group Integrated Circuit Inverse Discrete Cosine Transform ISO International Standard Organization ITU International Telecommunication Union IP Intellectual Property HVS Human Vision System LSB Least Significant Bit MSB Most Significant Bit MIPs Million of instructions per second MOPs Million of Operations per second MOS Mean Observer Score MPEG Motion Picture Expert Group MP3 Mpeg-1 Layer PSNR Peak Signal per Noise Ratio PC Personal Computer RLE Run Length Encode SNR Signal per Noise Ratio VCR Video Cassette Recorder VHDL VHSIC Hardware Description Language VLC Variable Length Coding Mã hóa audio tiên tiến Bộ xử lý tín hiệu số Biến đổi cosine rời rạc Biến đổi cosine rời rạc nhanh Bộ đệm vào trước trước Mảng cổng logic lập trình chỗ Nhóm chun gia ảnh tĩnh Mạch tích hợp Biến đổi cosine rời rạc ngược Tổ chức tiêu chuẩn quốc tế Liên minh viễ thơng quốc tế Sở hữu trí tuệ Hệ thống thị giác người Bit mang ý nghĩa thơng tin Bit mang nhiều ý nghĩa thông tin Triệu lệnh giây Triệu thao tác giây Điểm người quan sát trung bình Nhóm chun gia ảnh động Chuẩn nén audio MPEG-1 layer Tỷ số tín hiệu nhiễu đỉnh Máy tính cá nhân Mã hóa bước chạy Tỷ số tín hiệu nhiễu Bộ ghi video băng đĩa từ Ngôn ngữ mô tả phần cứng Mã hóa với từ mã biến đổi VIII DANH MỤC CÁC HÌNH VẼ Hình 3.1: Một mơ hình nén ảnh tổng quát 11 Hình 3.1: Baseline JPEG: (a) nén, (b) giải nén 19 Hình 3.2: 4:2:0 macroblock 22 Hình 3.3: Dạng sóng tín hiệu chẵn lẻ 24 Hình 3.4: Xây dựng tín hiệu với biến đổi cosine sine 25 Hình 3.5: Biến đổi DCT chiều 8x8 thơng qua biến đổi DCT chiều 1x8 27 Hình 3.6: so sánh ma trận trước sau DCT 29 Hình 3.7: Quét zigzag ma trận hệ số DCT 32 Hình 3.8 : Cây mã Huffman cho mã hóa Huffman 35 Hình 3.9: Nhúng watermark tần số 37 Hình 3.10: Nhúng watermark ma trận hệ số 16x16 38 Hình 3.11: Watermarking miền chưa nén miền nén 39 Hình 4.1: Khối thuật toán RGB to YCbCr 45 Hình 4.2: Biểu diễn đồ họa chuẩn lấy mẫu 4:4:4 47 Hình 4.3: Qúa trình tạo dịnh dạng 4:4:4 47 Hình 4.4: Biểu diễn đồ họa chuẩn 4:2:2 48 Hình 4.5: Tạo định dạng 4:2:2 48 Hình 4.6: Biểu diễn đồ họa định dạng 4:2:0 48 Hình 4.7: Sự tạo định dạng 4:2:0 49 Hình 4.8: Khối chuyển đổi 4:4:4to4:2:0 50 Hình 4.9: cấu hình hệ số 4:4:4to4:2:0 50 Hình 4.10: Cấu trúc khối đường liệu 2-D DCT 53 Hình 4.11: Sơ đồ khối thực DCT 1-D (k: 0-7) 56 Hình 4.12: Sơ đồ khối thực DCT 2-D (K: -> 7) 59 IX Hình 4.13: Biểu đồ dịng thuật tốn 2-D DCT 60 Hình 4.14: Khối thực thuật toán DCT-2D 8x8 60 Hình 4.15: Cấu trúc khối đường liệu 2-D DCT 16x16 62 Hình 4.16: Sơ đồ khối thực DCT-1D 16x16 65 Hình 4.17: Sơ đồ khối thực biến đổi DCT-2D 16x16 72 Hình 4.18: Biểu đồ dịng thuật tốn 2-D DCT 16x16 73 Hình 4.19: Khối thực DCT-2D 16x16 74 Hình 4.20: Khối thực thuật tốn lượng tử hóa 77 Hình 4.21 : Sơ đồ nguyên lý hoạt động lượng tử hóa 78 Hình 4.22 : Khối thực quét zigzag 79 Hình 4.23 : Sơ đồ nguyên lý hoạt động khối quét zigzag 80 Hình 4.24: Mã hóa Entropy 81 Hình 4.25: Khối thực mã hóa bước chạy RLE 82 Hình 4.26: Khối thực mã hóa Huffman 83 Hình 4.27: Khối thực nén ảnh JPEG 85 Hình 4.28: Biểu đồ thuật toán nhúng watermark miền nén JPEG 87 Hình 4.29: Khối thực thuật tốn nhúng watermark miền nén 87 Hình 4.30: Khối thực thuật toán watermarking-JPEG miền nén 89 Hình 4.31: Biểu đồ thuật tốn nhúng watermark miền chưa nén JPEG 91 Hình 4.32: Khối thực thuật toán nhúng watermark miền chưa nén 91 Hình 4.33: Khối thực thuật tốn watermarking-JPEG miền nén 93 Hình 5.1: Mơ hình hóa thuật tốn watermarking miền chưa nén 98 Hình 5.2: Hai ảnh nguồn dùng để khảo sát 99 Hình 5.3: Hai ảnh watermark dùng để khảo sát 100 Hình vẽ 5.4: Kết mơ thuật toán watermarking miền chưa nén101 127 Bảng 5.19: Kết tổng hợp khối watermarking_block_compressed dòng chip V5 jpeg_watermarking Project Status (10/15/2009 - 18:36:39) Project File: jpeg_watermarking.ise Synthesized Module Name: watermarking_block_compressed • Errors: No Errors Target Device: xc5vlx50t-3ff1136 • Warnings: 7812 Warnings Implementation State: Device Utilization Summary (estimated values) Logic Utilization Used [-] Available Utilization Number of Slice Registers 1122 28800 3% Number of Slice LUTs 1500 28800 5% Number of fully used LUT-FF pairs 1059 1563 67% 17 480 3% 32 3% 16 48 33% Number of bonded IOBs Number of BUFG/BUFGCTRLs Number of DSP48Es Timing Summary: Speed Grade: -3 Minimum period: 5.192ns (Maximum Frequency: 192.600MHz) Minimum input arrival time before clock: 1.844ns Maximum output required time after clock: 2.775ns Maximum combinational path delay: No path found Thực tổng hợp dòng chip Spartan3E(xc3s500e-5fg320) thu bảng kết tổng hợp (Bảng 5.20): Bảng 5.20: Kết tổng hợp khối watermarking_block_compressed dòng chip S3E jpeg_watermarking Project Status (10/15/2009 - 18:41:43) Project File: jpeg_watermarking.ise Module Name: watermarking_block_compressed • Errors: No Errors Target Device: xc3s500e-5fg320 • Warnings: 7799 Warnings Implementation State: Synthesized Device Utilization Summary (estimated values) Logic Utilization Used Available [-] Utilization 128 Number of Slices 1175 4656 25% Number of Slice Flip Flops 1090 9312 11% Number of input LUTs 1911 9312 20% Number of bonded IOBs 17 232 7% Number of MULT18X18SIOs 16 20 80% 24 4% Number of GCLKs Timing Summary: Speed Grade: -5 Minimum period: 8.869ns (Maximum Frequency: 112.748MHz) Minimum input arrival time before clock: 3.227ns Maximum output required time after clock: 4.040ns Maximum combinational path delay: No path found 5.2.2.3 Khối Watermarking-JPEG miền nén tổng thể - Giản đồ thời gian: 129 Hình 5.17: Giản đồ thời gian thực khối jpeg_watermarking_in_compressed_domain - Kết thực tổng hợp: Thực tổng hợp dòng chip Virtex5(xc5vlx50t-3ff1136) thu bảng kết tổng hợp (Bảng 5.21): Bảng 5.21: Kết tổng hợp khối jpeg_watermarking_in_compressed_domain dòng chip V5 jpeg_watermarking Project Status (10/15/2009 - 19:31:05) Project File: jpeg_watermarking.ise Module Name: jpeg_watermarking_in_compressed_doma in • Target Device: xc5vlx50t-3ff1136 • Synthesized Implementation State: No Errors Errors: 10504 Warnings Warnings: Device Utilization Summary (estimated values) Logic Utilization Used [-] Available Utilization Number of Slice Registers 3788 28800 13% Number of Slice LUTs 3335 28800 11% 130 Number of fully used LUT-FF pairs Number of bonded IOBs Number of BUFG/BUFGCTRLs Number of DSP48Es 1988 5135 38% 43 480 8% 32 6% 36 48 75% Timing Summary: Speed Grade: -3 Minimum period: 8.684ns (Maximum Frequency: 115.152MHz) Minimum input arrival time before clock: 4.190ns Maximum output required time after clock: 3.537ns Maximum combinational path delay: 3.434ns Thực tổng hợp dòng chip Spartan3E(xc3s500e-5fg320) thu bảng kết tổng hợp (Bảng 5.22): Bảng 5.22: Kết tổng hợp khối jpeg_watermarking_in_compressed_domain dòng chip S3E jpeg_watermarking Project Status (10/15/2009 - 19:25:33) Project File: jpeg_watermarking.ise Module Name: jpeg_watermarking_in_compressed_domain • Errors: Target Device: xc3s500e-5fg320 • Warnings: 12391 Warnings Implementation State: Synthesized No Errors Device Utilization Summary (estimated values) Logic Utilization Used Number of Slices [-] Available 3818 Utilization 4656 82% Number of Slice Flip Flops 3776 9312 40% Number of input LUTs 5097 9312 54% Number of bonded IOBs 43 232 18% Number of MULT18X18SIOs 24 20 24 Number of GCLKs 120% 4% Timing Summary: Speed Grade: -5 Minimum period: 12.843ns (Maximum Frequency: 77.864MHz) Minimum input arrival time before clock: 9.502ns Maximum output required time after clock: 5.712ns Maximum combinational path delay: 8.372ns 5.3 Đánh giá thảo luận 5.3.1 Chất lượng ảnh chất lượng nén mơ hình nén ảnh watermarking 131 Để đánh giá chất lượng ảnh chất lượng nén sử dụng tiêu trí trình bày Chương (2.1.2) Luận văn tiến hành đánh giá mức hệ thống mô Matlab/Simulink Tiến hành thực mơ tính PSNR Matlab/Simulink cho ảnh nguồn (vanmieu.bmp) ảnh watermark (DHBK.TIF) mơ hình khác nhau: Hình 5.18a: Mơ hình thực nén ảnh JPEG Hình 5.18b 5.18c hai mơ hình Watermarking-JPEG miền chưa nén miền nén với α=ß=1 Mo hinh thuat toan nen JPEG-Baseline Image Video Viewer Anh nguon vao Anh sau ma hoa va giai ma JPEG YCbCr YCbCr vanmieu bmp Image Image Video Viewer RGB RGB bits Bo giai ma JPEG Anh nguon Bo ma hoa JPEG Y bits ratio 12.55 RGB Ty le nen R'G'B' to Y'CbCr Image Cb Bien doi khong gian mau Bo tach mau Cr I1 PSNR 38.8 I2 Y R'G 'B' to Y'CbCr Image Cb Cr Bien doi khong gian mau Bo tach mau a PSNR mơ hình thuật tốn nén ảnh JPEG-Baseline PSNR Display 132 Thuat toan Watermarking cho anh so mien chua nen JPEG Anh khoi phuc watermark Video Viewer Image RGB W Video Viewer Image Bo gai watermarking Anh goc vanmieu bmp Image RGB YCbCr YCbCr RGB Anh nguon WM bits Bo giai ma Bo ma hoa Image bits 18 25 ratio Video Viewer RGB DHBK TIF Ty le nen Image Anh sau ma hoa va giai ma Anh watermark Y Image R'G'B' to Y'CbCr Video Viewer Image Cb Cr Bien doi khong gian mau Anh Watermark Bo tach mau I1 Y R'G'B' to Y'CbCr Image I2 Cb PSNR Cr Bien doi khong gian mau PSNR 22 22 Display Bo tach mau (b PSNR mơ hình watermarking-JPEG miền chưa nén) Thuat toan Watermarking cho anh so mien nen JPEG Image Video Viewer Image RGB Video Viewer W Anh goc Anh watermark sau khoi phuc Bo gai watermarking RGB vanmieu bmp YCbCr YCbCr RGB Image WM bits Anh nguon Bo giai ma bits Bo ma hoa ratio Anh sau ma hoa va giai ma RGB 12 03 DHBK TIF Image Image Video Viewer Ty le nen Anh watermark Image Y Video Viewer R'G'B' to Y'CbCr Image Cb Cr Anh Watermark Bien doi khong gian mau Bo tach mau Y R'G'B' to Y'CbCr Image Cb Cr Bien doi khong gian mau I1 PSNR 22 22 I2 PSNR Bo tach mau (c PSNR mơ hình watermarking miền nén) Hình 5.18: PSNR mơ hình thuật tốn mức hệ thống Display 133 PSNR tính tốn cơng cụ sẵn có Matlab/Simulink (Hình 5.18) tính theo cơng thức (2.1) (2.3) Trong mơ hình luận văn sử dụng kết tính PSNR Matlab để so sánh đánh giá, lỗi bình phương trung bình bậc hai RMSE tính từ PSNR theo công thức (2.3) Kết tổng hợp bảng so sánh (Bảng 5.23): Bảng 5.23: Bảng so sánh đánh giá kết mức hệ thống Loại mơ hình xử lý Mơ hình nén ảnh JPEG Mơ hình Wartermarking-JPEG miền chưa nén Mơ hình Watermarking-JPEG miền nén PSNR 38.8(dB) 22.22(dB) 22.22(dB) RMSE 2.93 (4.67dB) 19.75 (13.47dB) 19.75 (13.47dB) Tỷ lệ nén 12.55 18.25 12.08 Nhận xét: Mơ hình nén ảnh JPEG cho tỷ lệ nén đạt cao 12.55 nằm tiêu chí chuẩn nén JPEG, cho PSNR 38.8dB, tương ứng nhiễu RMSE 4.67dB Với nhiễu RMSE =4.67dB hệ thống thị giác người khó phát nhiễu Với hai mơ hình Watermarking-JPEG miền chưa nén miền nén đạt tỷ lệ nén khác nhau, xem xét PSNR nhiễu RMSE hồn tồn giống Cụ thể, mơ hình Watermarking-JPEG miền chưa nén đạt tỷ lệ nén cao 18.25dB, PSNR=22.22dB, RMSE=13.47dB, mơ hình 134 Watermarking-JPEG miền nén đạt tỷ lệ nén thấp 12.08, PSNR=22.22dB, RMSE=13.47dB Với nhiễu RMSE phạm vi 10dB tới 20dB cảm thụ thị giác dễ dàng phát Cả hai mơ hình watermarking miền chưa nén miền nén có RMSE=13.47dB, với tiêu chí watermarking (α=ß=1) Mơ hình Watermarking miền chưa nén JPEG cho kết nén cao mà đảm bảo chất lượng ảnh sau nén nhúng watermark xét mặt chủ quan khách quan Nhưng mô hình phức tạp phải thực thêm khối biến đổi DCT ngược chiều 16x16 Đây khối phức tạp gây độ trễ ảnh hưởng tới tốc độ xử lý hệ thống thực phần cứng 5.3.2 Đánh giá phân tích thời gian, tốc độ thực chiếm dụng tài nguyên thực hệ thống thuật toán FPGA Từ bảng kết tổng hợp thực thuật tốn hai dịng chip FPGA, thực tổng hợp lại ta hai bảng so sánh sau: Bảng 5.24: Bảng kết tổng hợp cho khối thuật tốn thực dịng chip V5 (xc5vlx50t-3ff1136) Tên khối Số lượng (Tỷ Số lượng Tần số cực lệ) (Tỷ lệ) đại ghi chiếm LUT chiếm dụng dụng Số lượng (Tỷ lệ) IOB chiếm dụng Số lượng (Tỷ lệ) DSP48E chiếm dụng color_conv_cw 644.330MHz 97 (0%) 109 (0%) 49 (10%) (0%) color_resampler444to420 586.441MHz 100 (0%) 90 (0%) 42 (8%) (0%) dct8x8 192.600MHz 265 (0%) 373 (1%) 17 (3%) (8%) 135 Quant 410.689MHz (0%) 54 (0%) 30 (6%) (2%) zigzag_scan 366.757MHz 796 (2%) 346 (1%) 30 (6%) (0%) rle_en 388.629MHz 81 (0%) 76 (0%) 49 (10%) (0%) huffman_en 115.152MHz 316 (1%) 223 (0%) 52 (10%) (14%) dct16x16 192.600MHz 554 (1%) 738 (2%) 17 (3%) (16%) jpeg_encoder 115.152MHz 2909 (10%) 2186 (7%) 43 (8%) 24 (50%) watermarking_block_com pressed 192.600MHz 1122 (3%) 1500 (5%) 17 (3%) 16 (33%) 115.152MHz 3788 (13%) 3335 (11%) 43 (8%) 36 (75%) jpeg_watermarking_in_co mpressed_domain Bảng 5.25: Bảng kết tổng hợp cho khối thuật tốn thực dịng chip S3E (xc3s500e-5fg320) Số lượng Tên khối Tần số cực (Tỷ lệ) đại SLICEs chiếm dụng Số lượng Số lượng (Tỷ (Tỷ lệ) lệ) LUT IOB chiếm dụng chiếm dụng Số lượng (Tỷ lệ) nhân MULT18x 18 chiếm dụng color_conv_cw 286.369MHz 78 (1%) 118 (1%) 49 (21%) (0%) color_resampler444to420 286.369MHz 58 (1%) 90 (0%) 42 (18%) (0%) dct8x8 112.748MHz 272 (5%) 462 (4%) 17 (7%) (20%) Quant 188.187MHz 56 (1%) 108 (1%) 30 (12%) (5%) 136 zigzag_scan 173.292MHz 682 (14%) 532 (5%) 30 (12%) rle_en 181.668MHz 56 (1%) 73 (0%) 49 (21%) huffman_en 77.864MHz 227 (4%) 300 (3%) 52 (22%) (25%) dct16x16 112.748MHz 584 (12%) 957 (10%) 17 (7%) (40%) jpeg_encoder 77.864MHz 2533 (54%) 3006 (32%) 43 (18%) 20 (100%) watermarking_block_comp ressed 112.748MHz 1175 (25%) 1911 (20%) 17 (7%) 16 (80%) jpeg_watermarking_in_co mpressed_domain 77.864MHz 3818 (82%) 5097 (54%) 43 (18%) 24 (120%) Nhận xét: Tần số cực đại thực khối thuật toán nén jpeg watermarking miền nén (jpeg_watermarking_in_compressed_domain) dịng chíp FPGA Virtex đạt tần số cực đại fmax = 115.152MHz Suy chu kỳ xung nhịp tối thiểu T = 1/fmax = 1/111.152 Mhz = 8.684ns Khối jpeg_watermarking_in_compressed_domain tổng hợp từ khối color_conv_cw, color_resampler444to420, dct8x8, Quant, zigzag_scan, watermarking_block_compressed, rle_en, huffman_en, buffer_in_compress, theo hai nhánh (Hình 4.30) Khối xử lý véc tơ đầu vào phần tử pixel bits Từ thời điểm bắt đầu véc tơ đầu vào thời điểm có đầu ra, khối thực tổng thời gian xử lý 412 chu kỳ xung nhịp: (13(color_conv_cw) + 7(color_resampler444to420) + 311(watermarking_block_compressed) + 66(zigzag_scan) + 2(rle_en) + 12(Huffman_en) + 1(mux32)) Như thời gian khối xử lý véc tơ pixel 8bits thực chíp V5 412*8.684 = 3577.808ns Với ảnh số kích thước 384x512 gồm có 24576 véc tơ, tổng 137 thời gian xử lý cho ảnh 24576*3577.808=87928209.4ns = 87.928ms Tốc độ nén khối 11.373 khung hình 384x512 giây Khi xem xét thực khối dòng chíp Spartan3E, tần số cực đại đạt 77.864MHz, suy chu kỳ xung nhịp tối thiểu 1/77.864 = 12.843ns Từ theo lập luận ta tính tổng thời gian xử lý cho ảnh số đầu vào có kích thước 384x512 24576*412*12.843 = 130039382ns = 130.0394ms Suy tốc độ nén 7.69 khung hình giây 138 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Luận văn trình bày thuật toán chuẩn nén ảnh tĩnh JPEG Baseline Hai mơ hình thuật tốn Watermarking miền DCT miền chưa nén miền nén JPEG luận văn phân tích xây dựng Với kết mô đạt mức hệ thống sử dụng cơng cụ Matlab/Simulink khẳng định tính đắn, xác mạnh mẽ mơ hình thuật tốn Cả hai mơ hình thuật tốn watermarking miền DCT miền nén miền chưa nén cho kết PSNR giống phạm vi tiêu trí nén ảnh watermarking, tỷ lệ nén khác Với mơ hình watermarking miền DCT miền chưa nén cho tỷ lệ nén lớn nhiều so với mơ hình thuật tốn watermarking miền DCT miền nén Tuy nhiên, xét độ phức tạp thuật tốn mơ hình watermarking miền DCT miền chưa nén phức tạp nhiều Cả watermarking ẩn hay thực mô hình thơng qua việc điều chỉnh hai tham số α ß khối thuật tốn nhúng watermark Các kết mô đạt thực thuật tốn sử dụng ngơn ngữ mơ tả phần cứng HDL thực FPGA chứng tỏ mô hình thuật tốn hồn tồn đáp ứng ứng dụng thời gian thực Việc xây dựng module ứng dụng cho camera an ninh giám sát đạt giá trị ứng dụng cao, chi phí thấp với dịng chip FPGA Luận văn đạt tiêu chí với mục đích đóng góp ban đầu là: ¾ Sự phân tích khoa học vấn đề liên quan đến watermarking cho ảnh số nén thực 139 ¾ Các kết mơ mức hệ thống khẳng định tính đắn mạnh mẽ thuật tốn ¾ Các phân tích tối ưu thuật tốn cho việc thực phần cứng nghiên cứu thực ¾ Khảo sát đánh giá đưa ứng dụng quan trọng watermarking lĩnh vực bảo vệ quyền nhận thực số, đặc biệt ứng dụng cho hệ thống camera giám sát bảo mật ¾ Quy trình thiết kế số công cụ sử dụng thiết kế mơ thực FPGA ¾ Một kiến trúc hệ thống cho watermarking ảnh số FPGA nghiên cứu phát triển Tuy nhiên kết dừng lại mức độ nghiên cứu mô đồng thiết kế Co-design công cụ phát triển hãng Xilinx máy tính PC Với kết đạt từ luận văn, tiếp sau tác giả xin đề cập số hướng phát triển nghiên cứu tương lai: ¾ Tiếp tục nghiên cứu chế tạo module sản phẩm watermarking miền DCT cho ảnh số FPGA DSP ứng dụng thực tế vào hệ thống camera an ninh giám sát ¾ Nghiên cứu ứng dụng FPGA DSP thực thuật toán watermarking miền DCT cho video số nén MPEG-2 MPEG-4 ¾ Nghiên cứu ứng dụng FPGA DSP thực thuật toán watermarking miền DCT cho video số nén H264 140 TÀI LIỆU THAM KHẢO [1] Tinku Acharya, Ping-Sing Tsai, JPEG2000 Standard for Image Compression Concepts, Algorithms and VLSI Architectures, JOHN WILEY & SONS, 2005 [3] [2] Wei Cai, FPGA prototyping of a Watermarking algorithm for MPEG-4, UNIVERSITY OF NORTH TEXAS, 2007 [4] [3] Mohammed Ghanbari, Standard Codecs: Image Compression to Advanced Video Coding, IEEE Express, USA, 2003 [5] [4] Frank Hartung and Bernd Girod, Watermarking of Uncompressed and Compressed Video, University of Enlangen-Neremburg, Germany, 1998 [9] [5] Juan R Hernandez, Martín Amado, Fernando Perez-Gonzalez, DCT-Domain Watermarking Techniques for Still Images: Detector Performance Analysis and a New Structure, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL 9, NO 1, JANUARY 2000.[8] [6] S P Mohanty, K R Ramakrishnan, and M S Kanakanhalli, "An Adaptive DCT Domain Visible Watermarking Technique for Protection of Publicly Available Images", in Proceedings of the International Conference on MultimediaProcessing and Systems (ICMPS), pp.195-198, 2000.[7] [7] Saraju P Mohanty, K.R Ramakrishnan, Mohan S Kankanhalli, A DCT Domain Visible Watermarking Technique for Images, IEEE, 2003.[6] [8] Fred Mintzer, Gordon W Braudaway and Minerva M Yeung, Effective and Ineffective DigitalWatermarks, IEEE, 2006 [17] [9] Latha Pillai, Video Compression Using DCT, Xilinx Application Note: Virtex-II Series, 2002.[20] 141 [10] Latha Pillai, Quantization, Xilinx Application Note: Virtex and Virtex-II Series, 2003.[21] [11] Latha Pillai, Variable Length Coding, Xilinx Application Note: Virtex-II Series, 2005.[22] [12] Latha Pillai, Huffman Coding, Xilinx Application Note: Virtex Series, 2003.[23] [13] Alba M Sánchez G., Ricardo Alvarez G., Sully Sánchez G.; FCC and FCE BUAP, Architecture for filtering images using Xilinx System Generator, INTERNATIONAL JOURNAL of MATHEMATICS AND COMPUTERS IN SIMULATION, 2007.[16] [14] T Saidani , D Dia, W Elhamzi, M Atri and R Tourki, Hardware Cosimulation For Video Processing Using Xilinx System Generator, Proceedings of the World Congress on Engineering 2009 Vol I , CE 2009, July - 3, 2009, London, U.K [15] [15] Gabor Szedo, Color-Space Converter: RGB to YCrCb, Xilinx Application Note: Virtex-4, Virtex-II, Virtex-II Pro, Spartan-3, 2007 [18] [16] Clive Walker, Chroma Resampler, Xilinx FPGAs Application Note, 2006.[19] [17] http://www.watermarkingworld.org [10] [18] http://www.cosy.sbg.ac.at/~pmeerw/Watermarking/[11] [19] http://www.mathworks.com[12] [20] http://en.wikipedia.org/wiki/Peak_signal-to-noise_ratio[13] [21] http://www.xilinx.com[14] ... tốt cho vấn đề Mục đích luận văn nghiên cứu ứng dụng cơng nghệ mạch tích hợp logic khả trình FPGA để thực thuật tốn watermarking mạnh miền DCT cho ảnh số nén JPEG Trước tiên, thuật toán nén ảnh. .. khảo sát thực kỹ thuật watermarking miền DCT, miền nén miền chưa nén JPEG Mơ hình lý thuyết thực watermarking cho ảnh số chương cho phép đạt watermarking ẩn hay thông qua điều chỉnh tham số mơ hình... vào thuật tốn nhúng mà watermark giải tách xác ban đầu hay khơng Do đặc tính mạnh thuật toán watermarking miền DCT, đề tài lựa chọn watermarking miền DCT để nghiên cứu phát triển cho ứng dụng