Thiết kế core xử lý ảnh trong hệ thống multimedia

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA NGUYỄN QUANG MINH THIẾT KẾ CORE XỬ LÝ ẢNH TRONG HỆ THỐNG MULTIMEDIA (MULTIMEDIA CORE DESIGNS FOR IMAGE PROCESSING) Chuyên ngành: Mã số ngành: KỸ THUẬT VÔ TUYẾN ĐIỆN TỬ 2.07.01 LUẬN VĂN THẠC SĨ Thành phố Hồ Chí Minh, tháng 7/2005 Trước tiên, xin chân thành cảm ơn Thầy hướng dẫn PGS.TS LÊ TIẾN THƯỜNG tận tình hướng dẫn, động viên, giúp đỡ, hỗ trợ sở vật chất, tài liệu thiết bị suốt trình thực luận văn Sự động viên hỗ trợ kịp thời thầy giúp vượt qua khó khăn lúc thực đề tài Tôi xin chân thành cảm ơn thầy cô Khoa Điện – Điện Tử thầy cô thỉnh giảng truyền thụ kiến thức quý giá trình học tập nghiên cứu trường Con xin cảm ơn ba, mẹ, anh chị em gia đình tạo điều kiện động viên lúc khó khăn thực luận văn Xin chân thành cảm ơn bạn bè giúp đỡ góp ý trình thực luận văn Do thời gian kiến thức có hạn nên việc thực đề tài tránh khỏi thiếu sót Tôi mong góp ý thầy cô bạn bè để đề tài hoàn chỉnh Tp Hồ Chí Minh, ngày tháng năm 2005 Học viên thực Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường ABSTRACT Nowaday digital image processing is continually grown and used in variety of fields, including real-time video processing, fingerprint/handwriting recognition, medical imaging, robotics, defect detection for automated production systems, space exploration, etc Many low-level image processing algorithms, such as denoising which uses linear or non-linear spatial filters, edge detection, contrast enhancement and sharpening, are usually implemented by software However, as image sizes and bit depths grow larger, software has become less useful, especially in real-time video processing Today, with advances in the VLSI (Very Large Scale Integration) technology, hardware implementation has become an attractive alternative for low-level image processing Reconfigurable hardware in the form of Field Programmable Gate Arrays (FPGAs) has been proposed as a way of obtaining high performance for computationally intensive DSP applications such as Digital Image Processing (DIP), even under real time requirements Assigning complex computation tasks to hardware and exploiting the parallelism in algorithms and pipelining yield significant speed up in running times In this thesis, the most common low-level image processing algorithms such as image convolution, median filter and the variants based on it, are implemented as cores which can reuse in many image processing applications The hardware modeling is accomplished using VHSIC (Very High Speed Integrated Circuit) Hardware Description Language (VHDL) and simulated on ModelSim 5.6 SE These algorithms are also verified by implementing on Spartan-3 FPGA This thesis is separated into five chapters: Chapter 1: Introduction This chapter presents the motivation, research scope and meaning of the thesis, prior related work Chapter 2: Core and core design tools This chapter provides information on HDLs (Hardware Description Language), FPGAs, Spartan-3 FPGA, Spartan-3 Starter Kit, core-based system design concepts and core design process Chapter 3: Background This chapter describes the digital images, types of image noise, image processing algorithms like image convolution, median filter and the variants of it, Laplacian, Prewitt and Sobel operator Chapter 4: Implementation This chapter presents details on the implementation of the image processing algorithms for a 256x256 gray scale image Chapter 5: Conclusions and Future work The results are evaluated and future work is recommended Keywords: FPGA, image processing algorithms, core, convolution, median filters Tóm tắt i KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường TÓM TẮT Ngày nay, xử lý ảnh số phát triển không ngừng ứng dụng hầu hết lónh vực, chẳng hạn xử lý video thời gian thực, nhận dạng chữ viết, vân tay, ảnh y học, robot, phát lỗi hệ thống tự động sản xuất, viễn thám… Nhiều giải thuật xử lý ảnh mức thấp chẳng hạn khử nhiễu dùng lọc không gian tuyến tính phi tuyến, tách biên, nâng cao độ tương phản làm sắc nét ảnh, thường cài đặt phần mềm Tuy nhiên, kích thước ảnh độ sâu màu lớn phần mềm trở nên hữu dụng, lónh vực xử lý video thời gian thực Với cải tiến công nghệ VLSI (Very Large Scale Integration), việc cài đặt phần cứng trở thành chọn lựa đáng quan tâm cho trình xử lý ảnh cấp thấp Các thiết bị khả tái cấu hình dạng FPGA đưa phương thức cài đặt để đạt hiệu suất cao cho ứng dụng DSP đòi hỏi độ tính toán lớn chẳng hạn xử lý ảnh số, với yêu cầu thời gian thực Việc cài đặt tác vụ tính toán phức tạp lên phần cứng tận dụng chế song song (parallelism) giải thuật với kỹ thuật đường ống (pipelining) làm tăng tốc đáng kể thời gian thực thi Trong luận văn này, giải thuật xử lý ảnh thông dụng tích chập ảnh, lọc median biến thể dựa cài đặt core để sử dụng lại ứng dụng xử lý ảnh khác Mô hình phần cứng thực dùng ngôn ngữ mô tả phần cứng VHDL mô phần mềm ModelSim 5.6 SE Đồng thời giải thuật cài đặt Spartan3 FPGA để kiểm tra Luận văn chia làm năm chương: Chương 1: Giới thiệu Chương trình bày lý chọn đề tài, nội dung, phạm vi nghiên cứu ý nghóa đề tài tình hình nghiên cứu liên quan đến đề tài Chương 2: Core công cụ thiết kế core Chương cung cấp thông tin ngôn ngữ mô tả phần cứng HDLs, FPGAs, Spartan-3 FPGA, Spartan-3 Starter Kit, khái niệm thiết kế hệ thống dựa core qui trình thiết kế core Chương 3: Lý thuyết sở Chương mô tả ảnh số, loại nhiễu ảnh số, giải thuật xử lý ảnh tích chập, lọc median biến thể nó, toán tử Laplacian, Prewitt, Sobel Chương 4: Thực Chương mô tả chi tiết cách cài đặt giải thuật xử lý ảnh cho ảnh xám 256x256 Chương 5: Kết luận hướng mở rộng Chương đánh giá kết đạt đề hướng mở rộng đề tài Tóm tắt ii KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường MỤC LỤC Chương 1: GIỚI THIỆU 1.1 Đặt vấn đề 1.2 Tổng quan tình hình nghiên cứu 1.3 Nội dung phạm vi nghiên cứu 1.4 Giaûi pháp thực 1.5 Ý nghóa đề tài Chương 2: CORE VÀ CÁC CÔNG CỤ THIẾT KẾ CORE 2.1 Các ngôn ngữ mô tả phần cứng 2.1.1 AHDL (Altera Hardware Description Language) 2.1.2 Verilog HDL (Verilog Hardware Description Language) 2.1.3 VHDL (Very high speed integrated circuit Hardware Description Language) 2.2 Caùc công nghệ cài đặt đại 2.2.1 ASIC (Application Specific Integrated Circuit) 2.2.2 DSP (Digital Signal Processor) 2.2.3 FPGA (Field-Programmable Gate Array) 2.3 Giới thiệu họ Spartan-3 FPGA Spartan-3 Starter Kit 2.3.1 Hoï Spartan-3 FPGA 2.3.2 Spartan-3 Starter Kit 12 2.4 Thiết kế hệ thống dựa core (core-based system design) 14 2.5 Qui trình thiết kế core 16 2.5.1 Thiết kế core mức đỉnh (top-level) 16 2.5.2 Thiết kế subcore 18 2.5.3 Tích hợp caùc subcore 18 Chương 3: LÝ THUYẾT CƠ SỞ 20 3.1 Ảnh số (digital image) 20 iii KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường 3.2 Các loại nhiễu 21 3.2.1 Nhiễu cộng 21 3.2.2 Nhiễu nhân 22 3.2.3 Nhieãu xung 23 3.3 Cô lọc không gian (spatial filtering) 23 3.4 Các lọc nhẵn không gian (smoothing spatial filters) 25 3.4.1 Các lọc nhẵn tuyến tính (smoothing linear filters) 25 3.4.2 Các lọc thứ tự thống kê (order-statistics filters) 26 3.4.2.1 Bộ lọc median (Median Filter_MF) 26 3.4.2.2 Bộ lọc max 27 3.4.3 Các lọc median cải tiến 28 3.4.3.1 Bộ lọc median có trọng số trung tâm 28 3.4.3.2 Bộ lọc ‘relaxed median’ 28 3.4.3.3 Boä lọc median đa trạng thái 29 3.5 Các lọc nét không gian (sharpening spatial filters) 31 3.5.1 Tăng cường ảnh dùng đạo hàm bậc – Toán tử Laplacian 32 3.5.2 Tăng cường ảnh dùng đạo hàm bậc – Toán tử Gradient 35 Chương 4: THỰC HIỆN 38 4.1 Bộ tạo cửa sổ 39 4.2 Khối xử lý biên 44 4.3 Tích chập ảnh (image convolution) 51 4.4 Bộ lọc median 58 4.5 Bộ lọc median có trọng số trung tâm 67 4.6 Bộ lọc relaxed median 74 4.7 Bộ lọc median đa trạng thái 79 4.8 Các kết thử nghiệm với ảnh số 88 Chương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 98 Tài liệu tham khảo 99 iv KS Nguyeãn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường CÁC HÌNH VẼ Hình 2.1 Kiến trúc tiêu biểu FPGA Hình 2.2 Các nối kết khác loại FPGA Hình 2.3 Các chuyển mạch (switch) khả lập trình với công nghệ khác Hình 2.4 Kiến trúc hoï Spartan-3 FPGA 10 Hình 2.5 Tổ chức slice CLB (hoï Spartan-3 FPGA) 10 Hình 2.6 Các đường dẫn liệu RAM khối (họ Spartan-3 FPGA) 11 Hình 2.7 Hai dạng nguyên mẫu nhân (họ Spartan-3 FPGA) 12 Hình 2.8 Spartan-3 Starter Kit 12 Hình 2.9 Sơ đồ khối board maïch Spartan-3 Starter Kit 13 Hình 2.10 Luồng thiết kế thông thường luồng thiết kế SoC 14 Hình 2.11 Luồng thiết kế chip tiêu biểu 15 Hình 2.12 Qui trình thiết kế core 17 Hình 2.13 Thiết kế core mức đỉnh 18 Hình 2.14 Thiết keá subcore 19 Hình 3.1 Ảnh số với độ phân giải 8x8 20 Hình 3.2 Một ảnh xám 512 x 512 tiêu biểu 21 Hình 3.3 Các loại nhiễu thường gặp ảnh số 22 Hình 3.4 Cơ chế lọc không gian 23 Hình 3.5 Toán tử cửa sổ (mặt nạ) 3x3 24 Hình 3.6 Vùng lân cận 3x3 pixel xử lý nằm đường biên ảnh 24 Hình 3.7 Các pixel bị thay giá trị lân cận gần chúng 25 Hình 3.8 Hai cửa sổ lọc nhẵn tuyến tính 3x3 26 Hình 3.9 Bộ loïc median 27 Hình 3.10 Kết giảm nhiễu lọc trung bình lọc median 3x3 27 Hình 3.11 Hoạt động lọc RMF 29 Hình 3.12 Sơ đồ nguyên lý lọc MSMF 30 Hình 3.13 Mặt nạ lọc dùng để cài đặt toán tử Laplacian số 33 Hình 3.14 Mặt nạ tổng hợp kết lọc 34 Hình 3.15 Các mặt nạ tăng cường (high-boost mask) (A ≥ 1) 34 v KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Hình 3.16 Lọc Laplacian tăng cường 35 Hình 3.17 Vùng 3x3 ảnh mặt nạ dùng để tính gradient điểm z5 36 Hình 3.18 Tăng cường ảnh dùng gradient 37 Hình 4.1 Luồng thiết kế 38 Hình 4.2 Kiến trúc tổng quát lọc không gian 39 Hình 4.3 Giao diện tạo cửa sổ 40 Hình 4.4 Kiến trúc tổng quát tạo cửa sổ 41 Hình 4.5 Kiến trúc FIFO tiêu biểu 42 Hình 4.6 Kết mô khối tạo cửa sổ 43 Hình 4.7 Sơ đồ nguyên lý RTL tạo cửa sổ 44 Hình 4.8 Giao diện khối xử lý biên 45 Hình 4.9 Kiến trúc tổng quát khối xử lý biên 47 Hình 4.10 Giản đồ trạng thái khối xử lý biên 48 Hình 4.11 Kết mô khối xử lý biên 49 Hình 4.12 Sơ đồ nguyên lý RTL khối xử lý biên 50 Hình 4.13 Tích chập ảnh 51 Hình 4.14 Giao diện khối tích chập ảnh (2-D) 51 Hình 4.15 Kiến trúc tổng quát khối tích chập ảnh 53 Hình 4.16 Giao diện đếm hàng-cột 54 Hình 4.17 Kết mô đếm hàng-cột 55 Hình 4.18 Sơ đồ nguyên lý RTL đếm hàng-cột 56 Hình 4.19 Kết mô tích chập aûnh 2-D 56 Hình 4.20 Sơ đồ nguyên lý RTL tích chaäp 58 Hình 4.21 Nguyên lý làm việc lọc median 59 Hình 4.22 Giao diện lọc median 59 Hình 4.23 Sơ đồ khối lọc thứ tự thống kê 61 Hình 4.24 Giao diện xếp 61 Hình 4.25 Cấu trúc tổng quát mạng xếp Batcher 63 Hình 4.26 Mạng xếp Batcher với phần tử (hình a) phần tử (hình b) 63 Hình 4.27 So sánh xếp cho pixel thứ (P9) 64 Hình 4.28 Kết mô xếp 65 vi KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Hình 4.29 Kết mô lọc median 66 Hình 4.30 Sơ đồ nguyên lý RTL lọc thứ tự thống ke 67 Hình 4.31 Sơ đồ khối lọc CWMF 68 Hình 4.32 Giao diện khối chèn pixel trung tâm chọn giá trị median 68 Hình 4.33 Giải thuật tìm giá trị median lọc CWMF 70 Hình 4.34 Kết mô khối chèn pixel trung tâm chọn giá trị median 71 Hình 4.35 Kết mô lọc CWMF 71 Hình 4.36 Sơ đồ nguyên lý RTL khối chèn pixel trung tâm chọn giá trị median (trọng số trung tâm w = 3) 72 Hình 4.37 Sơ đồ nguyên lý RTL lọc CWMF (với trọng số trung tâm w = 3) 73 Hình 4.38 Sơ đồ khối lọc RMF 74 Hình 4.39 Giao diện khối so sánh chọn giá trị 75 Hình 4.40 Kết mô khối so sánh chọn giá trị 76 Hình 4.41 Sơ đồ nguyên lý RTL khối so sánh chọn giá trò (l = 4, u = 6) 77 Hình 4.42 Kết mô lọc RMF 77 Hình 4.43 Sơ đồ nguyên lý RTL lọc RMF (với l = 4, u = 6) 78 Hình 4.44 Sơ đồ khối loïc MSMF 79 Hình 4.45 Sơ đồ nguyên lý khoái MSM 80 Hình 4.46 Kết mô khối lọc MSM với wmax = 5, T = 10 81 Hình 4.47 Sơ đồ nguyên lý khối lọc MSM 83 Hình 4.48 Kết mô lọc MSMF 83 Hình 4.49 Sơ đồ nguyên lý RTL lọc MSMF (với kmax = 5, T = 40) 84 Hình 4.50 Sơ đồ khối lọc ACWVMF 85 Hình 4.51 Kết mô ACWVMF (với wmin = 1, wmax = 5, T = 30) 86 Hình 4.52 Sơ đồ nguyên lý RTL khối lọc ACWVM (với wmin = 1, wmax = 5, T = 30) 87 Hình 4.53 Kết mô lọc ACWVMF với wmin = 1, wmax = 5, T = 30 88 Hình 4.54 Sơ đồ nguyên lý RTL lọc ACWVMF (với wmin=1, wmax=5, T=30) 88 Hình 4.55 Mô hình thử nghiệm với ảnh số 88 Hình 4.56 Các kết sử dụng core tích chập với mặt nạ khác 94 Hình 4.57 Các ảnh kết lọc median lọc cải tiến dựa median 96 Hình 4.58 Đồ thị so sánh PSNR lọc với tỉ số nhiễu khác 97 vii KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường CÁC TỪ VIẾT TẮT ACWVMF Adaptive Center-Weighted Vector Median Filter AHDL Altera Hardware Description Language ASIC Application Specific Integrated Circuit CLB Configurable Logic Block CPU Central Procesing Unit CWMF Center-Weighted Median Filter DCM Digital Clock Manager DIP Digital Image Processing DSP Digital Signal Processor EPROM Erasable Programmable Read-Only Memory EEPROM Electrically Erasable Programmable Read-Only Memory FPGA Field-Programmable Gate Array IC Integrated Circuit IEEE Institute of Electrical and Electronic Engineers IOB Input/Output Block IP Intellectual Property HDL Hardware Description Language MF Median Filter MSMF Multi-State Median Filter PLD Programmable Logic Device RAM Random Access Memory RMF Relaxed Median Filter ROM Read-Only Memory RTL Register Transfer Level RTR Run-Time Reconfigurable SoC System-on-a-Chip VHDL Very high speed integrated circuit Hardware Description Language VLSI Very Large Scale Integration viii KS Nguyeãn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Device utilization summary: Selected Device : 3s200ft256-5 Number of Slices: 877 out of 1920 45% Number of Slice Flip Flops: 1071 out of 3840 27% Number of input LUTs: 1471 out of 3840 38% 20 out of 173 11% Number of BRAMs: out of 12 16% Number of GCLKs: out of 12% Number of bonded IOBs: Timing Summary: Speed Grade: -5 Minimum period: 16.230ns (Maximum Frequency: 61.615MHz) Minimum input arrival time before clock: 6.829ns Maximum output required time after clock: 6.216ns Như vậy, lượng tài nguyên phần cứng mà lọc chiếm xấp xỉ với lọc MSMF tốc độ hoạt động tối đa thấp (61.615MHz so với 156.597MHz) Hình 4.52 Sơ đồ nguyên lý RTL khối lọc ACWVM (với wmin = 1, wmax = 5, T = 30) Chương 4: Thực 87 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Hình 4.53 Kết mô lọc ACWVMF với wmin = 1, wmax = 5, T = 30 Sơ đồ nguyên lý RTL tổng hợp từ chương trình Xilinx ISE 7.1i lọc ACWVMF với wmin = 1, wmax = 5, T = 30: Hình 4.54 Sơ đồ nguyên lý RTL lọc ACWVMF (với wmin = 1, wmax = 5, T = 30) 4.8 CÁC KẾT QUẢ THỬ NGHIỆM VỚI ẢNH SỐ Mô hình thử nghiệm: File văn MATLAB File ảnh Chuyển file ảnh thành file văn ModelSim 5.6SE TESTBENCH Mô File văn MATLAB Hiển thị & Đánh giá Hình 4.55 Mô hình thử nghiệm với ảnh số Chương 4: Thực 88 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Phần cho thấy kết mô ModelSim 5.6SE Matlab với đầu vào ảnh cô gái Lena Tất kết thu từ hai phương pháp so sánh Matlab cho thấy chúng tương đương với hoàn toàn (do tính toán số nguyên), ngoại trừ lọc trung bình lọc trung bình có trọng số có sai số kết gần phép chia dịch sử dụng thiết kế lọc ngôn ngữ VHDL Tuy nhiên sai số nhỏ, tối đa 1, trình bày dạng đồ thị cho thấy sai số ứng với pixel ảnh 4.8.1 Các kết với core tích chập Dưới kết sử dụng core tích chập với mặt nạ khác trình bày chương Ảnh ban đầu Bộ lọc trung bình (hình 3.8a) - Matlab Chương 4: Thực Bộ lọc trung bình (hình 3.8a) - VHDL 89 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Sai số kết từ Matlab VHDL lọc trung bình Bộ lọc trung bình có trọng số (hình 3.8b) - Matlab Chương 4: Thực Bộ lọc trung bình có trọng số (hình 3.8b) - VHDL 90 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Lọc Laplacian với mặt nạ hình 3.13c - Matlab Lọc Laplacian với mặt nạ hình 3.13c - VHDL Lọc Laplacian với mặt nạ hình 3.13d - Matlab Lọc Laplacian với mặt nạ hình 3.13d - VHDL Lọc Laplacian với mặt nạ hình 3.14a - Matlab Lọc Laplacian với mặt nạ hình 3.14a - VHDL Chương 4: Thực 91 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Lọc Laplacian với mặt nạ hình 3.14b - Matlab Lọc Laplacian với mặt nạ hình 3.14b - VHDL Lọc Laplacian với mặt nạ hình 3.15a - Matlab Lọc Laplacian với mặt nạ hình 3.15a - VHDL Lọc Laplacian với mặt nạ hình 3.15b - Matlab Lọc Laplacian với mặt nạ hình 3.15b - VHDL Chương 4: Thực 92 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Lọc Prewitt với mặt nạ hình 3.17b - Matlab Lọc Prewitt với mặt nạ hình 3.17b - VHDL Lọc Prewitt với mặt nạ hình 3.17c - Matlab Lọc Prewitt với mặt nạ hình 3.17c - VHDL Lọc Sobel với mặt nạ hình 3.17f - Matlab Lọc Sobel với mặt nạ hình 3.17f - VHDL Chương 4: Thực 93 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia Lọc Sobel với mặt nạ hình 3.17g - Matlab THD: PGS.TS Lê Tiến Thường Lọc Sobel với mặt nạ hình 3.17g - VHDL Hình 4.56 Các kết sử dụng core tích chập với mặt nạ khác 4.8.1 Các kết với lọc dựa median Dưới kết thử nghiệm lọc median lọc cải tiến dựa median Các ảnh trình bày kết ứng với trường hợp nhiễu xung 10% Các ảnh kết lọc CWMF, RMF, MSMF ACWVMF cho ứng với trường hợp tiêu biểu thông số chúng Kết khử nhiễu ứng với trường hợp tỉ số nhiễu khác lọc đánh giá thông số Peak Signal-to-Noise Ratio (PSNR) xác định bởi: ⎛ ∑∑ 255 ⎜ x y PSNR = 10 log10 ⎜ ⎜ ∑∑ Fxy − Fˆxy ⎝ x y ( ⎞ ⎟ dB ⎟ ⎟ ⎠ (4.1) ) ˆ xy pixel tương ứng với ảnh ban đầu ảnh sau khử nhiễu với Fxy , F Ảnh ban đầu Chương 4: Thực Ảnh bị nhiễu xung 10% 94 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Ảnh kết lọc median - Matlab Ảnh kết lọc median - VHDL Ảnh kết lọc CWMF - Matlab Ảnh kết lọc CWMF - VHDL Ảnh kết lọc RMF - Matlab Ảnh kết lọc RMF - VHDL Chương 4: Thực 95 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Ảnh kết lọc MSMF(5,40) - Matlab Ảnh kết lọc MSMF(5,40) - VHDL Ảnh kết lọc ACWVMF(1,5,90) - Matlab Ảnh kết ACWVMF(1,5,90) - VHDL Hình 4.57 Các ảnh kết lọc median lọc cải tiến dựa median 5% 10% 15% 20% 25% 30% SMF 31.8525 30.3489 29.1403 26.7416 24.9556 22.4903 RMF(4,6) 31.9572 30.0441 27.7173 24.0840 21.5245 19.1153 CWMF(3) 33.2990 30.8750 28.2542 24.5030 21.9505 19.6077 MSMF(5,40) 36.4444 32.7415 29.1343 24.7979 22.0656 19.5707 ACWVMF(1,5,90) 36.9849 33.5574 31.3333 27.6653 25.2828 22.5044 Bảng 4.10 Giá trị PSNR lọc dựa median với tỉ số nhiễu khác Chương 4: Thực 96 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Hình 4.58 Đồ thị so sánh PSNR lọc với tỉ số nhiễu khác Theo thấy lọc RMF CWMF cho kết tốt với trường hợp tỉ số nhiễu thấp 10%, với tỉ số nhiễu lớn hiệu suất giảm nhiều so với lọc median chuẩn (SMF) Bộ lọc MSMF (thử nghiệm với wmax = T = 40) cho kết tốt so với lọc median chuẩn tỉ số nhiễu nhỏ 10% với tỉ số nhiễu lớn hiệu suất lại giảm nhiều Bộ lọc ACWVMF (thử nghiệm với wmin = 1, wmax = T = 90) cho kết tốt lọc cho ảnh phục hồi tốt với trường hợp tỉ số nhiễu nhỏ 20% Các ngưỡng nhiễu sử dụng lọc MSMF ACWVMF dựa khảo sát tác giả ảnh thử nghiệm với giá trị ngưỡng khác chọn giá trị cho kết tốt khoảng tỉ số nhiễu Trong ứng dụng khác sử dụng lại core khảo sát để chọn giá trị ngưỡng T phù hợp Chương 4: Thực 97 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Sự phát triển không ngừng mật độ tính loại FPGA mở khả cài đặt nhiều giải thuật phức tạp lên phần cứng nhằm tăng tốc độ xử lý hệ thống, để đáp ứng cho hệ thống thời gian thực, chẳng hạn xử lý video thời gian thực Đề tài thực nhằm hướng đến hệ thống Một đặc điểm bật phần cứng so với phần mềm tính song song giải thuật kỹ thuật đường ống Trong đề tài này, tác giả tận dụng hoàn toàn đặc tính để hệ thống đạt tốc độ xử lý cần thiết Kết tích chập ảnh lọc median lọc dựa median cho thấy tốc độ xử lý nhanh nhiều so với xử lý phần mềm (thử nghiệm máy tính Pentium III 800MHz/128 MB RAM sử dụng hàm Matlab để thực thi tích chập ảnh 256x256 trung bình khoảng 35ms, lọc median trung bình khoảng 40ms so với thử nghiệm đề tài khoảng 6.6ms với tốc độ clock 10MHz), đảm bảo thỏa mãn yêu cầu hệ thống xử lý video thời gian thực Mặc dù core thiết kế tổng hợp dựa Spartan-3 FPGA, chúng áp dụng FPGA họ Virtex, Virtex-E, Virtex-II, Virtex-II Pro Virtex-4 hãng Xilinx Các loại FPGA có có đầy đủ đặc tính họ Spartan-3 với số đặc tính cao cấp khác Các core cung cấp dạng soft core với đặc tả giao diện rõ ràng, đầy đủ kiểm chứng chức qua mô chương trình ModelSim 5.6SE so sánh với kết từ Matlab Tuy nhiên, thời gian ngắn thực đề tài phải tìm hiểu nhiều vấn đề tương đối ngôn ngữ mô tả phần cứng VHDL, phần mềm tổng hợp mô hãng Xilinx, Model Technology cấu trúc Spartan-3 Starter Kit, số core thiết kế chưa tối ưu, chiếm nhiều tài nguyên phần cứng Đây vấn đề cần xem xét trình phát triển đề tài sau Ảnh thử nghiệm đề tài loại ảnh xám, kích thước 256x256 Tuy nhiên, hoàn toàn dễ dàng mở rộng cho kích thước ảnh lớn thông qua việc thay đổi thông số cấu hình (ở phần ‘generic’) liên quan đến kích thước ảnh Đồng thời, thiết kế ứng dụng cho ảnh màu cách dùng khối song song xử lý cho thành phần màu đồng thời Một ứng dụng bật lọc median lọc dựa khử nhiễu xung, thường lỗi đường truyền hay lỗi cảm biến Trong đề tài này, tác giả xây dựng core tổng quát cho lọc median từ ứng dụng thành công cho số lọc cải tiến dựa median Hiện nay, nhiều công trình nghiên cứu tiến hành nhằm đưa cấu trúc lọc cho phép khử nhiễu tốt trường hợp bị nhiễu với tỉ số cao đồng thời trì tốt chi tiết ảnh Do đó, hướng phát triển cho đề tài kết hợp thử nghiệm phần mềm phần cứng để đưa cấu trúc lọc thỏa mãn yêu cầu với tốc độ xử lý nhanh công suất tiêu thụ thấp, yêu cầu quan trọng ứng dụng thiết bị cầm tay hay di động Chương 5: Kết luận & hướng phát triển 98 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường TÀI LIỆU THAM KHẢO [1] Rafael C Gonzalez and Richard E Woods, “Digital image processing,” 2nd edition, Prentice Hall, 2002 [2] C T Johnston, K T Gribbon, and D G Bailey, “Implementing image processing algorithms on FPGAs,” Proceedings of the Eleventh Electronics New Zealand Conference, pp 118-123, 2004 [3] Nitin Srivastava, “Adaptive image filtering using run-time reconfiguration,” Master Thesis, Department of Electrical and Computer Engineering, Agricultural and Mechanical College, Louisiana State University, 05/2003 [4] Gerasimos Louverdis, Ioannis Andreadis, and Antonios Gasteratos, “A new content based median filter,” EUSIPCO, pp 1337-1340, 2004 [5] Bruce Draper, Walid Najjar, Wim Bohm, Jeff Hammes, Bob Rinker, Charlie Ross, Monica Chawathe, and Jose Bins, “Compiling and optimizing image processing algorithms for FPGAs,” Department of Computer Science, Colorado State University, USA, 2002 [6] Marcos R Boschetti, Ivan S Silva, and Sergio Bampi, “A run-time reconfigurable datapath architecture for image processing applications,” Informatics and Applied Mathematics Department, Federal University of Rio Grande Norte, Natal, Brazil, 2003 [7] Nguyễn Quốc Tuấn, “Ngôn ngữ VHDL để thiết kế vi mạch,” NXB Đại học Quốc Gia TPHCM, 2002 [8] Stephen Brown and Jonathan Rose, “Architechture of FPGAs and CPLDs: A tutorial,” Department of Electrical and Computer Engineering, University of Toronto, 1996 [9] Xilinx Inc., “Spartan-3 FPGA Family: Complete data sheet,” 2005 [10] Xilinx Inc., “Spartan-3 Starter Kit Board User Guide,” 2004 [11] Michael Keating and Pierre Bricaud, “Reuse methodology manual for System-on-a-Chip designs,” 2nd edition, Kluwer Academic Publishers, 1999 [12] Rajesh K Gupta and Yervant Zorian, “Introducing core-based system design,” IEEE Design & Test of Computers, pp 15-25, October-December 1997 [13] Ann Marie Rincon, Cory Cherichetti, and James A.Monzel, “Core design and Systemon-a-Chip integration,” IEEE Design & Test of Computers, pp 26-34, October-December 1997 [14] Nicola Nicolici, “System-on-a-Chip design and test,” Lecture Notes, McMaster University, 2002 [15] Paul Theo Gonciari, “Low-cost test for core-based System-on-a-Chip,” PhD Thesis, University of Southampton, 2002 Tài liệu tham khảo 99 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường [16] Torsten Seemann, “Digital image processing using local segmentation,” PhD Thesis, Monash University, Australia, 2002 [17] A B Hamza and H Krim, “Image denoising: A nonlinear robust statistical approach,” IEEE Trans on Signal Processing, vol 49, no 12, pp 3045-3054, Dec 2001 [18] T Chen and H R Wu, “Space variant median filters for the restoration of impulse noise corrupted images,” IEEE Trans on Circuits and Systems-II, vol 48, no 8, pp784-789, Aug 2001 [19] S J Ko and Y H Lee, “Center weighted median filters and their applications to image enhancement,” IEEE Trans on Circuits and Systems, vol 38, no 9, pp 984-993, Sep 1991 [20] A Ben Hamza, P L Luque, J Martinez, and R Roman, “Removing noise and preserving with relaxed median filters,” Journal of Math Imaging and Vision, vol 11, no 2, pp 161-177, Oct 1999 [21] R Lukac and B Smolka, “Application of the adaptive center-weighted vector median framework for the enhancement of cDNA microarray images,” Int J Appl Math Computer Science, vol 13, no 3, pp 369-383, 2003 [22] Xilinx Inc., “Core Generator Guide,” 2004 [23] Xilinx Inc., “FIFO Generator v1.0,” 2004 [24] Jon Turner, “Unbuffered multistage networks,” Lecture Notes, Washington University in St Louis, 2004 [25] Markus Hidell and Olog Hagsand, “Router Architechtures,” Tutorial at Networking, KTH IMIT, Stockholm, Sweden, 2004 CAÙC TRANG WEB: www.xilinx.com www.altera.com www.design-reuse.com www.virtualchipdesign.com www.opencores.org Tài liệu tham khảo 100 KS Nguyễn Quang Minh TÓM TẮT LÝ LỊCH TRÍCH NGANG Họ tên: NGUYỄN QUANG MINH Ngày tháng năm sinh: 18 – 11 –1977 Nơi sinh: An Thạnh, Thuận An, Bình Dương Địa liên lạc: 340A Thạnh Hoà A, thị trấn An Thạnh, huyện Thuận An, tỉnh Bình Dương Điện thoại: 0918058810 (di động) 0650.747152 (nhà riêng) QUÁ TRÌNH ĐÀO TẠO ĐẠI HỌC Chế độ học: Chính quy Thời gian học: Từ tháng 9/1995 đến tháng 2/2000 Nơi học: Trường Đại học Bách Khoa TP Hồ Chí Minh Ngành học: Điện – Điện tử Tên luận án: Thiết kế kit Vi xử lý đa nhận chương trình từ ổ đóa mềm Người hướng dẫn: Th.S Hồ Trung Mỹ, Bộ môn Điện tử, Trường ĐH Bách Khoa TP.HCM QUÁ TRÌNH CÔNG TÁC Thời gian Tóm tắt trình công tác 3/2000 – 5/2005 Giảng viên trường ĐHDL Công Nghệ Sài Gòn 5/2005 – Giảng viên trường ĐH Giao Thông Vận Tải TP.HCM ... phương pháp thiết kế core, phần tử thiếu thiết kế hệ thống SoC Từ ứng dụng vào để thiết kế core xử lý ảnh hệ thống multimedia Các giải thuật xử lý ảnh thực đề tài là: + Tích chập ảnh 2-D (2-D... tính đắn thiết kế − Đặc tả ban đầu cho subcore Chương 2: Core & công cụ thiết kế core 16 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: PGS.TS Lê Tiến Thường Đặc tả core Phát... tích Tích hợp subcore Thỏa mãn yêu cầu độ phủ Hình 2.12 Qui trình thiết kế core Chương 2: Core & công cụ thiết kế core 17 KS Nguyễn Quang Minh Thiết kế core xử lý ảnh hệ thống multimedia THD: