Nghiên cứu phát triển hệ thống phần cứng, phần mềm phát hiện và theo dõi chuyển động trên cơ sở công nghệ FPGA

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SĨ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SỸ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử Giảng viên hướng dẫn: PGS.TS Trần Xuân Tú HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp hồn tồn cơng trình nghiên cứu thực tôi, thực dựa sở nghiên cứu lý thuyết, kiến thức ngành chuyên ngành, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn PGS.TS Trần Xuân Tú Các số liệu, bảng biểu kết luận văn tốt nghiệp trung thực, nhận xét, kết luận đưa xuất phát từ thực tiễn thực nghiệm kinh nghiệm thân Những phần sử dụng tài liệu tham khảo khóa luận tốt nghiệp nêu rõ mục “Tài liệu tham khảo”, có điều khơng trung thực tơi xin nhận hồn tồn trách nhiệm chịu hình thức kỷ luật khoa nhà trường Tác giả luận văn thạc sĩ: Nguyễn Khâm Hồng Quang i LỜI CAM ĐOAN i TÓM TẮT iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT v DANH SÁCH HÌNH ẢNH vi DANH SÁCH BẢNG viii GIỚI THIỆU ix Chương HỆ THỐNG XỬ LÝ ẢNH SỐ Giới thiệu xử lý ảnh số Các trình xử lý ảnh số 1.2.1 Một số khái niệm xử lý ảnh số 1.2.2 Các bước xử lý ảnh số Một số vấn đề xử lý ảnh số 1.3.1 Chỉnh mức xám 1.3.2 Biến đổi ảnh 1.3.3 Nén ảnh Thuật toán theo dõi phát chuyển động 1.4.1 Thuật toán trừ 1.4.2 Thuật tốn trừ khung hình 10 Thuật toán phân loại đối tượng 11 Hệ thống xử lý ảnh số 14 Một số giải pháp phần cứng thực thi hệ thống xử lý ảnh 15 Chương CÔNG NGHỆ FPGA 17 Tổng quan mạch tích hợp 17 2.1.1 Mạch tích hợp ứng dụng chuyên biệt 18 2.1.2 Các thiết bị lơ-gic lập trình 19 2.1.3 Mảng cổng lô-gic có khả lập trình 19 So sánh mảng cổng lơ-gic có khả lập trình mạch tích hợp khác 20 2.2.1 biệt Mảng cổng lơ-gic có khả lập trình mạch tích hợp ứng dụng chun 20 2.2.2 Mảng cổng lơ-gic lập trình thiết bị lơ-gic lập trình 21 Cấu trúc mảng cổng lơ-gic lập trình 22 Ứng dụng mảng cổng lơ-gic lập trình 25 ii Giới thiệu Kit Artix – AC701 25 Vi xử lý Microblaze 28 2.6.1 Kiến trúc vi xử lý Microblaze 29 2.6.2 Định dạng liệu kiến trúc tập lệnh Microblaze 31 Chương ĐỀ XUẤT VÀ THỰC THI THỬ NGHIỆM HỆ THỐNG XỬ LÝ ẢNH TRÊN ARTIX-7 35 Công cụ Vivado Design Suite 35 Sơ đồ khối liên kết camera với Artix 35 Hệ thống xử lý ảnh đề xuất FPGA sử dụng Kit Artix-7 39 Thực mô hệ thống đề xuất vivado 45 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 iii TĨM TẮT Tóm tắt: Ngày công nghệ xử lý ảnh ngày phát triển đưa vào ứng dụng nhiều thiết bị di động, ứng dụng hệ thống camera để đảm bảo an ninh cơng cộng Ngồi ra, xử lý ảnh xuất nhiều ứng dụng khác quốc phòng, trật tự trị an giám sát cơng việc độc hại Có thể thấy công nghệ ngày sử dụng để để phục vụ người mục đích khác Tuy nhiên, công nghệ xử lý ảnh ngày chủ yếu thực phần mềm Do đó, khơng thể cải thiện hiệu xử lý ảnh chỉnh sửa để phù hợp với nhu cầu sử dụng người Dựa việc phân tích yêu cầu thực tế đặt Đề tài nghiên cứu hệ thống phần cứng, phần mềm xử lý ảnh dựa công nghệ FPGA để áp dụng thực thi thuật toán xử lý ảnh sau từ đưa vào ứng dụng đời sống Từ khóa: FPGA, hệ thống xử lý ảnh số iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ALU Arithmetic Logic Unit Bộ thực thi phép tốn lơ-gic ALU Arithmetic Logic unit Đơn vị lô-gic số học AMBA Advanced Microcontroller Bus Architecture Kiến trúc bus vi điều khiển tiên tiến ASIC Application Specific Integrated Circuit Vi mạch chuyên dụng BRAM Block Random Access Memory CPLD Complex Programmable Logic Device Cấu kiện lơ-gic khả trình phức tạp CPU Central Processing Unit Khối nhớ truy cập ngẫu nhiên Đơn vị xử lý trung tâm EEPROM Electrically Erasable ROM ROM lập trình xóa điện FPGA Field Programmable Gate Array Mảng cổng lơ-gic có khả lập trình DL Hardware Description Language Ngơn ngữ mơ tả phần cứng IC Intergrated Circuits Mạch tích hợp LUT Look Up Table Bảng tra cứu PAL Programmable Array Logic Mảng lơ-gic lập trình PLA Programmable Logic Array Vi mạch lập trình dùng mảng lơ-gic PLD Programmable logic devices Thiết bị lơ-gic lập trình PROM Programmable ROM ROM khả trình RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RISC Reduced Instruction Set Computer Máy tính có kiến trúc tập lệnh thu gọn ROM Read Only Memory Bộ nhớ đọc RTL Register Transfer Language Ngôn ngữ chuyển dịch ghi SPLD Simple Programmable Logic Device Cấu kiện lơ-gic khả trình đơn giản SRAM Static RAM Bộ nhớ truy cập ngẫu nhiên tĩnh VHDL Very High Speed Hardware Description Language Ngôn ngữ mô tả phần cứng cho mạch tích hợp tốc độ cao v DANH SÁCH HÌNH ẢNH Hình 1.1: Ảnh số Hình 1.2: Điểm ảnh (pixel) Hình 1.3: Các loại ảnh xử lý ảnh Hình 1.4: Các bước xử lý ảnh số Hình 1.5: Mối liên hệ bước xử lý ảnh số Hình 1.6: Các bước theo dõi đối tượng Hình 1.7: Sơ đồ khối thuật tốn trừ 10 Hình 1.8: Sơ đồ khối thuật tốn trừ khung hình 11 Hình 1.9: Cách nhận biết góc thuật tốn Harris Conner 12 Hình 1.10: Biểu đồ quan hệ λ1 λ2 14 Hình 1.11: Hệ thống xử lý ảnh 15 Hình 2.1: Các loại mạch tích hợp 18 Hình 2.2: Tổng thể kiến trúc FPGA 23 Hình 2.3: Khối lô-gic (CLB) 24 Hình 2.4: Sơ đồ khối Artix-7 26 Hình 2.5: Sơ đồ khối kiến trúc vi xử lý Microblaze 32 bits 30 Hình 2.6: Định dạng lệnh Microblaze 31 Hình 2.7: Kiến trúc đường ống ba giai đoạn 32 Hình 2.8: Kiến trúc đường ống năm giai đoạn 33 Hình 2.9: Kiến trúc đường ống tám giai đoạn 33 Hình 3.1: Kết nối camera-vita 2000 với hình 36 Hình 3.2: Kiến trúc khối truy cập trực tiếp nhớ video [2] 36 Hình 3.3: Xử lý hình ảnh Microblaze 38 Hình 3.4: Mối liên hệ kiến trúc phần mềm phần cứng hệ thống 38 Hình 3.5: Hệ thống xử lý ảnh để xuất Artix-7 AC701 39 vi Hình 3.6: Sơ đồ kết nối Module Anvet bo mạch Artix-7 40 Hình 3.7: Sơ đồ khối kiến trúc chuyển đổi Anvet [6] 40 Hình 3.8: Kiến trúc khối thu nhận camera VITA-2000 41 Hình 3.9: Sơ đồ thời gian tín hiệu đầu khối thu nhận ảnh 43 Hình 3.10: In chữ "Hello World" LCD kit Artix 45 Hình 3.11: Ghép nối camera VITA-2000 bo mạch FPGA Artix-7 46 Hình 3.12: Hệ thống xử lý ảnh đề xuất vivado 46 Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever 47 Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 48 Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA 49 Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA 50 vii DANH SÁCH BẢNG Bảng 1.1: Các cấp độ xử lý ảnh Bảng 2.1: Bảng so sánh số dòng Board FPGA 28 Bảng 3.1: Hiệu AXI VDMA số bo mạch FPGA 37 Bảng 3.2: Chức tín hiệu khối thu nhận camera VITA-2000 42 Bảng 3.3: Kết mô Vivado qua khối VDMA 50 Bảng 3.4: Bảng thống kê lượng hiệu hệ thống 51 Bảng 3.5: Điện sử dụng khồi hệ thống 52 viii Trong đó, có hai IP hệ thống thực việc kết nối camera đưa liệu công HDMI IP fmc_imageon_vita_recever IP fmc_imageon_hdmio_rgb module Anvet FMC_IMAGEON thành phần cụ thể biểu diễn hình 3.13: Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb Sau tiến hành cấu hình cho IP để thực việc kết nối Module Anvet FMC-IMAGEON Artix-7 tiến hành đưa kiến trúc phần cứng thiết kế vào SDK để tiến hành mô chạy thử đưa số kết thị hình ảnh hình Đầu tiên trước kết nối với IP xử lý ảnh đầu vào học viên tiến hành kết nối camera với hình thu ảnh với chất lượng 1080p60 để xác nhận việc kết hợp camera với module hoàn thành thu kết hình 3.15: 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 Sau học viên tiến hành kết nối IP VDMA vào hệ thống camera để tiến hành xử lý ảnh đưa ảnh vào vi xử lý để thực bước sau Sau thực viết driver sử dụng khối VDMA học viên tiến hành thử nghiệm trường hợp truyền tải hình ảnh khối VDMA để truyền ngoài, Tiến hành thử nghiệm cho độ phân giải hình ảnh mức 1/3, 2/3 full hình để tiến hành kiểm thử hệ thống có hoạt động yêu cầu để Hình ảnh đầu bị số lỗi nhiễu đầu vào chưa xử lý 48 Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA Khi tiến hành cấu hình 1/3 hình hình ảnh qua có chất lượng tốt khơng có nhiễu đầu Sau học viên tiến hành thử nghiệm với đầu 2/3 hình cho kết với số nhiễu khung hình Lỗi đồng hóa thu nhận video khối VDMA chưa thật xác khiến cho khung hình bị nhiễu chí bị đè lên khung hình khác 49 Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA Từ kết thể cụ thể bảng 3.3: Bảng 3.3: Kết mô Vivado qua khối VDMA Chiều ngang khung hình 0x780 (1920*1) 0xF00 (1920*2) 0x1680 (1920*3) Nhiễu khơng có Khơng tín hiệu Kích thước video 1/3 2/3 Khơng tín hiệu Sau chạy mơ thực nghiệm bo mạch Artix-7 học viên tiến hành phân tích hệ thống phần cứng lượng hoạt động, hiệu tài nguyên sử dụng hệ thống thiết kế Các số liệu tổng hợp bảng đây: 50 Bảng 3.4: Bảng thống kê lượng hiệu hệ thống Thành phần Chip Điện năng(W) Sử dụng Tổng Tài nguyên sử dụng (%) Xung nhịp 0,219 56 - - LUT as Lô-gic 0,067 32.957 134.600 24,49 Thanh ghi 0,006 46.617 269.200 17,32 LUT as Distributed RAM 0,004 4.021 46.200 8,70 CARRY4 0,004 1.454 33.650 4,32 Bộ phân kênh F7/F8