Nghiên cứu phát triển hệ thống phần cứng phần mềm phát hiện và theo dõi chuyển động trên cơ sở công nghệ fpga

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SĨ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA LUẬN VĂN THẠC SỸ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử Giảng viên hướng dẫn: PGS.TS Trần Xuân Tú HÀ NỘI – 2020 LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp hồn tồn cơng trình nghiên cứu thực tôi, thực dựa sở nghiên cứu lý thuyết, kiến thức ngành chuyên ngành, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn PGS.TS Trần Xuân Tú Các số liệu, bảng biểu kết luận văn tốt nghiệp trung thực, nhận xét, kết luận đưa xuất phát từ thực tiễn thực nghiệm kinh nghiệm thân Những phần sử dụng tài liệu tham khảo khóa luận tốt nghiệp nêu rõ mục “Tài liệu tham khảo”, có điều khơng trung thực tơi xin nhận hồn tồn trách nhiệm chịu hình thức kỷ luật khoa nhà trường Tác giả luận văn thạc sĩ: Nguyễn Khâm Hồng Quang i LỜI CAM ĐOAN i TÓM TẮT .iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT v DANH SÁCH HÌNH ẢNH vi DANH SÁCH BẢNG viii GIỚI THIỆU ix Chương HỆ THỐNG XỬ LÝ ẢNH SỐ Giới thiệu xử lý ảnh số Các trình xử lý ảnh số .2 1.2.1 Một số khái niệm xử lý ảnh số 1.2.2 Các bước xử lý ảnh số .4 Một số vấn đề xử lý ảnh số .8 1.3.1 Chỉnh mức xám 1.3.2 Biến đổi ảnh 1.3.3 Nén ảnh Thuật toán theo dõi phát chuyển động 1.4.1 Thuật toán trừ .9 1.4.2 Thuật toán trừ khung hình 10 Thuật toán phân loại đối tượng 11 Hệ thống xử lý ảnh số 14 Một số giải pháp phần cứng thực thi hệ thống xử lý ảnh 15 Chương CÔNG NGHỆ FPGA .17 Tổng quan mạch tích hợp 17 2.1.1 Mạch tích hợp ứng dụng chuyên biệt .18 2.1.2 Các thiết bị lơ-gic lập trình .19 2.1.3 Mảng cổng lơ-gic có khả lập trình .19 So sánh mảng cổng lơ-gic có khả lập trình mạch tích hợp khác 20 2.2.1 Mảng cổng lơ-gic có khả lập trình mạch tích hợp ứng dụng chuyên biệt 20 2.2.2 Mảng cổng lơ-gic lập trình thiết bị lơ-gic lập trình 21 Cấu trúc mảng cổng lơ-gic lập trình 22 Ứng dụng mảng cổng lơ-gic lập trình 25 ii Giới thiệu Kit Artix – AC701 25 Vi xử lý Microblaze .28 2.6.1 Kiến trúc vi xử lý Microblaze 29 2.6.2 Định dạng liệu kiến trúc tập lệnh Microblaze 31 Chương ĐỀ XUẤT VÀ THỰC THI THỬ NGHIỆM HỆ THỐNG XỬ LÝ ẢNH TRÊN ARTIX-7 .35 Công cụ Vivado Design Suite 35 Sơ đồ khối liên kết camera với Artix 35 Hệ thống xử lý ảnh đề xuất FPGA sử dụng Kit Artix-7 .39 Thực mô hệ thống đề xuất vivado 45 KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 iii TĨM TẮT Tóm tắt: Ngày công nghệ xử lý ảnh ngày phát triển đưa vào ứng dụng nhiều thiết bị di động, ứng dụng hệ thống camera để đảm bảo an ninh cơng cộng Ngồi ra, xử lý ảnh xuất nhiều ứng dụng khác quốc phòng, trật tự trị an giám sát cơng việc độc hại Có thể thấy công nghệ ngày sử dụng để để phục vụ người mục đích khác Tuy nhiên, công nghệ xử lý ảnh ngày chủ yếu thực phần mềm Do đó, khơng thể cải thiện hiệu xử lý ảnh chỉnh sửa để phù hợp với nhu cầu sử dụng người Dựa việc phân tích yêu cầu thực tế đặt Đề tài nghiên cứu hệ thống phần cứng, phần mềm xử lý ảnh dựa công nghệ FPGA để áp dụng thực thi thuật toán xử lý ảnh sau từ đưa vào ứng dụng đời sống Từ khóa: FPGA, hệ thống xử lý ảnh số iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ALU Arithmetic Logic Unit Bộ thực thi phép tốn lơ-gic ALU Arithmetic Logic unit Đơn vị lô-gic số học AMBA Advanced Microcontroller Bus Architecture Kiến trúc bus vi điều khiển tiên tiến ASIC Application Specific Integrated Circuit Vi mạch chuyên dụng BRAM Block Random Access Memory CPLD Complex Programmable Logic Device Cấu kiện lơ-gic khả trình phức tạp CPU Central Processing Unit Khối nhớ truy cập ngẫu nhiên Đơn vị xử lý trung tâm EEPROM Electrically Erasable ROM ROM lập trình xóa điện FPGA Field Programmable Gate Array Mảng cổng lơ-gic có khả lập trình DL Hardware Description Language Ngơn ngữ mơ tả phần cứng IC Intergrated Circuits Mạch tích hợp LUT Look Up Table Bảng tra cứu PAL Programmable Array Logic Mảng lơ-gic lập trình PLA Programmable Logic Array Vi mạch lập trình dùng mảng lơ-gic PLD Programmable logic devices Thiết bị lơ-gic lập trình PROM Programmable ROM ROM khả trình RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RISC Reduced Instruction Set Computer Máy tính có kiến trúc tập lệnh thu gọn ROM Read Only Memory Bộ nhớ đọc RTL Register Transfer Language Ngôn ngữ chuyển dịch ghi SPLD Simple Programmable Logic Device Cấu kiện lơ-gic khả trình đơn giản SRAM Static RAM Bộ nhớ truy cập ngẫu nhiên tĩnh VHDL Very High Speed Hardware Description Language Ngôn ngữ mô tả phần cứng cho mạch tích hợp tốc độ cao v DANH SÁCH HÌNH ẢNH Hình 1.1: Ảnh số .2 Hình 1.2: Điểm ảnh (pixel) Hình 1.3: Các loại ảnh xử lý ảnh Hình 1.4: Các bước xử lý ảnh số Hình 1.5: Mối liên hệ bước xử lý ảnh số Hình 1.6: Các bước theo dõi đối tượng Hình 1.7: Sơ đồ khối thuật toán trừ 10 Hình 1.8: Sơ đồ khối thuật tốn trừ khung hình 11 Hình 1.9: Cách nhận biết góc thuật tốn Harris Conner 12 14 Hình 1.10: Biểu đồ quan hệ λ1λ1 λ1λ2 Hình 1.11: Hệ thống xử lý ảnh 15 Hình 2.1: Các loại mạch tích hợp 18 Hình 2.2: Tổng thể kiến trúc FPGA 23 Hình 2.3: Khối lô-gic (CLB) 24 Hình 2.4: Sơ đồ khối Artix-7 26 Hình 2.5: Sơ đồ khối kiến trúc vi xử lý Microblaze 32 bits 30 Hình 2.6: Định dạng lệnh Microblaze 31 Hình 2.7: Kiến trúc đường ống ba giai đoạn 32 Hình 2.8: Kiến trúc đường ống năm giai đoạn 33 Hình 2.9: Kiến trúc đường ống tám giai đoạn 33 Hình 3.1: Kết nối camera-vita 2000 với hình 36 Hình 3.2: Kiến trúc khối truy cập trực tiếp nhớ video [2] 36 Hình 3.3: Xử lý hình ảnh Microblaze 38 Hình 3.4: Mối liên hệ kiến trúc phần mềm phần cứng hệ thống 38 Hình 3.5: Hệ thống xử lý ảnh để xuất Artix-7 AC701 39 vi Hình 3.6: Sơ đồ kết nối Module Anvet bo mạch Artix-7 40 Hình 3.7: Sơ đồ khối kiến trúc chuyển đổi Anvet [6] 40 Hình 3.8: Kiến trúc khối thu nhận camera VITA-2000 41 Hình 3.9: Sơ đồ thời gian tín hiệu đầu khối thu nhận ảnh 43 Hình 3.10: In chữ "Hello World" LCD kit Artix .45 Hình 3.11: Ghép nối camera VITA-2000 bo mạch FPGA Artix-7 46 Hình 3.12: Hệ thống xử lý ảnh đề xuất vivado 46 Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever 47 Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 48 Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA 49 Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA 50 vii DANH SÁCH BẢNG Bảng 1.1: Các cấp độ xử lý ảnh Bảng 2.1: Bảng so sánh số dòng Board FPGA 28 Bảng 3.1: Hiệu AXI VDMA số bo mạch FPGA 37 Bảng 3.2: Chức tín hiệu khối thu nhận camera VITA-2000 42 Bảng 3.3: Kết mô Vivado qua khối VDMA 50 Bảng 3.4: Bảng thống kê lượng hiệu hệ thống .51 Bảng 3.5: Điện sử dụng khồi hệ thống 52 viii