Trang 7 DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ALU Arithmetic Logic Unit Bộ thực thi các phép tốn lơ-gic ALU Arithmetic Logic unit Đơn vị lô-gic số học AMBA
ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Lu Nguyễn Khâm Hồng Quang ận n vă h ín Ch NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CÔNG NGHỆ FPGA ọc ịh tr LUẬN VĂN THẠC SĨ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ Nguyễn Khâm Hồng Quang ận Lu NGHIÊN CỨU PHÁT TRIỂN HỆ THỐNG PHẦN CỨNG, PHẦN MỀM PHÁT HIỆN VÀ THEO DÕI CHUYỂN ĐỘNG TRÊN CƠ SỞ CƠNG NGHỆ FPGA n vă h ín Ch LUẬN VĂN THẠC SỸ ĐIỆN TỬ VIỄN THÔNG Ngành: Kỹ thuật Điện tử ịh tr ọc Giảng viên hướng dẫn: PGS.TS Trần Xuân Tú HÀ NỘI – 2020 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ LỜI CAM ĐOAN Tôi xin cam đoan luận văn tốt nghiệp hồn tồn cơng trình nghiên cứu thực tôi, thực dựa sở nghiên cứu lý thuyết, kiến thức ngành chuyên ngành, nghiên cứu khảo sát tình hình thực tiễn hướng dẫn PGS.TS Trần Xuân Tú Các số liệu, bảng biểu kết luận văn tốt nghiệp trung thực, nhận xét, kết luận đưa xuất phát từ thực tiễn thực nghiệm kinh nghiệm ận Lu thân vă Những phần sử dụng tài liệu tham khảo khóa luận tốt nghiệp nêu rõ mục “Tài liệu tham khảo”, có điều khơng trung thực tơi xin nhận hồn tồn trách n nhiệm chịu hình thức kỷ luật khoa nhà trường ín Ch h Tác giả luận văn thạc sĩ: ọc ịh tr Nguyễn Khâm Hồng Quang i LỜI CAM ĐOAN i TÓM TẮT iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT v DANH SÁCH HÌNH ẢNH vi DANH SÁCH BẢNG viii GIỚI THIỆU ix Chương HỆ THỐNG XỬ LÝ ẢNH SỐ Giới thiệu xử lý ảnh số Các trình xử lý ảnh số 1.2.1 Một số khái niệm xử lý ảnh số 1.2.2 Các bước xử lý ảnh số Lu Một số vấn đề xử lý ảnh số Chỉnh mức xám 1.3.2 Biến đổi ảnh 1.3.3 Nén ảnh ận 1.3.1 n vă Thuật toán theo dõi phát chuyển động Ch Thuật toán trừ 1.4.2 Thuật tốn trừ khung hình 10 ín 1.4.1 h Thuật toán phân loại đối tượng 11 ịh tr Hệ thống xử lý ảnh số 14 Một số giải pháp phần cứng thực thi hệ thống xử lý ảnh 15 ọc Chương CÔNG NGHỆ FPGA 17 Tổng quan mạch tích hợp 17 2.1.1 Mạch tích hợp ứng dụng chuyên biệt 18 2.1.2 Các thiết bị lơ-gic lập trình 19 2.1.3 Mảng cổng lô-gic có khả lập trình 19 So sánh mảng cổng lơ-gic có khả lập trình mạch tích hợp khác 20 2.2.1 biệt Mảng cổng lơ-gic có khả lập trình mạch tích hợp ứng dụng chun 20 2.2.2 Mảng cổng lơ-gic lập trình thiết bị lơ-gic lập trình 21 Cấu trúc mảng cổng lơ-gic lập trình 22 Ứng dụng mảng cổng lơ-gic lập trình 25 ii Giới thiệu Kit Artix – AC701 25 Vi xử lý Microblaze 28 2.6.1 Kiến trúc vi xử lý Microblaze 29 2.6.2 Định dạng liệu kiến trúc tập lệnh Microblaze 31 Chương ĐỀ XUẤT VÀ THỰC THI THỬ NGHIỆM HỆ THỐNG XỬ LÝ ẢNH TRÊN ARTIX-7 35 Công cụ Vivado Design Suite 35 Sơ đồ khối liên kết camera với Artix 35 Hệ thống xử lý ảnh đề xuất FPGA sử dụng Kit Artix-7 39 Thực mô hệ thống đề xuất vivado 45 KẾT LUẬN 53 ận Lu TÀI LIỆU THAM KHẢO 54 n vă h ín Ch ọc ịh tr iii TĨM TẮT Tóm tắt: Ngày công nghệ xử lý ảnh ngày phát triển đưa vào ứng dụng nhiều thiết bị di động, ứng dụng hệ thống camera để đảm bảo an ninh cơng cộng Ngồi ra, xử lý ảnh xuất nhiều ứng dụng khác quốc phòng, trật tự trị an giám sát cơng việc độc hại Có thể thấy công nghệ ngày sử dụng để để phục vụ người mục đích khác Tuy nhiên, công nghệ xử lý ảnh ngày chủ yếu thực phần mềm Do đó, khơng thể cải thiện hiệu xử lý ảnh chỉnh sửa để phù hợp với nhu cầu sử dụng người Dựa việc phân tích yêu cầu thực tế đặt Đề tài nghiên cứu hệ thống phần cứng, phần mềm xử lý ảnh dựa công nghệ FPGA Lu để áp dụng thực thi thuật toán xử lý ảnh sau từ đưa vào ứng dụng đời sống ận Từ khóa: FPGA, hệ thống xử lý ảnh số n vă h ín Ch ọc ịh tr iv DANH SÁCH CÁC THUẬT NGỮ VÀ TỪ VIẾT TẮT Viết tắt Tiếng Anh Tiếng Việt ALU Arithmetic Logic Unit Bộ thực thi phép tốn lơ-gic ALU Arithmetic Logic unit Đơn vị lô-gic số học AMBA Advanced Microcontroller Bus Architecture Kiến trúc bus vi điều khiển tiên tiến ASIC Application Specific Integrated Circuit Vi mạch chuyên dụng BRAM Block Random Access Memory CPLD Complex Programmable Logic Device Cấu kiện lơ-gic khả trình phức tạp CPU Central Processing Unit Khối nhớ truy cập ngẫu nhiên Lu Đơn vị xử lý trung tâm ROM lập trình xóa điện ận EEPROM Electrically Erasable ROM vă Mảng cổng lơ-gic có khả lập trình Field Programmable Gate Array DL Hardware Description Language Ngôn ngữ mơ tả phần cứng IC Intergrated Circuits Mạch tích hợp LUT Look Up Table PAL Programmable Array Logic PLA Programmable Logic Array PLD Programmable logic devices Thiết bị lô-gic lập trình PROM Programmable ROM ROM khả trình RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RISC Reduced Instruction Set Computer Máy tính có kiến trúc tập lệnh thu gọn ROM Read Only Memory Bộ nhớ đọc RTL Register Transfer Language Ngôn ngữ chuyển dịch ghi SPLD Simple Programmable Logic Device Cấu kiện lơ-gic khả trình đơn giản SRAM Static RAM Bộ nhớ truy cập ngẫu nhiên tĩnh VHDL Very High Speed Hardware Description Language Ngôn ngữ mơ tả phần cứng cho mạch tích hợp tốc độ cao n FPGA h ín Ch Bảng tra cứu tr Mảng lơ-gic lập trình ọc ịh Vi mạch lập trình dùng mảng lơ-gic v DANH SÁCH HÌNH ẢNH Hình 1.1: Ảnh số Hình 1.2: Điểm ảnh (pixel) Hình 1.3: Các loại ảnh xử lý ảnh Hình 1.4: Các bước xử lý ảnh số Hình 1.5: Mối liên hệ bước xử lý ảnh số Hình 1.6: Các bước theo dõi đối tượng Hình 1.7: Sơ đồ khối thuật tốn trừ 10 Hình 1.8: Sơ đồ khối thuật tốn trừ khung hình 11 Lu Hình 1.9: Cách nhận biết góc thuật tốn Harris Conner 12 ận Hình 1.10: Biểu đồ quan hệ λ1 λ2 14 Hình 1.11: Hệ thống xử lý ảnh 15 n vă Ch Hình 2.1: Các loại mạch tích hợp 18 Hình 2.2: Tổng thể kiến trúc FPGA 23 ín h Hình 2.3: Khối lơ-gic (CLB) 24 tr Hình 2.4: Sơ đồ khối Artix-7 26 ịh Hình 2.5: Sơ đồ khối kiến trúc vi xử lý Microblaze 32 bits 30 ọc Hình 2.6: Định dạng lệnh Microblaze 31 Hình 2.7: Kiến trúc đường ống ba giai đoạn 32 Hình 2.8: Kiến trúc đường ống năm giai đoạn 33 Hình 2.9: Kiến trúc đường ống tám giai đoạn 33 Hình 3.1: Kết nối camera-vita 2000 với hình 36 Hình 3.2: Kiến trúc khối truy cập trực tiếp nhớ video [2] 36 Hình 3.3: Xử lý hình ảnh Microblaze 38 Hình 3.4: Mối liên hệ kiến trúc phần mềm phần cứng hệ thống 38 Hình 3.5: Hệ thống xử lý ảnh để xuất Artix-7 AC701 39 vi Hình 3.6: Sơ đồ kết nối Module Anvet bo mạch Artix-7 40 Hình 3.7: Sơ đồ khối kiến trúc chuyển đổi Anvet [6] 40 Hình 3.8: Kiến trúc khối thu nhận camera VITA-2000 41 Hình 3.9: Sơ đồ thời gian tín hiệu đầu khối thu nhận ảnh 43 Hình 3.10: In chữ "Hello World" LCD kit Artix 45 Hình 3.11: Ghép nối camera VITA-2000 bo mạch FPGA Artix-7 46 Hình 3.12: Hệ thống xử lý ảnh đề xuất vivado 46 Hình 3.13: Kiến trúc khối IP fmc_imageon_vita_recever 47 Hình 3.14: Kiến trúc khối IP fmc_imageon_hdmio_rgb 47 Hình 3.15: Hình ảnh camera VITA kết nối với bo mạch Artix-7 48 Lu Hình 3.16: Cấu hình kích thước 1/3 qua khối VDMA 49 ận Hình 3.17: Cấu hình kích thước 2/3 qua khối VDMA 50 n vă h ín Ch ọc ịh tr vii DANH SÁCH BẢNG Bảng 1.1: Các cấp độ xử lý ảnh Bảng 2.1: Bảng so sánh số dòng Board FPGA 28 Bảng 3.1: Hiệu AXI VDMA số bo mạch FPGA 37 Bảng 3.2: Chức tín hiệu khối thu nhận camera VITA-2000 42 Bảng 3.3: Kết mô Vivado qua khối VDMA 50 Lu Bảng 3.4: Bảng thống kê lượng hiệu hệ thống 51 ận Bảng 3.5: Điện sử dụng khồi hệ thống 52 n vă h ín Ch ọc ịh tr viii