NGHIÊN CỨU, THIẾT KẾ NỀN TẢNG NHÚNG THỰC THI CÁC ỨNG DỤNG XỬ LÝ ẢNH THỜI GIAN THỰC

ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐINH CAO SƠN NGHIÊN CỨU, THIẾT KẾ NỀN TẢNG NHÚNG THỰC THI CÁC ỨNG DỤNG XỬ LÝ ẢNH THỜI GIAN THỰC LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ, TRUYỀN THÔNG HÀ NỘI – 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ĐẠI HỌC CÔNG NGHỆ ĐINH CAO SƠN NGHIÊN CỨU, THIẾT KẾ NỀN TẢNG NHÚNG THỰC THI CÁC ỨNG DỤNG XỬ LÝ ẢNH THỜI GIAN THỰC Ngành : Công nghệ kỹ thuật điện tử, truyền thông Chuyên ngành : Kỹ thuật điện tử Mã số : 60520203 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ, TRUYỀN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHẠM MINH TRIỂN HÀ NỘI - 2017 LỜI CẢM ƠN Thời gian năm học chương trình đào tạo thạc sĩ dài số học viên, em – kỹ sư vừa học vừa làm quãng thời gian ngắn ngủi Cộng với lịch làm việc dày đặc Viettel R&D nên em thực nỗ lực cố gắng để hoàn thành luận văn Tuy nhiên, quãng thời gian quý báu với lên lớp vào buổi tối ngày cuối tuần giúp trang bị cho em nhiều tri thức bổ ích, giúp em củng cố khái niệm, nguyên lý điện tử tương tự, điện tử số điều khiển Những giảng thầy Trần Quang Vinh, thầy Bạch Gia Dương, thầy Trần Đức Tân, thầy Phạm Minh Triển nhiều thầy cô khác in sâu trí nhớ chìa khóa mở đầu cho đường nghiên cứu chuyên nghiệp Em tương lai Em xin gửi lời cảm ơn chân thành đến thầy, kính chúc thầy sức khỏe dồi cháy bỏng đam mê, cống hiến cho khoa học, giúp truyền đạt tri thức quý báu cho lớp lớp học viên chúng em Ngoài cố gắng thân để hoàn thiện luận văn này, em nhận giúp đỡ tận tình từ thầy giáo hướng dẫn – TS Phạm Minh Triển, người đặt yêu cầu cao, tốn khó em bàn bạc giải vấn đề không phạm vi luận văn mà vấn đề định hướng, hỗ trợ sinh viên nghiên cứu khoa học, vấn đề hợp tác Trường Đại học Cơng ty Giúp tìm đầu cho sinh viên sau tốt nghiệp Một người thầy với tầm nhìn hoài bão lớn, đáng để em học tập, noi gương Luận văn thực song song với đề tài nghiên cứu Viện Nghiên cứu Phát triển Viettel làm chủ nhiệm Tại đây, cộng cố gắng để tạo nên sản phẩm Quân “Made in Vietnam” Kết nghiên cứu đề tài này, phần áp dụng vào sản phẩm Tôi xin gửi lời cảm ơn chân thành tới ban lãnh đạo đơn vị đồng nghiệp thân yêu giúp đỡ, giải vấn đề khó để đạt kết bước đầu đáng khích lệ Qua đây, Em xin gửi lời cảm ơn chân thành tới BCN Khoa Điện tử Viễn thông, BGH phòng ban chức Đại học Công nghệ - ĐHQG Hà Nội, tạo điều kiện giúp đỡ suốt quãng thời gian em theo học chương trình đào tạo thạc sĩ trường Cuối cùng, xin gửi lời cảm ơn chân thành tới bố, mẹ, vợ thân yêu tin tưởng, ủng hộ động viên trình theo học chương trình đào tạo thạc sĩ thời gian tập trung thực đề tài Thân ái, Đinh Cao Sơn LỜI CAM ĐOAN Tôi xin cam đoan đề tài “Nghiên cứu, thiết kế tảng nhúng thực thi ứng dụng xử lý ảnh” trực tiếp thực Không chép lại từ nguồn (sách, báo, tạp chí, cơng trình khoa học,…) ngồi nước cơng bố Nếu phát thấy vi phạm quyền nội dung đề cập đề tài, tơi xin chịu hồn tồn trách nhiệm trước hội đồng đánh giá nhà trường Hà Nội, ngày 11 tháng 11 năm 2017 Đinh Cao Sơn MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ MỞ ĐẦU CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC Thiết bị xử lý ảnh bắt bám mục tiêu Video Tracker 8200 – EOImaging (Mỹ) KIT phát triển xử lý ảnh streaming video Z3-DM8169-VI-RPS (Mỹ) .9 Đề xuất thiết kế thiết bị xử lý ảnh thời gian thực CHƯƠNG 2: YÊU CẦU VÀ THIẾT KẾ CHI TIẾT PHẦN CỨNG HỆ THỐNG 12 Khối đầu vào video 13 1.1 Đầu vào tương tự 13 1.2 Đầu vào số 17 Khối xử lý 18 Bộ nhớ 25 3.1 Bộ nhớ lưu trữ 25 3.2 Bộ nhớ đệm 25 Đầu video 26 Khối cấp nguồn 27 Gia công chế tạo 29 CHƯƠNG 3: ĐÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU 31 Giới thiệu thuật toán 31 1.1 Đặt vấn đề 31 1.2 Mô tả thuật toán 32 1.3 Nội dung lưu đồ xử lý thuật toán 33 Triển khai thuật toán 37 Một số hình ảnh thử nghiệm 38 KẾT LUẬN 39 TÀI LIỆU THAM KHẢO 40 PHỤ LỤC: HỒ SƠ THIẾT KẾ NGUYÊN LÝ SẢN PHẨM 42 DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ/Viết tắt Ý nghĩa ASIC Application-Specific Integrated Circuit DSP Digital Signal Processing FPGA Field Programmable Gate Array HDMI High Definition Media Interface NTSC National Television System Committee PAL Phase Alternating Line RGA Running Gaussian Average SDI Serial Digital Interface DANH MỤC CÁC BẢNG BIỂU Bảng 1: Tốc độ bitrate tương ứng với chuẩn video 11 Bảng 1: Yêu cầu thiết kế chi tiết phần cứng hệ thống .12 Bảng 2: Mối liên hệ độ phân giải ảnh, tần số quét mành tần số pixel tối đa 15 Bảng 3: So sánh dòng chip hãng Texas Instrument 19 Bảng 4: Danh sách nguồn cấp cho chip DSP 28 Bảng 1:Kết đánh giá thuật toán phát chuyển động .37 DANH MỤC CÁC HÌNH VẼ Hình 1: Thiết bị xử lý ảnh Video Tracker 8200 Hình 2: KIT phát triển xử lý ảnh streaming video Z3 Technology Hình 3: Kiến trúc lõi xử lý máy tính nhúng mang tên AGC 10 Hình 4: Sơ đồ khối kiến trúc xử lý Apollo17 10 Hình 1: Các chuẩn video tương tự .13 Hình 2: Dạng sóng tín hiệu video tương tự 14 Hình 3: Minh họa biến đổi tín hiệu video gốc sang composite video 14 Hình 4: Minh họa ảnh đen trắng kích thước NHxNV 15 Hình 5: Nguyên lý khối đọc đầu vào tương tự composite .16 Hình 6: Các chuẩn video số 17 Hình 7: Nguyên lý khối đọc đầu vào số HDMI 18 Hình 8: Biểu đồ đánh giá mạnh tảng .19 Hình 9: Kiến trúc chip xử lý TMS320DM8168 21 Hình 10: Bố trí chân chip TMS320DM8168 22 Hình 11: Kiến trúc lõi xử lý ARM 22 Hình 12: Kiến trúc lõi xử lý DSP 23 Hình 13: Kiến trúc CPU C674x .24 Hình 14: Nguyên lý kết nối đến nhớ SPI Flash 25 Hình 15: Mơ hình kết nối DDR3 bit 26 Hình 16: Nguyên lý kết nối IC giao tiếp Ethernet 27 Hình 17: Thứ tự khởi động nguồn cấp cho DSP 28 Hình 18: Bản vẽ gia công bo mạch thử nghiệm 29 Hình 19: Bản vẽ lắp ráp linh kiện mặt 30 Hình 20: Bản vẽ lắp ráp linh kiện mặt 30 Hình 1: Minh họa phát chuyển động 31 Hình 2: Mơ hình thuật tốn Background subtraction 32 Hình 3: Sơ đồ thuật tốn phát chuyển động 33 Hình 4: Phát điều kiện thiếu sáng 38 Hình 5: Phát với ảnh nhiệt 38 Hình 1: Minh họa máy tính nhúng dùng Quân 39 Hình 2: Minh họa ứng dụng cho máy bay UAV 39 MỞ ĐẦU THỰC TRẠNG CÔNG NGHỆ TẠI THỜI ĐIỂM NGHIÊN CỨU a Việt Nam Công nghệ xử lý ảnh (Image Processing) hay sau gọi thị giác máy tính (Computer Vision) nghiên cứu Việt Nam từ sớm Từ việc triển khai giải thuật Matlab ứng dụng thực tế Tuy nhiên, đa phần nhiệm vụ thực thi máy tính (PC laptop) sử dụng thư viện kinh điển OpenCV Việc triển khai thuật toán xử lý ảnh tảng vi xử lý tính tốn chun dụng mẻ người tiếp cận b Thế giới Cùng với phát triển công nghệ bán dẫn, mật độ tích hợp ngày cao Các hãng sản xuất chip lớn cho đời vi xử lý có khả tính tốn dấu phảy động, tốc độ tính tốn lên đến hàng nghìn triệu lệnh giây (> 1000 MIPS) từ năm 2010 Kể từ đó, người ta quan tâm nhiều đến việc đưa thuật tốn tính tốn phức tạp lên vi xử lý nhỏ gọn, tiêu tốn lượng để tạo tảng xử lý thông minh, hỗ trợ người nhiều ứng dụng xử lý hình ảnh NHIỆM VỤ - NỘI DUNG NGHIÊN CỨU ĐỀ TÀI ĐỀ XUẤT Đề tài thực với mục đích thiết kế, chế tạo thành công tảng xử lý tính tốn mạnh mẽ, hỗ trợ thực thi thuật tốn xử lý ảnh phức tạp, tiêu tốn cơng suất thấp, nhỏ gọn thay cho tảng máy tính thơng thường Từ kết tìm hiểu, phân tích sản phẩm hãng lớn giới Tác giả đề xuất nội dung nghiên cứu đề tài nghiên cứu, thiết kế tảng phần cứng nhúng cho phép thực thi ứng dụng xử lý ảnh, đáp ứng thời gian thực Nội dung đề tài chia thành chương: CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC CHƯƠNG 2: YÊU CẦU VÀ THIẾT KẾ CHI TIẾT PHẦN CỨNG HỆ THỐNG CHƯƠNG 3: ĐÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU Những nội dung cụ thể hóa luận văn sau: CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC Thiết bị xử lý ảnh thời gian thực đề xuất nghiên cứu, chế tạo phục vụ việc xây dựng tảng phần cứng nhúng có tài nguyên lực xử lý đủ mạnh để thực loạt tốn ứng dụng lĩnh vực thị giác máy tính tiền xử lý ảnh, lọc nhiễu, phân tích video hay chống rung hình ảnh Trong trình định nghĩa sản phẩm, tác giả tham khảo nhiều cấu hình sản phẩm khác hãng giới Trong đó, bật thiết bị bắt bám mục tiêu tốc độ cao Video Tracker 8200(1) EOImaging (Mỹ), thiết bị xử lý ảnh tảng DSP IGEPv2(2) ISEE (Tây Ban Nha), KIT phát triển xử lý ảnh OZ745(3) Omnitek (Anh), KIT phát triển Z3-DM8169-VI-RPS(4) Z3 Technology (Mỹ) Trong số đó, ta phân tích hai sản phẩm tiêu biểu là: Thiết bị xử lý ảnh bắt bám mục tiêu Video Tracker 8200 – EOImaging (Mỹ) Thiết bị thiết kế chun dụng cho mục đích bắt bám mục tiêu Có khả bắt bám theo nhiều đặc trưng khác mức xám (intensity), đường bao (edge), so khớp tương đồng (correlation), vv… Do đó, phù hợp với nhiều tốn bắt bám khác nhau, điều kiện mơi trường, với đối tượng cụ thể Hình 1: Thiết bị xử lý ảnh Video Tracker 8200 Một đặc điểm vượt trội sản phẩm có băng thơng đầu vào lớn, xử lý với tối độ bitrate đầu vào lên đến 3Gbps (tương ứng với độ phân giải 1080p, tốc độ 60 hình/giây), đồng thời xử lý với đầu vào video dạng tương tự (PAL/NTSC) dạng số 3G-SDI Các thành phần xử lý sản phẩm chip DSP mã TMS320C6455 Texas Instruments Đồng thời để xử lý liệu đầu vào tốc độ cao, module FPGA (Spartan XC6SLX100) sử dụng để thực đọc tiền xử lý liệu trước đưa vào xử lý tinh DSP Module FPGA làm nhiệm vụ điều khiển Bảng 4: Danh sách nguồn cấp cho chip DSP TT Điện áp (Volt) Sử dụng 12 Nguồn đầu vào Nguồn nuôi thứ cấp tổng Cung cấp cho IC nguồn thứ cấp thấp 3,3 Cung cấp cho DSP, khối HDMI, cung cấp cho IC nguồn thứ cấp thấp 1,0 Cung cấp cho DSP 1,5 Cung cấp cho DSP, DDR3 0,9 Cung cấp cho DDR3 1,0 Cung cấp cho DSP 1,8 Cung cấp cho DSP Thứ tự khởi động nguồn cấp 3.3V phải tuân thủ hình sau: Điện Áp (V) Thời gian (ms) Hình 17: Thứ tự khởi động nguồn cấp cho DSP 28 Gia công chế tạo Sản phẩm hoàn thiện phiên 1.0 gia công chế tạo thử nghiệm nhà máy Hàn Quốc Hình 18: Bản vẽ gia cơng bo mạch thử nghiệm 29 Hình 19: Bản vẽ lắp ráp linh kiện mặt Hình 20: Bản vẽ lắp ráp linh kiện mặt 30 CHƯƠNG 3: ĐÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU  Giới thiệu thuật toán  Triển khai thuật toán đánh giá Như vậy, sau hoàn thành chế thử bo mạch mẫu Chúng ta bắt tay vào trình bring-up bo mạch (tham khảo mục [12] - Bộ công cụ hỗ trợ phát triển phần mềm Linux EZSDK) , thiết kế phần mềm thử nghiệm thuật toán mẫu để đánh giá khả xử lý thiết bị Thuật toán lựa chọn để đánh giá thuật toán phát mục tiêu chuyển động Đây toán kinh điển xử lý ảnh có nhiều ứng dụng thực tế, đặc biệt toán giám sát an ninh Giới thiệu thuật toán 1.1 Đặt vấn đề Phát đối tượng chuyển động chuỗi hình ảnh bước toán giám sát đối tượng, nhằm đưa thông tin vùng chứa đối tượng chuyển động, số lượng mật độ đối tượng Phát chuyển động cung cấp đầu vào cho trình theo dõi đối tượng Hình 1: Minh họa phát chuyển động Trong đề tài này, xem xét ngữ cảnh video sử dụng thử nghiệm video quay từ camera lắp cố định theo dõi vùng khung cảnh tĩnh, tức ảnh video thu ảnh tĩnh không thay đổi Khi đối tượng chuyển động phát cách so sánh frame với ảnh (background) để tách 31 khỏi ảnh Phương pháp gọi chung background subtraction Sau tách nền, loạt phép hậu xử lý áp dụng để khoanh vùng đối tượng Các thuật toán phát chuyển động đưa xuống triển khai tảng nhúng đánh giá dựa yếu tố sau:  Độ phức tạp thời gian tính tốn  u cầu nhớ để lưu trữ tham số thuật toán  Hiệu phát chuyển động 1.2 Mơ tả thuật tốn Như giới thiệu phần trước, video có ảnh tĩnh (static scene), đối tượng chuyển động phát cách so sánh frame với ảnh (background) Mơ hình chung cho thuật toán Background Subtraction sau: Frame Input Background Foreground Post processing Subtraction Moving Object Hình 2: Mơ hình thuật toán Background subtraction Phép tách để tìm ảnh foreground thực nhờ background model Background model xây dựng, cập nhật sử dụng frame ảnh Tại thời điểm, frame ảnh đem đối sánh với mơ hình background, pixel có giá trị mức xám chênh lệch vượt ngưỡng T theo độ đo coi foreground pixel Sau loạt phép hậu xử lý (post-processing) áp dụng để hiệu chỉnh lại foreground pixel đưa tọa độ vùng chứa đối tượng chuyển động thực ảnh Một số mơ hình background phổ biến : - - - Difference frame : Tại frame tại, sử dụng frame trước background Adaptive Median Filtering (AMF) (hoặc Running Average) : Background tính dựa trung bình có trọng số frame trước (các frame gần thời điểm có trọng số cao hơn) Mixture Of Gaussian (MOG) : Giá trị pixel mơ hình hóa K phân bố Gaussian, cho phép giải trường hợp pixel có nhiều giá trị coi background Running Gaussian Average (RGA): Trường hợp riêng MOG, sử dụng phân phối Gaussian cho pixel Visual Background Extractor (VIBE) : Không sử dụng mơ hình thống kê để đại diện cho phân bố pixel mà sử dụng tập giá trị pixel N frame trước Việc cập nhật mơ hình dựa phương pháp chọn lọc ngẫu nhiên 32 Thuật toán Runing Gaussian Average coi pixel có giá trị mức xám biến động theo phân phối Gaussian Khi đối tượng chuyển động qua nền, giá trị mức xám pixel thay đổi đột ngột, nằm phân bố Gaussian pixel Thuật tốn RGA đạt độ xác tốt với động, với tốc độ tính toán cao, dễ triển khai tảng nhúng Nội dung lưu đồ xử lý thuật toán 1.3 Post-processing Pixel Level Processing Connected Region Video Frame Foreground Detection Region Level Processing Moving Object Hình 3: Sơ đồ thuật tốn phát chuyển động  Module xử lý (Foreground Detection) Mỗi pixel vị trí đặc trưng phân phối Gaussian sau: P( xt )   ( xt  t , t ) (3.1) Trong đó: P( xt ) : xác suất thời điểm t, quan sát pixel có giá trị mức xám xt t : giá trị trung bình phân phối Gaussian thời điểm t 33  t : độ lệch chuẩn phân phối Gaussian thời điểm t t   t I : ma trận hiệp phương sai phân phối Gaussian thời điểm t Tại thời điểm t + 1, pixel có giá trị mức xám mới, giá trị đối sánh xem có thuộc phân bố Gaussian không dựa khoảng cách Euclidean giá trị pixel giá trị trung bình Nếu pixel thuộc phân phối Gaussian (matching) pixel coi background, ngược lại pixel coi foreground Dưới bước xây dựng mơ hình thống kê thuật tốn  Khởi tạo mơ hình: Sử dụng N frame chuỗi ảnh để khởi tạo mơ hình Gaussian cho pixel Với pixel, ta khởi tạo: 0  N N  xi i 1  02  N ( xi  0 )2  N  i 1 (3.2) xi : giá trị mức xám pixel frame thứ i N frame khởi tạo Khi N = 1, ta có 0  x0   m chọn sẵn dựa đánh giá sai khác pixel background foreground (thường lấy m từ đến 20)  Cập nhật mơ hình: Giả sử ta có tham số t 1 ,  t 1 phân phối Gaussian thời điểm t-1 Tại thời điểm t tại, pixel có giá trị mức xám xt Các tham số cập nhật sau: t   xt 1  (1   ) t 1  t2   d  (1   ) t21 (3.3) d  xt  t Trong đó:  : learning rate, biểu thị tốc độ cập nhật background, chọn cố định  lớn: đặc trưng cho cập nhật nhanh (quick update), thích hợp cho phát chuyển động nhanh (  > 0.02) -  nhỏ : đặc trưng cho ổn định (stability), thích hợp cho phát chuyển động chậm (  < 0.02) - d : khoảng cách Euclidean giá trị trung bình phân phối giá trị pixel 34  Phân loại background/foreground: xt  t t xt  t t  k  foreground pixel  k  background pixel (3.4) Trong k ngưỡng mức độ dao động cho phép giá trị pixel background so với giá trị trung bình phân phối (k thường chọn 2.5) - k lớn : cho phép giá trị mức xám pixel biến động mạnh, đối tượng chuyển động cần có mức xám chênh lệch lớn so với  loại nhiều nhiễu, thường áp dụng cho khung cảnh video rõ nét - k nhỏ: biểu thị biến động, phát tốt biến động nhỏ, thích hợp cho phát đối tượng nhỏ, mờ, nhiên gây nhiều nhiễu Khi pixel foreground giá trị khơng tn theo phân phối, không nên sử dụng giá trị để cập nhật mơ hình Gaussian Ta cập nhật giá trị trung bình phân phối pixel phân loại background t  M t 1  (1  M )( xt  (1   )t 1 ) (3.5) Với M = pixel foreground, M = pixel background  Module hậu xử lý (Post-Processing) Thuật tốn hậu xử lý phân tích ảnh foreground, khoanh vùng đưa tọa độ đối tượng chuyển động Do tác động nhiễu, ảnh thường khơng ổn định hồn tồn mà có dời chỗ nhỏ có chuyển động nhỏ khơng mong muốn, số vấn đề sau nảy sinh: - Nhiều foreground pixel không thuộc đối tượng chuyển động thực tế - Đối tượng chuyển động bị chia mảnh xuất vùng đen (background pixel) vùng trắng (đối tượng chuyển động) - Đối tượng kích thước lớn bị chia mảnh làm nhiều vùng trắng riêng biệt - Xuất vùng trắng chuyển động nhỏ, tạm thời gây Thuật toán hậu xử lý lọc vùng trắng ảnh, giảm xác suất phát nhầm  Pixel Level Processing Mục đích : loại bỏ foreground pixel sinh nhiễu Sử dụng phép biến đổi hình thái học (morphological) : phép ăn mòn (erosion) sau đến phép giãn nở (dilation) 35 o Sử dụng phép ăn mòn: loại bỏ vùng trắng nhỏ cô lập o Sử dụng phép giãn nở: loại bỏ hố đen vùng trắng, bù phần đường bao đối tượng bị ăn mòn  Connected Region Ở bước trên, ta làm việc với ảnh foreground, bước vùng đối tượng xác định Mỗi vùng đối tượng đại diện tập điểm đường bao xấp xỉ vùng Các đối tượng chuyển động lớn bị chia thành vùng nhỏ Phương pháp đơn giản nối vùng trắng gần lại Sau số phép xử lý liên quan đến vùng đối tượng áp dụng gồm: - Kiểm tra số lượng đối tượng có frame ảnh : số lượng đối tượng - vượt ngưỡng bỏ qua phát chuyển động frame Kiểm tra kích thước (diện tich, chu vi) vùng đối tượng : lớn vượt qua ngưỡng vùng không xem chuyển động  Region Processing Đường bao đối tượng chứa nhiều điểm, thực không cần thiết cho xử lý phát hiện, ta cần lấy hình chữ nhật bao quanh đối tượng Ở bước đối tượng coi ứng với hình chữ nhật frame ảnh Tuy nhiên, coi hình chữ nhật đối tượng thực khơng loại nhiễu chuyển động nhỏ gây Ở bước này, hình chữ nhật gán định danh, biểu thị thuộc đối tượng frame trước - Nếu hình chữ nhật vị trí đối tượng, cập nhật vị trí cho đối tượng - Nếu hình chữ nhật cô lập, không gần đối tượng gán định danh trước đó, định danh tạo gán cho hình chữ nhật Đi kèm thuật tốn dự đốn quỹ đạo, dùng đối tượng bị dấu, vị trí dự đốn tính cập nhật vào quỹ đạo, giúp trì theo dõi đối tượng đối tượng có trở lại  Đánh giá thuật toán Việc đánh giá thuật toán thường dựa yếu tố: độ phức tạp tính toán; nhớ sử dụng hiệu (chất lượng) thuật tốn - Độ phức tạp tính tốn: O(n) với n kích thước frame ảnh (số lượng pixel duyệt) - Bộ nhớ lưu trữ bảng đây: Dữ liệu Dung lượng 36 - Input frame buffer 720x576x8 = 3.1MB Output frame buffer 720x576x8 = 3.1MB Variables 10*32bit Internal memory 4MB cache Hiệu tính tốn (xem bảng 3.1) Triển khai thuật toán Thuật toán phát mục tiêu chuyển động (RGA) viết ngôn ngữ C++ triển khai tảng DSP thiết bị Apollo17 Kết đánh giá cụ thể sau: Bảng 1: Kết đánh giá thuật tốn phát chuyển động STT Chỉ tiêu, tính Xác suất phát đối tượng điều kiện thường Xác suất phát đối tượng điều kiện ánh sáng yếu < 15 lux Thông số Đơn vị 94,2 % 92,8 % Xác suất phát đối tượng với camera nhiệt 96,0 % Kích thước đối tượng nhỏ phát 8x10 Pixel Xác suất phất nhầm đối tượng 4,5 % Số lượng đối tượng chuyển động phát đồng thời 30 Đối tượng Độ nhạy thuật toán theo mức xám 20/255 Mức Tốc độ xử lý trung bình 100 Hình/giây 37 Một số hình ảnh thử nghiệm Hình 4: Phát điều kiện thiếu sáng Hình 5: Phát với ảnh nhiệt 38 KẾT LUẬN Những kết đạt Đề tài thực thành công nhiệm vụ đặt với mục tiêu chính: + Nghiên cứu, thiết kế thành công bo mạch phần cứng Apollo17 (dạng KIT phát triển) cho phép thực thi thuật toán xử lý ảnh phức tạp thay cho máy tính + Thiết kế chế tạo thử nghiệm, chứng minh hoạt động, đáp ứng 100% tiêu yêu cầu Hướng phát triển Hướng phát triển đề tài là: - Tối ưu kích thước bo mạch xuống 10x10 cm Trang bị cho máy tính nhúng phục vụ mục đích xử lý hình ảnh ứng dụng Quân Dân Hình 1: Minh họa máy tính nhúng dùng Quân - Trang bị đầu vào tốc độ cao (>100fps) phục vụ mục đích lắp đặt máy bay khơng người lái UAV Cho phép xử lý hình ảnh trình bay trinh sát Hình 2: Minh họa ứng dụng cho máy bay UAV - Các kết nghiên cứu đề tài sử dụng phục vụ mục đích đào tạo, phát triển cơng nghệ xử lý ảnh tảng nhúng 39 TÀI LIỆU THAM KHẢO Tiếng Việt [1] TS Trần Quang Vinh, ThS.Chử Văn An, “Nguyên lý kỹ thuật Điện tử” NXB Giáo dục 2005 [2] Phạm Văn Khiền, Phạm Trần Hương Giang, “Báo cáo đánh giá thuật toán phát đối tượng chuyển động”, Viettel R&D 2016 Tiếng Anh [3] Tammy Noergaard, “Embedded Systems Architecture”, Elsevier 2005 [4] Shehrzad Qureshi, “Embedded Image Processing on the TMS320C6000TM DSP”, Springer Science+Business Media, Inc 2005 [5] Branislav Kisacanin, Shuvra S.Bhattacharyya, Sek Chai, “Embedded Computer Vision”, Springer 2009 [6] Christopher Hallinan, “Embedded Linux Primer”, Pearson Education, Inc 2011 [7] Augusto Vega, Pradip Bose, Alper Buyuktosunoglu, “Rugged Embedded Systems: Computing in Harsh Environment”, Elsevier 2017 Internet [8] Trang wiki hãng Texas Instrument http://processors.wiki.ti.com/index.php/DM816x_AM389x_PSP_User_Guide [9] TMS320DM8168/Technical Documents http://www.ti.com/product/TMS320DM8168/technicaldocuments [10] TMS320DM8168/Tool&Software http://www.ti.com/product/TMS320DM8168/toolssoftware [11] DDR3 point-to-point design support https://www.micron.com/~/media/documents/products/technicalnote/dram/tn4113_ddr3_point_to_point_design.pdf [12] Bộ công cụ hỗ trợ phát triển phần mềm Linux EZSDK http://www.ti.com/tool/linuxezsdk-davinci 40 Sản phẩm tham khảo (1) Video Tracker 8200: http://www.eoimaging.com/documents/8200_R1.pdf (2) IGEPv2: https://www.isee.biz/products/igep-processor-boards/igepv2-dm3730 (3) OZ745: https://www.avnet.com/shop/us/p/kits-and-tools/development-kits/avnetengineering-services/aes-oz745-3074457345623375756/ (4) Z3-DM8169-VI-RPS: http://z3technology.com/oem/Product/Z3-DM8169-VIRPS/32.html 41 PHỤ LỤC: HỒ SƠ THIẾT KẾ NGUYÊN LÝ SẢN PHẨM 42 ... sau: HDMI - Độ dài cáp: 30m - Bitrate: >1000Mb/s SDI - Độ dài cáp: USB 3.0 IP/GigE - Độ dài cáp: - Độ dài cáp: Camera Link - Độ dài cáp: 100m 10m 100m 15m - Bitrate: - Bitrate: - Bitrate: - Bitrate:... gồm khối chỉnh: - Khối đầu vào video - Khối xử lý: Gồm tiền xử lý hậu xử lý - Bộ nhớ - Khối đầu video KHỐI XỬ LÝ - Tiền xử lý ảnh - Điều khiển nhận video đầu vào - Lọc nhiễu - Biến đổi không... KSZ9031MNXIA/Microchip/ Mỹ - DSP clock: > 600MHz - Hỗ trợ tính tốn dấu phảy động - Tốc độ tính tốn: > 4000 MIPS - ARM clock: > 800MHz TMS320DM8168CCYG2/TI/ - Đầu vào video: hỗ trợ Mỹ đầu vào song song - Đầu video: