Nghiên cứu, thiết kế nền tảng nhúng thực thi các ứng dụng xử lý ảnh thời gian thực

ðẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ðẠI HỌC CÔNG NGHỆ ðINH CAO SƠN NGHIÊN CỨU, THIẾT KẾ NỀN TẢNG NHÚNG THỰC THI CÁC ỨNG DỤNG XỬ LÝ ẢNH THỜI GIAN THỰC LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ KỸ THUẬT ðIỆN TỬ, TRUYỀN THÔNG HÀ NỘI – 2017 ðẠI HỌC QUỐC GIA HÀ NỘI TRƯỜNG ðẠI HỌC CÔNG NGHỆ ðINH CAO SƠN NGHIÊN CỨU, THIẾT KẾ NỀN TẢNG NHÚNG THỰC THI CÁC ỨNG DỤNG XỬ LÝ ẢNH THỜI GIAN THỰC Ngành : Cơng nghệ kỹ thuật điện tử, truyền thơng Chun ngành : Kỹ thuật điện tử Mã số : 60520203 LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ KỸ THUẬT ðIỆN TỬ, TRUYỀN THÔNG NGƯỜI HƯỚNG DẪN KHOA HỌC: TS PHẠM MINH TRIỂN HÀ NỘI - 2017 LỜI CẢM ƠN Thời gian năm học chương trình ñào tạo thạc sĩ dài ñối với số học viên, ñối với em – kỹ sư vừa học vừa làm qng thời gian ngắn ngủi Cộng với lịch làm việc dày ñặc Viettel R&D nên em ñã thực nỗ lực cố gắng ñể hoàn thành luận văn Tuy nhiên, quãng thời gian quý báu với lên lớp vào buổi tối ngày cuối tuần giúp trang bị cho em nhiều tri thức bổ ích, giúp em củng cố khái niệm, nguyên lý ñiện tử tương tự, ñiện tử số ñiều khiển Những giảng thầy Trần Quang Vinh, thầy Bạch Gia Dương, thầy Trần ðức Tân, thầy Phạm Minh Triển nhiều thầy khác in sâu trí nhớ chìa khóa mở đầu cho ñường nghiên cứu chuyên nghiệp Em tương lai Em xin gửi lời cảm ơn chân thành đến thầy, kính chúc thầy sức khỏe dồi ln cháy bỏng đam mê, cống hiến cho khoa học, giúp truyền ñạt tri thức quý báu cho lớp lớp học viên chúng em Ngồi cố gắng thân để hồn thiện luận văn này, em nhận giúp ñỡ tận tình từ thầy giáo hướng dẫn – TS Phạm Minh Triển, người ln đặt u cầu cao, tốn khó em bàn bạc giải vấn đề khơng phạm vi luận văn mà vấn đề ñịnh hướng, hỗ trợ sinh viên nghiên cứu khoa học, vấn ñề hợp tác Trường ðại học Cơng ty Giúp tìm đầu cho sinh viên sau tốt nghiệp Một người thầy với tầm nhìn hồi bão lớn, đáng để em học tập, noi gương Luận văn tơi thực song song với ñề tài nghiên cứu Viện Nghiên cứu Phát triển Viettel làm chủ nhiệm Tại đây, tơi cộng cố gắng ñể tạo nên sản phẩm Quân “Made in Vietnam” Kết nghiên cứu ñề tài này, phần áp dụng vào sản phẩm Tôi xin gửi lời cảm ơn chân thành tới ban lãnh ñạo ñơn vị ñồng nghiệp thân u giúp đỡ, tơi giải vấn ñề khó ñể ñạt ñược kết bước ñầu ñáng khích lệ Qua ñây, Em xin gửi lời cảm ơn chân thành tới BCN Khoa ðiện tử Viễn thông, BGH phòng ban chức ðại học Cơng nghệ - ðHQG Hà Nội, tạo điều kiện giúp ñỡ suốt quãng thời gian em theo học chương trình đào tạo thạc sĩ trường Cuối cùng, xin gửi lời cảm ơn chân thành tới bố, mẹ, vợ thân u ln tin tưởng, ủng hộ động viên q trình theo học chương trình đào tạo thạc sĩ thời gian tập trung thực ñề tài Thân ái, ðinh Cao Sơn LỜI CAM ðOAN Tôi xin cam ñoan ñề tài “Nghiên cứu, thiết kế tảng nhúng thực thi ứng dụng xử lý ảnh” trực tiếp thực Không chép lại từ nguồn (sách, báo, tạp chí, cơng trình khoa học,…) ngồi nước cơng bố Nếu phát thấy vi phạm quyền nội dung tơi đề cập đề tài, tơi xin chịu hồn tồn trách nhiệm trước hội ñồng ñánh giá nhà trường Hà Nội, ngày 11 tháng 11 năm 2017 ðinh Cao Sơn MỤC LỤC DANH MỤC CÁC CHỮ VIẾT TẮT DANH MỤC CÁC BẢNG BIỂU DANH MỤC CÁC HÌNH VẼ MỞ ðẦU CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC Thiết bị xử lý ảnh bắt bám mục tiêu Video Tracker 8200 – EOImaging (Mỹ) KIT phát triển xử lý ảnh streaming video Z3-DM8169-VI-RPS (Mỹ) .9 ðề xuất thiết kế thiết bị xử lý ảnh thời gian thực CHƯƠNG 2: YÊU CẦU VÀ THIẾT KẾ CHI TIẾT PHẦN CỨNG HỆ THỐNG 12 Khối ñầu vào video .13 1.1 ðầu vào tương tự 13 1.2 ðầu vào số 17 Khối xử lý 18 Bộ nhớ 25 3.1 Bộ nhớ lưu trữ 25 3.2 Bộ nhớ ñệm 25 ðầu video 26 Khối cấp nguồn 27 Gia công chế tạo 29 CHƯƠNG 3: ðÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU 31 Giới thiệu thuật toán 31 1.1 ðặt vấn ñề 31 1.2 Mơ tả thuật tốn 32 1.3 Nội dung lưu ñồ xử lý thuật toán 33 Triển khai thuật toán 37 Một số hình ảnh thử nghiệm 38 KẾT LUẬN 39 TÀI LIỆU THAM KHẢO 40 PHỤ LỤC: HỒ SƠ THIẾT KẾ NGUYÊN LÝ SẢN PHẨM 42 DANH MỤC CÁC CHỮ VIẾT TẮT Thuật ngữ/Viết tắt Ý nghĩa ASIC Application-Specific Integrated Circuit DSP Digital Signal Processing FPGA Field Programmable Gate Array HDMI High Definition Media Interface NTSC National Television System Committee PAL Phase Alternating Line RGA Running Gaussian Average SDI Serial Digital Interface DANH MỤC CÁC BẢNG BIỂU Bảng 1: Tốc ñộ bitrate tương ứng với chuẩn video 11 Bảng 1: Yêu cầu thiết kế chi tiết phần cứng hệ thống .12 Bảng 2: Mối liên hệ ñộ phân giải ảnh, tần số quét mành tần số pixel tối ña 15 Bảng 3: So sánh dòng chip hãng Texas Instrument 19 Bảng 4: Danh sách nguồn cấp cho chip DSP 28 Bảng 1:Kết ñánh giá thuật tốn phát chuyển động .37 DANH MỤC CÁC HÌNH VẼ Hình 1: Thiết bị xử lý ảnh Video Tracker 8200 Hình 2: KIT phát triển xử lý ảnh streaming video Z3 Technology Hình 3: Kiến trúc lõi xử lý máy tính nhúng mang tên AGC 10 Hình 4: Sơ đồ khối kiến trúc xử lý Apollo17 .10 Hình 1: Các chuẩn video tương tự .13 Hình 2: Dạng sóng tín hiệu video tương tự 14 Hình 3: Minh họa biến đổi tín hiệu video gốc sang composite video .14 Hình 4: Minh họa ảnh đen trắng kích thước NHxNV 15 Hình 5: Nguyên lý khối ñọc ñầu vào tương tự composite .16 Hình 6: Các chuẩn video số .17 Hình 7: Nguyên lý khối ñọc ñầu vào số HDMI 18 Hình 8: Biểu ñồ ñánh giá mạnh tảng .19 Hình 9: Kiến trúc chip xử lý TMS320DM8168 21 Hình 10: Bố trí chân chip TMS320DM8168 22 Hình 11: Kiến trúc lõi xử lý ARM 22 Hình 12: Kiến trúc lõi xử lý DSP 23 Hình 13: Kiến trúc CPU C674x .24 Hình 14: Nguyên lý kết nối ñến nhớ SPI Flash 25 Hình 15: Mơ hình kết nối DDR3 bit 26 Hình 16: Nguyên lý kết nối IC giao tiếp Ethernet .27 Hình 17: Thứ tự khởi động nguồn cấp cho DSP 28 Hình 18: Bản vẽ gia cơng bo mạch thử nghiệm 29 Hình 19: Bản vẽ lắp ráp linh kiện mặt .30 Hình 20: Bản vẽ lắp ráp linh kiện mặt 30 Hình 1: Minh họa phát chuyển ñộng 31 Hình 2: Mơ hình thuật tốn Background subtraction 32 Hình 3: Sơ đồ thuật tốn phát chuyển ñộng 33 Hình 4: Phát điều kiện thiếu sáng 38 Hình 5: Phát với ảnh nhiệt 38 Hình 1: Minh họa máy tính nhúng dùng Quân 39 Hình 2: Minh họa ứng dụng cho máy bay UAV .39 MỞ ðẦU THỰC TRẠNG CÔNG NGHỆ TẠI THỜI ðIỂM NGHIÊN CỨU a Việt Nam Công nghệ xử lý ảnh (Image Processing) hay sau gọi thị giác máy tính (Computer Vision) nghiên cứu Việt Nam từ sớm Từ việc triển khai giải thuật Matlab cho ñến ứng dụng thực tế Tuy nhiên, ña phần nhiệm vụ ñược thực thi máy tính (PC laptop) sử dụng thư viện kinh ñiển OpenCV Việc triển khai thuật toán xử lý ảnh tảng vi xử lý tính tốn chun dụng mẻ người tiếp cận b Thế giới Cùng với phát triển công nghệ bán dẫn, mật độ tích hợp ngày cao Các hãng sản xuất chip lớn ñã cho ñời vi xử lý có khả tính tốn dấu phảy động, tốc độ tính tốn lên đến hàng nghìn triệu lệnh giây (> 1000 MIPS) từ năm 2010 Kể từ đó, người ta quan tâm nhiều đến việc đưa thuật tốn tính tốn phức tạp lên vi xử lý nhỏ gọn, tiêu tốn lượng ñể tạo tảng xử lý thông minh, hỗ trợ người nhiều ứng dụng xử lý hình ảnh NHIỆM VỤ - NỘI DUNG NGHIÊN CỨU ðỀ TÀI ðỀ XUẤT ðề tài thực với mục đích thiết kế, chế tạo thành cơng tảng xử lý tính tốn mạnh mẽ, hỗ trợ thực thi thuật toán xử lý ảnh phức tạp, tiêu tốn công suất thấp, nhỏ gọn thay cho tảng máy tính thơng thường Từ kết tìm hiểu, phân tích sản phẩm hãng lớn giới Tác giả ñề xuất nội dung nghiên cứu đề tài nghiên cứu, thiết kế tảng phần cứng nhúng cho phép thực thi ứng dụng xử lý ảnh, ñáp ứng thời gian thực Nội dung ñề tài ñược chia thành chương: CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC CHƯƠNG 2: YÊU CẦU VÀ THIẾT KẾ CHI TIẾT PHẦN CỨNG HỆ THỐNG CHƯƠNG 3: ðÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU Những nội dung cụ thể hóa luận văn sau: CHƯƠNG 1: TỔNG QUAN VỀ THIẾT BỊ XỬ LÝ ẢNH THỜI GIAN THỰC Thiết bị xử lý ảnh thời gian thực ñược ñề xuất nghiên cứu, chế tạo phục vụ việc xây dựng tảng phần cứng nhúng có tài ngun lực xử lý đủ mạnh để thực loạt tốn ứng dụng lĩnh vực thị giác máy tính tiền xử lý ảnh, lọc nhiễu, phân tích video hay chống rung hình ảnh Trong q trình định nghĩa sản phẩm, tác giả tham khảo nhiều cấu hình sản phẩm khác hãng giới Trong đó, bật thiết bị bắt bám mục tiêu tốc ñộ cao Video Tracker 8200(1) EOImaging (Mỹ), thiết bị xử lý ảnh tảng DSP IGEPv2(2) ISEE (Tây Ban Nha), KIT phát triển xử lý ảnh OZ745(3) Omnitek (Anh), KIT phát triển Z3-DM8169-VI-RPS(4) Z3 Technology (Mỹ) Trong số đó, ta phân tích hai sản phẩm tiêu biểu là: Thiết bị xử lý ảnh bắt bám mục tiêu Video Tracker 8200 – EOImaging (Mỹ) Thiết bị ñược thiết kế chuyên dụng cho mục đích bắt bám mục tiêu Có khả bắt bám theo nhiều ñặc trưng khác mức xám (intensity), ñường bao (edge), so khớp tương ñồng (correlation), vv… Do đó, phù hợp với nhiều tốn bắt bám khác nhau, điều kiện mơi trường, với đối tượng cụ thể Hình 1: Thiết bị xử lý ảnh Video Tracker 8200 Một ñặc ñiểm vượt trội sản phẩm có băng thơng đầu vào lớn, xử lý với tối độ bitrate ñầu vào lên ñến 3Gbps (tương ứng với ñộ phân giải 1080p, tốc độ 60 hình/giây), đồng thời xử lý với ñầu vào video dạng tương tự (PAL/NTSC) dạng số 3G-SDI Các thành phần xử lý sản phẩm chip DSP mã TMS320C6455 Texas Instruments ðồng thời ñể xử lý liệu ñầu vào tốc ñộ cao, module FPGA (Spartan XC6SLX100) ñược sử dụng ñể thực ñọc tiền xử lý liệu trước ñưa vào xử lý tinh DSP Module FPGA làm nhiệm vụ ñiều khiển Bảng 4: Danh sách nguồn cấp cho chip DSP Sử dụng TT ðiện áp (Volt) 12 Nguồn đầu vào Nguồn ni thứ cấp tổng Cung cấp cho IC nguồn thứ cấp thấp 3,3 Cung cấp cho DSP, khối HDMI, cung cấp cho IC nguồn thứ cấp thấp 1,0 Cung cấp cho DSP 1,5 Cung cấp cho DSP, DDR3 0,9 Cung cấp cho DDR3 1,0 Cung cấp cho DSP 1,8 Cung cấp cho DSP Thứ tự khởi ñộng nguồn cấp 3.3V phải tuân thủ hình sau: ðiện Áp (V) Thời gian (ms) Hình 17: Thứ tự khởi động nguồn cấp cho DSP 28 Gia công chế tạo Sản phẩm hồn thiện phiên 1.0 gia công chế tạo thử nghiệm nhà máy Hàn Quốc Hình 18: Bản vẽ gia cơng bo mạch thử nghiệm 29 Hình 19: Bản vẽ lắp ráp linh kiện mặt Hình 20: Bản vẽ lắp ráp linh kiện mặt 30 CHƯƠNG 3: ðÁNH GIÁ HỆ THỐNG VỚI THUẬT TOÁN MẪU Giới thiệu thuật tốn Triển khai thuật tốn đánh giá Như vậy, sau hoàn thành chế thử bo mạch mẫu Chúng ta bắt tay vào trình bring-up bo mạch (tham khảo mục [5] - Bộ công cụ hỗ trợ phát triển phần mềm Linux EZSDK) , thiết kế phần mềm thử nghiệm thuật tốn mẫu để đánh giá khả xử lý thiết bị Thuật tốn lựa chọn để đánh giá thuật tốn phát mục tiêu chuyển động ðây tốn kinh ñiển xử lý ảnh có nhiều ứng dụng thực tế, đặc biệt tốn giám sát an ninh Giới thiệu thuật toán 1.1 ðặt vấn ñề Phát ñối tượng chuyển ñộng chuỗi hình ảnh bước tốn giám sát đối tượng, nhằm đưa thơng tin vùng chứa đối tượng chuyển động, số lượng mật ñộ ñối tượng Phát chuyển ñộng cung cấp đầu vào cho q trình theo dõi đối tượng Hình 1: Minh họa phát chuyển động Trong ñề tài này, xem xét ngữ cảnh video sử dụng thử nghiệm video ñược quay từ camera lắp cố ñịnh theo dõi vùng khung cảnh tĩnh, tức ảnh video thu ñược ảnh tĩnh khơng thay đổi Khi đối tượng chuyển động phát cách so sánh frame với ảnh (background) ñể tách 31 khỏi ảnh Phương pháp gọi chung background subtraction Sau tách nền, loạt phép hậu xử lý ñược áp dụng ñể khoanh vùng ñối tượng Các thuật toán phát chuyển ñộng ñưa xuống triển khai tảng nhúng ñược ñánh giá dựa yếu tố sau: ðộ phức tạp thời gian tính tốn u cầu nhớ ñể lưu trữ tham số thuật tốn Hiệu phát chuyển động 1.2 Mơ tả thuật tốn Như giới thiệu phần trước, video có ảnh tĩnh (static scene), đối tượng chuyển động phát cách so sánh frame với ảnh (background) Mô hình chung cho thuật tốn Background Subtraction sau: Frame Input Background Subtraction Foreground Post processing Moving Object Hình 2: Mơ hình thuật tốn Background subtraction Phép tách để tìm ảnh foreground thực nhờ background model Background model ñược xây dựng, cập nhật sử dụng frame ảnh Tại thời ñiểm, frame ảnh ñược ñem ñối sánh với mơ hình background, pixel có giá trị mức xám chênh lệch vượt ngưỡng T theo ñộ đo coi foreground pixel Sau loạt phép hậu xử lý (post-processing) ñược áp dụng ñể hiệu chỉnh lại foreground pixel ñưa tọa ñộ vùng chứa ñối tượng chuyển ñộng thực ảnh Một số mơ hình background phổ biến : - Difference frame : Tại frame tại, sử dụng frame trước background - Adaptive Median Filtering (AMF) (hoặc Running Average) : Background - - tính dựa trung bình có trọng số frame trước (các frame gần thời điểm có trọng số cao hơn) Mixture Of Gaussian (MOG) : Giá trị pixel mơ hình hóa K phân bố Gaussian, cho phép giải trường hợp pixel có nhiều giá trị coi background Running Gaussian Average (RGA): Trường hợp riêng MOG, sử dụng phân phối Gaussian cho pixel Visual Background Extractor (VIBE) : Khơng sử dụng mơ hình thống kê ñể ñại diện cho phân bố pixel mà sử dụng tập giá trị pixel N frame trước Việc cập nhật mơ hình dựa phương pháp chọn lọc ngẫu nhiên 32 Thuật toán Runing Gaussian Average coi pixel có giá trị mức xám biến ñộng theo phân phối Gaussian Khi ñối tượng chuyển ñộng ñi qua nền, giá trị mức xám pixel thay đổi đột ngột, nằm ngồi phân bố Gaussian pixel Thuật tốn RGA đạt độ xác tốt với động, với tốc độ tính toán cao, dễ triển khai tảng nhúng 1.3 Nội dung lưu đồ xử lý thuật tốn Post-processing Pixel Level Processing Connected Region Video Frame Foreground Detection Region Level Processing Moving Object Hình 3: Sơ đồ thuật tốn phát chuyển động Module xử lý (Foreground Detection) Mỗi pixel vị trí ñặc trưng phân phối Gaussian sau: P( xt ) = η ( xt − µt , Σt ) (1) Trong đó: P( xt ) : xác suất thời điểm t, quan sát pixel có giá trị mức xám xt µt : giá trị trung bình phân phối Gaussian thời điểm t 33 σ t : ñộ lệch chuẩn phân phối Gaussian thời ñiểm t Σt = σ t I : ma trận hiệp phương sai phân phối Gaussian thời ñiểm t Tại thời ñiểm t + 1, pixel có giá trị mức xám mới, giá trị ñược ñối sánh xem có thuộc phân bố Gaussian khơng dựa khoảng cách Euclidean giá trị pixel giá trị trung bình Nếu pixel thuộc phân phối Gaussian (matching) pixel coi background, ngược lại pixel ñược coi foreground Dưới ñây bước xây dựng mơ hình thống kê thuật tốn • Khởi tạo mơ hình: Sử dụng N frame chuỗi ảnh để khởi tạo mơ hình Gaussian cho pixel Với pixel, ta khởi tạo: µ0 = N N ∑ xi i =1 σ 02 = N ( xi − µ ) ∑ N − i =1 (2) xi : giá trị mức xám pixel frame thứ i N frame khởi tạo Khi N = 1, ta có µ0 = x0 σ = m ñược chọn sẵn dựa ñánh giá sai khác pixel background foreground (thường lấy m từ đến 20) • Cập nhật mơ hình: Giả sử ta có tham số µt −1 , σ t −1 phân phối Gaussian thời ñiểm t-1 Tại thời điểm t tại, pixel có giá trị mức xám xt Các tham số ñược cập nhật sau: µt = α xt −1 + (1 − α ) µt −1 σ t2 = α d + (1 − α )σ t2−1 (3) d = xt − µt Trong đó: α : learning rate, biểu thị tốc ñộ cập nhật background, ñược chọn cố ñịnh α lớn: ñặc trưng cho cập nhật nhanh (quick update), thích hợp cho phát chuyển động nhanh ( α > 0.02) - α nhỏ : ñặc trưng cho ổn định (stability), thích hợp cho phát chuyển ñộng chậm ( α < 0.02) - d : khoảng cách Euclidean giá trị trung bình phân phối giá trị pixel 34 • Phân loại background/foreground: xt − µt σt xt − µt σt > k → foreground pixel (4) ≤ k → background pixel Trong k ngưỡng mức độ dao ñộng cho phép giá trị pixel background so với giá trị trung bình phân phối (k thường chọn 2.5) - k lớn : cho phép giá trị mức xám pixel biến ñộng mạnh, ñối tượng chuyển động cần có mức xám chênh lệch lớn so với loại ñược nhiều nhiễu, thường áp dụng cho khung cảnh video rõ nét - k nhỏ: biểu thị biến động, phát tốt biến ñộng nhỏ, thích hợp cho phát ñối tượng nhỏ, mờ, nhiên gây nhiều nhiễu Khi pixel foreground giá trị khơng tn theo phân phối, khơng nên sử dụng giá trị để cập nhật mơ hình Gaussian Ta cập nhật giá trị trung bình phân phối pixel phân loại background µt = M µt −1 + (1 − M )(α xt + (1 − α ) µt −1 ) (5) Với M = pixel foreground, M = pixel background Module hậu xử lý (Post-Processing) Thuật toán hậu xử lý phân tích ảnh foreground, khoanh vùng đưa tọa ñộ ñối tượng chuyển ñộng Do tác ñộng nhiễu, ảnh thường khơng ổn định hồn tồn mà có dời chỗ nhỏ có chuyển động nhỏ khơng mong muốn, số vấn ñề sau nảy sinh: - Nhiều foreground pixel không thuộc ñối tượng chuyển ñộng thực tế - ðối tượng chuyển ñộng bị chia mảnh xuất vùng ñen (background pixel) vùng trắng (ñối tượng chuyển ñộng) - ðối tượng kích thước lớn bị chia mảnh làm nhiều vùng trắng riêng biệt Xuất vùng trắng chuyển ñộng nhỏ, tạm thời gây Thuật toán hậu xử lý lọc vùng trắng ảnh, giảm xác suất phát nhầm • Pixel Level Processing Mục đích : loại bỏ foreground pixel sinh nhiễu 35 Sử dụng phép biến ñổi hình thái học (morphological) : phép ăn mòn (erosion) sau ñó ñến phép giãn nở (dilation) o Sử dụng phép ăn mòn: loại bỏ vùng trắng nhỏ lập o Sử dụng phép giãn nở: loại bỏ hố ñen vùng trắng, bù phần ñường bao ñối tượng bị ăn mòn • Connected Region Ở bước trên, ta làm việc với ảnh foreground, bước vùng ñối tượng ñược xác ñịnh Mỗi vùng ñối tượng ñại diện tập ñiểm ñường bao xấp xỉ vùng Các ñối tượng chuyển ñộng lớn bị chia thành vùng nhỏ Phương pháp ñơn giản nối vùng trắng gần lại Sau số phép xử lý liên quan ñến vùng ñối tượng ñược áp dụng gồm: - Kiểm tra số lượng đối tượng có frame ảnh : số lượng ñối tượng vượt q ngưỡng bỏ qua phát chuyển động frame - Kiểm tra kích thước (diện tich, chu vi) vùng ñối tượng : lớn vượt qua ngưỡng vùng khơng xem chuyển ñộng • Region Processing ðường bao ñối tượng chứa nhiều điểm, thực khơng cần thiết cho xử lý phát hiện, ta cần lấy hình chữ nhật bao quanh ñối tượng Ở bước ñối tượng coi ứng với hình chữ nhật frame ảnh Tuy nhiên, coi hình chữ nhật đối tượng thực khơng loại nhiễu chuyển ñộng nhỏ gây Ở bước này, hình chữ nhật gán định danh, biểu thị thuộc đối tượng frame trước - Nếu hình chữ nhật vị trí đối tượng, cập nhật vị trí cho đối tượng - Nếu hình chữ nhật lập, khơng gần đối tượng gán định danh trước đó, định danh tạo gán cho hình chữ nhật ði kèm thuật tốn dự đốn quỹ đạo, dùng đối tượng bị dấu, vị trí dự đốn tính cập nhật vào quỹ đạo, giúp trì theo dõi đối tượng đối tượng có trở lại ðánh giá thuật tốn Việc đánh giá thuật tốn thường dựa yếu tố: ñộ phức tạp tính tốn; nhớ sử dụng hiệu (chất lượng) thuật tốn - ðộ phức tạp tính tốn: O(n) với n kích thước frame ảnh (số lượng pixel ñược duyệt) - Bộ nhớ lưu trữ bảng ñây: 36 Dữ liệu - Dung lượng Input frame buffer 720x576x8 = 3.1MB Output frame buffer 720x576x8 = 3.1MB Variables 10*32bit Internal memory 4MB cache Hiệu tính tốn (xem bảng 3.1) Triển khai thuật tốn Thuật tốn phát mục tiêu chuyển động (RGA) ñược viết ngôn ngữ C++ triển khai tảng DSP thiết bị Apollo17 Kết ñánh giá cụ thể sau: Bảng 1: Kết ñánh giá thuật toán phát chuyển ñộng STT Chỉ tiêu, tính Thơng số ðơn vị Xác suất phát ñối tượng ñiều kiện thường 94,2 % Xác suất phát ñối tượng ñiều kiện ánh sáng yếu < 15 lux 92,8 % Xác suất phát ñối tượng với camera nhiệt 96,0 % Kích thước đối tượng nhỏ phát 8x10 Pixel Xác suất phất nhầm ñối tượng 4,5 % 30 ðối tượng 20/255 Mức 100 Hình/giây Số lượng đối tượng chuyển động phát đồng thời ðộ nhạy thuật tốn theo mức xám Tốc độ xử lý trung bình 37 Một số hình ảnh thử nghiệm Hình 4: Phát điều kiện thiếu sáng Hình 5: Phát với ảnh nhiệt 38 KẾT LUẬN Những kết ñạt ñược ðề tài ñã thực thành công nhiệm vụ đặt với mục tiêu chính: + Nghiên cứu, thiết kế thành công bo mạch phần cứng Apollo17 (dạng KIT phát triển) cho phép thực thi thuật toán xử lý ảnh phức tạp thay cho máy tính + Thiết kế ñã ñược chế tạo thử nghiệm, chứng minh hoạt ñộng, ñáp ứng 100% tiêu yêu cầu Hướng phát triển Hướng phát triển đề tài là: - Tối ưu kích thước bo mạch xuống 10x10 cm Trang bị cho máy tính nhúng phục vụ mục đích xử lý hình ảnh ứng dụng Quân Dân Hình 1: Minh họa máy tính nhúng dùng Quân - Trang bị ñầu vào tốc ñộ cao (>100fps) phục vụ mục đích lắp đặt máy bay không người lái UAV Cho phép xử lý hình ảnh trình bay trinh sát Hình 2: Minh họa ứng dụng cho máy bay UAV - Các kết nghiên cứu đề tài sử dụng phục vụ mục đích đào tạo, phát triển công nghệ xử lý ảnh tảng nhúng 39 TÀI LIỆU THAM KHẢO Tiếng Việt [1] TS Trần Quang Vinh, ThS.Chử Văn An, “Nguyên lý kỹ thuật ðiện tử” NXB Giáo dục 2005 [2] Phạm Văn Khiền, Phạm Trần Hương Giang, “Báo cáo đánh giá thuật tốn phát ñối tượng chuyển ñộng”, Viettel R&D 2016 Tiếng Anh [1] Tammy Noergaard, “Embedded Systems Architecture”, Elsevier 2005 [2] Shehrzad Qureshi, “Embedded Image Processing on the TMS320C6000TM DSP”, Springer Science+Business Media, Inc 2005 [3] Branislav Kisacanin, Shuvra S.Bhattacharyya, Sek Chai, “Embedded Computer Vision”, Springer 2009 [4] Christopher Hallinan, “Embedded Linux Primer”, Pearson Education, Inc 2011 [5] Augusto Vega, Pradip Bose, Alper Buyuktosunoglu, “Rugged Embedded Systems: Computing in Harsh Environment”, Elsevier 2017 Internet [1] Trang wiki hãng Texas Instrument http://processors.wiki.ti.com/index.php/DM816x_AM389x_PSP_User_Guide [2] TMS320DM8168/Technical Documents http://www.ti.com/product/TMS320DM8168/technicaldocuments [3] TMS320DM8168/Tool&Software http://www.ti.com/product/TMS320DM8168/toolssoftware [4] DDR3 point-to-point design support https://www.micron.com/~/media/documents/products/technicalnote/dram/tn4113_ddr3_point_to_point_design.pdf [5] Bộ công cụ hỗ trợ phát triển phần mềm Linux EZSDK http://www.ti.com/tool/linuxezsdk-davinci 40 Sản phẩm tham khảo (1) Video Tracker 8200: http://www.eoimaging.com/documents/8200_R1.pdf (2) IGEPv2: https://www.isee.biz/products/igep-processor-boards/igepv2-dm3730 (3) OZ745: https://www.avnet.com/shop/us/p/kits-and-tools/development-kits/avnetengineering-services/aes-oz745-3074457345623375756/ (4) Z3-DM8169-VI-RPS: http://z3technology.com/oem/Product/Z3-DM8169-VIRPS/32.html 41 PHỤ LỤC: HỒ SƠ THIẾT KẾ NGUYÊN LÝ SẢN PHẨM 42 ... QUAN VỀ THI T BỊ XỬ LÝ ẢNH THỜI GIAN THỰC Thi t bị xử lý ảnh thời gian thực ñược ñề xuất nghiên cứu, chế tạo phục vụ việc xây dựng tảng phần cứng nhúng có tài nguyên lực xử lý ñủ mạnh ñể thực loạt... dung nghiên cứu đề tài nghiên cứu, thi t kế tảng phần cứng nhúng cho phép thực thi ứng dụng xử lý ảnh, ñáp ứng thời gian thực Nội dung ñề tài ñược chia thành chương: CHƯƠNG 1: TỔNG QUAN VỀ THI T... Khối xử lý Khối xử lý thực thi nhiệm vụ xử lý tín hiệu hình ảnh thu nhận từ đầu vào ðảm bảo việc xử lý ñáp ứng thời gian thực (thời gian xử lý phải nhỏ 40ms, tương ñương 25 hình/giây) Khối xử lý