Hệ thống phát hiện và nhận diện biển báo giao thông trên Kit Friendly ARM

ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH TRƯỜNG ĐẠI HỌC BÁCH KHOA TP HCM TRẦN QUANG HOÀNG GIANG HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN BIỂN BÁO GIAO THÔNG TRÊN KIT FRIENDLY ARM Chuyên ngành: Kỹ Thuật Điện Tử Mã số: 60 52 02 03 LUẬN VĂN THẠC SĨ TP Hồ Chí Minh, tháng 01 năm 2016 Cơng trình hoàn thành tại: Trường Đại học Bách Khoa -ĐHQG-HCM Cán hướng dẫn khoa học : TS Trương Quang Vinh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: PGS.TS Lê Tỉến Thường (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: TS Bùi Trọng Tú (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp.HCM ngày 15 tháng 01 năm 2016 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghỉ rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) CTHĐTS Lê Chí Thơng PB1: PGS.TS Lễ Tiến Thường PB2: TS Bùi Trọng Tú UV: TS Nguyễn Minh Son CBHD: TS Trương Quang Vinh Xác nhận Chủ tịch Hộỉ đồng đánh giả LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu cố) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ĐIỆN- ĐIỆN TỬ ĐẠI HỌC QC GIA TP.HCM CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tền học viền: TRẦN QUANG HOÀNG GIANG MSSV: 13141117 Ngày, tháng, năm sinh: 25/09/2988 Nơi sinh: Quảng Ngãi Chuyên ngành: Kỹ Thuật Điện Tử Mã số: 60 52 02 03 I TÊN ĐỀ TÀI: HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN BIÊN BÁO GIAO THÔNG TRÊN KIT FRIENDLY ARM NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu, xây dựng giải thuật thiết kế hệ thống phát nhận diện biển báo giao thông Việt Nam, thực kít nhúng FriendlyARM II NGÀY GIAO NHIỆM VỤ: 17/08/2015 III NGÀY HOÀN THÀNH NHIỆM VỤ: 04/12/2015 IV CÁN BỘ HƯỚNG DẪN: TS TRƯƠNG QUANG VINH Tp HCM, ngày tháng năm 2016 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA ĐIỆN ĐIỆN TỬ (Họ tên chữ ký LỜI CÁM ƠN Em xin gởi đến TS Trương Quang Vinh lời cảm ơn chân thành với trân trọng lòng biết ơn sâu sắc hướng dẫn đầy chu đáo nhiệt tình Thầy dẫn dắt, tạo cho em cách tư làm việc cách khoa học, hướng em đến đề tài khoa học mẻ, tiếp cận với công nghệ đại Em xin chân thành cám ơn thầy cô ngành Kỹ Thuật Điện Tử hết lòng dạy dỗ truyền đạt cho em kiến thức quý báu Con xin gởi đến cha mẹ lòng kính trọng biết ơn sâu sắc Cha mẹ nuôi nấng dạy dỗ nên người chỗ dựa tinh thần vững cho đời Tôi xin cảm ơn bạn học tập, giúp đỡ, động viên bước đường nghiên cứu Tp Hồ Chí Minh, tháng 01 năm 2016 Học viên TRẦN QUANG HỒNG GIANG -i- TĨM TẮT LUẬN VĂN Luận văn trình bày hệ thống nhúng phát nhận dạng biển báo giao thơng hỗ trợ lái xe an tồn thuận tiện Hệ thống sử dụng thư viện mã nguồn mở OpenCV Intel phát triển thực kit Friendly Arm Tiny 4412 với vi xử lý Samsung Exynos4412 ARM Cortex-A9 (Quad-Core) 1.5Ghz Hệ thống thu thập hình ảnh biển báo thơng qua camera gắn ửên xe từ phát hiện, theo dõi nhận dạng biển báo hiển thị lên hình cho tài xế biết loại biển báo Quá trình phát nhận dạng trải qua ba giai đoạn chính: tiền xử lý, phát nhận dạng Thuật toán dựa đặc trưng màu sắc, hình dạng loại biển báo để phân đoạn màu sử dụng thuật tốn HSV Achrom, phân đoạn hình học với phương pháp Affine Moment Invariant sau phân loại biển báo trước đưa vào giai đoạn nhận dạng Phương pháp nhận dạng sử dụng thuật toán phân lớp Support Vector Machines (SVMs) có tốc độ phân lớp nhanh độ xác cao Kết thực nghiệm cho thấy thuật toán đáp ứng cho thời gian thực, mang lại hiệu suất cao áp dụng vào thực tế - ii - ABSTRACT This thesis presents an embedded system to detect and recognize traffic signs supporting driving more safety and convenient The system uses the open source OpenCV library developed by Intel and implemented on Friendly Arm development kit named “Tiny 4412” with Samsung Exynos ARM Cortex-A9 (Quad-Core) 1.5Ghz micro-processor The system capture traffic signs through a camera mounted on moving vehicle, then detect, tracking and recognize signs, display the result on the screen The system is based on three major stages: pre-processing, detection and recognition The algorithm is based on the characteristics of color, shape The color segmentation using HSV Achrom algorithms, shape segmentation using Affine Invariant Moment method before feed to classification stage Recognition method using Support Vector Machines (SVMs) classifier with fast speed and high accuracy Experimental results show that the algorithm can be used for real-time applications, providing high performance and can be applied in reality -3 - LỜI CAM ĐOAN Tôi xin cam đoan kết đề tài thực chưa công bố cơng trình khoa học trước Người cam đoan TRẦN QUANG HOÀNG GIANG -4- MỤC LỤC CHƯƠNG 1: GIỚI THIỆU 1.1 Giới thiệu tổng quan 1.2 Mục tiêu đề tài 1.3 Một số thách thức giới hạn đề tài 1.3.1 Một số thách thức 1.3.2 Giới hạn đề tài CHƯƠNG 2: TÌNH HÌNH NGHIÊN CỨU 2.1 Cơ giải thuật nhận dạng biển báo giao thông 2.2 Các cơng trình nghiên cứu liên quan 2.2.1 Các cơng trình nghiên cứu dựa thơng tin màu sắc, hình dạng 2.2.2 Các cơng trình nghiên cứu sử dụng thuật toán máy học 14 2.3 Phân tích tổng quan lý thuyết 16 2.3.1 Tiền xử lý 17 2.3.2 Phát biển báo 20 2.3.3 Giới thiệu thu viện mã nguồn mở OpenCV 38 CHƯƠNG 3: NỘI DUNG 40 3.1 Giải thuật đề nghị 40 3.1.1 Ảnh đầu vào 40 3.1.2 Tiền xử lý 40 3.1.3 Phát biển 43 3.1.4 Nhận dạng 57 3.1.5 Kết mô 59 3.1.6 Một số phương pháp tối ưu 59 -V- File rcS file cấu hình ứng dụng để tự khởi chạy lần khởi động hệ thống Ta chỉnh sửa file /etc/init.d/rcS để khởi tạo script ứng dụng sau: Trước hết ta telnet tới kit, với user: root, password: fa #telnet 192.168.1.230 #vi /etc/init.d/rcS is S'® gianyjlgiarna-utii - trnodprobe easycap 2>/dev/null nodprobe rtlfil92cu 2>/dev/null nodprobe ath9fc_hte 2>/dev/null nodprobe rt73usb 2>/dev/null nodprobe rt28Wusb Z>/dev/null nodprobe zdlZllrw 2>/dev/null nodprobe ltbert«s_sdto 2>/dev/nun /sbln/If coilfig lo 127.0.Ũ.1 /etc/irilt.d/ircoortg-ethe fa-network-service hdnl-servlce autostart * ft /opt/5COtK>ft/apli tools-service « /opt/3C«»H/ruo sb R */bln/qtopla fecho " • > /dev/tty1 ffecho 'Starting Qtopla please waiting " > /dev/ttyl a/hune/canera/appscrLpt a B/hone/rix/appiirtpt R ^one/canera2/appscript ft ô/conero_v2/app5crtpt ft /etc/init.d/rcs lW/lie 99% _ Hình 3.47 Chỉnh sửa file rcS Trong đó, /home/camera2/appscript ứng dụng ta - Chỉnh file appscript: File thiết lập môi trường, khởi chạy ứng dụng #vi /home/camera2/appscript ylongỌgtang 111 ỉ: expert ruS-EGSP-LAY-Li-iunFE::rfiljidth-IBS rirHeig!ht-iac report LO_L]BnAf;Y_fftTH=JUtr/lt& expert FATH-/bin:/ibiJi:/uir/btn/:/usr/sbin:/usr/local/bin flcac dong d'jot day la de xac đinh tro ling dung QT la đung touchscreen if [ -c /dsy/touchscrcEnxlialrc 11 then report QMi_NÕƠSE_PPOĩO="tslU:/dẽv7tnfwt/eve*ttO" if I J ■ I /etc/pDtỉitercal J ; then rn /etc/pointercal /usr/bin/ti_calibrate - else ’k export QUSMOLSEPRDTO- tilth:/dev/lnrxit/even to" n report QM5_KEirB=15 độ so với phương dọc thẳng đứng, phương ngang) - Ảnh chụp lúc di chuyển xe máy, rung tay: cho hình ảnh bị nhòe, blur - Ảnh chụp ngược sáng: chói sáng, thiếu sáng - Ảnh chụp biển báo cũ: sơn phai màu Đánh giá giải thuật máy tính: -95 - Biển báo bị chói nắng: Hình 4.1 Nhận diện biển báo bị chói nắng Biển báo có sơn bị phai mờ, bong tróc: Hình 4.2 Nhận diện biển báo có màu sơn mờ, bong tróc -96 - Biển báo trời tối sơn phai màu Hình 4.3 Nhận diện biển báo lúc trời tối, sơn phai màu Biển báo có viền trùng với màu nền: Hình 4.4 Nhận diện biển báo có viền trùng màu -97 - Biển báo màu sắc khơng đồng bóng râm Hình 4.5 Nhận diện biển báo ánh sáng khơng đồng đều, bóng râm Biển báo bị nhòe, mờ độ phân giải kém, ảnh hưởng di chuyển Hình 4.6 Nhận diện biển báo mờ, blur di chuyển -98 - Biển báo bị blur: □per Video Open Image Detection Hình 4.7 Nhận diện biển báo bị blur Hình 4.8 Nhận diện biển báo bị blur -99 - Stic Cpe" Camera Recognition contour Area Hình 4.9 Nhận diện biển báo bị blur Biển báo bị cong, móp méo Open Video Oper l í € ỉ) Tổng số - 104- 15 15 100% 15 100% 13 13 100% 13 100% 14 13 93% 13 100% 14 14 100% 14 100% 11 11 100% 11 100% 12 12 100% 12 100% 13 13 100% 13 100% 18 18 100% 18 100% 11 11 100% 11 100% 15 15 100% 15 100% 3816 3504 92% 3343 95% Đánh giá giải thuật kit thí nghiệm: Hệ thống gắn xe hình bên Hình 4.11 Thử nghiệm giải thuật kit Phương pháp thử nghiệm môi trường thực tế: - Phần mềm cài đặt sẵn kit, với kết nối với camera thông qua cổng USB - Hệ thống lắp đặt xe hình (Hình 4.11) Một số hình ảnh kết thử nghiệm trích xuất từ video thực nghiệm (trong thư mục video DVD luận văn) - 105 - Hình 4.13 Nhận diện biển báo giao thơng kít Phương pháp đánh giá mơi trường thí nghiệm: - Giúp tiết kiệm chi phí kiểm tra tất biển báo đề cập cách dễ dàng - 106- - Thực hiện: + Hình ảnh biển báo in giấy di chuyển trước camera + Camera quay lại hình ảnh biển báo hiển thị hên hình vi tính mặt thuật tốn xử lý phát nhận diện khơng có khác biệt so với xử lý máy tính, khác biệt tốc độ xử lý khác phần cứng (khác tốc độ CPU, dung lượng nhớ) Phần mềm kit thiết kế để capture video trực thời gian thực Sau số hình ảnh thể thời gian nhận diện biển báo theo thời gian thực: Hình 4.14 Thời gian phát nhận diện biển báo 127a Thời gian phát hiện: 46ms, thời gian nhận diện: 22ms - 107 - ... TÊN ĐỀ TÀI: HỆ THỐNG PHÁT HIỆN VÀ NHẬN DIỆN BIÊN BÁO GIAO THÔNG TRÊN KIT FRIENDLY ARM NHIỆM VỤ VÀ NỘI DUNG: Tìm hiểu, xây dựng giải thuật thiết kế hệ thống phát nhận diện biển báo giao thông Việt... 4.12 Nhận diện biển báo giao thông kit 105 Hình 4.13 Nhận diện biển báo giao thông kit 105 Hình 4.14 Thời gian nhận diện biển báo 124a - 23ms 106 Hình 4.15 Thời gian nhận diện biển. .. video biển báo giao thông Việt Nam 1.3 Một số thách thức giói hạn đề tài Biển báo giao thơng đường 2015 hay gọi hệ thống báo hiệu đường hệ thống biển báo đặt ven đường giao thông, biển báo giao thông