TÌM HIỂU OPENCV và xây DỰNG PHẦN mềm NHẬN DẠNG BIỂN báo GIAO THÔNG TRÊN ANDROID

LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC TÌM HIỂU OPENCV VÀ XÂY DỰNG PHẦN MỀM NHẬN DẠNG BIỂN BÁO GIAO THÔNG TRÊN ANDROID Sinh viên thực hiện: Cán bộ hướng dẫn: Trần Hoàng Quốc Th.S Phan Phương Lan MSSV: 1091526 MSCB: 1232 Cán bộ phản biện: Th.S Trương Thị Thanh Tuyền (MSCB: 1068) Th.S Huỳnh Quang Nghi (MSCB: 2628) Luận văn được bảo vệ tại: Hội đồng chấm luận văn tốt nghiệp Bộ môn Công nghệ phần mềm. Khoa Công nghệ Thông tin, Trường Đại học Cần Thơ vào ngày 10 tháng 05 năm 2013 Có thể tìm hiểu luận văn tại: • Thư viện Khoa Công nghệ Thông tin, Trường Đại học Cần Thơ LỜI CẢM ƠN Gần 4 năm học tập tại trường ĐHCT, được sự truyền đạt tận tình của thầy cô cùng với sự giúp đỡ nhiệt tình của các bạn, hôm nay em đã hoàn thành được đề tài luận văn tốt nghiệp. Em xin chân thành cảm ơn quý thầy cô trường ĐHCT nói chung cũng như thầy cô khoa CNTT nói riêng đã tận tình giảng dạy và truyền đạt những kiến thức quý báo cho em trong suốt gần 4 năm qua. Đặc biệt là Cô Phan Phương Lan đã tận tình hướng dẫn em trong quá trình học và làm đề tài luận văn này. Do kiến thức còn hạn hẹp, thời gian tìm hiểu chưa sâu, chắc chắn bài báo cáo luận văn này không tránh khỏi những thiếu sót, hạn chế rất mong nhận được sự đóng góp của quý thầy cô để đề tài này ngày càng hoàn thiện hơn. Em xin gởi lời chúc sức khoẻ và lòng biết ơn sâu sắc đến quý thầy cô trường Đại Học Cần Thơ đã hướng dẫn, giúp đỡ em trong những năm qua. Xin dành những tình cảm chân thành nhất cho gia đình và cho người thân. Cuối cùng, xin gửi lời cảm ơn đến tất cả bạn bè đã gắn bó cùng tôi. Cần Thơ, tháng 012013 MỤC LỤC LỜI CẢM ƠN 1 NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN 2 NHẬN XÉT CỦA CÁN BỘ PHẢN BIỆN 3 MỤC LỤC 4 MỤC LỤC HÌNH ẢNH 6 KÝ HIỆU VÀ VIẾT TẮT 8 TÓM TẮT 9 ABSTRACT 10 TỪ KHÓA 11 CHƯƠNG 1: TỔNG QUAN 12 I. ĐẶT VẤN ĐỀ 12 II. LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ 12 III. PHẠM VI ĐỀ TÀI 12 IV. PHƯƠNG PHÁP NGHIÊN CỨU – HƯỚNG GIẢI QUYẾT 13 V. KẾ HOẠCH THỰC HIỆN 14 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 16 I. THƯ VIỆN XỬ LÝ ẢNH OPENCV 16 1. Giới thiệu Computer Vision 16 2. Lịch sử phát triển 17 3. Cấu trúc của OpenCV 18 4. OpenCV trên Android 18 II. NỀN TẢNG ANDROID 18 1. Lịch sử phát triển của Android 19 2. Các phiên bản Android và API của nó 19 3. Hệ thống hỗ trợ của Android 20 4. Các ứng dụng có sẵn trên Android 20 5. Kiến trúc của hệ thống Android 24 6. Các thành phần trong một dự án ứng dụng Android 26 III. PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO 30 1. Phát hiện biên ảnh bằng Canny 30 2. Kết hợp đặc trưng màu với phương pháp Canny 31 3. Dùng đặc trưng hình học để loại bỏ biên giả 32 4. Trích xuất vùng đặc trưng 32 IV. CÔNG CỤ NEUROPH STUDIO 2.6 34 1. Lịch sử phát triển 34 2. Chức năng 34 3. Tầm nhìn 35 CHƯƠNG 3: NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU 36 I. ĐẶC TẢ 36 1. Giới thiệu 36 2. Mô tả tổng quan 36 3. Các yêu cầu giao tiếp 39 4. Các tính năng của hệ thống 39 5. Các yêu cầu phi chức năng 46 II. THIẾT KẾ 46 1. Giới thiệu 46 2. Mô tả thiết kế hệ thống 47 3. Thiết kế dữ liệu 51 4. Thiết kế theo chức năng 53 KẾT LUẬN VÀ ĐỀ NGHỊ 60 I. KẾT LUẬN 60 1. Kết quả đạt được 60 2. Hạn chế 60 II. HƯỚNG PHÁT TRIỂN 60 TÀI LIỆU THAM KHẢO 61 MỤC LỤC HÌNH ẢNH Hình 1 – Logo của tổ chức OpenCV 16 Hình 2. Các hàm xử lý ảnh của OpenCV 17 Hình 3 – Lịch sử phiên bản của OpenCV 18 Hình 4 – Cấu trúc thư viện OpenCV 18 Hình 5 – Robot Android – Biểu tượng của Hệ điều hành Android 19 Hình 6 – Kiến trúc của Android 24 Hình 7 – Máy ảo Dalvik 26 Hình 8 – Kiến trúc file AndroidManifest.xml 27 Hình 9 – Trạng thái của ngăn xếp khi chưacs các Activity 29 Hình 10 – Vòng đời của một Activity. 30 Hình 11 – Không gian màu HSV 32 Hình 12 Quy trình của phương pháp phát hiện biển báo giao thông 33 Hình 13 – Lưu đồ thuật toán phát hiện biển báo. 33 Hình 14 – Các khái niệm cơ bản trong Neuroph 34 Hình 15 – Mô hình cấu trúc của Neuroph 35 Hình 16 – Một số biển báo cấm đường bộ Việt Nam (http:www.hcmct.edu.vn) 37 Hình 17 – Một số biển báo nguy hiểm đường bộ Việt Nam (http:www.hcmct.edu.vn) 38 Hình 18 – Một số biển báo hiệu lệnh đường bộ Việt Nam (http:www.hcmct.edu.vn) 38 Hình 19 – Mô hình thiết kế kiến trúc của hệ thống 47 Hình 20 – Mẫu biển báo cấm trong giao thông đường bộ Việt Nam. 48 Hình 21 – Mẫu biển báo nguy hiểm trong giao thông đường bộ Việt Nam 49 Hình 22 – Mẫu biển báo hiệu lệnh trong giao thông đường bộ Việt Nam 49 Hình 23 – Mẫu các biển báo cá biệt 49 Hình 24 – Chức năng Image Recognition của Neuroph Studio 50 Hình 25– Tập mẫu 125 biển báo kích thước 3030 pixel 50 Hình 26 – Thử nghiệm nhận dạng mẫu trên tập mẫu được huấn luyện 51

TRƯỜNG ĐẠI HỌC CẦN THƠ KHOA CÔNG NGHỆ THÔNG TIN & TT LUẬN VĂN TỐT NGHIỆP ĐẠI HỌC TÌM HIỂU OPENCV VÀ XÂY DỰNG PHẦN MỀM NHẬN DẠNG BIỂN BÁO GIAO THÔNG TRÊN ANDROID Sinh viên thực hiện: Cán hướng dẫn: Trần Hoàng Quốc Th.S Phan Phương Lan MSSV: 1091526 MSCB: 1232 Cán phản biện: Th.S Trương Thị Thanh Tuyền (MSCB: 1068) Th.S Huỳnh Quang Nghi (MSCB: 2628) Luận văn bảo vệ tại: Hội đồng chấm luận văn tốt nghiệp Bộ môn Công nghệ phần mềm Khoa Công nghệ Thông tin, Trường Đại học Cần Thơ vào ngày 10 tháng 05 năm 2013 Có thể tìm hiểu luận văn tại: • Thư viện Khoa Cơng nghệ Thơng tin, Trường Đại học Cần Thơ GVHD: ThS Phan Phương Lan SVTH: Trần Hoàng Quốc – MSSV: 1091526 LỜI CẢM ƠN Gần năm học tập trường ĐHCT, truyền đạt tận tình thầy với giúp đỡ nhiệt tình bạn, hơm em hoàn thành đề tài luận văn tốt nghiệp Em xin chân thành cảm ơn quý thầy cô trường ĐHCT nói chung thầy khoa CNTT nói riêng tận tình giảng dạy truyền đạt kiến thức quý báo cho em suốt gần năm qua Đặc biệt Cô Phan Phương Lan tận tình hướng dẫn em trình học làm đề tài luận văn Do kiến thức hạn hẹp, thời gian tìm hiểu chưa sâu, chắn báo cáo luận văn không tránh khỏi thiếu sót, hạn chế mong nhận đóng góp q thầy để đề tài ngày hoàn thiện Em xin gởi lời chúc sức khoẻ lòng biết ơn sâu sắc đến quý thầy cô trường Đại Học Cần Thơ hướng dẫn, giúp đỡ em năm qua Xin dành tình cảm chân thành cho gia đình cho người thân Cuối cùng, xin gửi lời cảm ơn đến tất bạn bè gắn bó tơi Cần Thơ, tháng 01-2013 Trần Hồng Quốc Đề tài: Tìm hiểu OpenCV xây dựng phần mềm nhận dạng biển báo giao thông Android Trang NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN  Cần Thơ, ngày 10, tháng 05, năm 2013 NHẬN XÉT CỦA CÁN BỘ PHẢN BIỆN  Cần Thơ, ngày 10, tháng 05, năm 2013 MỤC LỤC LỜI CẢM ƠN NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN NHẬN XÉT CỦA CÁN BỘ PHẢN BIỆN MỤC LỤC - MỤC LỤC HÌNH ẢNH - KÝ HIỆU VÀ VIẾT TẮT - TÓM TẮT - ABSTRACT 10 TỪ KHÓA - 11 CHƯƠNG 1: TỔNG QUAN 12 I ĐẶT VẤN ĐỀ 12 II LỊCH SỬ GIẢI QUYẾT VẤN ĐỀ - 12 III PHẠM VI ĐỀ TÀI - 12 IV PHƯƠNG PHÁP NGHIÊN CỨU – HƯỚNG GIẢI QUYẾT -13 V KẾ HOẠCH THỰC HIỆN -14 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT - 16 I THƯ VIỆN XỬ LÝ ẢNH OPENCV -16 Giới thiệu Computer Vision -16 Lịch sử phát triển 17 Cấu trúc OpenCV 18 OpenCV Android 18 II NỀN TẢNG ANDROID 18 Lịch sử phát triển Android - 19 Các phiên Android API 19 Hệ thống hỗ trợ Android 20 Các ứng dụng có sẵn Android - 20 Kiến trúc hệ thống Android 24 Các thành phần dự án ứng dụng Android -26 III PHƯƠNG PHÁP PHÁT HIỆN BIỂN BÁO -30 Phát biên ảnh Canny 30 Kết hợp đặc trưng màu với phương pháp Canny 31 Dùng đặc trưng hình học để loại bỏ biên giả 32 Trích xuất vùng đặc trưng 32 IV CÔNG CỤ NEUROPH STUDIO 2.6 34 Lịch sử phát triển 34 Chức - 34 Tầm nhìn 35 CHƯƠNG 3: NỘI DUNG VÀ KẾT QUẢ NGHIÊN CỨU 36 I ĐẶC TẢ -36 Giới thiệu - 36 Mô tả tổng quan 36 Các yêu cầu giao tiếp 39 Các tính hệ thống 39 Các yêu cầu phi chức 46 II THIẾT KẾ -46 Giới thiệu - 46 Mô tả thiết kế hệ thống -47 Thiết kế liệu - 51 Thiết kế theo chức 53 KẾT LUẬN VÀ ĐỀ NGHỊ - 60 I KẾT LUẬN -60 Kết đạt 60 Hạn chế 60 II HƯỚNG PHÁT TRIỂN 60 TÀI LIỆU THAM KHẢO - 61 MỤC LỤC HÌNH ẢNH Hình – Logo tổ chức OpenCV - 16 Hình Các hàm xử lý ảnh OpenCV - 17 Hình – Lịch sử phiên OpenCV 18 Hình – Cấu trúc thư viện OpenCV - 18 Hình – Robot Android – Biểu tượng Hệ điều hành Android - 19 Hình – Kiến trúc Android - 24 Hình – Máy ảo Dalvik 26 Hình – Kiến trúc file AndroidManifest.xml 27 Hình – Trạng thái ngăn xếp chưacs Activity 29 Hình 10 – Vòng đời Activity. - 30 Hình 11 – Không gian màu HSV 32 Hình 12 - Quy trình phương pháp phát biển báo giao thông 33 Hình 13 – Lưu đồ thuật tốn phát biển báo. - 33 Hình 14 – Các khái niệm Neuroph 34 Hình 15 – Mơ hình cấu trúc Neuroph 35 Hình 16 – Một số biển báo cấm đường Việt Nam (http://www.hcmct.edu.vn) - 37 Hình 17 – Một số biển báo nguy hiểm đường Việt Nam (http://www.hcmct.edu.vn) - 38 Hình 18 – Một số biển báo hiệu lệnh đường Việt Nam (http://www.hcmct.edu.vn) - 38 Hình 19 – Mơ hình thiết kế kiến trúc hệ thống - 47 Hình 20 – Mẫu biển báo cấm giao thông đường Việt Nam 48 Hình 21 – Mẫu biển báo nguy hiểm giao thông đường Việt Nam 49 Hình 22 – Mẫu biển báo hiệu lệnh giao thông đường Việt Nam 49 Hình 23 – Mẫu biển báo cá biệt - 49 Hình 24 – Chức Image Recognition Neuroph Studio 50 Hình 25– Tập mẫu 125 biển báo kích thước 30*30 pixel 50 Hình 26 – Thử nghiệm nhận dạng mẫu tập mẫu huấn luyện - 51 KÝ HIỆU VÀ VIẾT TẮT STT Ký hiệu từ viết tắt Diễn giải OpenCV Open Source Computer Vision Library – Thư viện xử lý hình ảnh nguồn mở Mạng noron Hay mạng noron nhân tạo, mơ hình tốn học hay mơ hình tính tốn xây dựng dựa mạng noron sinh học dùng để mô hình hóa mối quan hệ phức tạp liệu vào kết để tìm kiếm dạng/mẫu liệu Tập mẫu Là tập liệu huấn luyện phương pháp khác mạng noron dùng để phục vụ cho việc nhận dạng dạng/mẫu liệu TÓM TẮT -Hệ thống biển báo giao thông Việt Nam nhiều phức tạp Vì để ghi nhớ hiểu nghĩa khó khăn Mục đích đề tài xây dựng ứng dụng điện thoại thông minh cho phép người dùng tìm kiếm thơng tin biển báo cách trực quan Khi người dùng quay video chụp ảnh, chương trình tự động phát khu vực có biển báo sau hiển thị hình ảnh, tên thơng tin biển báo nhận dạng Ứng dụng phát triển tảng Android với mã nguồn mở thư viện xử lý ảnh OpenCV Nó nhận dạng biển báo giao thơng cách xử lý hình ảnh qua giải thuật Canny có kết hợp đặc trưng màu hình học để tăng độ xác giảm nhiễu cho ảnh sử dụng tập huấn luyện mẫu mạng noron với 125 biển báo khác Mô tả thiết kế hệ thống 2.1 Thiết kế kiến trúc Ứng dụng gồm mô đun Mỗi mô đun tương ứng với chức phần mềm: phát biển báo tay (chụp ảnh), phát biển báo tự động, đổi chế độ phát biển báo, nhận dạng biển báo, xem thông tin biển báo Tất liệu hệ thống nhận dạng lưu trữ tập huấn luyện mạng noron (còn gọi tập mẫu) nnet cập nhật từ phiên phát triển từ nhà phát triển Ngươi dùng sử dụng hệ thống sở liệu có sẵn bên phần mềm Thông tin tất biển báo lưu trữ tập tin xml, tập tin hiển thị thông tin biển báo sau q trình nhận dạng thơng qua tập mẫu nnet biển báo chọn để nhận dạng Hình 19 – Mơ hình thiết kế kiến trúc hệ thống 2.2 Mơ tả q trình nhận dạng biển báo Q trình nhận dạng biển báo giao thông chia thành giai đoạn: - Giai đoạn một: Giai đoạn thực việc thu hình ảnh biển báo giao thông cần nhận dạng Bước thu thập liệu hình ảnh từ camera thiết bị cách sử dụng chức chụp ảnh hay quay video ứng dụng Ảnh tùy theo điều kiện môi trường mà chất lượng ảnh khác - Giai đoạn hai - : Trong giai đoạn phát biển báo trích xuất vùng đặc trưng Bằng thuật toán Canny kết hợp đặc trưng màu hình học cụ thể biển báo giao thơng Việt Nam mà ứng dụng xử lý ảnh thu nhận từ bước một, lọc bỏ ảnh nền, phát trích xuất khu vực đặc trưng có khả hình ảnh biển báo Kết thu sau giai đoạn tập hình ảnh biển báo giao thơng lọc bỏ hình mà ứng dụng phát - Giai đoạn ba: Hình ảnh có khả biển báo giao thông thu giai đoạn trước xử lý nhận dạng Trước hết hình ảnh thay đổi kích thước lại theo mẫu chuẩn Mẫu chuẩn có kích thước 30*30 pixel lưu trữ vào nhớ thiết bị để phục vụ cho trình nhận dạng - Giai đoạn bốn: Chúng ta thực việc nhận dạng biển báo vừa phát thông qua tập mẫu mạng noron Tập kết đầu việc nhận dạng phụ thuộc vào chất lượng hình ảnh tập mẫu mạng noron biển báo huấn luyện trước Nếu chất lượng ảnh biển báo thu nhận vào có nhiều khác biệt so với tập mẫu huấn luyện kết nhận dạng 2.2.1 Thu nhận hình ảnh Giai đoạn hệ thống phát nhận dạng biển báo bước thu nhận ảnh Như trình bày, dù chụp hình hay quay phim thực chất đối tượng ta thu từ camera frame hình Hình ảnh liệu số hóa Có thể số yếu tố ngoại cảnh dẫn tới hình ảnh thu bị mờ nhiễu, bước đòi hỏi cần thực số thao tác nâng cao chất lượng ảnh Các thuật tốn áp dụng để nâng cao chất lượng ảnh bao gồm làm mịn ảnh thuật toán Smooth Gaussian, giảm mẫu (downsample) tăng mẫu (upsample) Gaussian Pyramid … Việc cài đặt giải thuật thư viện xử lý ảnh OpenCV hỗ trợ 2.2.2 Đặc trưng phát biển báo Mục đích giai đoạn tìm có hay khơng khu vực có đặc trưng giống mơ tả biển báo khung cảnh Sau từ liệu lọc bỏ tồn hình nền, trích xuất lại hình ảnh biển báo Để phát biển báo dựa đặc trưng biển báo giao thông Việt Nam - Biển báo cấm: thường biển báo có hình dạng tròn, viền đỏ, có số biển báo khơng có đặc trưng trên, số lượng Hình 20 – Mẫu biển báo cấm giao thông đường Việt Nam - Biển báo nguy hiểm: biển báo có dạng hình tam giác, viền đỏ, vàng, có số biển báo không giống mô tả trên, số lượng hạn chế Hình 21 – Mẫu biển báo nguy hiểm giao thông đường Việt Nam - Biển hiệu lệnh: biển báo có dạng hình tròn, xanh Hình 22 – Mẫu biển báo hiệu lệnh giao thông đường Việt Nam Tóm lại đặc trưng dùng để nhận dạng biển báo đối tượng có viền bao màu đỏ màu xanh, dạng hình học hình tròn (hoặc eclipse lệch góc nhìn), hình tam giác Ngồi biển báo hướng dẫn dạng hình chữ nhật, hay biển báo có tính cá biệt q cao không sử dụng để nhận dạng luận văn Hình 23 – Mẫu biển báo cá biệt 2.2.3 Xử lý trước nhận dạng Đây trình biến đổi liệu ảnh thu bước trích xuất vùng đặc trưng thành kiểu liệu hợp lý, làm input đầu vào cho mạng noron Sau có liệu ảnh, thay đổi kích thước ảnh kích thước mẫu 30*30 pixel lưu trữ vào nhớ thiết bị với tên bienbao.jpg 2.2.4 Quá trình nhận dạng Quá trình nhận dạng sử dụng tập mẫu mạng noron huấn luyện từ công cụ Neuroph Studio 2.6 Neuroph Studio dễ dàng tải trang chủ ứng dụng với thư viện hỗ trợ nhận dạng cho dự án (http://neuroph.sourceforge.net/) Tập mẫu sử dụng chức Image Recognition công để huấn luyện cho mạng noron Hình 24 – Chức Image Recognition Neuroph Studio Tập huấn luyện mạng sử dụng 125 biển báo mẫu với kích thước 30*30 pixel Các thông số đầu vào đầu sử dụng mặc định theo cơng cụ có sẵn hỗ trợ Hình 25– Tập mẫu 125 biển báo kích thước 30*30 pixel Hình 26 – Thử nghiệm nhận dạng mẫu tập mẫu huấn luyện Sau huấn luyện thành công, tập mẫu mạng noron biển báo lưu lại với tập tin dạng nnet để sử dụng dễ dàng cho dự án Ứng dụng nhận dạng biển báo giao thông sử dụng tập mẫu tạo bên để nhận dạng biển báo lưu nhớ máy sau trình xử lý trước nhận dạng trước Thiết kế liệu Dữ liệu lưu trữ tập tin nnet bao gồm tập hợp mẫu đầu vào kết đầu mong muốn tương ứng với mẫu đầu vào Các mạng noron điều chỉnh trọng số liên kết để tìm hiểu mối quan hệ cặp đầu vào - đầu Mạng noron huấn luyện thành cơng sử dụng để tìm đầu phù hợp đầu vào hợp lệ Dữ liệu thông tin biển báo lưu trữ tập tin xml gồm thông tin biển báo giao thông quy định xử phạt biển báo vi phạm Chi tiết liệu tập huấn luyện mạng (tập mẫu) thể qua mơ hình: Trong đó: + Input: Tập liệu mẫu đầu vào biển báo + Hidden: Lớp ẩn mạng Noron + Output: Tập liệu đầu mẫu - Chi tiết sở liệu thơng tin biển báo: Trong đó: + Data: Tag liệu tổng thể chứa toàn liệu biển báo + Item: Tag liệu biển báo lưu trữ + Name: Tag tên biển báo + Image: Tag tên tập tin hình ảnh thể biển báo + Content: Tag chứa nội dung dẫn biển báo + Rule: Tag quy định xử phạt người tham gia giao thông vi phạm biển báo Thiết kế theo chức 4.1 Phát biển báo tay • Mục đích: Cung cấp cho người dùng giao diện chế độ phát biển báo tay (chụp ảnh) sử dụng ứng dụng • Giao diện: • Các thành phần giao diện: STT Loại điều khiển Tên điều khiển Nội dung thực CustomSlider cusZoomSlider Cho phép kéo trượt để zoom hình ảnh ImageView imgFocusImage Focus hình ảnh ImageButton btnCaptureButton Chụp hình • Cách xử lý: • Các ràng buộc: 4.2 Phát biển báo tự động • Mục đích: Cung cấp cho người dùng giao diện chế độ phát biển báo tự động (quay video) sử dụng ứng dụng • Giao diện: • Các thành phần giao diện: STT Loại điều khiển Tên điều khiển Nội dung thực TextView tvFPS Hiển thị số Frame/giây ImageView imgFocusImage Focus hình ảnh • Cách xử lý: • Các ràng buộc: 4.3 Đổi chế độ phát • Mục đích: Cho phép người dùng thay đổi chế độ phát chế độ: Phát biển báo tay (chụp ảnh), phát biển báo tự động (quay video) • Giao diện: • Các thành phần giao diện: STT Loại điều khiển Tên điều khiển Nội dung thực MenuItem mItemManual Chọn chế độ phát tay MenuItem mItemAuto Chọn chế độ phát tự động • Cách xử lý: • Các ràng buộc: 4.4 Nhận dạng biển báo • Mục đích: Cung cấp chức cho người dùng yêu cầu ứng dụng nhận dạng biển báo phát trình thu thập biển báo • Giao diện: • Các thành phần giao diện: STT Loại điều khiển Tên điều khiển Nội dung thực TextView txtName Hiển thị tên biển báo TextView txtContent Hiển thị nội dung biển báo Đề tài: Tìm hiểu OpenCV xây dựng phần mềm nhận dạng biển báo giao thông Android Trang 57 TextView txtRule Hiển thị quy định xử phạt biển báo ImageView ivImage Hình ảnh biển báo nhận dạng • Cách xử lý: Trong đó: A bước xử lý phát biện báo phát tự thủ công tự động trước • Các ràng buộc: 4.5 Xem danh sách biển báo • Mục đích: Cung cấp chức cho người chi tiết biển báo nhóm biển báo (biển báo cấm, biển báo nguy hiểm biển báo hiệu lệnh) gồm thông tin: + Hình ảnh biển báo + Tên biển báo + Nội dung biển báo + Hình thức xử phạt vi phạm biển báo (Chỉ có biển báo cấm) • Giao diện: Đề tài: Tìm hiểu OpenCV xây dựng phần mềm nhận dạng biển báo giao thơng Android Trang 58 • Các thành phần giao diện: STT Loại điều khiển Tên điều khiển Nội dung thực ImageButton imageButton1 Menu biển báo cấm ImageButton imageButton2 Menu biển báo nguy hiểm ImageButton imageButton3 Menu biển báo hiệu lệnh ImageView imgViewLogo Hình ảnh biển báo Listview TextView txtViewTitle Tên biển báo Listview TextView txtViewDescription Nội dung biển báo Listview • Cách xử lý: • Các ràng buộc: KẾT LUẬN VÀ ĐỀ NGHỊ I KẾT LUẬN Kết đạt 1.1 Chương trình Chương trình hoàn thành chức việc nhận dạng biển báo giao thông đường Việt Nam Thống kê danh sách biển báo theo nhóm biển báo khác nhau, giúp người dùng dễ dàng tìm kiếm Giúp người dùng dễ dàng việc sử dụng tìm hiểu quy định mức xử phạt biển báo tương ứng vi phạm 1.2 Người thực Trong q trình thực đề tài này, tơi học cách xếp công việc, lên lịch làm việc cụ thể tích lũy nhiều kinh nghiệm quy trình phát triển phần mềm Bên cạnh đó, nâng cao kỉ mềm, kĩ lập trình ứng dụng cho thiết bị di động tảng hệ điều hành Androi, kỹ sử dụng thư viện mở OpenCV để thực việc xử lý hình ảnh thư viện Neuroph để nhận dạng đối tượng dễ dàng Hạn chế - Giao diện xử lý nhận dạng biển báo giao thơng chưa đẹp bắt mắt - Thư viện OpenCV phụ thuộc vào thiết bị phần cứng phần mềm nên hạn chế việc sử dụng cho thiết bị khác phiên Android - Do sử dụng mạng noron để nhận dạng biển báo lập trình tảng hệ điều hành di động Android nên việc nhận dạng chậm khơng xác cao chất lượng ảnh thu nhận so với tập mẫu huấn luyện - Chưa phát biển báo nguy hiểm biển báo hiệu lệnh II HƯỚNG PHÁT TRIỂN - Cải tiến thêm giải thuật xử lý ảnh để thu nhận hình ảnh chất lượng tốt - Cải tiến giải thuật để ứng dụng phát biển bào nguy hiểm biển báo hiệu lệnh - Cải tiến tập mẫu để ứng dụng nhận dạng nhanh chóng xác - Tích hợp Bộ luật Giao thơng đường - Bổ sung thêm tính tìm kiếm biển báo liên quan đến nội dung người dùng cần tìm TÀI LIỆU THAM KHẢO [1] TS Phạm Việt Bình, TS Đỗ Năng Tồn Giáo trình mơn học Xử lý ảnh Khoa Công nghệ Thông tin – Đại học Thái Nguyên, 2007 [2] PGS.TS Nguyễn Quang Hoan Giáo trình Xử lý ảnh Học viện Cơng nghệ Bưu Viễn thơng, 2006 [3]Lê Thanh Tâm, Trần Thái Sơn, Seichii Mita Phát phân loại biển báo giao thông dựa SVM thời gian thực Khoa Công nghệ thông tin – Đại học Khoa Học Tự Nhiên TP.HCM, Học viện Công nghệ Toyota, Nhật Bản, 2009 [4] Th.S Trương Thị Ngọc Phượng Lập trình Android Khoa Cơng nghệ Thông tin – Đại học Sư phạm Kỹ thuật TP.HCM, 2012 [5] Luis David Lopez, Olac Fuentes Color-Based Road Sign Detection and Tracking Khoa Khoa học Máy tính – Đại họcTexas, Mỹ [6] Gary Bradski, Adrian Kaehler Learning OpenCV: Computer Vision with the OpenCV Library O’Reilly Media, Inc, 2008 [7]Android Developers http://developer.android.com/develop/index.html [8] OpenCV Tutorials http://docs.opencv.org/trunk/doc/tutorials/tutorials.html [9] Java Neural Network Framework Neuroph http://neuroph.sourceforge.net/documentation.html [10] Bộ Giao thông vận tải Thông tư số 17/2012/TT-BGTVT: Ban hành “Quy chuẩn kỹ thuật quốc gia báo hiệu đường bộ” [11] Chính phủ Nghị định số Số: 34/2010/NĐ-CP: Quy định xử phạt vi phạm hành lĩnh vực giao thơng đường [12] Chính phủ Nghị định số Số: 71/2012/NĐ-CP: Sửa đổi, bổ sung số điều Nghị định số 34/2010/NĐ-CP ngày 02 tháng 04 năm 2010 Chính phủ quy định xử phạt vi phạm hành lĩnh vực giao thông đường [13] Mẫu đặc tả yêu cầu phần mềm V1 Bộ môn Công Nghệ Phần Mềm - Khoa Công nghệ Thông tin & Truyền thông - Đại học Cần Thơ [14] Th.S Phan Tấn Tài, KS Trần Nguyễn Minh Thái, KS Nguyễn Thanh Hải, KS Nguyễn Thị Thu An Giáo trình Phân tích thiết kế Hệ thống thông tin Bộ môn Hệ thống Thông tin - Khoa Công nghệ Thông tin & Truyền thông - Đại học Cần Thơ, 2010 [15] Nguyễn Bá Chung, Đỗ Trường Giang Khóa luận “Xây dựng ứng dụng nhận dạng biển báo giao thông thiết bị di động” Khoa Công nghệ Phần mềm – Đại học Công nghệ Thông tin – Đại học Quốc gia TP.HCM, 2012 ... tài liệu báo cáo • Soạn slide báo cáo 17 - 18 22/04/2013 – 28/04/2013 • Tiến hành bảo vệ Luận Văn trước Hội đồng Đề tài: Tìm hiểu OpenCV xây dựng phần mềm nhận dạng biển báo giao thông Android. .. Ngồi ra, nhiều phần mềm khác ứng dụng cơng nghệ nhận dạng Về phần mềm dùng để nhận dạng biển báo giao thơng, có số phần mềm ứng dụng sử dụng xe thông minh tự lái xe taxi để đưa cảnh báo cho người... gắn bó tơi Cần Thơ, tháng 01-2013 Trần Hồng Quốc Đề tài: Tìm hiểu OpenCV xây dựng phần mềm nhận dạng biển báo giao thông Android Trang NHẬN XÉT CỦA CÁN BỘ HƯỚNG DẪN 