MẪU ĐỒ ÁN KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO ĐỒ ÁN CƠ SỞ 5 ĐỀ TÀI Ứng dụng trí tuệ nhân tạo trong nhận dạng, xử lý ảnh, video Ứng Dụng Nhận Diện Biển[.]
ĐẠI HỌC ĐÀ NẴNG KHOA CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG BÁO CÁO ĐỒ ÁN CƠ SỞ ĐỀ TÀI: Ứng dụng trí tuệ nhân tạo nhận dạng, xử lý ảnh, video - Ứng Dụng Nhận Diện Biển Báo Giao Thông MỞ ĐẦU Đào tạo bậc đại học hệ Kỹ sư yêu cầu sinh viên việc thành thạo kỹ lập trình việc hiểu rõ chất môn học để ứng dụng vào thực tiễn điều tất quan trọng Qua trình tiếp thu kiến thức học phần Xử lý ảnh nhờ hướng dẫn nhiệt tình Ths.Lê Thành Cơng nhóm em phần nắm kiến thức nâng cao Từ hình thành ý tưởng mục đích để nghiên cứu đề tài Ứng dụng việc nhận dạng biển báo giao thông cho học phần Đồ Án Cơ Sở Em xin gửi lời cảm ơn chân thành đến thầy cô Khoa nói chung Ths.Lê Thành Cơng nói riêng nhiệt tình giảng dạy vã hỗ trợ nhóm em thời gian qua để hoàn thành tốt đề tài cuối kỳ MỤC LỤC Chương TỔNG QUAN ĐỀ TÀI 1.1 Đặt vấn đề 1.2 Phạm vi đề tài 1.3 Phương pháp tiếp cận Chương NỀN TẢNG VÀ CÔNG NGHỆ .9 2.1 Hệ thống xử lý ảnh 2.2 Những vấn đề hệ thống xử lý ảnh 13 2.2.1 Điểm ảnh (Picture Element): 13 2.2.2 Định nghĩa: .13 2.2.3 Độ phân giải ảnh .14 2.2.4 Mức xám ảnh 14 2.2.5 Định nghĩa ảnh số 14 2.2.6 Quan hệ điểm ảnh 15 2.2.7 Các thành phần hệ thống xử lý ảnh .16 2.2.8 Lọc trung vị 18 Chương PYTHON VÀ THƯ VIỆN OPENCV .19 3.1 Giới thiệu Python 19 3.2 Phương pháp thực 20 3.3 Opencv 21 3.3.1 Giới thiệu OpenCV 21 Chương ỨNG DỤNG NHẬN DẠNG BIỂN BÁO GIAO THÔNG 22 4.1 Các bước tiến hành 22 4.1.1 Thiết lập hàm để tìm màu chủ đạo 22 4.1.2 Tiến hành lấy frame hình ảnh từ Camera 22 4.1.3 Đổi từ ảnh màu sang gray để tăng tốc độ tính tốn xử lý ảnh( Tiền xử lý) 23 4.1.4 Làm mờ để loại bỏ vịng trịn nhiễu khơng phải biển báo ( Tiền xử lý) 24 4.1.5 Dùng hàm HoughCircles để tìm hình trịn .24 4.1.6 Nhận dạng biển báo .24 4.1.7 Demo sản phẩm .25 Chương KẾT LUẬN VÀ HƯỚNG PHÁTTRIỀN 28 5.1 Kết luận 28 5.1.1 Kết 28 5.1.2 Hạn chế 28 5.2 Hướng phát triển 28 Chương TỔNG QUAN ĐỀ TÀI 1.1 Đặt vấn đề Hiện tuyến đường Việt Nam hầu hết có đặt biển báo giao thơng, nhằm thơng tin cho người lái xe biết điều phép, điều khơng phép, nguy hiểm xãy ra, hiệu lệnh phải thi hành hay hướng dẫn giúp cho người tham gia giao thông lái xe an tồn Nhưng tham gia giao thơng người lái xe cần tập trung lái xe để tránh gặp tai nạn giao thông gặp cố người lái xe đối phó kịp thời, việc liên tục quan sát biển báo giao thơng đặt bên đường khiến cho người lái xe khơng thể đối phó kịp thời cố đường gặp phải Ví dụ người lái xe chuẩn bị tới đoạn đường bị hư hỏng có nhiều hố sâu (hay cịn gọi ổ gà), đồng thời gần có đặt biển báo “được phép chạy với tốc độ tối đa 40 km/h”, phải quan sát biển báo nên người lái xe không thấy ổ gà, có khẳ gặp tai nạn Hoặc lý người lái xe không quan sát thấy biển báo đặt bên đường Ví dụ tuyến đường lúc lưu thơng có q nhiều xe nên biển báo bị che khuất thời điểm mà khoảng cách từ mắt người lái xe đến vị trí đặt biển báo Hoặc thị lực người lái xe không tốt nên quan sát, nhận biết biển báo khoảng cách xa, Nhận thấy việc quan sát nhận dạng biển báo để tuân thủ theo quy định lái xe cần thực tự động hố thơng báo cho người lái xe cần thiết Từ đó, đề tài “Nghiên cứu thư viện OpenCV – Ứng dụng việc nhận dạng biển báo giao thông” em lựa chọn nghiên cứu để áp dụng vào thực tế, thành công giúp cho người lái xe (xe gắn máy, xe ô tô) an toàn tham gia giao thông 1.2 Phạm vi đề tài Xây dựng hệ thống thông tin nhận dạng biển báo giao thơng từ video thời gian thực tích hợp xe, qua đoạn đường có đặt biển báo giao thông, gặp biển báo, nhận dạng biển báo video biển báo thơng báo hình hiển thị (hoặc thơng báo hệ thống âm hai) Trong phạm vi nghiên cứu, hệ thống nhận dạng vài biển báo hướng dẫn biển báo STOP 1.3 Phương pháp tiếp cận Việc phát nhận dạng biển báo video đơn giản hoá việc phát nhận dạng biển báo hình ảnh, chất video kết hợp nhiều hình ảnh lại với Để phát nhận dạng biển báo cần phải phân tích, xử lý trích xuất thơng tin cần thiết hình ảnh để phát có “sự xuất hiện” biển báo, sau tiến hành nhận dạng biển báo theo liệu quy định sẵn 10 Chương NỀN TẢNG VÀ CÔNG NGHỆ 2.1 Hệ thống xử lý ảnh Xử lý ảnh lĩnh vực mang tính khoa học cơng nghệ Nó ngành khoa học mẻ so với nhiều ngành khoa học khác tốc độ phát triển nhanh, kích thích trung tâm nghiên cứu, ứng dụng, đặc biệt máy tính chun dụng riêng cho Xử lý ảnh đưa vào giảng dạy bậc đại học nước ta khoảng chục năm Nó mơn học liên quan đến nhiều lĩnh vực cần nhiều kiến thức sở khác Đầu tiên phải kể đến Xử lý tín hiệu số mơn học cho xử lý tín hiệu chung, khái niệm tích chập, biến đổi Fourier, biến đổi Laplace, lọc hữu hạn… Thứ hai, công cụ tốn Đại số tuyến tính, Sác xuất, thống kê Một số kiến thứ cần thiết Trí tuệ nhân tao, Mạng nơ ron nhân tạo đề cập q trình phân tích nhận dạng ảnh Các phương pháp xử lý ảnh ứng dụng chính: nâng cao chất lượng ảnh phân tích ảnh Ứng dụng biết đến nâng cao chất lượng ảnh báo truyền qua cáp từ Luân đôn đến New York từ năm 1920 Vấn đề nâng cao chất lượng ảnh có liên quan tới phân bố mức sáng độ phân giải ảnh Việc nâng cao chất lượng ảnh phát triển vào khoảng năm 1955 Điều giải thích sau chiến thứ hai, máy tính phát triển nhanh tạo điều kiện cho trình xử lý ảnh sơ thuận lợi Năm 1964, máy tính có khả xử lý nâng cao chất lượng ảnh từ mặt trăng vệ tinh Ranger Mỹ bao gồm: làm đường biên, lưu ảnh Từ năm 1964 đến nay, phương tiện xử lý, nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng Các phương pháp tri thức nhân tạo mạng nơ ron nhân tạo, thuật toán xử lý đại cải tiến, công cụ nén ảnh ngày áp dụng rộng rãi thu nhiều kết khả quan Để dễ tưởng tượng, xét bước cần thiết xử lý ảnh Đầu tiên, ảnh tự nhiên từ giới thu nhận qua thiết bị thu (như Camera, máy chụp ảnh) Trước đây, ảnh thu qua Camera ảnh tương tự (loại Camera ống kiểu CCIR) Gần đây, với phát triển công nghệ, ảnh màu đen trắng lấy từ Camera, sau chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý (Máy ảnh số thí dụ gần gũi) Mặt khác, ảnh tiếp nhận từ vệ tinh; quét từ ảnh chụp máy qt ảnh Hình 1.1 mơ tả bước xử lý ảnh: 11 Hình 2.1 Các bước xử lý ảnh Sơ đồ bao gồm thành phần sau: a) Phần thu nhận ảnh (Image Acquisition) Ảnh nhận qua camera màu đen trắng Thường ảnh nhận qua camera ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, ảnh 25 dịng), có loại camera số hoá (như loại CCD – Change Coupled Device) loại photodiot tạo cường độ sáng điểm ảnh Camera thường dùng loại quét dòng ; ảnh tạo có dạng hai chiều Chất lượng ảnh thu nhận phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh) b) Tiền xử lý (Image Processing) Sau thu nhận, ảnh nhiễu độ tương phản thấp nên cần đưa vào tiền xử lý để nâng cao chất lượng Chức tiền xử lý lọc nhiễu, nâng độ tương phản để làm ảnh rõ hơn, nét c) Phân đoạn (Segmentation) Hay phân vùng ảnh Phân vùng ảnh tách ảnh đầu vào thành vùng thành phần để biểu diễn phân tích, nhận dạng ảnh Ví dụ: để nhận dạng chữ (hoặc mã vạch) phong bì thư cho mục đích phân loại bưu phẩm, cần chia câu, chữ địa tên người thành từ, chữ, số (hoặc vạch) riêng biệt để nhận dạng Đây phần phức tạp khó khăn xử 12 lý ảnh dễ gây lỗi, làm độ xác ảnh Kết nhận dạng ảnh phụ thuộc nhiều vào công đoạn 13 d) Biểu diễn ảnh (Image Representation) Đầu ảnh sau phân đoạn chứa điểm ảnh vùng ảnh (ảnh phân đoạn) cộng với mã liên kết với vùng lận cận Việc biến đổi số liệu thành dạng thích hợp cần thiết cho xử lý máy tính Việc chọn tính chất để thể ảnh gọi trích chọn đặc trưng (Feature Selection) gắn với việc tách đặc tính ảnh dạng thơng tin định lượng làm sở để phân biệt lớp đối tượng với đối tượng khác phạm vi ảnh nhận Ví dụ: nhận dạng ký tự phong bì thư, miêu tả đặc trưng ký tự giúp phân biệt ký tự với ký tự khác e) Nhận dạng nội suy ảnh (Image Recognition and Interpretation) Nhận dạng ảnh trình xác định ảnh Quá trình thường thu cách so sánh với mẫu chuẩn học (hoặc lưu) từ trước Nội suy phán đoán theo ý nghĩa sở nhận dạng Ví dụ: loạt chữ số nét gạch ngang phong bì thư nội suy thành mã điện thoại Có nhiều cách phân loai ảnh khác ảnh Theo lý thuyết nhận dạng, mơ hình tốn học ảnh phân theo hai loại nhận dạng ảnh bản: - Nhận dạng theo tham số - Nhận dạng theo cấu trúc Một số đối tượng nhận dạng phổ biến áp dụng khoa học công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng văn (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người… f) Cơ sở tri thức (Knowledge Base) Như nói trên, ảnh đối tượng phức tạp đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu Trong nhiều khâu xử lý phân tích ảnh ngồi việc đơn giản hóa phương pháp tốn học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận xử lý ảnh theo cách người Trong bước xử lý đó, nhiều khâu xử lý theo phương pháp trí tuệ người Vì vậy, sở tri thức phát huy Trong tài liệu, chương nhận dạng ảnh có nêu vài ví dụ cách sử dụng sở tri thức 14 2.2.7 Các thành phần hệ thống xử lý ảnh Hình2.4 Các thành phần hệ thống xử lý ảnh Theo quan điểm quy trình xử lý, thể khối Hình 1.1, khối chi tiết luồng thơng tin Hình 1.2 Theo quan điểm hệ thống xử lý máy tính số, hệ thống gồm đầu đo (thu nhận ảnh); số hóa ; máy tính số; Bộ hiển thị; Bộ nhớ Các thành phần không nhắc lại (đọc thêm giáo trình cấu trúc máy tính) Một hệ thống xử lý ảnh gồm: máy tính cá nhân kèm theo vỉ mạch chuyển đổi đồ hoạ VGA SVGA, đĩa chứa ảnh dùng để kiểm tra thuật tốn hình có hỗ trợ VGA SVGA Nếu điều kiện cho phép, nên có hệ thống Hình 1.4 bao gồm máy tính PC kèm theo thiết bị xử lý ảnh Nối với cổng vào thiết bị thu nhận ảnh video camera, cổng nối với hình Thực tế, phần lớn nghiên cứu đưa ảnh mức xám (ảnh đen trắng) Bởi vậy, hệ thống bao gồm thiết bị xử lý ảnh đen trắng hình đen trắng Ảnh mức xám áp dụng nhiều lĩnh vực sinh vật học công nghiệp Thực tế ứng dụng ảnh, mức xám ứng dụng ảnh màu Với lý đó, hệ thống ban đầu nên bao gồm cấc thiết bị thu nhận hiển thị ảnh đen trắng Với ảnh màu, nên sử dụng hệ thống Hình 1.3, trừ trường hợp bạn cần camera TV màu hình đa tần số (ví dụ NEC MultiSync, Sony Multiscan, Mitsubishi Diamond Scan) để hiển thị ảnh màu Nếu khả hạn chế, dùng PC kèm theo vỉ mạch VGA hình VGA 23 Hình 2.5 Một hệ thống xử lý ảnh 2.2.8 Lọc trung vị Lọc Trung vị kĩ thuật lọc phi tuyến (non-linear), hiệu hai loại nhiễu: nhiễu đốm (speckle noise) nhiễu muối tiêu (salt-pepper noise) Kĩ thuật bước phổ biến xử lý ảnh Ý tưởng thuật tốn lọc Trung vị sau: ta sử dụng cửa sổ lọc (ma trận 3×3) quét qua điểm ảnh ảnh đầu vào input Tại vị trí điểm ảnh lấy giá trị điểm ảnh tương ứng vùng 3×3 ảnh gốc “lấp” vào ma trận lọc Sau xếp điểm ảnh cửa sổ theo thứ tự (tăng dần giảm dần tùy ý) Cuối cùng, gán điểm ảnh nằm (Trung vị) dãy giá trị điểm ảnh xếp cho giá trị điểm ảnh xét ảnh đầu output Để sử dụng lọc trung vị OpenCV, ta dùng hàm: cv.medianBlur() 24