KHOA CÔNG NGHỆ THÔNG TIN ĐỀ TÀI 12 Ứng dụng kĩ thuật học máy trong nhận dạng biển báo giao thông Thành viên LỚP GIẢNG VIÊN PAGE 4 Hà Nội, 2021 Mục lục Mục lục 1 MỞ ĐẦU 2 1 Lý do chọn đề tài,ứng dụng kĩ thuật học máy trong nhận dạng biển báo giao thông
P KHOA CÔNG NGHỆ THÔNG TIN ********** ĐỀ TÀI 12: Ứng dụng kĩ thuật học máy nhận dạng biển báo giao thông Thành viên LỚP: GIẢNG VIÊN: Hà Nội, 2021 Mục lục MỞ ĐẦU Lý chọn đề tài Việt nam đất nước có hệ thống trị ổn định bậc khu vực giới, tình trạng khủng bố khơng có Thế tình trạng thiệt mạng tai nạn giao thơng lại cao, năm 2017, tồn quốc xảy 20.280 vụ tai nạn giao thông, làm chết 8.279 người, bị thương 17.040 người, thiệt hại kinh tế ước tính đến tỷ USD So với năm trước, số vụ tai nạn giao thông năm giảm 7% (Số vụ tai nạn giao thơng từ nghiêm trọng trở lên giảm 5,6%; số vụ va chạm giao thông giảm 8,3%); số người chết giảm 4,7%; số người bị thương giảm 9,6% số người bị thương nhẹ giảm 12,6% Nhìn vào số thống kê, bình quân ngày năm 2017, địa bàn nước xảy 55 vụ tai nạn giao thông, gồm 27 vụ tai nạn giao thơng từ nghiêm trọng trở lên 28 vụ va chạm giao thông, làm 23 người chết, 47 người bị thương Qua thống kê lượng người chết thiệt hại kinh tế, ta thấy mát lớn nhiều người nạn nhân trực tiếp hệ lụy, ảnh hưởng tai nạn giao thơng Từ tình hình thực tế giao thơng Việt Nam, có nhiều ngun nhân gây vụ tai nạn giao thông đường bộ, phần lớn tài xế không làm chủ tốc độ, thiếu quan sát không kịp nhận loại biển báo tín hiệu giao thơng Những mối nguy hiểm cảnh báo trước hệ thống biển báo giao thông tai nạn thường xun xảy ra, gây khơng thiệt hại tính mạng, tài sản người tham gia giao thông đặc biệt để lại hậu nặng nề cho gia đình, xã hội Cơng nghệ thơng tin ngày phát triển sôi động nhiều lĩnh vực tồn giới có Việt Nam, hầu hết hoạt động hàng ngày liên quan đến công nghệ thông tin Trong thực tế ngày nay, ứng dụng công nghệ thông tin đưa vào lĩnh vực kinh tế, trị, xã hội, quân sự…, hội phát triển đồng thời thách thức to lớn việc phát triển xã hội nói chung Cho đến nay, vấn đề nhiều nghiên cứu giới quan tâm Nhưng nghiên cứu chưa thực hiệu giao thông đường Việt Nam Trong đó, tình hình nghiên cứu biển báo giao thơng Việt Nam cịn nhiều hạn chế chưa đầy đủ 1.Mục đích nghiên cứu Nghiên cứu, tìm hiểu phương pháp nhận dạng, áp dụng vào nhận diện biển báo giao thông, xây dựng chương trình, cài đặt thực nghiệm chương trình phát nhận dạng biển báo giao thông đường từ hình ảnh tĩnh video thu về, sau hiển thị thơng tin cảnh báo dạng hình ảnh âm 2.Đối tượng phạm vi nghiên cứu Hệ thống biển báo giao thông đường Việt Nam gồm: - Hệ thống biển báo nguy hiểm - Hệ thống biển báo dẫn - Hệ thống biển cấm - Hệ thống biển hiệu lệnh 3.Phương pháp nghiên cứu Phương pháp lý thuyết Nghiên cứu lý thuyết học máy - Học có giám sát - Bán giám sát - Học không giám sát Nghiên cứu xử lý ảnh - Tiền xử lý - Thuật toán Viola – Jone Phương pháp thực nghiệm Xây dựng liệu: bước này, tiến hành thu thập liệu cách quay phim, chụp ảnh hệ thống biển báo giao thơng thực tế Tìm hiểu phương pháp phát biển báo giao thơng dựa trích chọn đặc trưng Haar-like kết hợp với tăng tốc Adaboost Tìm hiểu phương pháp nhận dạng biển báo giao thông đường bộ: Luận văn có sử dụng phương pháp phân tích thành phần Principal Components Analysis (PCA) để nhận dạng biển báo giao thơng Xây dựng mơ hình nhận dạng sử dụng thuật tốn Cài đặt chương trình thử nghiệm Đánh giá tỉ lệ nhận dạng Bố cục luận văn Phần mở đầu: Nêu lên lý chọn đề tài, đối tượng phạm vi nghiên cứu phương pháp nghiên cứu đề tài Phần nội dung: Chương 1: Tổng Quan Nghiên Cứu Chương trình bày lý thuyết xử lý ảnh, tổng quát phương pháp phổ biến trình phát nhận dạng đối tượng, học máy Chương 2: Mơ Hình Đề Xuất Trong Nhận Dạng Biển Báo Giao Thơng Chương trình bày ý tưởng đề tài, phát biểu tốn nhận dạng biển báo giao thơng trình bày tảng cơng nghệ, chi tiết thuật toán hỗ trợ việc phát nhận dạng biển báo bao gồm: Trích chọn đặc trưng Haar-like, tăng tốc Adaboost, phân tích thành phần PCA Chương 3: Thực Nghiệm Và Đánh Giá Kết Quả Chương mơ tả chương trình cài đặt , thực thực nghiệm đánh giá kết Sử dụng thư viện xử lý ảnh mã nguồn mở OpenCV để xây dựng chương trình Sau phân tích đánh giá kết nhận dạng Phần kết luận hướng phát triển đề tài CHƯƠNG TỔNG QUAN NGHIÊN CỨU Chương trình bày lý thuyết xử lý ảnh, tổng quát phương pháp phổ biến trình phát nhận dạng đối tượng, học máy 1.1.Tổng quan xử lý ảnh 1.1.1.Tổng quan xử lý ảnh Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu q trình xử lý ảnh ảnh “tốt hơn” kết luận T Ti ền xử lý hu nhận ảnh Ph ân đoạn ảnh Tác h đặc tính 1.1.1 Các trình xử lý ảnh Hình 1.2 Các giai đoạn xử lý ảnh 1.1.2.Ảnh biểu diễn ảnh 1.1.3.Phạm vi ứng dụng xử lý ảnh 1.2 Học máy 1.2.1 Tổng quan học máy Học máy lĩnh vực trí tuệ nhân tạo liên quan đến việc phát triển kĩ thuật cho phép máy tính “học” Cụ thể hơn, học máy phương pháp để tạo chương trình máy tính việc phân tích tập liệu 1.2.2.Các phương pháp học máy 1.2.1.1 Học không giám sát Nh ận dạng giải thích 1.2.1.2 Học có giám sát 1.2.1.3 Học bán giám sát 1.2.1.4 Học tăng cường 1.2.1.5 Các ứng dụng học máy 1.2.3.Các phương pháp nhận dạng đối tượng 1.2.2 Phương pháp Neural Networks (NN) 1.2.3 Phương pháp Support Vector Machine (SVM) 1.2.4 Phương pháp Linear Discriminant Analysis 1.2.5 Phương pháp Naive Bayes (NB) 1.2.6 Phương pháp Principal Component Analysis (PCA) 1.3 Kết chương Nội dung chương I trình bày nêu vấn đề tương đối chi tiết lý thuyết Xử lý ảnh, Học máy nêu ưu điểm nhược điểm cụ thể phương pháp nhận dạng đối tượng nghiên cứu trước áp dụng được, để thực nghiên cứu đề tài CHƯƠNG MƠ HÌNH ĐỀ XUẤT TRONG PHÁT HIỆN VÀ NHẬN DẠNG BIỂN BÁO GIAO THÔNG Chương trình bày ý tưởng đề tài phương pháp để xây dựng chương trình Trong phương pháp phát đối tượng, chọn sử dụng thuật tốn Viola-Jone thuật tốn đơn giản, hiệu 2.1 Mơ tả tốn Bài tốn mơ tả qua việc xây dựng mơ hình (Learning), phát (detecting), nhận dạng (Recognize) sau: + Xây dựng mô hình: Cho tập liệu biển báo giao thơng (có thể hình ảnh tĩnh video) nhãn tương ứng với liệu Xây dựng mơ hình nhận dạng (Các luật mơ hình xác suất) cho việc nhận dạng nhãn mẫu biển báo xác + Phát hiện: Dữ liệu đầu vào hình ảnh có chứa hình ảnh biển báo giao thơng Qua liệu học, hệ thống phát vùng ảnh chứa biển báo giao thông + Nhận dạng: Dữ liệu đầu vào mẫu biển báo phát Thơng qua mơ hình xây dựng, hệ thống trả nhãn biển báo Trong q trình nhận dạng, hệ thống gặp số khó khăn việc nhận dạng nhầm lẫn Ví dụ: Khi góc nhìn máy quay khác dẫn đến hình ảnh khác biển báo bị che lấp phần kết nhận dạng sai lệch Vì vậy, ngồi việc xây dựng mơ hình nhận dạng tiền xử lý trích chọn đặc tính giai đoạn quan trọng Thu thập liệu thực tế Hệ thống biển báo chuẩn luật giao thông đường Việt Nam Hậu xử lý Tiền xử lý ảnh Trích chọn đặc tính Kết nhận dạng Mơ hình phân loại nhận dạng Hình 2.1: Mơ hình tổng qt 2.2 Mơ hình tổng qt 2.3 Phương pháp đề xuất 2.3.1 Mơ hình phát Biển Báo Giao Thơng 2.3.1.1 Mơ hình phát +1 Nếu đầu vào biển báo ảnh 24x24 pixel Thuật tốn Viola-jones -1 Nếu đầu vào khơng phải biển báo Hình 2.2: Mơ hình phát 2.3.1.2 Thuật tốn Viola-jones Thuật tốn có bốn giai đoạn: Lựa chọn tính Haar (Haar-like) - Do Viola Jones công bố, gồm đặc trưng để xác định khuôn mặt người Mỗi đặc trưng Haar–like kết hợp hai hay ba hình chữ nhật "trắng" hay "đen" hình sau: Hình 1: đặt trưng Haar-like Hình : Tính Haar trông tương tự sống mũi áp dụng khn mặt Hình : Tính Haar trông tương tự vùng mắt tối má áp dụng khuôn mặt Dùng đặc trưng trên, ta tính giá trị đặc trưng Haar-like chênh lệch tổng pixel vùng đen vùng trắng công thức sau: f(x) = Tổng vùng đen (các mức xám pixel) - Tổng vùng trắng (các mức xám pixel) Sử dụng giá trị này, so sánh với giá trị giá trị pixel thô, đặc trưng Haar-like tăng/giảm thay đổi in-class/out-of-class (bên hay bên ngồi lớp khn mặt người), làm cho phân loại dễ Viola-jones chèn đặc trưng Haar-like lên toàn hình bạn - Khu vực giống nhận diện mặt bạn Cho nên có nhiều khu vực hình nhận mặt bạn Sau dùng ảnh ko giống để loại trừ vùng Cho nên trình training nhận dạng Adaboost, số lượng ảnh sai phải tuơng đối nhiều để loại trừ Tạo hình ảnh tích hợp - Như ta thấy rằng, để tính giá trị đặc trưng Haar-like, ta phải tính tổng vùng pixel ảnh Nhưng để tính tốn giá trị đặc trưng Haar-like cho tất vị trí ảnh địi hỏi chi phí tính tốn lớn, khơng đáp ứng cho ứng dụng địi hỏi tính run-time Do Viola Jones đưa khái niệm gọi Integral Image, mảng chiều với kích thước với kích ảnh cần tính đặc trưng Haar-like, với phần tử mảng tính cách tính tổng điểm ảnh phía (dịng1) bên trái (cột-1) Bắt đầu từ vị trí trên, bên trái đến vị trí dưới, phải ảnh, việc tính tốn đơn đựa phép cộng số nguyên đơn giản, tốc độ thực nhanh Hình 1: Cách tính Integral Image ảnh Đào tạo Adaboost - AdaBoost phân loại mạnh phi tuyến phức dựa hướng tiếp cận boosting Freund Schapire đưa vào năm 1995 Adaboost hoạt động nguyên tắc kết hợp tuyến tính weak classifiers để hình thành strong classifier - Viola Jones dùng AdaBoost kết hợp phân loại yếu sử dụng đặc trưng Haar-like theo mơ hình phân tầng (cascade) sau: Hình 1: : Mơ hình phân tần kết hợp phân loại yếu để xác định khôn mặt Bộ phân loại xếp tầng - Từ ảnh gốc ban đầu, ta tính Integral Image, mảng chiều với phần tử (x, y) tính tổng phần tử (x', y') với x' < x y' < y, mục đích để tính nhanh tổng giá trị mức xám vùng hình chữ nhật ảnh gốc Các vùng ảnh đưa qua hàm Haar để ước lượng đặc trưng, kết ước lượng đưa qua điều chỉnh AdaBoost để loại bỏ nhanh đặc trưng khơng có khả đặc trưng khn mặt người Chỉ có tập nhỏ đặc trưng mà điều chỉnh AdaBoost cho có khả đặc trưng khn mặt người chuyển sang cho định kết (là tập phân loại yếu có cấu trúc hình 5) Bộ định tổng hợp kết khuôn mặt người kết phân loại yếu trả khn mặt người 2.3.1.3 Thuật tốn Adaboost 2.3.1.4 Cascade 2.3.2 Mơ tả thuật tốn nhận diện biển báo Ý tưởng thuật tốn nhận dạng biển báo sau: Chúng ta xem xét hình biển báo điểm hệ khơng gian Hình ảnh biển báo đặt gần không gian Giả sử, có ảnh hai biển báo khác đại diện cho hình ảnh khơng gian (Mỗi ảnh coi điểm) Hình 2.22: Xem biển báo điểm khơng gian Nếu có hình đối tượng mới, cần tính tốn khoảng cách với điểm có sẵn chọn điểm điểm gần Hình 2.23: Khoảng cách điểm Bởi tất hình ảnh hình ảnh biển báo có kích thước khơng gian tương tự Việc tính tốn khoảng cách với kích thước gây lỗi dẫn đến kết khơng xác Vì cần phương pháp để loại bỏ không gian không cần thiết 2.3.3 Principal component analysis (PCA) 2.3.4 Khoảng cách mahalanobis 2.3.5 Chuyển đổi không gian vector 2.3.6 Các bước giảm chiều liệu 2.3.7 Tiến trình nhận dạng biển báo 2.4 Kết chương Nội dung chương trình bày ý tưởng đề tài, phát biểu toán nhận dạng biển báo giao thơng trình bày tảng cơng nghệ, chi tiết thuật tốn hỗ trợ việc phát nhận dạng biển báo bao gồm: Trích chọn đặc trưng Haar-like, tăng tốc Adaboost, phân tích thành phần PCA, tiến trình huấn luyện phát nhận dạng để áp dụng vào xây dựng chương trình nhận dạng biển báo giao thơng CHƯƠNG THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ Chương mơ tả chương trình cài đặt , thực thực nghiệm đánh giá kết 3.1 Tổ chức liệu Ảnh dùng trình huấn luyện phát biển báo gồm loại: Positive, Negative Vì nhóm biển báo có đặc điểm khác nên để huấn luyện nhận dạng nhóm biển báo hiệu lệnh nhóm biển báo cấm ta cần phải huấn luyện lần với liệu khác đặc trưng cho nhóm biển báo cần huấn luyện Bộ ảnh huấn luyện phát biển báo gồm: 5314 ảnh nhóm biển báo nguy hiểm, 4558 ảnh nhóm biển báo cấm với nhiều loại biển báo Bộ ảnh huấn luyện nhận dạng biển báo gồm: với loại biển báo cần nhận dạng có số lượng tối thiểu 10 ảnh lưu vào thư mục riêng đặt theo tên loại biển báo Bộ ảnh mẫu ảnh biển biển báo giao thông chuẩn Bộ Giao thông vận tải lưu với định dạng png kích thước 24x24 thư mục Data\signs 3.2 Thu thập liệu Biển báo giao thông Việt Nam chia thành nhóm: Nhóm biển dẫn, nhóm biển hiệu lệnh, nhóm biển báo cấm, nhóm biển báo nguy hiểm, nhóm biển phụ Trong ứng dụng Demo giới hạn thực phát nhận dạng nhóm biển báo hiệu lệnh nhóm biển báo cấm KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN Đã làm Tìm hiểu mơ hình để phát nhận dạng đối tượng biển báo cách sử dụng thuật toán hỗ trợ việc phát nhận dạng biển báo bao gồm: Trích chọn đặc trưng Haar-like, tăng tốc Adaboost, phân tích thành phần PCA Sử dụng cơng cụ hỗ trợ OpenCV để tiến hành cài đặt thực nghiệm Sau thời gian ngắn nghiên cứu xử lý ảnh, học máy tìm hiểu số sở lý thuyết áp dụng vào nhận dạng biển báo giao thông đường Việt Nam Tuy nhiên đề tài khó, nước chưa có cơng trình nghiên cứu khẳng định vượt trội hiệu quả, thời gian thực ngắn nên đề tài dừng lại mức độ nghiên cứu, nhiều vấn đề cần giải Hướng phát triển - Cải tiến chất lượng huấn luyện phát ảnh biển báo - Mở rộng sở liệu biển báo giao thông - Mở rộng nhận dạng nhóm biển báo nghiên cứu - Nâng cấp hồn thiện khả hệ thống trở thành hệ thống nhận dạng đưa cảnh báo tức thời cho người tham gia giao thơng chương trình hoàn chỉnh ... Datasigns 3. 2 Thu thập liệu Biển báo giao thông Việt Nam chia thành nhóm: Nhóm biển dẫn, nhóm biển hiệu lệnh, nhóm biển báo cấm, nhóm biển báo nguy hiểm, nhóm biển phụ Trong ứng dụng Demo giới... cho nhóm biển báo cần huấn luyện Bộ ảnh huấn luyện phát biển báo gồm: 531 4 ảnh nhóm biển báo nguy hiểm, 4558 ảnh nhóm biển báo cấm với nhiều loại biển báo Bộ ảnh huấn luyện nhận dạng biển báo. .. 2 .3. 1 .3 Thuật tốn Adaboost 2 .3. 1.4 Cascade 2 .3. 2 Mơ tả thuật tốn nhận diện biển báo Ý tưởng thuật toán nhận dạng biển báo sau: Chúng ta xem xét hình biển báo điểm hệ khơng gian Hình ảnh biển báo