Ứng dụng kỹ thuật học sâu trong phát hiện và đếm lưu lượng xe máy

Ngày nay các vấn đề trong giao thông đô thị ngày càng trở nên cấp bách đặc biệt ở các thành phố đông dân cư Việc nghiên cứu xử lý hình ảnh video hỗ trợ quan sát thống kê dự báo trong lĩnh vực giao thông ngày càng có ý nghĩa quan trọng Trong luận văn này tôi đề xuất giải pháp đếm lưu lượng xe máy tại một số tuyến đường trong nội thành thành phố Đà Nẵng Quá trình xử lý bao gồm các bước 1 xây dựng cơ sở dữ liệu đầu vào 2 sử dụng công cụ gán nhãn hình ảnh 3 huấn luyện cơ sở dữ liệu đã gán nhãn bằng kỹ thuật học sâu Kết quả thực nghiệm trên các video giao thông quan sát được gắn trên địa bàn thành phố Đà Nẵng mang lại kết quả hứa hẹn

ĐẠI HỌC ĐÀ NẴNG TRƯỜNG ĐẠI HỌC BÁCH KHOA DƯƠNG THỊ DỊU ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ ĐẾM LƯU LƯỢNG XE MÁY Chuyên ngành: Khoa học máy tính Mã số: 8480101 TĨM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Đà Nẵng - Năm 2019 Cơng trình hồn thành TRƯỜNG ĐẠI HỌC BÁCH KHOA Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng Phản biện 1: PGS.TS Nguyễn Thanh Bình Phản biện 2: TS Trần Thế Vũ Luận văn bảo vệ trước Hội đồng chấm Luận văn tốt nghiệp thạc sĩ khoa học máy tính họp Trường Đại học Bách khoa vào ngày 25 tháng năm 2019 Có thể tìm hiểu luận văn tại: - Trung tâm Học liệu, Đại học Đà Nẵng Trường Đại học Bách khoa; - Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa - ĐHĐN MỞ ĐẦU Lý chọn đề tài Giao thông vấn đề lớn đô thị lớn nước Việt Nam nói chung Trong năm gần đây, với phát triển kinh tế - xã hội, nhiều cơng trình giao thơng xây dựng khắp Việt Nam để đáp ứng nhu cầu lại, đồng thời đáp ứng gia tăng không ngừng số lượng phương tiện tham gia giao thông Chúng ta phải đối mặt với vấn đề cấp bách giao thông, đặc biệt tai nạn giao thông ùn tắc giao thông nhiều thành phố lớn Để giải vấn đề này, cố gắng bước xây dựng hệ thống giao thông đồng áp dụng khoa học kỹ thuật hệ thống điều khiển giao thông Xử lý nhận dạng lĩnh vực từ lâu nhiều người quan tâm, ứng dụng nhiều lĩnh vực như: - Trong y học, cải thiện ảnh X-quang nhận dạng đường biên mạch máu từ ảnh chụp tia X, ứng dụng vào xét nghiệm lâm sàng phát nhận dạng u não, nội soi cắt lớp … - Trong thiên văn học, hệ thống chụp hình gắn tàu vũ trụ hạn chế kích thước trọng lượng, chất lượng hình ảnh nhận bị giảm, ảnh bị mờ méo hình học nhiễu - Trong lĩnh vực công nghiệp, người máy ngày đóng vai trị quan trọng Chúng giúp người thực cơng việc nguy hiểm, địi hỏi có tốc độ độ xác cao vượt khả người Người máy trở nên tinh vi thị giác máy tính đóng vai trị quan trọng Người ta khơng địi hỏi người máy phát nhận dạng phận công nghiệp mà cịn phải “hiểu” chúng “thấy” đưa hành động phù hợp Xuất phát từ yêu cầu thực tiễn chọn đề tài “Ứng dụng kỹ thuật học sâu phát đếm lưu lượng xe máy” Dù cố gắng hoàn thành báo cáo tránh khỏi sai sót tơi mong nhận ý kiến đánh giá thầy cô bạn để tơi hồn thiện đề tài cách tốt Mục tiêu nhiệm vụ 2.1 Mục tiêu Mục tiêu luận văn ứng dụng kỹ thuật học sâu để phát đếm xe máy video giao thông 2.2 Nhiệm vụ Từ mục tiêu đề tài, luận văn tập trung nghiên cứu nhiệm vụ sau: - Tìm hiểu kỹ thuật học sâu; - Tìm hiểu thư viện cài đặt cho mơ hình học sâu; - Sử dụng cơng cụ đánh nhãn để đánh nhãn xe máy video giao thơng; - Huấn luyện xây dựng mơ hình nhận dạng, đếm xe máy Đối tượng phạm vi nghiên cứu 3.1 Đối tượng - Dữ liệu thu từ camera liệu tự xây dựng; - Các phương pháp huấn luyện học máy; - Các phương pháp nhận dạng xe máy 3.2 Phạm vi nghiên cứu Nghiên cứu phân tích liệu từ camera từ liệu có sẵn, phát xe máy đếm xe Phương pháp nghiên cứu 4.1 Phương pháp nghiên cứu tài liệu - Tìm hiểu kỹ thuật xử lý ảnh; - Tìm hiểu tài liệu có phát đếm xe 4.2 Phương pháp thực nghiệm - Xây dựng liệu; - Thực nghiệm mơ hình; - Phân tích, đánh giá kết Ý nghĩa khoa học thực tiễn - Về khoa học: Áp dụng phương pháp học sâu để phát đếm xe máy - Về thực tiễn: Hỗ trợ xác định lưu lượng xe máy tham gia giao thông đường, giúp giải số vấn đề giao thông Bố cục luận văn Nội dung luận văn trình bày với phần sau: Chương - Tổng quan Chương - Giải pháp triển khai Chương - Triển khai thực nghiệm đánh giá kết Kết luận hướng phát triển CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề Nước ta có số lượng lớn phương tiện xe máy, xe gắn máy lưu thơng Tình hình ùn tắc giao thơng thường xuyên xảy nhiều nơi Vậy để phân tích lưu lượng xe đoạn đường, từ đưa giải pháp tránh ùn tắc điều chỉnh thời gian đèn báo giao thông dựa vào lưu lượng xe, giải pháp để hạn chế vấn đề ùn tắc Việc nhận diện xe bước việc thu thập liệu để lập nên giải pháp cho vấn đề nan giải Bài toán đặt đưa vào video giao thơng có phương tiện xe máy, đầu đưa kết nhận diện xe máy đường Từ áp dụng cho tốn lớn 1.2 Những nghiên cứu liên quan Trong năm gần đây, hệ thống phát nhận dạng đối tượng áp dụng vào nhiều lĩnh vực hệ thống thông minh siêu thị thông minh, máy bán hàng tự động, hệ thống giám sát an ninh, tương tác người - máy thông minh nhiều ứng dụng công nghiệp khác Trong lĩnh vực nghiên cứu giao thơng, có số nghiên cứu việc giám sát nhận dạng phương tiện giao thông Trong phạm vi luận văn, tác giả xin giới thiệu số nghiên cứu sau: Luo-Wei Tsai cộng [1], phát phương tiện sử dụng màu sắc chuẩn hóa đồ biên L Tsai đưa phương pháp biến đổi để tìm “màu xe” từ hình ảnh để định vị ứng viên cách nhanh chóng Họ cịn trình bày hệ thống phát từ phía sau theo thời gian thực sử dụng phương pháp dựa độ dốc phân loại Adaboost cho ứng dụng ACC Các kết thực nghiệm cho thấy phương pháp thực hiệu ảnh tĩnh với độ xác trung bình 94.5% Độ xác phát phương tiện di chuyển chưa cao A Khammari cộng [2] phát phương tiện kết hợp phân tích độ dốc phân loại AdaBoost A Khammari giới thiệu hệ thống phát từ phía sau theo thời gian thực sử dụng phương pháp dựa độ dốc phân loại Adaboost cho ứng dụng ACC Thuật tốn phát bao gồm hai bước chính: tạo giả thuyết dựa độ dốc xác minh giả thuyết dựa ngoại hình Tạo giả thuyết sử dụng ngưỡng phụ thuộc phạm vi thích ứng đối xứng để định vị tối đa độ dốc Xác thực giả thuyết dựa sử dụng AdaBoost để phân loại với phân loại độc lập với độ sáng Hệ thống mắt thử nghiệm theo kịch giao thông khác (ví dụ: đường cao tốc có cấu trúc đơn giản, môi trường đô thị phức tạp, điều kiện ánh sáng khác nhau), kết hiệu suất tốt Hệ thống thường không nhận diện phương tiện cách xa 60m Zhiquan Ren công cụ [3] phát phương tiện dựa sử dụng smartphone Android R Zhiquan v.v trình bày cơng nghệ di động sử dụng điện thoại thông minh để phát xe trước Cơng nghệ sử dụng camera phía sau smartphone Android để chụp ảnh cảnh lái xe, sau sử dụng thuật tốn thị giác máy tính tiên tiến để phát theo dõi xe trước Với tài ngun tính tốn hạn chế điện thoại thơng minh, thuật tốn đạt tốc độ lấy mẫu cao khoảng 7Hz, đủ nhanh cho ứng dụng thực tế Denis Kleyko cộng [4] so sánh kỹ thuật học máy để phân loại xe cảm biến bên đường D Kleyko v.v đưa so sánh thuật toán học máy khác để phân loại phương tiện Tập liệu họ bao gồm 3074 mẫu Hồi quy logistic, mạng nơ ron máy vector hỗ trợ sử dụng để phân loại Theo kết [10] hồi quy logistic cho thấy hiệu suất tốt số phương pháp học máy khác với tỷ lệ phân loại trung bình liệu xác nhận đạt 93,4% Vấn đề gặp phải tập liệu Nó lệch nhiều lớp gây khó khăn cho việc phân tích việc phân loại Zezhi Chen cộng [5] so sánh hệ thống phân loại, cách phân loại xe cách sử dụng thơng số kích thước hình dạng Phân loại dùng cho bốn loại phương tiện (xe máy, xe tải, xe buýt xe đạp/ xe máy) thực theo hai cách tiếp cận khác nhau: hai phân loại dựa tính (SVM rừng ngẫu nhiên (Random Forest - RF)) phương pháp dựa mơ hình Nghiên cứu cho thấy SVM vượt trội so với RF, với độ xác phân loại cuối 96,26% Số lượng phân loại sai sót cao xảy xe xe tải, đặc điểm kích thước hình dạng thể tương đồng đáng kể Muhammad Asif Manzoor cộng [6] đề xuất phương pháp dựa máy vectơ hỗ trợ (SVM) tuyến tính để giải vấn đề Việc trích xuất đặc điểm hiển thị điểm đặc trưng phép biến đổi đặc điểm khơng phụ thuộc phạm vi (SIFT) sử dụng Mơ hình túi từ sử dụng để phân loại Phương pháp đề xuất thử nghiệm dựa liệu NTOUMMR cho thấy tỷ lệ xác trung bình 89% Bộ liệu chứa hình ảnh xe trực diện Qua nghiên cứu trên, ta thấy phương pháp, kết nghiên cứu có ý nghĩa thực tiễn với độ xác tương đối, nhiên phương pháp có hạn chế định tốn nhiều tài ngun Vì vậy, cần phương pháp có tốc độ xử lý nhanh độ xác tốt cách ứng dụng kỹ thuật Học sâu để nhận dạng đếm xe máy 1.3 Kỹ thuật học sâu 1.3.1 Tổng quan học sâu Học sâu (deep learning) nhánh ngành máy học, dựa tập hợp thuật tốn để cố gắng mơ hình liệu để trừu tượng hóa mức cao cách sử dụng nhiều lớp xử lý với cấu trúc phức tạp, cách khác bao gồm nhiều lớp biến đổi phi tuyến để trích tách đặc trưng chuyển đổi [12] Mỗi lớp dùng đâu lớp trước làm đầu vào Các thuật toán giám sát khơng cần giám sát ứng dụng bao gồm mơ hình phân tích (khơng giám sát) phân loại (giám sát) Một phương pháp học sâu thành công mơ hình mạng nơ-ron nhân tạo (Arificial Neural Network) [12] Mạng nơ-ron nhân tạo lấy cảm hứng từ mơ hình sinh học năm 1959 đề xuất người đoạt giải Nobel David H Hubel & Torsten Wiesel, người tìm thấy hai loại tế bào vỏ não thị giác chính: tế bào đơn giản tế bào phức tạp Mạng nơ-ron nhân tạo kết hợp tầng perceptron hay gọi perceptron đa tầng (multilayer perceptron) hình bên dưới: Hình 1.5: Mạng nơ-ron nhân tạo Kiến trúc chung mạng nơ-ron nhân tạo bao gồm thành phần: Lớp đầu vào, Lớp ẩn Lớp đầu 1.3.2 Mạng nơ-ron tích chập – Convolutional neural network (CNN) Convolutional Neural Network (CNN – Mạng nơ-ron tích chập) mơ hình Deep Learning tiên tiến giúp cho xây dựng hệ thống thông minh với độ xác cao như hệ thống xử lý ảnh lớn Facebook, Google hay Amazon đưa vào sản phẩm chức thông minh nhận diện khuôn mặt người dùng, phát triển xe tự lái hay drone giao hàng tự động CNN sử dụng nhiều toán phát object ảnh 1.4 Các kỹ thuật liên quan đến xử lý ảnh nhận diện đối tượng 1.4.1 Tổng quan xử lý ảnh Quá trình xử lý ảnh xem trình thao tác ảnh đầu vào nhằm tạo kết mong muốn Kết đầu trình xử lý ảnh ảnh tốt kết luận Hệ thống xử lý ảnh hoạt động theo bước sau: Thu nhận ảnh Tiền xử lý Trích chọn đặc trưng Phân loại, nhận dạng mẫu Ra định Biểu diễn tri thức Hình 1.12 Sơ đồ tổng quát hệ thống xử lý ảnh [13] 10 CHƯƠNG 2: GIẢI PHÁP TRIỂN KHAI 2.1 Mơ hình giải toán Bài toán phát đếm xe máy bao gồm hai tốn nhỏ là: Bài toán nhận dạng xe toán đếm xe nhận dạng - Bài toán nhận dạng xe: mục tiêu toán từ ảnh cụ thể video cụ thể, phải nhận dạng đâu xe máy Bài toán tốn khó xe máy có nhiều chủng loại, lưu thơng thực tế có nhiều trường hợp khác xe chạy ngược, xe chạy xi, xe che khuất xe kia, có xe chở hai, có xe chở nhiều hàng hóa Làm để giải toán để nhận xe máy cách tối ưu bước định đến độ xác tốn đếm xe - Bài toán đếm xe: sau nhận diện đối tượng xe máy, tiến hành đếm số đối tượng Yêu cầu đặt cho tốn đếm xác, khơng thừa khơng thiếu Mơ hình đề xuất cho q trình nhận dạng đếm xe sau: 11 - Tiền xử lý: Ở bước này, thao tác lọc nhiễu liệu đầu vào, chỉnh độ sáng thao tác khác thực - Gán nhãn: Sử dụng cơng cụ đánh nhãn để đánh dấu hình ảnh xe máy ảnh đầu vào - Huấn luyện: Sử dụng mơ hình có sẵn để xây dựng mơ hình cho hệ thống - Nhận dạng: Q trình nhận dạng thực qua bước xử lý tương tự với ảnh đầu vào - Đếm: Sau phát nhận dạng đối tượng, ta khoanh vùng hoạt động để thực đếm xe máy Mô hình YOLO hệ thống nhận diện vật thể dựa sở liệu Pascal VOC 2012 Nó nhận diện đươc 80 nhóm vật thể gồm chim, chó, người, xe cộ,… Mơ hình YOLO sử dụng mạng Neural tồn hình ảnh Mạng chia hình ảnh thành nhiều vùng xác suất dự đốn vùng đó, từ đưa trọng số dự đoán vật thể cho vùng dự đốn 2.2 Các cơng cụ mơi trường triển khai đề tài 2.2.1 Cơng cụ xử lý hình ảnh OpenCV OpenCV (Open Computer Vision) thư viện mã nguồn mở hàng đầu cho xử lý thị giác máy tính, machine learning, xử lý ảnh Trong đề tài này, OpenCV sử dụng chủ yếu việc đọc file ảnh, file video, cắt ảnh hiển thị video cho người dùng xem 12 2.2.2 Công cụ đánh nhãn hình ảnh LabelImage Để huấn luyện cho mơ hình học máy cần lượng lớn liệu để huấn luyện mơ hình, bước phải gán nhãn cho đối tượng xe máy ảnh, nhãn bao gồm tên đối tượng vị trí ảnh Để làm việc cơng cụ đánh nhãn LabelImage công cụ hiệu quả, miễn phí 2.2.3 Thư viện học máy YOLO YOLO từ viết tắt You only look once Đó hệ thống phát đối tượng thời gian thực nhanh, đại, sử dụng liệu đa dạng, mơ hình phát đối tượng sử dụng tính học mạng CNN để phát đối tượng a) Phát đồng YOLO sử dụng mạng thống để thực dự đoán ảnh lần YOLO chia hình ảnh đầu vào thành lưới S×S Mỗi lưới dự đốn đối tượng Tuy nhiên, quy tắc đối tượng giới hạn mức độ phát đối tượng Vì thế, YOLO có số hạn chế mức độ gần gũi vật thể b) Kiến trúc mạng Hình 2.10: Kiến trúc mạng mơ hình YOLO 13 YOLO có 24 lớp chập theo sau lớp kết nối đầy đủ (FC) Một số lớp chập sử dụng xen kẽ lớp giảm × để giảm độ sâu đồ đặc điểm Đối với lớp chập cuối cùng, tạo tensor có hình dạng (7, 7, 1024) Tensor sau làm phẳng Sử dụng lớp kết nối đầy đủ hình thức hồi quy tuyến tính, cho × × 30 tham số sau định dạng thành (7, 7, 30), tức dự đoán hộp ranh giới cho vị trí c) Lợi ích YOLO - Nhanh Tốt cho xử lý thời gian thực - Dự đốn (vị trí đối tượng lớp) thực từ mạng Có thể huấn luyện từ đầu đến cuối để cải thiện độ xác - YOLO khái quát Nó vượt trội so với phương pháp khác khái quát hóa từ hình ảnh tự nhiên sang lĩnh vực khác tác phẩm nghệ thuật - Phương pháp đề xuất khu vực giới hạn phân loại cho khu vực cụ thể YOLO truy cập vào tồn hình ảnh việc dự đoán ranh giới Với bối cảnh bổ sung, YOLO thể tích cực sai khu vực - YOLO phát đối tượng lưới Nó thực thi đa dạng khơng gian việc đưa dự đốn 2.3 Ngơn ngữ lập trình Python Python ngơn ngữ lập trình bậc cao, mã nguồn mở, dùng cho nhiều mục đích, có dùng nghiên cứu liệu, học máy Trong đề tài này, Python ngôn ngữ dùng để viết chương trình nhận dạng xe máy 14 2.4 Bản triển khai DarkFlow DarkFlow triển Python YOLOv2 mà chạy Tensorflow Tôi sử dụng hệ thống đối tượng mà muốn phát (xe máy, ôtô, người bộ), muốn tạo tập huấn luyện thực việc training riêng Tơi sử dụng hệ thống hệ thống khơng cần q nhiều tài nguyên GPU để huấn luyện mạng lưới nhanh gấp nhiều lần Darknet Nhưng điều bất lợi hệ thống chưa cập nhật lên YOLOv3 2.5 Thư viện TensorFlow TensorFlow thư viện phần mềm nguồn mở để tính tốn số hiệu suất cao Kiến trúc linh hoạt cho phép dễ dàng triển khai tính tốn nhiều tảng khác (CPU, GPU, TPU) từ máy tính để bàn đến cụm máy chủ tới thiết bị di động cạnh Được phát triển nhà nghiên cứu kỹ sư từ nhóm Google Brain tổ chức AI Google, hỗ trợ mạnh mẽ cho học máy học sâu lõi tính tốn linh hoạt sử dụng nhiều lĩnh vực khoa học khác 2.6 Thuật toán RCNN - DeepLearning Faster RCNN thuật tốn để tìm kiếm vị trí vật thể ảnh Thuật tốn có đầu hình hộp, với vật thể bên hộp Phiên Faster RCNN RCNN, với nguyên lý đơn giản Sử dụng mạng huấn luyện sẵn để feed-forward region proposals, tốn nhiều thời gian với ảnh thuật toán selective search cho hàng nghìn region proposals Tác giả feed-forward lần ảnh gốc, thu convolutional features ảnh Ví dụ với hình ảnh có 15 kích thước 600∗600∗3600∗600∗3, ta thu convolutional features với kích thước 37∗37∗51237∗37∗512 Kích thước features bị giảm nhỏ khoảng 16 lần 6003760037 Dựa vào kích thước vị trí region proposals ảnh gốc, ta tính tốn vị trí region proposal convolutional features Sử dụng giá trị convolutional faetures region proposal, ta dự đoán vị trí đỉnh bounding box vật thể nằm bounding box Đối với Fast RCNN, chia sẻ tính tốn region ảnh, tốc độ thực thực thi thuật toán giảm từ 120s ảnh xuống 2s Phần tính tốn gây nghẽn phần đưa region proposal đầu vào, thực thi CPU Faster RCNN giải vấn đề cách sử dụng DNN để tính tốn region proposals 2.7 Kết luận chương Trong chương 2, miêu tả tổng quan mơ hình giải tốn trình bày số cơng cụ, môi trường để triển khai đề tài Qua phân tích nhận thấy mơ hình YOLO mơ hình có hiệu tốt áp dụng vào hệ thông phát phương tiện giao thông phục vụ giám sát điều chỉnh hệ thông quản lý giao thông tại, qua đánh giá ưu điểm mơ hình YOLO Trong chương tiếp theo, luận văn trình bày bước thực huấn luyện mơ hình học máy để nhận dạng đếm xe máy, từ đánh giá kết đạt 16 CHƯƠNG 3: TRIỂN KHAI THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1 Các bước thực Để huấn luyện mô hình học máy nhận dạng xe gắn máy, thực nhiều bước theo thứ tự sau: - Bước 1: Thu thập liệu dán nhãn, - Bước 2: Cài đặt Darkflow, - Bước 3: Tìm mơ hình huấn luyện trước (Ex: liệu COCO VOC) để build thử, - Bước 4: Train model mới, - Bước 5: Kiểm tra lại kết nhận đánh giá 3.1.1 Thu thập liệu Dữ liệu cần chuẩn bị hình ảnh có chứa hình xe máy, hình ảnh ta trích xuất từ camera giao thơng thành phố Đà Nẵng1 Sau thu thập, ta có tập hình ảnh gồm 765 hình ảnh Ta chia hình ảnh hai phần theo tỉ lệ 80% để train 20% để test 3.1.2 Gán nhãn - Bước 1: Khởi động LabelImage với python3 - Bước 2: Chọn folder chứa ảnh đối tượng - Bước 3: Chọn folder để chứa file xml - Bước 4: Để đánh dấu đối tượng, ta click chọn Create/RectBox sau kéo thả để tạo vng bao quanh đối tượng - Bước 5: Đánh tên class đối tượng vừa chọn nhấn OK - Bước 6: Sau đối tượng tạo http://camera.0511.vn 17 - Bước 7: Nhấn nút Save để tạo hay cập nhật file xml Sau bước ta file xml chứa nhãn đối tượng xe máy 3.1.3 Cài đặt Darkflow Để cài đặt Darkflow, u cầu máy tính phải có Python 2.7 Python 3.6 Bước 1: Trước tiên ta phải cần cài đặt môi trường ảo để chạy Darkflow; Các bước thực môi trường ảo Bước 2: Cài đặt thư viện cần thiết để chạy Darkflow; Bước 3: Cài đặt Darkflow chỉnh sửa để dùng cho mục đích cá nhân 3.1.4 Xây dựng thư mục Tôi thay đổi cấu trúc thư mục project gốc để phù hợp với yêu cầu toán, thu thư mục sau: H H ình 3.11: Cấu trúc thư mục project 18 Hình 3.12: Cấu trúc thư muc train Hình 3.13: File chạy project Trong đó: - Thư mục train/Annotations chứa nhãn hình ảnh mà dán nhãn trước - Thư mục ckpt/ chứa model train - Thư mục train/Images chứa tập ảnh train bước thu thập liệu 3.1.5 Tìm mơ hình huấn luyện trước Tải mơ hình train sẵn2 bỏ vào thư mục weights Chỉnh sửa file config cho phù hợp với số đối tượng cần train: Hình 3.14: Tệp config YOLO Chúng ta cần thay đổi dòng: - Ở phần [convolutional] cuối cùng, cần phải thay đổi số lượng lọc (filter) với công thức lọc=(số class+ 5)*5, có class nên filters=40 - Ở phần [region] có dòng số class (khoảng dòng 244), chuyển thành classes=3 Sau đó, chỉnh sửa file labels.txt với tên đối tượng cần train https://pjreddie.com/media/files/yolov2.weights 19 3.2 Quá trình huấn luyện Sau có mơ hình train sẵn, tập dataset, file config Sau từ thư mục gốc, chạy lệnh terminal: $ python flow model cfg/yolo-voc-1.cfg load weights/yolov2.weights train annotation train/Annotations -dataset train/Images gpu 0.8 epoch 70 Để 70 epoch Một Epoch tất liệu đưa vào mạng neural network lần Khi liệu lớn, đưa hết lần epoch để huấn luyện Buộc lòng phải chia nhỏ epoch thành batch nhỏ Quá trình train nhiều thời gian chiếm nhiều tài nguyên hệ thống Vì lúc train nên hạn chế tiến trình ứng dụng khác Tiến hành train giá trị hàm loss thấp nên dừng lại Mỗi lần checkpoint lưu vào file “ckpt” sau ta lấy step cao để test nhận dạng đối tượng Ở lấy step 3250 tương ứng với model file yolo-voc1-3250 xóa file checkpoint khác Hình 3.22: file checkpoint sử dụng để nhận dạng 3.3 Tạo file để test video Ban đầu sử dụng Darkflow để thử model vừa huấn luyện Sau để thực dễ dàng cho mục đích riêng sau này, ví dụ lấy tọa độ đối tượng nhận 20 dạng được, vẽ khung cho nó, tơi thay đổi viết file testVideo.py để làm việc Đưa đường dẫn video mà muốn nhận dạng vào Sau ta lấy tọa độ đối tượng nhận dạng khung hình (frame) để vẽ khung 3.4 Xử lý video đếm xe Sau train liệu xong, nhận dạng xe máy Ta tiến hành xử lý video đầu vào sử dụng model training để nhận dạng đối tượng xe máy video Vấn đề đặt đọc video đọc từ frame nhận dạng đối tượng, dùng đối tượng để đếm số lượng xe cao nhiều so với số lượng thực tế Nên cần có thuật tốn tracking để theo dõi đối tượng đếm dựa đối tượng Ở tơi sử dụng thuật tốn Centroid để tracking đối tượng Về đọc hai frame liên tiếp sau ta tính khoảng cách Euclid đối tượng có hai frame tìm khoảng cách nhỏ đối tượng Hai đối tượng có khoảng cách nhỏ hai đối tượng Mặc dù thuật tốn cịn nhiều hạn chế áp dụng toán hoạt động tốt Các bước xử lý sau: - Đọc video - Đọc frame video - Nhận dạng xe máy - Tracking object - Vẽ line - Tiến hành đếm xe máy cán qua line 21 3.5 Kiểm tra lại kết quả nhận Chạy demo video lấy từ hệ thống camera giao thông Đà Nẵng 0511.vn: $ python testVideo.py Thu video kết thư mục Dataset/Test/video.avi 3.6 Kết quả thực nghiệm 3.6.1 Nhận dạng xe máy Sau trình huấn luyện ta thu mơ hình nhận dạng xe máy Để đánh giá khả nhận dạng xe máy mơ hình, tơi thử cho mơ hình nhận dạng 60 ảnh khác có chứa 286 xe máy nhiều góc, kích thước lớn nhỏ khác Sau dùng lệnh sau để nhận dạng đối tượng thư mục images: $python flow imgdir images model cfg/yolo-voc-1.cfg -load 3250 Kết thống kê thể Bảng Bảng 1: Thống kê kết hiệu suất nhận dạng xe máy Hình Số xe máy có ảnh Số xe máy nhận dạng Tỉ lệ nhận dạng - 10 54 40 74.07 % 11 - 20 45 34 75.56 % 21 - 30 39 33 84.61 % 31 - 40 65 57 87.69 % 41 - 50 37 32 86.48 % 51 - 60 46 38 82.61 % Tổng cộng: 286 234 81.81 % 60 hình 22 Do nhiều yếu tố huấn luyện người q hình để kiểm tra có người q nên không thống kê đối tượng người, dự định tương lai kết đối tượng khả quan 3.6.2 Đếm số lượng xe máy Thực nghiệm video mẫu trích xuất từ camera giao thông đoạn đường Trần Cao Vân thu kết sau: Bảng 2: Thống kê kết hiệu suất đếm xe máy Số xe máy Số xe máy Độ lệch (Thực tế thực tế đếm - Đếm được) – 60 7 0% 61 – 200 -12.5% 201 – 400 +133.33% 401 – 600 10 +11.11% 601 – 800 11 11 0% 801 – 1000 +75% 1001 - 1200 14 19 -26.3% STT 3.7 Nhận xét kết quả 3.7.1 Nhận dạng xe máy Kết nhận dạng xe máy mơ thống kê cao mà xe máy lưu thơng đường phố có nhiều khác biệt màu sắc, kích thước, số lượng người ngồi xe máy hay loại hàng hóa chở xe, bị ảnh hưởng nhiều yếu tố khác bị che khuất, bóng cây… Qua thực nghiệm nhận thấy mơ hình cho kết nhận dạng cao mà xe không bị che khuất, có kích thước vừa phải 23 Đối với số trường hợp xe máy không nhận dạng chủ yếu bị che khuất phần, kích thước hình ảnh xe q nhỏ Đặc biệt, mơ hình cịn bị nhầm lẫn nhận dạng xe đạp, xe đạp điện thành xe máy, hai phương tiện tương đối giống xe máy, mơ hình không huấn luyện để nhận dạng xe đạp xe đạp điện 3.7.2 Đếm số lượng xe máy Độ xác hệ thống đếm xe máy cao Kết triển khai toán ta thấy có nhiều khả quan ứng dụng vào tốn u cầu độ xác khơng lớn, đưa số chấp nhận Từ hệ thống đơn giản này, ta cải tiến để nâng cao khả nhận dạng xe độ xác tốn Kết tốn phụ thuộc nhiều vào tình hình giao thông, thời tiết, địa điểm thực nhiều yếu tố khác Mật độ lưu thông phương tiện giao thơng lớn độ xác giảm dần Cũng tương tự thời tiết diễn biến xấu hay địa điểm đếm xe có nhiều vật cản che khuất hay có nhiều bóng Bên cạnh thuật toán chưa ổn định yếu tố ảnh hưởng đến kết 3.8 Kết luận chương Trong chương triển khai thực bước thực nghiệm để huấn luyện mơ hình nhận dạng đếm xe máy Từ đánh giá kết sau thực với mơ hình YOLO 24 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 1.1 Kết luận Trong đề tài nghiên cứu này, đề cập đến nghiên cứu nhận dạng phát đối tượng video trước thử nghiệm, đánh giá, tìm điểm chung nghiên cứu Từ đề giải pháp tối ưu việc lựa chọn kỹ thuật Học sâu để thực việc nhận dạng đếm xe máy thông qua video Sau trình triển khai đề tài, hệ thống nhận dạng đếm xe máy, nhiên độ xác chưa cao Sự thiếu xác xuất phát từ nhiều nguyên nhân khác thiếu liệu huấn luyện nên mô hình nhận dạng có hiệu suất khơng cao, thuật tốn chưa tối ưu, hay nguyên nhân khách quan khác vật cản che khuất, thời tiết, Thuật toán nhận dạng tốt xe đường chiều, xe hướng lên khơng có vật cản 1.2 Hướng phát triển Để cải thiện độ xác, ta tiến hành thu thập thêm nhiều liệu hơn, đa dạng nhiều góc độ Ví dụ phân biệt màu sắc, kiểu loại xe Từ giúp mơ hình nhận dạng xe máy xác Sau có hệ thống phát nhận dạng xe có hiệu suất ổn định, đếm xác lưu lượng xe xe máy tham gia giao thông đường ta ứng dụng vào tốn khác lớn thực tế để giải vấn đề tắc nghẽn giao thơng hay tốn phân đường cho phương tiện ... nhanh độ xác tốt cách ứng dụng kỹ thuật Học sâu để nhận dạng đếm xe máy 1.3 Kỹ thuật học sâu 1.3.1 Tổng quan học sâu Học sâu (deep learning) nhánh ngành máy học, dựa tập hợp thuật toán để cố gắng... dạng xe đạp, xe đạp điện thành xe máy, hai phương tiện tương đối giống xe máy, mơ hình khơng huấn luyện để nhận dạng xe đạp xe đạp điện 3.7.2 Đếm số lượng xe máy Độ xác hệ thống đếm xe máy cao... tiêu luận văn ứng dụng kỹ thuật học sâu để phát đếm xe máy video giao thông 2.2 Nhiệm vụ Từ mục tiêu đề tài, luận văn tập trung nghiên cứu nhiệm vụ sau: - Tìm hiểu kỹ thuật học sâu; - Tìm hiểu