Ứng dụng kỹ thuật học sâu trong phát hiện và đếm lưu lượng xe máy

Xử lý và nhận dạng là một lĩnh vực từ lâu được nhiều người quan tâm, được ứng dụng trong nhiều lĩnh vực như: - Trong y học, cải thiện ảnh X-quang và nhận dạng đường biên mạch máu từ ảnh

ĐẠI HỌC ĐÀ NẴNG

TRƯỜNG ĐẠI HỌC BÁCH KHOA

DƯƠNG THỊ DỊU

ỨNG DỤNG KỸ THUẬT HỌC SÂU TRONG PHÁT HIỆN VÀ

ĐẾM LƯU LƯỢNG XE MÁY

Chuyên ngành: Khoa học máy tính

Mã số: 8480101

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Đà Nẵng - Năm 2019

Công trình được hoàn thành tại

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Người hướng dẫn khoa học: TS Huỳnh Hữu Hưng

Phản biện 1: PGS.TS Nguyễn Thanh Bình

Phản biện 2: TS Trần Thế Vũ

Luận văn sẽ được bảo vệ trước Hội đồng chấm Luận văn tốt

nghiệp thạc sĩ khoa học máy tính họp tại Trường Đại học Bách

khoa vào ngày 25 tháng 8 năm 2019

Có thể tìm hiểu luận văn tại:

- Trung tâm Học liệu, Đại học Đà Nẵng tại Trường Đại học Bách khoa;

- Thư viện Khoa Công nghệ thông tin, Trường Đại học Bách khoa - ĐHĐN

và áp dụng khoa học kỹ thuật mới trong hệ thống điều khiển giao thông Xử lý và nhận dạng là một lĩnh vực từ lâu được nhiều người quan tâm, được ứng dụng trong nhiều lĩnh vực như:

- Trong y học, cải thiện ảnh X-quang và nhận dạng đường biên mạch máu từ ảnh chụp bằng tia X, ứng dụng vào các xét nghiệm lâm sàng như phát hiện và nhận dạng u não, nội soi cắt lớp …

- Trong thiên văn học, hệ thống chụp hình gắn trên tàu vũ trụ hạn chế về kích thước và trọng lượng, do đó chất lượng hình ảnh nhận được bị giảm, ảnh bị mờ méo hình học và nhiễu nền

- Trong các lĩnh vực công nghiệp, người máy ngày càng đóng vai trò quan trọng Chúng giúp con người thực hiện các công việc nguy hiểm, đòi hỏi có tốc độ và độ chính xác cao vượt quá khả năng con người Người máy sẽ trở nên tinh vi hơn và thị giác máy tính đóng vai trò quan trọng hơn Người ta sẽ không chỉ đòi hỏi người máy phát hiện và nhận dạng các bộ phận công nghiệp mà còn phải “hiểu” được những gì chúng “thấy” và đưa ra hành động phù hợp

Xuất phát từ yêu cầu thực tiễn tôi đã chọn đề tài “Ứng dụng kỹ thuật học sâu trong phát hiện và đếm lưu lượng xe máy”

Dù đã cố gắng hoàn thành báo cáo nhưng không thể tránh khỏi những sai sót vì vậy tôi rất mong nhận được ý kiến đánh giá của các thầy cô và các bạn để tôi có thể hoàn thiện đề tài của mình một cách tốt nhất

- Tìm hiểu kỹ thuật học sâu;

- Tìm hiểu các bộ thư viện cài đặt cho mô hình học sâu;

- Sử dụng công cụ đánh nhãn để đánh nhãn xe máy trong video giao thông;

- Huấn luyện và xây dựng mô hình nhận dạng, đếm xe máy

3 Đối tượng và phạm vi nghiên cứu

4 Phương pháp nghiên cứu

4.1 Phương pháp nghiên cứu tài liệu

- Phân tích, đánh giá kết quả

5 Ý nghĩa khoa học và thực tiễn

- Về khoa học: Áp dụng phương pháp học sâu để phát hiện

và đếm xe máy

- Về thực tiễn: Hỗ trợ xác định lưu lượng xe máy đang tham gia giao thông trên đường, giúp giải quyết một số vấn đề trong giao thông

6 Bố cục luận văn

Nội dung của luận văn được trình bày với các phần chính như sau:

Chương 1 - Tổng quan

Chương 2 - Giải pháp triển khai

Chương 3 - Triển khai thực nghiệm và đánh giá kết quả Kết luận và hướng phát triển

CHƯƠNG 1: TỔNG QUAN 1.1 Đặt vấn đề

Nước ta hiện nay có một số lượng lớn phương tiện xe máy,

xe gắn máy đang lưu thông Tình hình ùn tắc giao thông thường xuyên xảy ra ở nhiều nơi Vậy làm sao để phân tích lưu lượng xe trên các đoạn đường, từ đó đưa ra các giải pháp tránh ùn tắc như điều chỉnh thời gian đèn báo giao thông dựa vào lưu lượng xe, là một trong những giải pháp để hạn chế vấn đề ùn tắc Việc nhận diện được

xe là bước đầu tiên trong việc thu thập dữ liệu để lập nên giải pháp cho vấn đề nan giải này

Bài toán đặt ra là khi chúng ta đưa vào một video giao thông

có các phương tiện xe máy, thì đầu ra sẽ đưa ra kết quả nhận diện xe máy trên đường Từ đó chúng ta có thể áp dụng cho các bài toán lớn hơn

1.2 Những nghiên cứu liên quan

Trong những năm gần đây, hệ thống phát hiện và nhận dạng đối tượng đã được áp dụng vào nhiều lĩnh vực hệ thống thông minh như siêu thị thông minh, máy bán hàng tự động, hệ thống giám sát an ninh, tương tác người - máy thông minh và nhiều ứng dụng công nghiệp khác Trong lĩnh vực nghiên cứu về giao thông, đã có một số nghiên cứu về việc giám sát và nhận dạng phương tiện giao thông Trong phạm vi luận văn, tác giả xin giới thiệu một số nghiên cứu sau:

Luo-Wei Tsai và cộng sự [1], phát hiện phương tiện sử dụng màu sắc được chuẩn hóa và bản đồ biên L Tsai đã đưa ra phương pháp biến đổi mới để tìm “màu xe” từ hình ảnh để định vị các ứng viên một cách nhanh chóng Họ còn trình bày hệ thống phát hiện từ phía sau theo thời gian thực sử dụng các phương pháp dựa trên độ dốc và phân loại Adaboost cho các ứng dụng ACC Các kết quả thực

nghiệm cho thấy phương pháp này thực hiện rất hiệu quả trên ảnh tĩnh với độ chính xác trung bình là 94.5% Độ chính xác của phát hiện phương tiện trên di chuyển còn chưa cao

A Khammari và cộng sự [2] phát hiện phương tiện kết hợp phân tích độ dốc và phân loại AdaBoost A Khammari đã giới thiệu

hệ thống phát hiện từ phía sau theo thời gian thực sử dụng các phương pháp dựa trên độ dốc và phân loại Adaboost cho các ứng dụng ACC Thuật toán phát hiện bao gồm hai bước chính: tạo giả thuyết dựa trên độ dốc và xác minh giả thuyết dựa trên ngoại hình Tạo giả thuyết sử dụng ngưỡng phụ thuộc phạm vi thích ứng và đối xứng để định vị tối đa độ dốc Xác thực giả thuyết dựa trên sử dụng AdaBoost để phân loại với các phân loại độc lập với độ sáng Hệ thống một mắt được thử nghiệm theo các kịch bản giao thông khác nhau (ví dụ: đường cao tốc có cấu trúc đơn giản, môi trường đô thị phức tạp, điều kiện ánh sáng khác nhau), kết quả hiệu suất tốt Hệ thống thường không nhận diện được phương tiện cách xa quá 60m

Zhiquan Ren cùng công cụ [3] phát hiện phương tiện dựa sử dụng smartphone Android R Zhiquan v.v đã trình bày một công nghệ di động sử dụng điện thoại thông minh để phát hiện chiếc xe đi trước Công nghệ này sử dụng camera phía sau của smartphone Android để chụp ảnh cảnh lái xe, sau đó sử dụng thuật toán thị giác máy tính tiên tiến để phát hiện và theo dõi chiếc xe đi trước Với tài nguyên tính toán hạn chế của điện thoại thông minh, thuật toán đạt được tốc độ lấy mẫu cao khoảng 7Hz, đủ nhanh cho các ứng dụng thực tế

Denis Kleyko và cộng sự [4] so sánh các kỹ thuật học máy để phân loại xe bằng cảm biến bên đường D Kleyko v.v đã đưa ra sự

so sánh các thuật toán học máy khác nhau để phân loại phương tiện

Tập dữ liệu của họ bao gồm 3074 mẫu Hồi quy logistic, mạng nơ ron

và máy vector hỗ trợ đã được sử dụng để phân loại Theo kết quả của [10] hồi quy logistic cho thấy hiệu suất tốt nhất trong số các phương pháp học máy khác với tỷ lệ phân loại trung bình trên bộ dữ liệu xác nhận đạt 93,4% Vấn đề chính gặp phải là tập dữ liệu Nó lệch khá nhiều đối với một trong các lớp và gây khó khăn cho việc phân tích

về việc phân loại

Zezhi Chen và cộng sự [5] so sánh các hệ thống phân loại, chỉ ra cách phân loại xe bằng cách sử dụng các thông số về kích thước và hình dạng Phân loại dùng cho bốn loại phương tiện (xe máy, xe tải, xe buýt và xe đạp/ xe máy) và nó được thực hiện theo hai cách tiếp cận khác nhau: hai phân loại dựa trên tính năng (SVM và rừng ngẫu nhiên (Random Forest - RF)) và phương pháp dựa trên mô hình Nghiên cứu cho thấy rằng SVM luôn vượt trội so với RF, với

độ chính xác phân loại cuối là 96,26% Số lượng các phân loại sai sót cao nhất xảy ra giữa xe và xe tải, trong đó đặc điểm kích thước và hình dạng thể hiện sự tương đồng đáng kể

Muhammad Asif Manzoor cùng cộng sự [6] đã đề xuất một phương pháp dựa trên máy vectơ hỗ trợ (SVM) tuyến tính để giải quyết vấn đề này Việc trích xuất các đặc điểm và hiển thị các điểm đặc trưng thì phép biến đổi đặc điểm không phụ thuộc phạm vi (SIFT) được sử dụng Mô hình túi từ được sử dụng để phân loại Phương pháp đề xuất được thử nghiệm dựa trên bộ dữ liệu NTOUMMR và cho thấy tỷ lệ chính xác trung bình là 89% Bộ dữ liệu chứa hình ảnh xe trực diện

Qua những nghiên cứu trên, ta thấy các phương pháp, kết quả nghiên cứu trên có ý nghĩa thực tiễn với độ chính xác tương đối, tuy nhiên mỗi phương pháp đều có hạn chế nhất định và tốn nhiều tài

nguyên Vì vậy, cần một phương pháp có tốc độ xử lý nhanh và độ chính xác tốt hơn bằng cách ứng dụng kỹ thuật Học sâu để nhận dạng

mô hình phân tích (không giám sát) và phân loại (giám sát)

Một trong những phương pháp học sâu thành công nhất là

mô hình mạng nơ-ron nhân tạo (Arificial Neural Network) [12] Mạng nơ-ron nhân tạo được lấy cảm hứng từ các mô hình sinh học năm 1959 được đề xuất bởi người đoạt giải Nobel David H Hubel & Torsten Wiesel, 2 người đã tìm thấy hai loại tế bào trong vỏ não thị giác chính: các tế bào đơn giản và các tế bào phức tạp

Mạng nơ-ron nhân tạo là sự kết hợp của các tầng perceptron hay còn gọi là perceptron đa tầng (multilayer perceptron) như hình bên dưới:

Hình 1.5: Mạng nơ-ron nhân tạo

Kiến trúc chung của mạng nơ-ron nhân tạo bao gồm thành

phần: Lớp đầu vào, Lớp ẩn và Lớp đầu ra

1.3.2 Mạng nơ-ron tích chập – Convolutional neural network (CNN)

Convolutional Neural Network (CNN – Mạng nơ-ron tích chập) là một trong những mô hình Deep Learning tiên tiến giúp cho chúng ta xây dựng được những hệ thống thông minh với độ chính xác cao như hiện nay như hệ thống xử lý ảnh lớn như Facebook, Google hay Amazon đã đưa vào sản phẩm của mình những chức năng thông minh như nhận diện khuôn mặt người dùng, phát triển xe hơi tự lái hay drone giao hàng tự động CNN được sử dụng nhiều trong các bài toán phát hiện các object trong ảnh

1.4 Các kỹ thuật liên quan đến xử lý ảnh và nhận diện đối tượng

1.4.1 Tổng quan về xử lý ảnh

Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm tạo ra kết quả mong muốn Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh tốt hơn hoặc một kết luận nào đó

Hệ thống xử lý ảnh hoạt động theo các bước sau:

Hình 1.12 Sơ đồ tổng quát hệ thống xử lý ảnh [13]

Thu

nhận ảnh Tiền xử lý Trích chọn đặc trưng Phân loại, nhận dạng mẫu

Biểu diễn tri thức

Ra quyết định

1.4.3 Nhận diện và phân loại ảnh

Phát hiện tự động, phân loại và nhóm các mẫu là những vấn

đề quan trọng của thị giác máy tính, được ứng dụng trong nhiều ngành, lĩnh vực khác nhau Các hệ thống phát hiện và nhận dạng đối tượng hiện nay thường có ba bước xử lý:

Bước 1: Sử dụng một mô hình hoặc một thuật toán để tạo ra

các vùng ứng viên, các khu vực quan tâm Các vùng ứng viên này là một tập hợp lớn các hộp giới hạn để xác định đối tượng

Bước 2: Trích xuất đặc trưng từ các hộp giới hạn tìm được,

chúng được đánh giá và xác định xem đối tượng nào có mặt trong hộp giới hạn đó (tức là thành phần phân loại đối tượng) hay không

Bước 3: Trong bước hậu xử lý cuối cùng, các hộp chồng

chéo nhau được kết hợp thành một hộp giới hạn sử dụng một số thuật toán như Non-maximum suppression, …

CHƯƠNG 2: GIẢI PHÁP TRIỂN KHAI

2.1 Mô hình giải quyết bài toán

Bài toán phát hiện và đếm xe máy bao gồm hai bài toán nhỏ hơn đó là: Bài toán nhận dạng xe và bài toán đếm xe đã được nhận dạng

- Bài toán nhận dạng xe: mục tiêu của bài toán là từ một bức ảnh cụ thể hoặc một video cụ thể, phải nhận dạng được đâu là chiếc

xe máy Bài toán này là một bài toán khó vì xe máy hiện có nhiều chủng loại, khi lưu thông trong thực tế thì có nhiều trường hợp khác nhau như xe thì chạy ngược, xe thì chạy xuôi, xe này có thể che khuất xe kia, hoặc có xe thì chở hai, có xe thì chở rất nhiều hàng hóa Làm sao để giải được bài toán này để nhận ra xe máy một cách tối ưu

là một trong những bước quyết định đến độ chính xác của bài toán đếm xe

- Bài toán đếm xe: sau khi đã nhận diện được các đối tượng

xe máy, chúng ta tiến hành đếm số đối tượng Yêu cầu đặt ra cho bài toán đó là đếm chính xác, không thừa cũng không thiếu

Mô hình đề xuất cho quá trình nhận dạng và đếm xe như sau:

- Tiền xử lý: Ở bước này, các thao tác như lọc nhiễu dữ

liệu đầu vào, căn chỉnh độ sáng và các thao tác cơ bản khác

được thực hiện

- Gán nhãn: Sử dụng công cụ đánh nhãn để đánh dấu hình

ảnh xe máy trên ảnh đầu vào

- Huấn luyện: Sử dụng một mô hình có sẵn để xây dựng mô

hình cho hệ thống

- Nhận dạng: Quá trình nhận dạng được thực hiện qua các

bước xử lý tương tự với ảnh đầu vào

- Đếm: Sau khi phát hiện và nhận dạng đối tượng, ta sẽ

khoanh vùng hoạt động để thực hiện đếm xe máy

Mô hình YOLO là 1 hệ thống nhận diện vật thể dựa trên cơ

sở dữ liệu của Pascal VOC 2012 Nó có thể nhận diện đươc 80 nhóm vật thể gồm chim, chó, người, xe cộ,…

Mô hình YOLO sử dụng một mạng Neural trên toàn bộ hình ảnh Mạng này chia hình ảnh thành nhiều vùng và xác suất dự đoán trên từng vùng đó, từ đó đưa ra trọng số dự đoán vật thể cho các vùng

đã dự đoán

2.2 Các công cụ và môi trường triển khai đề tài

2.2.1 Công cụ xử lý hình ảnh OpenCV

OpenCV (Open Computer Vision) là một thư viện mã nguồn

mở hàng đầu cho xử lý về thị giác máy tính, machine learning, xử lý ảnh

Trong đề tài này, OpenCV được sử dụng chủ yếu trong việc đọc file ảnh, file video, cắt ảnh và hiển thị video cho người dùng xem

2.2.2 Công cụ đánh nhãn hình ảnh LabelImage

Để huấn luyện cho các mô hình học máy chúng ta cần một lượng lớn dữ liệu để huấn luyện mô hình, trong bước này chúng ta phải đi gán nhãn cho các đối tượng xe máy trong một bức ảnh, nhãn này bao gồm tên đối tượng và vị trí của nó trong một bức ảnh

Để làm được việc đó thì công cụ đánh nhãn LabelImage là một trong những công cụ hiệu quả, miễn phí

2.2.3 Thư viện học máy YOLO

YOLO là từ viết tắt của You only look once Đó là một hệ thống phát hiện đối tượng thời gian thực nhanh, hiện đại, sử dụng bộ

dữ liệu đa dạng, là một mô hình phát hiện đối tượng sử dụng các tính năng được học bởi một mạng CNN để phát hiện đối tượng

a) Phát hiện đồng nhất

YOLO sử dụng mạng thống nhất để thực hiện dự đoán cả ảnh một lần YOLO chia hình ảnh đầu vào thành lưới S×S Mỗi ô lưới dự đoán chỉ một đối tượng

Tuy nhiên, quy tắc một đối tượng giới hạn mức độ có thể phát hiện của các đối tượng Vì thế, YOLO có một số hạn chế về mức độ gần gũi của các vật thể

b) Kiến trúc mạng

Hình 2.10: Kiến trúc mạng mô hình YOLO

YOLO có 24 lớp chập theo sau là 2 lớp được kết nối đầy đủ (FC) Một số lớp chập sử dụng xen kẽ các lớp giảm 1 × 1 để giảm độ sâu của bản đồ các đặc điểm Đối với lớp chập cuối cùng, nó tạo ra một tensor có hình dạng (7, 7, 1024) Tensor này sau đó được làm phẳng Sử dụng 2 lớp được kết nối đầy đủ như một hình thức hồi quy tuyến tính, nó cho ra các 7 × 7 × 30 tham số và sau đó định dạng thành (7, 7, 30), tức là 2 dự đoán hộp ranh giới cho mỗi vị trí

c) Lợi ích của YOLO

- Nhanh Tốt cho xử lý thời gian thực

- Dự đoán (vị trí đối tượng và các lớp) được thực hiện từ một mạng duy nhất Có thể được huấn luyện từ đầu đến cuối để cải thiện

độ chính xác

- YOLO được khái quát hơn Nó vượt trội so với các phương pháp khác khi khái quát hóa từ hình ảnh tự nhiên sang các lĩnh vực khác như tác phẩm nghệ thuật

- Phương pháp đề xuất khu vực giới hạn phân loại cho khu vực cụ thể YOLO truy cập vào toàn bộ hình ảnh trong việc dự đoán ranh giới Với bối cảnh bổ sung, YOLO thể hiện ít tích cực sai hơn trong các khu vực nền

- YOLO phát hiện một đối tượng trên mỗi ô lưới Nó thực thi

sự đa dạng không gian trong việc đưa ra dự đoán

2.3 Ngôn ngữ lập trình Python

Pythonlà một ngôn ngữ lập trình bậc cao, mã nguồn mở, dùng cho nhiều mục đích, trong đó có dùng trong nghiên cứu dữ liệu, học máy

Trong đề tài này, Python là ngôn ngữ dùng để viết chương trình nhận dạng xe máy