Xử lý ảnh, nhận biết phương tiện trong hệ thống iot ho giao thông

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Xử lý ảnh, nhận biết phương tiện hệ thống iot cho giao thông ĐÀO HUY THẠCH Ngành: Kỹ thuật viễn thông Giảng viên hướng dẫn: TS Phan Xuân Vũ Viện: Điện tử - Viễn Thông Hà Nội, 2020 Tai ngay!!! Ban co the xoa dong chu nay!!! 17061132202051000000 TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Xử lý ảnh, nhận biết phương tiện hệ thống iot cho giao thông ĐÀO HUY THẠCH Ngành: Kỹ thuật viễn thông Giảng viên hướng dẫn: Viện: TS Phan Xuân Vũ Điện tử - Viễn Thông Hà Nội, 2020 Chữ ký GVHD LỜI NÓI ĐẦU Luận văn tốt nghiệp kết trình học tập nghiên cứu viện Điện Tử - Viễn Thông, viện Đào tạo Sau Đại Học, trường đại học Bách Khoa Hà Nội Luận văn nghiên cứu lập trình ứng dụng vào thiết bị IoT (điện thoại di động) nhận biết phương tiện giao thông hệ thống giao thông Mục đích đề tài giúp sử dụng Keras TensorFlow để training model nhận biết phương tiện Sử dụng TensorFlow Lite đưa model vào thiết bị IoT điện thoại, chip nhúng, web … để đưa vào ứng dụng cách nhanh chóng Với thời gian khơng nhiều dịch bệnh xảy để thực đề tài này, em gặp nhiều khó khăn việc làm quen kiến thức deep learning sử dụng TensorFlow sử dụng TensorFlow Lite để nhúng model vào thiết bị IoT (điện thoại) Tuy nhiên với giúp đỡ tận tình thầy cố gắng thân, em hoàn thành đề tài LỜI CẢM ƠN Em xin chân thành gửi lời cảm ơn đến T.S Phan Xuân Vũ tận tình giúp đỡ em trình thực đề tài Em gửi lời cảm ơn đến anh bạn chia sẻ kinh nghiệm, kiến thức cho em Em xin chân thành cảm ơn dạy dỗ giáo viên Viện Điện Tử Viễn Thơng, phịng Đào Tạo Sau Đại Học tận tình hướng dẫn, giúp đỡ em suốt trình làm đồ án bất chấp dịch bệnh xảy Cuối cùng, em xin gửi lời cảm ơn đến gia đình mình, người ln bên cạnh động viên, khuyến khích để em hoàn thành đề tài Em mong nhận góp ý, bảo tận tình thầy cô bạn vấn đề cịn khúc mắc hay thiếu sót luận văn Em xin chân thành cảm ơn! Học viên ĐÀO HUY THẠCH MỤC LỤC MỞ ĐẦU CHƯƠNG MẠNG NƠ-RON TÍCH CHẬP 1.1 Kiến trúc mạng CNN 1.1.1 Tầng Tích chập 1.1.2 Lớp Pooling 1.1.3 Fully Connected 1.2 Lịch sử phát triển mạng CNN 10 1.2.1 LeNet-5 (1998) 10 1.2.2 Alexnet (2012) 11 1.2.3 ZFNet (2013) 14 1.2.4 VGGNet (2014) 15 1.2.5 GoogleNet (2014) 17 1.2.6 ResNets (2015) 20 CHƯƠNG HỌC CHUYỂN GIAO (TRANSFER LEARNING) VÀ TENSORFLOW LITE 23 2.1 Học Chuyển Giao (Transfer learning) 23 2.2 Tensorflow Lite 32 CHƯƠNG HỆ THỐNG IoT XỬ LÝ ẢNH NHẬN BIẾT PHƯƠNG TIỆN TRONG GIAO THÔNG 35 3.1 Tổng quan hệ thống 35 3.2 Phần huấn luyện 36 3.2.1 Môi trường huấn luyện 38 3.2.2 Xử lý liệu đầu vào để học 40 3.2.3 Lựa chọn mơ hình phương pháp để thực học chuyển giao 41 3.3 Phần mềm ứng dụng vào điện thoại 45 3.4 Kết luận phần mềm nhận diện xe 52 CHƯƠNG KẾT LUẬN 53 TÀI LIỆU THAM KHẢO 54 i DANH MỤC HÌNH VẼ Hình 1.1 Mạng nơ ron tích chập Hình 1.2 Kiến trúc mạng CNN Hình 1.3 Ma trận đầu vào mà ma trận kernel thực thiện tích chập Hình 1.4 Cách quét tính giá trị feature map [1] Hình 1.5 Kết thu sau hồn tất việc qt tính Hình 1.6 Kích thước tăng lên feature map sau thêm padding Hình 1.7 Mơ tả hoạt động Max Pooling với strike Hình 1.8 Lớp Fully Connected Hình 1.9 Kiến trúc mạng LeNet (1998) [3] 10 Hình 1.10 Kiến trúc mạng Alexnet (2012) [6] 12 Hình 1.11 Kiến trúc mạng ZFNet (2013) [6] 14 Hình 1.12 Kiến trúc mạng VGGNet (2014) [6] 16 Hình 1.13 Kiến trúc mạng VGG16 16 Hình 1.14 Kiến trúc Inception Module [6] 18 Hình 1.15 Kiến trúc Inception V1 [6] 18 Hình 1.16 Kiến trúc Inception V2 [6] 19 Hình 1.17 Kiến trúc Inception V3 [6] 19 Hình 1.18 Kiến trúc Inception V4 [6] 20 Hình 1.19 So sánh tỉ lệ xác với việc tang layers [6] 21 Hình 1.20 ResNets Block [6] 22 Hình 1.21 ResNets (2015) 22 Hình 2.1 Kết thực nghiệm theo số lượng lớp mạng CNN chuyển giao [9] 25 Hình 2.2 Mơ hình VGG16 (trái) mơ hình VGG16 bao gồm ConvNet bỏ Fully connected layer (phải) [10] 26 Hình 2.3 Dạng khơng có lớp ẩn, đầu hàm Softmax [10] 27 Hình 2.4 Dạng hai class phân loại với class cịn lại [10] 27 Hình 2.5 Model VGG16 bỏ lớp fully connected thêm fully connected layer [10] 28 ii Hình 2.6 Freeze layer pre-trained model, train layer [10] 29 Hình 2.7 Unfreeze layer pre-trained train tất layer [10] 30 Hình 2.8 Bảng models có sẵn keras [11] 31 Hình 2.9 Quy trình triển khai TensorFlow Lite [1] 33 Hình 3.1 Luồng nhận dạng phương tiện hệ thống 35 Hình 3.2 Pha huấn luyện 36 Hình 3.3 Các thư viện deep learning hãng công nghệ lớn [13] 38 Hình 3.4 Số lượng tuổi đóng góp github repo thư viện [13] 39 Hình 3.5 Số lượng báo đề cập đến thư viện năm 2017 [13] 39 Hình 3.6 Một số hình ảnh xử lý liệu Keras với lật zoom 41 Hình 3.7 Một số hình ảnh xử lý liệu Keras với zoom dịch 41 Hình 3.8 Độ xác học chuyển giao với MobileNetV2 44 Hình 3.9 Độ xác học chuyển giao với Inception V3 44 Hình 3.10 Sơ đồ người dùng sử dụng ứng dụng nhận diện loại phương tiện 45 Hình 3.11 Luồng hoạt động ứng dụng 46 Hình 3.12 Vị trí đặt file model nhãn 46 Hình 3.13 Giao diện xuất cho phép lựa chọn ảnh từ sưu tập 47 Hình 3.14 Giao diện xuất ảnh lồi phương tiện sưu tập 48 Hình 3.15 Giao diện kết hiển thị sau chọn xe máy 49 Hình 3.16 Giao diện kết hiển thị sau chọn xe tải 50 Hình 3.17 Giao diện kết hiển thị sau chọn xe bán tải 51 iii DANH MỤC VIẾT TẮT STT Từ viết tắt Ý nghĩa ConvNet/CNN Mạng Nơ-ron tích chập Feature map Bản tạo sau thực tích chập Feature Các tính Kernel Ma trận lõi để nhân tích chập Input Đầu vào Pixel Giá trị điểm ảnh Stride Bước nhảy Pooling Lớp Pooling làm giảm kích thước feature map Training Đào tạo 10 Dimensionality Giảm chiều sâu đầu vào reduction 11 Model Mơ hình iv MỞ ĐẦU Lý chọn đề tài Hiện nay, tình trạng ùn tắc giao thơng thành phố lớn Hà Nội thành phố Hồ Chí Minh diễn thường xuyên, gây thiệt hại hàng ngàn tỷ đồng Nhiều biện pháp đưa mở rộng đường, xây thêm cầu vượt, thành lập tuyến đường sắt cao hay việc cấm đường số phương tiện khung định Trong giải pháp trên, việc cấm đường số loại phương tiện giải pháp dễ triển khai đồng thời mang lại hiệu định chờ đợi giải pháp đồng quy mô Để hỗ trợ việc cấm loại phương tiện nút giao thơng việc xác định loại phương tiện lưu thơng qua nút giao thơng vơ quan trọng Bài tốn nhỏ xác định loại phương tiện đó, cần phân loại loại phương tiện giao thông cần giải để giải toán xác định lưu lương loại phương tiện qua nút giao thơng từ giúp quan chức biết phương tiện giao thông hay lưu thông qua nút giao thơng để từ đưa quy hoạch phù hợp Việc thực chủ yếu quan sát camera sau xử lý ảnh đơn thuần, nhiên phương pháp khó áp dụng với lưu lượng lớn, có mở rộng chủng loại phương tiện Thời gian gần đây, nhờ phát triển mạnh mẽ khả tính tốn hệ máy tính đại bùng nổ liệu thông qua mạng Internet, ta chứng kiến nhiều đột phá lĩnh vực học máy, đặc biệt lĩnh vực thị giác máy tính Sự phát triển vượt bậc phương pháp học sâu khả tính tốn máy tính giúp thị giác máy tính đạt thành tựu đáng kể lĩnh vực nhận dạng hình ảnh Việc nhúng file model sau training vào thiết bị IoT điện thoại, chip … thường có độ trễ lớn Thường việc triển khai gửi ảnh đến server thực nhận dạng trả lại thiết bị IoT Tuy nhiên với đời TensorFlow Lite việc nhúng file model vào thiết bị IoT trở nên dễ dàng, cho phép suy luận học máy thiết bị IoT với độ trễ nhỏ kích thước nhị phân nhỏ Đề tài “Xử lý ảnh, nhận biết phương tiện hệ thống IoT cho giao thông” đưa với hi vọng ứng dụng mơ hình học sâu vào nhận dạng hình ảnh với số lượng loại phương tiện hạn chế dụng chúng nhận dạng nhúng vào thiết bị IoT cụ thể ứng dụng di động nhận dạng vài loại phương tiện Mục đích luận văn Do thời gian hạn chế thời gian thực nghiên cứu dịch bệnh kéo dài, luận văn trước hết tập trung nghiên cứu mạng tích chập CNN học chuyển giao (transfer learning) học máy đồng thời thực cài đặt mơ hình huấn luyện nhận dạng ảnh học sâu với số lượng phương tiện hạn chế, sử dụng TensorFlow Lite nhúng chúng vào thiết bị IoT (cụ thể điện thoại) làm nhận dạng sở cho ứng dụng hỗ trợ nhận dạng phương tiện điện thoại thông minh mà không cần kết nối mạng internet Cơ sở liệu Bộ sở liệu ảnh thành phần quan trọng hàng đầu phương pháp Học máy nói chung, sử dụng để phục vụ cho q trình tính tốn tham số huấn luyện, tinh chỉnh mơ hình Thông thường, liệu lớn chọn lọc tỉ mỉ cẩn thận độ xác mơ hình cải thiện, phạm vi luận văn kích thước CSDL hạn chế, số lượng loại phương tiện nhận dạng số lượng ảnh chụp cho loại phương tiện Cụ thể: - Số lượng phương tiện nhận dạng: loại phương tiện xe tải, xe bán tải… - Số lượng ảnh gốc cho loại phương tiện: khoảng 150 ảnh, bao gồm ảnh chụp phương tiện góc độ khác với tùy ý, lấy từ nguồn mạng tự chụp thiết bị camera cá nhân Bộ huấn luyện nhận dạng phương tiện Sử dụng phương pháp Học máy thuộc phương pháp học sâu, kết hợp sử dụng học chuyển giao với mơ hình đánh giá tối ưu google_v3, ImageNet vv Thực huấn luyện, so sánh kết thu chương trình học chuyển giao khác để lựa chọn file model tốt nhúng vào thiết bị IoT